Экономика токенов: как не разориться на API больших моделей

Короткий ответ: главный рычаг экономики токенов — не смена провайдера, а архитектура запросов: кэширование, маршрутизация простых задач дешевым моделям и контроль длины контекста. Разбираем, где деньги утекают и как это остановить.

Счёт, который удивляет

Проект стартует на демо и стоит копейки. Через два месяца после запуска приходит счёт, в котором нули приписались сами. Причина всегда одна: цена запроса умножается на количество пользователей и историю диалога, и ни один из трёх множителей не контролировался.

Из чего состоит расход

Контекст. Каждый запрос тащит за собой системный промпт, историю переписки и найденные документы. Диалог длиной в двадцать сообщений оплачивается целиком на каждом ходе, хотя пользователь написал одно предложение. Обрезка истории и суммаризация старых ходов режут счёт вдвое без потери качества.

Модель. Флагманская модель нужна в пяти процентах случаев: сложные рассуждения, спорные ситуации. Остальные девяносто пять — квалификация, шаблонные ответы, классификация — закрываются младшей моделью в десять раз дешевле. Маршрутизация запросов между моделями даёт крупнейшую экономию.

Повторы. Пользователь переспросил, интерфейс сделал retry, кэш не настроен. Кэширование типовых ответов на уровне семантики экономит заметную долю трафика.

Метрика, которая нужна руководителю

Стоимость одного решённого обращения. Не стоимость токена и даже не стоимость запроса, а полная цена доведения вопроса клиента до решения. Эта метрика связывает расходы на модели с реальной экономикой сервиса и позволяет принимать решения: где усилить модель, а где она избыточна.

Оптимизация расходов начинается с вопроса «сколько стоит один решённый вопрос», а не с «какая модель дешевле за тысячу токенов».

Бюджетирование без сюрпризов

Лимиты на пользователя и день, алерты на аномальный расход, разделение счетов по сценариям. Всё это настраивается на стороне шлюза за день и защищает от ситуации, когда один баг зацикливает вызовы и съедает месячный бюджет за выходные.

Сравнение стратегий экономии

Четыре рычага снижения расходов отличаются трудоёмкостью и эффектом. Разложим по убыванию отдачи:

1. Маршрутизация между моделями. Флагман получает пять процентов сложных запросов, остальные идут дешёвой модели. Трудоёмкость: средняя — нужен классификатор сложности. Эффект: сокращение счёта в три–пять раз на типовых сценариях поддержки.
2. Обрезка и суммаризация контекста. История диалога старше пяти ходов сворачивается в резюме. Трудоёмкость: низкая, делается за пару дней. Эффект: минус сорок–шестьдесят процентов токенов на длинных диалогах.
3. Семантический кэш. Типовые вопросы («где мой заказ», «как вернуть») получают кэшированный ответ без вызова модели. Трудоёмкость: средняя, нужен контроль качества попаданий. Эффект: до трети запросов закрывается бесплатно при стабильном трафике.
4. Смена провайдера или модели. Самый заметный, но самый хрупкий рычаг: разница цен нивелируется за квартал, а миграция тянет за собой повторную настройку промптов и прогон eval-набора.

Практика показывает: первые три пункта вместе дают больше экономии, чем бесконечный поиск «той самой» дешёвой модели, при этом не создают риска для качества. Порядок внедрения именно такой — от архитектуры к тарифам, а не наоборот.

Ошибки, которые сжигают бюджет

История диалога тянется целиком. Двадцатый ход оплачивает все предыдущие девятнадцать. Без обрезки длинный диалог поддержки стоит дороже короткого разговора с человеком. Лечение — суммаризация, см. выше.

Ретраи без лимитов. Таймаут, retry, снова таймаут — и вы оплатили три генерации ради одного ответа, который так и не пришёл. Настройте бюджет попыток и экспоненциальную задержку.

Отладочные вызовы в проде. Разработчик тестирует промпт через боевой шлюз с флагманской моделью и полным контекстом. Отдельный ключ для разработки с дешёвой моделью решает вопрос за десять минут настройки.

Документ скармливается целиком. Пользователь спрашивает про пункт возврата, а в контекст уходит стосорокапаражный регламент. RAG с точным чанкингом отправляет модели только нужный фрагмент — это одновременно дешевле и точнее.

Нет владельца счёта. Расход размазан по сервисам и командам, ответственность растворена. Разделение по сценариям с еженедельным отчётом делает затраты видимыми, а видимые затраты имеют свойство уменьшаться.

Сколько стоит запуск LLM-функции в продукте?

MVP типового сценария — ассистент на базе знаний, квалификация обращений, автоподстановка ответов — занимает четыре–шесть недель. Расходы на API на этапе MVP измеряются сотнями долларов, потому что нагрузка тестовая. Взрыв счёта происходит не от роста цен, а от роста пользователей без пересмотра архитектуры: то, что стоило двести долларов на десяти тестерах, на десяти тысячах клиентов превращается в проблему уровня CFO. Поэтому маршрутизация и кэш закладываются сразу, а не после первого шокирующего счёта.

Как быстро оптимизация окупается?

Работы по маршрутизации, обрезке контекста и кэшу занимают две–четыре недели. При счёте от нескольких тысяч долларов в месяц окупаемость наступает примерно за два месяца: экономия двадцати–шестидесяти процентов покрывает стоимость работ и дальше работает как чистая прибыль. Отдельный плюс — снижение латентности: короткие запросы к младшим моделям отвечают быстрее, а это напрямую влияет на пользовательский опыт, особенно в голосовых сценариях, где цель — уложиться в 500 мс.

Что важнее для бюджета: модель или архитектура?

Архитектура, с отрывом. Смена модели даёт единовременную скидку, которая исчезает при следующем обновлении прайса. Маршрутизация, кэш и контроль контекста — структурные свойства системы, которые переживают любые изменения у провайдеров. Диагностика простая: если вы не можете назвать стоимость одного решённого обращения и его динамику за квартал, ваш бюджет управляется поставщиком API, а не вами.

Мини-аудит счёта за полчаса

Прежде чем звать консультантов, проделайте пять шагов. Они не требуют доступа к коду и дают восемьдесят процентов картины:

1. Разбейте последний счёт по сценариям: саппорт, поиск, генерация документов. Если разбить нельзя — это первый вывод: расходы неуправляемы.
2. Посчитайте среднюю длину контекста на запрос. Выше десяти тысяч токенов на диалоговом сценарии почти всегда означает, что история не обрезается.
3. Найдите долю запросов к флагманской модели. Если она выше пятнадцати процентов — маршрутизация отсутствует.
4. Оцените долю повторов: одинаковые вопросы от разных пользователей или ретраи в логах. Треть и больше — кэш вернёт эти деньги немедленно.
5. Умножьте стоимость решённого обращения на месячный объём. Эта цифра — базовая линия для любой оптимизации: без неё «экономия» остаётся ощущением.

Три типичных результата аудита: счёт раздувает контекст (лечится суммаризацией за дни), флагман молотит шаблонные запросы (лечится маршрутизацией), повторы не кэшируются (лечится семантическим кэшем). Все три вместе обычно дают экономию двадцать–шестьдесят процентов при неизменном качестве ответов.

Когда аудит имеет смысл делать до любых изменений архитектуры? Всегда. Оптимизация без базовой линии — стрельба вслепую: вы не отличите реальные двадцать процентов экономии от перетекания расходов между статьями. Полчаса на расчёт стоят дешевле любого неверного решения, а окупаемость последующих работ — те же два месяца при счёте от нескольких тысяч долларов — становится проверяемым обещанием, а не презентационным слайдом.

И ещё один рычаг, о котором забывают: длина ответа. Системный промпт «отвечай кратко, только по делу» режет и выходные токены, и латентность. Для голосовых сценариев это критично вдвойне — там каждый токен генерации тянется через синтез речи, а абонент раздражается после 700 мс тишины. Короткий ответ дешевле в производстве, быстрее доставляется и лучше воспринимается. Экономия на промпте стоит ноль долларов внедрения и даёт заметный процент счёта — начните с неё сегодня, а маршрутизацию моделей планируйте следующим шагом.

Финальная рекомендация по договору с провайдером: зафиксируйте тариф на год и включите в контракт лимиты списания с алертом. Облачные цены меняются, а ваш бюджет — нет. Компании, которые пересматривают условия раз в год, платят заметно меньше тех, кто живёт на дефолтных тарифах: объёмы выросли, а прайс остался стартовым. Это переговоры на один час, экономия измеряется тысячами долларов в месяц и не требует ни строчки кода.