Оптимизация расходов на LLM: роутинг моделей, кэш и своя модель там, где API дорогой
Разбираем, куда уходят деньги на LLM, и переносим каждый тип запроса на самую дешевую модель, которая проходит Ваши тесты качества. Ничего не меняем без измерения.
Что болит
Счет за API растет каждый месяц быстрее выручки. Финансовый директор спрашивает, за что именно мы платим, а ответить нечем.
Все запросы идут в самую дорогую модель, потому что так было проще на старте. Хотя большинство из них простые: классификация, короткие ответы, извлечение полей.
Вы боитесь резать расходы, потому что в прошлый раз дешевая модель начала ошибаться и клиенты жаловались.
Что строим
- Аудит расходов по типам запросов, агентам и клиентам
- Тестовый набор качества для каждого типа запроса
- Роутинг: простые запросы на дешевые модели, сложные на сильные
- Кэширование повторяющихся запросов и prompt caching у поставщиков
- Сокращение промптов и контекста без потери качества
- Расчет, где окупится своя модель на vLLM
- Дашборд расходов с разбивкой и алертами на перерасход
Что Вы получаете
- Отчет о расходах с картой, куда уходят деньги
- Настроенный роутер моделей и кэш в Вашем коде
- Тестовый набор, который защищает качество от удешевления
- Дашборд расходов и бюджетные алерты
- План следующих шагов с расчетом окупаемости
Как измеряем результат
- Стоимость одного диалога или документа до и после
- Месячный счет за LLM при том же объеме
- Оценка качества на тестовом наборе после изменений
- Доля запросов, которые обслуживает дешевая модель или кэш
Системы и стек
Отрасли
Вопросы
Сколько стоит оптимизация?
От $5 000 за проект на 3–5 недель. Цена зависит от числа AI-сценариев и того, логируются ли запросы. Браться стоит, когда месячный счет за API уже заметен в бюджете, иначе экономия не покроет работу.
Не упадет ли качество?
Это главный риск, поэтому мы сначала строим тестовый набор, а потом меняем модели. Каждое изменение проходит тесты и выходит в продакшен на часть трафика. Если качество падает, возвращаем прежнюю схему.
Сколько можно сэкономить?
Заранее цифр не обещаем: они зависят от Ваших запросов. После аудита расходов показываем расчет по каждому сценарию, и Вы решаете, что делаем. Метрику экономии можем прописать в договоре.
С какими поставщиками работаете?
OpenAI, Anthropic, Google Gemini, Mistral и open-weight модели на vLLM. Наша платформа Happ тоже работает на нескольких моделях и собственной LLM для анализа звонков, поэтому мы делаем это и для себя.
Что нужно от нас?
Доступ к биллингу поставщиков, логам запросов и коду, где вызываются модели. Если логов нет, сначала включаем их на неделю, чтобы видеть реальную нагрузку.
Когда своя модель дешевле API?
Когда запросов много, они похожи друг на друга и идут ровно в течение суток. Тогда сервер с GPU окупается, а данные еще и остаются у Вас. При малой или неровной нагрузке API обычно дешевле. Мы считаем оба варианта на Ваших логах, включая стоимость сопровождения сервера.
Связанные услуги
Другие услуги раздела
Опишите задачу. Ответим в течение рабочего дня, первый звонок с фаундером.
Опишите задачу. Первый звонок с фаундером.
Ответим в течение рабочего дня. 30 минут, чтобы сказать, стоит ли это делать и сколько это стоит.