Оптимізація витрат на LLM: роутинг моделей, кеш і власна модель там, де API дорогий
Розбираємо, куди йдуть гроші на LLM, і переносимо кожен тип запиту на найдешевшу модель, яка проходить Ваші тести якості. Нічого не міняємо без вимірювання.
Що болить
Рахунок за API росте щомісяця швидше за виручку. Фінансовий директор питає, за що саме ми платимо, а відповісти нема чим.
Усі запити йдуть у найдорожчу модель, бо так було простіше на старті. Хоча більшість із них прості: класифікація, короткі відповіді, витяг полів.
Ви боїтеся різати витрати, бо минулого разу дешевша модель почала помилятися і клієнти скаржилися.
Що будуємо
- Аудит витрат за типами запитів, агентами і клієнтами
- Тестовий набір якості для кожного типу запиту
- Роутинг: прості запити на дешеві моделі, складні на сильні
- Кешування повторюваних запитів і prompt caching у постачальників
- Скорочення промптів і контексту без втрати якості
- Розрахунок, де окупиться власна модель на vLLM
- Дашборд витрат з розбивкою і алертами на перевитрату
Що Ви отримуєте
- Звіт про витрати з картою, куди йдуть гроші
- Налаштований роутер моделей і кеш у Вашому коді
- Тестовий набір, який захищає якість від здешевлення
- Дашборд витрат і бюджетні алерти
- План наступних кроків з розрахунком окупності
Як міряємо результат
- Вартість одного діалогу або документа до і після
- Місячний рахунок за LLM при тому ж обсязі
- Оцінка якості на тестовому наборі після змін
- Частка запитів, які обслуговує дешевша модель або кеш
Системи і стек
Галузі
Питання
Скільки коштує оптимізація?
Від $5 000 за проєкт на 3–5 тижнів. Ціна залежить від кількості AI-сценаріїв і того, чи є логування запитів. Варто братися, коли місячний рахунок за API вже помітний у бюджеті, інакше економія не покриє роботу.
Чи не впаде якість?
Це головний ризик, тому ми спершу будуємо тестовий набір, а потім міняємо моделі. Кожна зміна проходить тести, а в продакшен виходить на частину трафіку. Якщо якість падає, повертаємо попередню схему.
Скільки можна зекономити?
Наперед цифр не обіцяємо: вони залежать від Ваших запитів. Після аудиту витрат показуємо розрахунок по кожному сценарію, і Ви вирішуєте, що робимо. Метрику економії можемо прописати в договорі.
З якими постачальниками працюєте?
OpenAI, Anthropic, Google Gemini, Mistral і open-weight моделі на vLLM. Наша платформа Happ теж працює на кількох моделях і власній LLM для аналізу дзвінків, тому ми робимо таке і для себе.
Що потрібно від нас?
Доступ до білінгу постачальників, логів запитів і коду, де викликаються моделі. Якщо логів немає, спершу вмикаємо їх на тиждень, щоб бачити реальне навантаження.
Коли власна модель дешевша за API?
Коли запитів багато, вони схожі між собою і йдуть рівно протягом доби. Тоді сервер з GPU окупається, а дані ще й лишаються у Вас. При малому або нерівному навантаженні API зазвичай дешевший. Ми рахуємо обидва варіанти на Ваших логах, включно з вартістю супроводу сервера.
Пов’язані послуги
Інші послуги розділу
Опишіть задачу. Відповімо протягом робочого дня, перший дзвінок з фаундером.
Опишіть задачу. Перший дзвінок з фаундером.
Відповімо протягом робочого дня. 30 хвилин, щоб сказати, чи варто це робити і скільки це коштує.