Розвиток і донавчання AI-агентів щомісяця на основі реальних діалогів
AI-агент після запуску потрібно вчити далі. Щомісяця ми розбираємо реальні дзвінки і чати, додаємо сценарії, оновлюємо промпти і базу знань. Кожну зміну перевіряємо на наборі тест-кейсів. Від $1 000 на місяць.
Що болить
На запуску агент пройшов усі тести. Через місяць клієнти питають про новий тариф, акцію чи доставку, якої не було в сценарії. Агент вигадує відповідь або передає все оператору.
Хтось у команді правив промпт напряму, щоб виправити одну скаргу. Після цього зламалися дві інші розмови, і ніхто не помітив. Версій немає, відкотити нікуди.
ІІ іноді помиляється, і це нормально. Погано, коли помилки ніхто не збирає і не перетворює на тест. Тоді одна й та сама помилка повторюється в кожній схожій розмові.
Що будуємо
- Щотижневий розбір вибірки реальних дзвінків і чатів
- Класифікація помилок агента: факти, тон, сценарій, інструменти
- Нові сценарії і інструменти під зміни в бізнесі
- Оновлення бази знань: ціни, акції, умови доставки, графіки
- Тест-кейс на кожну знайдену помилку, щоб вона не повернулася
- Версіонування промптів з порівнянням змін і відкатом до будь-якої версії
- Регресійний прогін усіх тестів перед кожним релізом агента
- Щомісячний звіт зі змінами і динамікою якості
Що Ви отримуєте
- Набір тест-кейсів, що росте щомісяця і лишається у Вас
- Історія версій промптів з описом кожної зміни
- Оновлена база знань агента
- Звіт про помилки, виправлення і результати прогонів
- План сценаріїв на наступний місяць
Як міряємо результат
- Частка розмов, закритих агентом без оператора
- Кількість повторних помилок після виправлення
- Частка тест-кейсів, які проходять перед релізом
- Оцінка розмов за чек-листом якості
Системи і стек
Галузі
Питання
Скільки коштує донавчання і від чого залежить ціна?
Від $1 000 на місяць за одного агента. Ціна залежить від кількості агентів і каналів, обсягу розмов для розбору і частоти змін у Вашому бізнесі. Агент з частими акціями і новими товарами потребує більше роботи, ніж агент запису на прийом.
Ви донавчаєте саму модель?
Зазвичай ні, і це не потрібно. Більшість покращень дають промпти, база знань, інструменти і тест-кейси. Файнтюнінг моделі має сенс рідко, коли є великий набір розмічених даних. Якщо він потрібен, ми оцінюємо його окремо.
Як Ви перевіряєте, що зміна нічого не зламала?
Кожна зміна йде в чернетку агента. На ній ми проганяємо всі тест-кейси, включно з тими, що виросли з минулих помилок. Тільки після зеленого прогону зміна потрапляє в продакшн. Будь-яку версію можна відкотити.
Чи працює це з агентами не на платформі Happ?
Так. Ми працюємо з агентами на будь-якій платформі, де є доступ до промпту, логів розмов і можливість прогону тестів. Якщо тестів немає, перший місяць будуємо базовий набір. На платформі Happ тести і версії вже вбудовані.
Хто бачить розмови клієнтів?
Тільки інженери, закріплені за проєктом, за NDA і DPA. Для аналізу дзвінків можемо використовувати власний vLLM на наших серверах, тож дані не йдуть у сторонні моделі. Персональні дані в звітах маскуємо.
Пов’язані послуги
Інші послуги розділу
Опишіть задачу. Відповімо протягом робочого дня, перший дзвінок з фаундером.
Опишіть задачу. Перший дзвінок з фаундером.
Відповімо протягом робочого дня. 30 хвилин, щоб сказати, чи варто це робити і скільки це коштує.