Развитие и дообучение AI-агентов каждый месяц на реальных диалогах
AI-агента после запуска нужно учить дальше. Каждый месяц мы разбираем реальные звонки и чаты, добавляем сценарии, обновляем промпты и базу знаний. Каждое изменение проверяем на наборе тест-кейсов. От $1 000 в месяц.
Что болит
На запуске агент прошел все тесты. Через месяц клиенты спрашивают про новый тариф, акцию или доставку, которой не было в сценарии. Агент придумывает ответ или передает все оператору.
Кто-то в команде правил промпт напрямую, чтобы исправить одну жалобу. После этого сломались два других разговора, и никто не заметил. Версий нет, откатить некуда.
ИИ иногда ошибается, и это нормально. Плохо, когда ошибки никто не собирает и не превращает в тест. Тогда одна и та же ошибка повторяется в каждом похожем разговоре.
Что строим
- Еженедельный разбор выборки реальных звонков и чатов
- Классификация ошибок агента: факты, тон, сценарий, инструменты
- Новые сценарии и инструменты под изменения в бизнесе
- Обновление базы знаний: цены, акции, условия доставки, графики
- Тест-кейс на каждую найденную ошибку, чтобы она не вернулась
- Версионирование промптов со сравнением изменений и откатом к любой версии
- Регрессионный прогон всех тестов перед каждым релизом агента
- Ежемесячный отчет с изменениями и динамикой качества
Что Вы получаете
- Набор тест-кейсов, который растет каждый месяц и остается у Вас
- История версий промптов с описанием каждого изменения
- Обновленная база знаний агента
- Отчет об ошибках, исправлениях и результатах прогонов
- План сценариев на следующий месяц
Как измеряем результат
- Доля разговоров, закрытых агентом без оператора
- Количество повторных ошибок после исправления
- Доля тест-кейсов, которые проходят перед релизом
- Оценка разговоров по чек-листу качества
Системы и стек
Отрасли
Вопросы
Сколько стоит дообучение и от чего зависит цена?
От $1 000 в месяц за одного агента. Цена зависит от количества агентов и каналов, объема разговоров для разбора и частоты изменений в Вашем бизнесе. Агент с частыми акциями и новыми товарами требует больше работы, чем агент записи на прием.
Вы дообучаете саму модель?
Обычно нет, и это не нужно. Большинство улучшений дают промпты, база знаний, инструменты и тест-кейсы. Файнтюнинг модели имеет смысл редко, когда есть большой набор размеченных данных. Если он нужен, мы оцениваем его отдельно.
Как Вы проверяете, что изменение ничего не сломало?
Каждое изменение идет в черновик агента. На нем мы прогоняем все тест-кейсы, включая те, что выросли из прошлых ошибок. Только после зеленого прогона изменение попадает в продакшн. Любую версию можно откатить.
Работает ли это с агентами не на платформе Happ?
Да. Мы работаем с агентами на любой платформе, где есть доступ к промпту, логам разговоров и возможность прогона тестов. Если тестов нет, первый месяц строим базовый набор. На платформе Happ тесты и версии уже встроены.
Кто видит разговоры клиентов?
Только инженеры, закрепленные за проектом, по NDA и DPA. Для анализа звонков можем использовать собственный vLLM на наших серверах, поэтому данные не уходят в сторонние модели. Персональные данные в отчетах маскируем.
Связанные услуги
Другие услуги раздела
Опишите задачу. Ответим в течение рабочего дня, первый звонок с фаундером.
Опишите задачу. Первый звонок с фаундером.
Ответим в течение рабочего дня. 30 минут, чтобы сказать, стоит ли это делать и сколько это стоит.