Тестирование ИИ агентов: наборы тест-кейсов, регрессия и оценка ответов
Мы строим набор тестов для Вашего агента из реальных диалогов и рискованных сценариев. Каждое изменение промпта, модели или инструментов проходит прогон до выхода в прод. Вы видите, что стало лучше, а что сломалось.
Что болит
Вы изменили промпт, чтобы исправить один ответ, а сломались три других. Об этом узнали от клиентов через неделю. Проверять агента вручную после каждого изменения команда не успевает.
Новая модель дешевле или быстрее, но непонятно, не хуже ли она на Ваших задачах. Сравнение делают на пяти примерах и на ощущениях. Решение о модели принимают наугад.
В банке, клинике или колл-центре ошибка агента стоит дорого. Агент может пообещать лишнее, назвать неправильную цену или нарушить регламент. Нужно доказательство, что агент ведет себя правильно, а не только уверенность разработчика.
Что строим
- Аудит текущего агента и сбор рискованных сценариев
- Тест-кейсы из реальных диалогов и звонков, обезличенные
- Критерии оценки: факты, тон, регламент, действия в системах
- LLM-as-judge с проверкой на разметке человеком
- Моки инструментов, чтобы тесты не создавали реальных заказов
- Регрессионный прогон в CI перед каждым релизом
- Сравнение моделей и версий промптов на одном наборе
- Отчет с ошибками и рекомендациями по исправлению
Что Вы получаете
- Набор тест-кейсов в формате, который Вы можете расширять
- Настроенный прогон тестов в Вашем CI или на нашей платформе
- Отчет о качестве текущего агента с примерами ошибок
- Сравнение моделей по качеству, скорости и стоимости
- Инструкция, как добавлять новые кейсы после инцидентов
Как измеряем результат
- Доля тест-кейсов, которые агент проходит, для каждой версии
- Количество регрессий, пойманных до релиза, а не клиентами
- Согласованность оценки LLM-as-judge с оценкой человека
- Стоимость и время одного прогона тестов
Системы и стек
Отрасли
Вопросы
Сколько стоит тестирование агента?
От $5 000. Цену определяют количество сценариев, тип агента (текстовый или голосовой), количество инструментов для моков и требования к отчету. Голосового агента тестировать дороже: кейсы строятся из записей звонков, а не только из текста. Фиксированную смету Вы получаете через 2–3 дня после discovery.
Вы тестируете только агентов, которых сделали сами?
Нет. Тестируем агентов на любой платформе, если есть API или доступ к диалогам. Голосовых агентов тоже. Наборы тестов для агентов входят в нашу платформу Happ, поэтому мы работаем с этим каждый день и знаем типичные ловушки.
Что такое LLM-as-judge и можно ли ему доверять?
Это модель, которая оценивает ответ агента по четким критериям. Она тоже может ошибаться, поэтому мы проверяем ее оценки на выборке, размеченной человеком. Для критичных правил, например цен или сумм, используем точные проверки вместо оценки моделью.
Какие данные нужны?
Экспорт диалогов или записи звонков, промпт агента, описание инструментов и регламенты. Персональные данные обезличиваем до работы. NDA и DPA подписываем до доступов. Для анализа записей используем собственный LLM, поэтому данные не уходят сторонним моделям.
Что после передачи тестов?
Ваша команда запускает тесты сама перед каждым релизом. Мы можем поддерживать набор по SLA: добавлять кейсы после инцидентов, проверять новые модели и следить, чтобы тесты не устарели вместе с процессом.
Связанные услуги
Другие услуги раздела
Опишите задачу. Ответим в течение рабочего дня, первый звонок с фаундером.
Опишите задачу. Первый звонок с фаундером.
Ответим в течение рабочего дня. 30 минут, чтобы сказать, стоит ли это делать и сколько это стоит.