Мониторинг AI-систем: логи, трейсы, качество ответов и расходы в одном месте
Видите каждый шаг агента: какой запрос пришел, что ответила модель, какой инструмент вызвала и сколько это стоило. О сбое узнаете раньше клиента.
Что болит
Клиент жалуется, что бот ответил чепуху. Вы не можете найти тот разговор и понять, на каком шаге все сломалось.
Поставщик модели лежит полчаса, а Вы узнаете об этом от менеджеров, которые видят злых клиентов. Алертов нет.
Никто не знает, работает ли агент сегодня хуже, чем месяц назад. Качество никто не меряет, пока не случится скандал. А потом спорят, кто виноват: модель, промпт или интеграция.
Что строим
- Логирование каждого вызова модели с контекстом и ответом
- Трейсы многошаговых агентов: инструменты, RAG, задержки
- Выборочная автоматическая оценка качества ответов
- Учет расходов на модели по агентам и клиентам
- Отслеживание ошибок в Sentry с привязкой к разговору
- Алерты в Telegram или Slack на сбои, задержки и перерасход
- Маскирование персональных данных в логах
Что Вы получаете
- Дашборды в Grafana для качества, скорости и расходов
- Настроенный сбор логов и трейсов в Вашем контуре
- Правила алертов с описанием, что делать при каждом
- Инструкция для дежурных и короткий инструктаж команды
Как измеряем результат
- Время от начала сбоя до алерта
- Время на поиск причины проблемного разговора
- Средняя оценка качества ответов за неделю
- Стоимость одного диалога по агентам
Системы и стек
Отрасли
Вопросы
Сколько стоит настройка мониторинга?
От $5 000 за 3–6 недель. Цена зависит от числа агентов и сервисов, имеющейся инфраструктуры логов и требований к хранению. Если у Вас уже есть Grafana или Sentry, строим на них и не дублируем.
Можно ли мониторить облачные модели?
Да. Мы логируем вызовы из Вашего кода, поэтому неважно, где модель: OpenAI, Gemini или своя на vLLM. Платформу Happ мы мониторим так же: каждый вызов модели виден в логах и трейсах.
Как Вы оцениваете качество без людей?
Часть ответов автоматически оценивает другая модель по Вашим критериям: точность, тон, соблюдение правил. Это не заменяет человека полностью, потому что оценщик тоже ошибается. Поэтому спорные случаи мы выводим на ручной просмотр.
Что с персональными данными в логах?
Телефоны, имена и номера карт маскируем до записи. Логи хранятся в Вашем контуре с ограниченным сроком. Доступ только у нужных людей. Мы работаем по ISO/IEC 27001:2022.
Что после запуска?
Дашборды и алерты остаются Вашими. Можем вести круглосуточный мониторинг и реагировать на сбои по SLA или передать дежурство Вашей команде.
Чем это отличается от обычного мониторинга серверов?
Обычный мониторинг видит, что сервис жив. Но агент может быть живым и при этом отвечать неправильно, зацикливаться или вызывать не тот инструмент. Мы добавляем уровень разговора: что спросили, что ответили, сколько шагов и денег это заняло. Именно там находится большинство проблем AI-систем.
Связанные услуги
Другие услуги раздела
Опишите задачу. Ответим в течение рабочего дня, первый звонок с фаундером.
Опишите задачу. Первый звонок с фаундером.
Ответим в течение рабочего дня. 30 минут, чтобы сказать, стоит ли это делать и сколько это стоит.