Моніторинг AI-систем: логи, трейси, якість відповідей і витрати в одному місці
Бачите кожен крок агента: який запит прийшов, що модель відповіла, який інструмент викликала і скільки це коштувало. Про збій дізнаєтеся раніше за клієнта.
Що болить
Клієнт скаржиться, що бот відповів нісенітницю. Ви не можете знайти ту розмову і зрозуміти, на якому кроці все зламалося.
Постачальник моделі лежить пів години, а Ви дізнаєтеся про це від менеджерів, які бачать злих клієнтів. Алертів немає.
Ніхто не знає, чи агент працює сьогодні гірше, ніж місяць тому. Якість ніхто не міряє, поки не станеться скандал. А потім сперечаються, хто винен: модель, промпт чи інтеграція.
Що будуємо
- Логування кожного виклику моделі з контекстом і відповіддю
- Трейси багатокрокових агентів: інструменти, RAG, затримки
- Вибіркова автоматична оцінка якості відповідей
- Облік витрат на моделі за агентами і клієнтами
- Відстеження помилок у Sentry з прив’язкою до розмови
- Алерти в Telegram або Slack на збої, затримки і перевитрату
- Маскування персональних даних у логах
Що Ви отримуєте
- Дашборди в Grafana для якості, швидкості і витрат
- Налаштоване збирання логів і трейсів у Вашому контурі
- Правила алертів з описом, що робити при кожному
- Інструкція для чергових і короткий інструктаж команди
Як міряємо результат
- Час від початку збою до алерту
- Час на пошук причини проблемної розмови
- Середня оцінка якості відповідей за тиждень
- Вартість одного діалогу за агентами
Системи і стек
Галузі
Питання
Скільки коштує налаштування моніторингу?
Від $5 000 за 3–6 тижнів. Ціна залежить від кількості агентів і сервісів, наявної інфраструктури логів і вимог до зберігання. Якщо у Вас уже є Grafana чи Sentry, будуємо на них і не дублюємо.
Чи можна моніторити хмарні моделі?
Так. Ми логуємо виклики з Вашого коду, тому неважливо, де модель: OpenAI, Gemini чи власна на vLLM. Платформу Happ ми моніторимо так само: кожен виклик моделі видно в логах і трейсах.
Як Ви оцінюєте якість без людей?
Частину відповідей автоматично оцінює інша модель за Вашими критеріями: точність, тон, дотримання правил. Це не замінює людину повністю, бо оцінювач теж помиляється. Тому спірні випадки ми показуємо на ручний перегляд.
Що з персональними даними в логах?
Телефони, імена й номери карток маскуємо до запису. Логи зберігаються у Вашому контурі з обмеженим терміном. Доступ лише для потрібних людей. Ми працюємо за ISO/IEC 27001:2022.
Що після запуску?
Дашборди і алерти лишаються Вашими. Можемо вести цілодобовий моніторинг і реагувати на збої за SLA або передати чергування Вашій команді.
Чим це відрізняється від звичайного моніторингу серверів?
Звичайний моніторинг бачить, що сервіс живий. Але агент може бути живим і при цьому відповідати неправильно, зациклюватися або викликати не той інструмент. Ми додаємо рівень розмови: що спитали, що відповіли, скільки кроків і грошей це зайняло. Саме там ховається більшість проблем AI-систем.
Пов’язані послуги
Інші послуги розділу
Опишіть задачу. Відповімо протягом робочого дня, перший дзвінок з фаундером.
Опишіть задачу. Перший дзвінок з фаундером.
Відповімо протягом робочого дня. 30 хвилин, щоб сказати, чи варто це робити і скільки це коштує.