Цілодобовий моніторинг AI-систем з черговим інженером і розбором інцидентів
Голосовий агент або відеоаналітика працює вночі і у вихідні. Ми ставимо алерти на все, що може зламатися, тримаємо чергового інженера і після кожного інциденту пишемо розбір: причина і що змінюємо, щоб не повторилося. Від $1 500 на місяць.
Що болить
Агент приймає дзвінки цілодобово, а Ваша команда працює вдень. Збій о другій ночі видно лише вранці, коли вже є пропущені клієнти. Ніхто не скаже, скільки їх було.
Алерти є, але їх так багато, що всі їх ігнорують. Справжній збій тоне серед попереджень, які нічого не означають. Канал з алертами давно стоїть на беззвучному.
Після інциденту все полагодили, але причину не записали. Через місяць те саме повторюється. Ніхто не пам’ятає, як це виправляли минулого разу.
Що будуємо
- Метрики сервісів, моделей, черг і інтеграцій у Prometheus
- Дашборди Grafana для технічної команди і для керівника
- Логи в Loki з пошуком по розмові, дзвінку або замовленню
- Алерти на збої, затримки, помилки LLM і закінчення балансу у вендорів
- Чистка шуму: лишаємо алерти, які вимагають дії
- Графік чергування з ескалацією в Telegram і дзвінком
- Розбір кожного серйозного інциденту: причина і дії, щоб не повторилося
- Ранбуки: покрокові інструкції на типові збої
Що Ви отримуєте
- Налаштований моніторинг і алерти з доступом для Вашої команди
- Графік чергування і правила ескалації
- Ранбуки на типові інциденти
- Розбори інцидентів з причинами і зробленими змінами
- Щомісячний звіт про доступність і інциденти
Як міряємо результат
- Час від збою до алерту і до реакції чергового
- Час відновлення після інциденту
- Частка алертів, що вимагали дії
- Кількість повторних інцидентів з тією ж причиною
Системи і стек
Галузі
Питання
Скільки коштує цілодобовий моніторинг?
Від $1 500 на місяць. Ціна залежить від кількості сервісів і інтеграцій, потрібного часу реакції вночі і того, чи має черговий право виправляти збій сам. Налаштування моніторингу в перший місяць входить у ціну.
Хто реагує на алерт вночі?
Черговий інженер за графіком. Він отримує алерт у Telegram, а для критичних збоїв і дзвінок. Час реакції на кожен пріоритет записаний у SLA. Якщо черговий не відповідає, алерт ескалюється далі.
Чим Ви моніторите і чи можна використати наші інструменти?
Наш стандартний набір Prometheus, Grafana, Loki і Sentry, на ньому ми самі тримаємо платформу Happ. Якщо у Вас уже є власний моніторинг, підключаємося до нього, а не дублюємо. Нові інструменти ставимо лише тоді, коли старих не вистачає.
Як Ви моніторите якість AI, а не лише сервери?
Окрім збоїв дивимось на AI-метрики: помилки і таймаути моделей, частку передач оператору, довжину розмов, витрати на токени. Різкі зміни в цих метриках часто означають проблему раніше за помилки в логах.
Що, якщо збій на боці вендора моделі або телефонії?
Черговий фіксує це, повідомляє Вас і перемикає на резервний варіант, якщо він передбачений. Ми можемо заздалегідь налаштувати резервну модель або власний vLLM, щоб система не залежала від одного вендора.
Пов’язані послуги
Інші послуги розділу
Опишіть задачу. Відповімо протягом робочого дня, перший дзвінок з фаундером.
Опишіть задачу. Перший дзвінок з фаундером.
Відповімо протягом робочого дня. 30 хвилин, щоб сказати, чи варто це робити і скільки це коштує.