Привет, Хабр! Меня зовут Михаил Шпаков, и я развиваю Statuser — сервис мониторинга доступности сайтов. Ранее я делился опытом его создания и тем, что узнал за год, мониторя 6 500 сайтов. Недавно ко мне обратился пользователь Statuser с проблемой в его продукте. Модель ИИ обрабатывала запросы клиентов и готовила черновики ответов для операторов. В какой-то момент эта функция перестала работать, хотя стандартный HTTP-монитор показывал зеленый статус для ИИ-гейтвея. Операторы поддержки сообщили о проблеме, а не система мониторинга. Причина оказалась простой: провайдер отключил выбранную модель, но гейтвей продолжал функционировать. HTTP-монитор отправлял обычный GET-запрос и получал успешный ответ, не проверяя состояние модели. Диагностировать такую ошибку легко, если знаешь, куда смотреть, но заметить её в начале сложнее. Между доступным гейтвеем и работающей функцией продукта есть еще один уровень — сама модель. Когда модель перестает отвечать, сервис обычно продолжает работать, но некоторые функции, такие как подсказки и ответы в чате, могут не работать. Этот случай показал, что нужен отдельный тип мониторинга, который не просто обращается к адресу гейтвея, а отправляет реальный запрос к выбранной модели для проверки её ответа. Так в Statuser появился мониторинг ИИ-моделей.
200 OK от гейтвея ничего не значит
Обычная HTTP-проверка может показывать, что ИИ-сервис работает, хотя его пользователи уже не получают ответы. Эндпоинт доступен, но модель не отвечает.
3 min readТехнологии