200 OK del Gateway No Significa Nada

¡Hola, Habr! Soy Mikhail Shpakov y gestiono Statuser, un servicio de monitoreo de disponibilidad de sitios web. Anteriormente, compartí el desarrollo de este servicio y lo que aprendí al monitorear 6,500 sitios durante un año. Recientemente, un usuario de Statuser se puso en contacto conmigo sobre un problema en su producto. Su modelo de IA se encargaba de interpretar las consultas de los clientes y generar borradores de respuestas para los operadores. En un momento dado, esta función dejó de funcionar, aunque un monitor HTTP estándar seguía mostrando un estado verde para el gateway de IA. Los operadores de soporte reportaron el problema, no el sistema de monitoreo. La causa era simple: el proveedor había desactivado el modelo seleccionado, pero el gateway seguía funcionando. El monitor HTTP realizaba una solicitud GET típica, recibiendo una respuesta exitosa sin verificar el estado del modelo. Diagnosticar tal falla es fácil si se sabe dónde mirar, pero reconocerla al principio es más complicado. Existe una capa adicional entre el gateway accesible y la función activa del producto: el modelo en sí. Cuando el modelo deja de responder, el servicio completo generalmente sigue activo, pero funciones específicas, como sugerencias y respuestas en chat, fallan. Este incidente destacó la necesidad de un tipo de monitoreo distinto que no solo verifique la dirección del gateway, sino que también envíe una solicitud real al modelo seleccionado para verificar su respuesta. Así, se introdujo el monitoreo de modelos de IA en Statuser.