Integración de Langfuse con LLM a través de JWT

Langfuse es una herramienta valiosa para la gestión de prompts y el seguimiento de solicitudes, especialmente en el contexto de los LLM (Modelos de Lenguaje Grande). Sin embargo, su integración puede presentar desafíos en entornos corporativos donde los protocolos de seguridad exigen el uso de JWT (Tokens Web JSON) de corta duración en lugar de claves API estáticas. Este problema se presenta cuando una puerta de enlace para el LLM requiere un JWT para cada solicitud, mientras que Langfuse está diseñado para operar con una clave API estática. En nuestra experiencia, nos enfrentamos a una situación similar con modelos autoalojados y APIs similares a las de OpenAI, donde un proveedor centralizado emite el JWT necesario para el acceso. Aunque Langfuse puede transmitir claves API y encabezados durante las conexiones LLM, no tiene la capacidad de recuperar de forma autónoma un token temporal del servicio de autenticación. En este artículo, comparto mis experiencias sobre cómo superar este obstáculo de integración a nivel de producción.