Memoria a Largo Plazo para Asistentes de IA: Transformando Chats de Telegram en una Base de Conocimientos Estructurada

Los grandes modelos de lenguaje suelen carecer de memoria, dependiendo de una ventana de contexto que solo puede manejar un número limitado de tokens. Una vez que las conversaciones superan este límite, el modelo pierde el hilo de la información anterior, lo que representa un desafío significativo para un asistente diseñado para recordar detalles sobre tareas, contactos y acuerdos durante períodos prolongados. Estoy desarrollando un asistente personal que analiza las conversaciones de los usuarios en Telegram y puede responder a preguntas como: '¿Qué presupuesto discutimos para el viaje a Turquía?' o '¿Qué decidimos respecto al contrato con el contratista?'. Esto requiere construir un sistema de memoria a largo plazo. Aunque el enfoque inicial parecía sencillo—almacenar todos los mensajes en una base de datos vectorial y realizar una búsqueda top-k para encontrar fragmentos relevantes—rápidamente me di cuenta de que este método ingenuo de generación aumentada por recuperación (RAG) era insuficiente. En este artículo, explicaré por qué este enfoque falla y describiré la arquitectura que he implementado como una solución más efectiva.