Mémoire à Long Terme pour Assistants IA : Transformer les Discussions Telegram en Base de Connaissances Structurée

Les grands modèles de langage manquent généralement de mémoire, s'appuyant sur une fenêtre contextuelle qui ne peut gérer qu'un nombre limité de tokens. Une fois que les conversations dépassent cette limite, le modèle perd le fil des informations précédentes, ce qui pose un défi majeur pour un assistant censé conserver des détails sur les tâches, les contacts et les accords sur de longues périodes. Je développe un assistant personnel qui analyse les conversations des utilisateurs sur Telegram et peut répondre à des questions telles que : 'Quel budget avons-nous discuté pour le voyage en Turquie ?' ou 'Qu'avons-nous décidé concernant l'accord avec le contractant ?'. Cela nécessite la création d'un système de mémoire à long terme. Bien que l'approche initiale semblait simple—stocker tous les messages dans une base de données vectorielle et effectuer une recherche top-k pour des morceaux pertinents—j'ai rapidement réalisé que cette méthode naïve de génération augmentée par récupération (RAG) était insuffisante. Dans cet article, je vais expliquer pourquoi cette approche échoue et décrire l'architecture que j'ai mise en place comme solution plus efficace.