M-RAG : Amélioration de la génération augmentée par récupération

La génération augmentée par récupération (RAG) est devenue populaire pour renforcer la fiabilité des grands modèles de langage (LLMs). Cependant, les systèmes RAG classiques rencontrent des difficultés en raison de leur dépendance à la segmentation de texte, ce qui peut entraîner une fragmentation de l'information et une inefficacité accrue. Certaines études récentes suggèrent que des LLMs à long contexte pourraient rendre la récupération multi-étapes obsolète en traitant directement des documents entiers. Néanmoins, augmenter la capacité de contexte ne résout pas les problèmes de filtrage de pertinence et de priorisation des preuves. Pour remédier à cela, nous présentons M-RAG, une nouvelle stratégie de récupération sans morceaux de texte. M-RAG utilise des méta-marqueurs de décomposition k-v structurés, intégrant une clé de récupération allégée alignée sur l'intention de l'utilisateur et une valeur d'information riche en contexte pour la génération. Cette méthode permet un appariement efficace de similarité clé-requête tout en conservant des capacités expressives. Les résultats expérimentaux des sous-tâches LongBench montrent que M-RAG surpasse les méthodes RAG basées sur des morceaux, en particulier dans des scénarios à faibles ressources. Une analyse plus approfondie révèle que M-RAG récupère des preuves plus pertinentes de manière efficace, confirmant les avantages de la séparation de la représentation de récupération et de la génération.