Étude de Reproductibilité sur la Génération Augmentée par Récupération Métacognitive

Les avancées récentes en Génération Augmentée par Récupération (RAG) ont mis l'accent sur des méthodes de multi-récupération pour traiter des tâches complexes, notamment le questionnement multi-saut. Cependant, ces systèmes rencontrent souvent des difficultés pour déterminer quand suffisamment d'informations ont été collectées. Pour résoudre ce problème, les chercheurs ont proposé le cadre de la Génération Augmentée par Récupération Métacognitive (MetaRAG), qui s'inspire des principes métacognitifs pour améliorer les capacités de raisonnement des Modèles de Langage de Grande Taille (LLMs). Dans cette étude de reproductibilité, nous visons à reproduire la configuration expérimentale originale de MetaRAG tout en élargissant notre analyse dans deux domaines clés : d'abord, nous évaluons l'impact des rerankers PointWise et ListWise ; ensuite, nous comparons avec SIM-RAG, qui utilise un modèle critique simplifié pour gérer l'arrêt de la récupération. Nos résultats indiquent que, bien que MetaRAG montre des améliorations notables par rapport aux RAG traditionnels et aux références basées sur le raisonnement, les scores de performance absolus sont inférieurs à ceux rapportés précédemment. Cette disparité peut être attribuée à des défis liés aux mises à jour de LLM en source fermée, aux détails d'implémentation incomplets et aux invites indisponibles. En fin de compte, notre recherche montre que MetaRAG peut être partiellement reproduit, bénéficie considérablement des stratégies de reranking et s'avère plus résistant que SIM-RAG lorsqu'on intègre des fonctionnalités de récupération supplémentaires.