Cadre Innovant pour l'Amélioration de la Compréhension des Graphes Textuels

MixDemo propose une nouvelle approche pour améliorer le questionnement dans les graphes textuels grâce à un mécanisme de Mixture-of-Experts.

3 min readRecherche

L'intégration de la génération augmentée par récupération basée sur des graphes textuels (GraphRAG) s'est révélée être une stratégie efficace pour affiner les modèles de langage de grande taille (LLMs) dans des tâches de questionnement spécialisées. Les méthodes traditionnelles se sont principalement concentrées sur le GraphRAG à zéro coup, mais la sélection de démonstrations de haute qualité est essentielle pour améliorer les capacités de raisonnement et la précision des réponses. Des études récentes montrent que les sous-graphes récupérés peuvent souvent contenir des informations superflues, nuisant à l'efficacité du raisonnement. En réponse à ces défis, nous présentons MixDemo, un cadre GraphRAG innovant qui utilise un système de Mixture-of-Experts (MoE) pour identifier les démonstrations les plus pertinentes adaptées à divers contextes de questions. Pour minimiser les données non pertinentes dans les sous-graphes récupérés, nous introduisons également un encodeur de graphes spécifique à la requête conçu pour se concentrer sur les informations les plus pertinentes pour chaque requête. Des tests complets sur divers benchmarks de graphes textuels montrent que MixDemo surpasse de manière significative les méthodologies actuelles.

Recherche