Интеграция текстовой графовой генерации с дополненной выборкой (GraphRAG) зарекомендовала себя как эффективная стратегия для улучшения больших языковых моделей (LLMs) в специализированных задачах ответов на вопросы. Существующие методы в основном сосредоточены на нулевом GraphRAG, однако выбор качественных демонстраций имеет решающее значение для повышения способности к рассуждению и точности ответов. Недавние исследования показывают, что извлеченные подграфы часто содержат нерелевантную информацию, что может негативно сказаться на эффективности рассуждений. В ответ на эти вызовы мы представляем MixDemo, инновационную структуру GraphRAG, использующую механизм Mixture-of-Experts (MoE) для выбора наиболее актуальных демонстраций в различных контекстах вопросов. Чтобы уменьшить шум в извлеченных подграфах, мы также вводим графовый кодировщик, специфичный для запроса, который сосредотачивается на наиболее релевантной информации для каждого запроса. Обширные эксперименты на различных текстовых графовых тестах показывают, что MixDemo значительно превосходит существующие методы.
Инновационная структура для улучшения понимания текстовых графов
MixDemo предлагает новый подход к улучшению ответов на вопросы в текстовых графах с использованием механизма Mixture-of-Experts.
3 min readИсследования