Изучение воспроизводимости метакогнитивной генерации с использованием дополненной выборки

Недавние достижения в области дополненной генерации с выборкой (RAG) акцентировали внимание на многоступенчатых методах выборки для решения сложных задач, особенно многошагового ответа на вопросы. Однако такие системы часто сталкиваются с трудностями в определении момента, когда достаточно информации собрано. Для решения этой проблемы был предложен фреймворк метакогнитивной дополненной генерации (MetaRAG), который основывается на метакогнитивных принципах для улучшения возможностей рассуждения больших языковых моделей (LLMs). В этом исследовании воспроизводимости мы стремимся воспроизвести оригинальную экспериментальную настройку MetaRAG, одновременно расширяя наш анализ в двух ключевых областях: во-первых, мы оцениваем влияние PointWise и ListWise ранжировщиков; во-вторых, мы проводим сравнение с SIM-RAG, который использует упрощенную модель критики для управления прекращением выборки. Наши результаты показывают, что, хотя MetaRAG демонстрирует заметные улучшения по сравнению с традиционными RAG и эталонами на основе рассуждений, абсолютные показатели производительности ниже ранее сообщенных. Это несоответствие можно объяснить проблемами, связанными с обновлениями LLM с закрытым исходным кодом, неполными деталями реализации и недоступными подсказками. В конечном итоге наше исследование показывает, что MetaRAG может быть частично воспроизведен, значительно выигрывает от стратегий ранжирования и оказывается более устойчивым, чем SIM-RAG, когда добавляются дополнительные функции выборки.