Estudio de Reproducibilidad de la Generación Aumentada por Recuperación Metacognitiva

Los recientes avances en Generación Aumentada por Recuperación (RAG) han enfatizado métodos de recuperación múltiple para abordar tareas complejas, especialmente la respuesta a preguntas de múltiples saltos. Sin embargo, estos sistemas a menudo enfrentan dificultades para determinar cuándo se ha recopilado suficiente información. Para abordar este problema, se ha propuesto el marco de Generación Aumentada por Recuperación Metacognitiva (MetaRAG), que se basa en principios metacognitivos para mejorar las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLMs). En este estudio de reproducibilidad, buscamos replicar la configuración experimental original de MetaRAG mientras ampliamos nuestro análisis en dos áreas clave: primero, evaluamos el impacto de los rerankers PointWise y ListWise; segundo, comparamos con SIM-RAG, que utiliza un modelo crítico simplificado para gestionar el cese de la recuperación. Nuestros hallazgos indican que, aunque MetaRAG muestra mejoras notables sobre RAG tradicionales y referencias basadas en razonamiento, los puntajes de rendimiento absoluto son más bajos que los reportados previamente. Esta discrepancia puede atribuirse a desafíos relacionados con actualizaciones de LLM de código cerrado, detalles de implementación incompletos y prompts no disponibles. En última instancia, nuestra investigación muestra que MetaRAG puede ser parcialmente reproducido, se beneficia significativamente de las estrategias de reranking y resulta más robusto que SIM-RAG cuando se incorporan características adicionales de recuperación.