M-RAG: Mejorando la Generación Aumentada por Recuperación

La Generación Aumentada por Recuperación (RAG) se ha convertido en un enfoque popular para mejorar la fiabilidad de los grandes modelos de lenguaje (LLMs). Sin embargo, los sistemas RAG tradicionales enfrentan problemas debido a su dependencia de la segmentación de texto, lo que puede resultar en fragmentación de información y ruido en la recuperación. Estudios recientes sugieren que los LLMs de contexto largo podrían eliminar la necesidad de recuperación en múltiples etapas al procesar documentos completos. Sin embargo, aumentar la capacidad de contexto no aborda los problemas de filtrado de relevancia y priorización de evidencia. Para abordar estos desafíos, presentamos M-RAG, una nueva estrategia de recuperación que elimina la necesidad de fragmentos de texto. M-RAG utiliza meta-marcadores de descomposición k-v estructurados, incorporando una clave de recuperación ligera alineada con la intención del usuario y un valor de información rico en contexto para la generación. Este enfoque permite un emparejamiento eficiente de similitud clave-consulta sin sacrificar la capacidad expresiva. Los resultados experimentales en las subtareas de LongBench demuestran que M-RAG supera a los métodos RAG basados en fragmentos, especialmente en escenarios de bajos recursos. Un análisis adicional revela que M-RAG recupera evidencia más relevante de manera eficiente, validando los beneficios de desacoplar la representación de recuperación de la generación.