Entrenamiento Innovador de Doble Vista para Sistemas de Recuperación que Siguen Instrucciones

El campo de la recuperación de información que sigue instrucciones (IF-IR) se centra en sistemas que no solo recuperan documentos relevantes para una consulta, sino que también cumplen con instrucciones explícitas del usuario, como atributos requeridos y exclusiones. Sin embargo, muchos modelos de recuperación se entrenan principalmente para la relevancia semántica, lo que puede llevar a pasar por alto documentos que cumplen con las instrucciones. Para abordar este desafío, proponemos una estrategia de síntesis de datos de doble vista basada en la inversión de polaridad. Esta técnica implica presentar una consulta junto con un documento relevante y un negativo difícil que coincide con la consulta pero no cumple con la instrucción. Al utilizar un modelo de lenguaje grande (LLM) para generar una instrucción complementaria que invierte la relevancia de estos documentos, creamos un escenario de entrenamiento donde el mismo par de documentos se evalúa bajo instrucciones contrastantes. Nuestros hallazgos muestran una mejora del 45% en el rendimiento en el benchmark FollowIR utilizando un codificador de 305 millones de parámetros, superando a otros modelos de propósito general. Además, revelamos que la diversidad de datos y la supervisión basada en instrucciones son fundamentales para mejorar la calidad de recuperación y la sensibilidad a las instrucciones del usuario.