Investigación de sesgos en modelos de lenguaje grandes para la manipulación de búsqueda de IA

Los modelos de lenguaje grandes (LLM) se han vuelto fundamentales en diversas aplicaciones comerciales, especialmente en la mejora de las funcionalidades de búsqueda en la web. Estos modelos se utilizan en sistemas de resumen LLM, que analizan los resultados de búsqueda para identificar las fuentes más relevantes y formular respuestas a las consultas de los usuarios. La investigación indica que los LLM exhiben varios sesgos, que pueden influir tanto en la selección de fuentes como en la generación de respuestas en estos sistemas. Este artículo se centra principalmente en la fase de selección, explorando cómo se pueden explotar los sesgos para manipular los resultados en los sistemas de resumen LLM. Para investigar esto, desarrollamos un modelo de lenguaje compacto entrenado mediante aprendizaje por refuerzo para modificar fragmentos de búsqueda, aumentando así su atractivo para los resúmenes LLM. Nuestro diseño experimental restringe al modelo a operar únicamente en fragmentos y limita las tácticas de manipulación de recompensas, reflejando las limitaciones prácticas que se encuentran en los contextos de búsqueda en la web. Los hallazgos revelan que existen sesgos en los sistemas de resumen LLM y que el aprendizaje por refuerzo puede a menudo mejorar el contenido de los fragmentos para influir en los resultados. Además, descubrimos que las selecciones están más impulsadas por ventajas comparativas entre las fuentes que por méritos absolutos. También evaluamos las implicaciones de seguridad de la manipulación de resúmenes LLM, destacando que los ataques de envenenamiento de contexto pueden llevar a resultados engañosos o perjudiciales.