Comprendiendo la Memorización de LLM en Recomendaciones Generativas: Perspectivas y Estrategias de Entrenamiento

La recomendación generativa (GR) ha emergido como un enfoque prometedor en el ámbito de los sistemas de recomendación. Los grandes modelos de lenguaje (LLM) se han adoptado cada vez más para la GR, ya que su amplio conocimiento preentrenado se espera que mejore su capacidad para generalizar más allá de los patrones de comportamiento del usuario que los modelos tradicionales de memorización pueden capturar. Sin embargo, un aspecto que se ha pasado por alto en la investigación actual sobre GR basada en LLM es la tendencia de estos modelos a memorizar, lo que puede restringir su uso efectivo del conocimiento preentrenado. Este estudio examina la memorización de un salto, donde un modelo recomienda artículos que son sucesores directos de los artículos en los datos de entrenamiento. Nuestros hallazgos indican que los LLM hacen esto más que los modelos de GR no basados en LLM, y que la mayoría de sus mejoras de rendimiento provienen de usuarios cuyos artículos objetivo pueden preverse mediante memorización de un salto. Para abordar esta limitación, proponemos IIRG, una estrategia de entrenamiento innovadora que enseña a los LLM a captar relaciones más ricas entre artículos. IIRG se centra en relaciones colaborativas derivadas de co-ocurrencias de artículos y relaciones semánticas entre artículos con temas similares. Nuestros resultados demuestran que IIRG mejora significativamente el rendimiento de los LLM, especialmente para usuarios cuyos artículos de prueba no están cubiertos por transiciones de un salto durante el entrenamiento.