Comprendre la mémorisation des LLM dans les recommandations génératives : Perspectives et approches d'entraînement

La recommandation générative (GR) est devenue une approche prometteuse dans le domaine des systèmes de recommandation. Les grands modèles de langage (LLM) sont de plus en plus utilisés pour la GR, grâce à leur vaste connaissance pré-entraînée, qui devrait améliorer leur capacité à généraliser au-delà des modèles de mémorisation traditionnels. Cependant, une lacune importante dans la recherche actuelle sur la GR basée sur les LLM est la tendance des modèles à mémoriser, ce qui peut limiter leur utilisation efficace des connaissances pré-entraînées. Cette étude explore la mémorisation à un saut, où les modèles recommandent des articles qui sont des successeurs immédiats de ceux présents dans les données d'entraînement. Nos résultats montrent que les LLM présentent ce comportement plus fréquemment que leurs homologues non-LLM, avec une grande partie de leurs améliorations de performance provenant d'utilisateurs dont les articles cibles peuvent être prédits par mémorisation à un saut. Pour remédier à cette limitation, nous introduisons IIRG, un cadre d'entraînement novateur qui aide les LLM à apprendre des relations article-article plus profondes. IIRG se concentre sur les relations collaboratives issues des co-occurrences d'articles et des relations sémantiques entre des articles similaires. Nos résultats montrent qu'IIRG améliore considérablement la performance des LLM, en particulier pour les utilisateurs dont les articles de test ne sont pas représentés par des transitions à un saut pendant l'entraînement.