Понимание поведения запоминания LLM в генеративных рекомендациях: наблюдения и стратегии обучения

Генеративные рекомендации (GR) становятся перспективным направлением в области систем рекомендаций. Большие языковые модели (LLM) все чаще используются для GR благодаря своему обширному предобученному знанию, которое, как ожидается, поможет им обобщать за пределами привычных паттернов поведения пользователей, которые могут захватывать традиционные модели, ориентированные на запоминание. Однако существующие работы по GR на основе LLM в значительной степени игнорируют известную тенденцию LLM к запоминанию, что может ограничить их использование предобученных знаний. В данной работе мы исследуем эту проблему, рассматривая однопрыжковое запоминание, при котором модель рекомендует предметы, которые являются прямыми преемниками предметов из обучающих данных. Мы показываем, что LLM делают это чаще, чем модели GR, не основанные на LLM, и что большая часть их прироста производительности на самом деле происходит от пользователей, чьи целевые предметы можно предсказать с помощью однопрыжкового запоминания. Мы предполагаем, что для улучшения производительности на оставшихся пользователях LLM необходимо изучить более сложные взаимосвязи между предметами, выходящие за рамки однопрыжковых переходов. Для достижения этой цели мы предлагаем IIRG, новую стратегию обучения, которая учит LLM захватывать: (1) коллаборативные отношения, вытекающие из совместного появления предметов в последовательностях пользователей, и (2) семантические отношения между предметами с похожими темами, которые могут служить полезными сигналами для рекомендаций. Мы показываем, что IIRG значительно улучшает результаты LLM, обученных исключительно с использованием стандартного предсказания следующего предмета, особенно для пользователей, чьи тестовые предметы не охвачены однопрыжковыми переходами во время обучения.