TokenMinds : Amélioration de la Représentation des Utilisateurs dans les Systèmes de Recommandation

Dans le domaine des systèmes de recommandation industriels, la modélisation des utilisateurs repose souvent sur des embeddings denses, limités par leurs dimensions fixes. Une nouvelle méthode émerge, utilisant des modèles de langage de grande taille (LLMs) pour créer des tokens d'utilisateurs basés sur du texte. Bien que cette approche capture des relations thématiques, elle peine à ancrer ces représentations à des attributs d'articles spécifiques. D'autre part, la tokenisation par ID sémantique (SID) a montré son efficacité pour améliorer les recommandations génératives, mais son application aux représentations des utilisateurs reste limitée. TokenMinds vise à combler cette lacune en élargissant le cadre PLUM à la modélisation des utilisateurs, générant à la fois des tokens d'utilisateurs basés sur SID et des embeddings denses via une architecture encodeur-décodeur dérivée de LLMs pré-entraînés. Ce mécanisme à double sortie permet d'obtenir des représentations utilisateurs riches sémantiquement tout en garantissant la compatibilité avec les modèles existants. De plus, le vocabulaire SID partagé facilite la modélisation inter-scénarios, fusionnant efficacement les comportements vidéo longs et courts en un système unifié, réduisant ainsi les coûts de formation et d'exploitation. Des tests approfondis et des applications réelles sur diverses plateformes YouTube démontrent l'efficacité de TokenMinds, confirmant les avantages complémentaires des tokens d'utilisateurs basés sur SID et des embeddings denses dans des systèmes de classement à grande échelle.