Amélioration des recommandations génératives grâce à la tokenisation consciente de la topologie

Les systèmes de recommandations génératives ont transformé les recommandations séquentielles en un défi de génération autorégressive. Cependant, un défi majeur persiste : la distorsion de la topologie lors de la tokenisation des éléments. Ce problème survient lorsque l'adjacence naturelle des éléments dans un espace d'incorporation sémantique est perturbée par la quantification, entraînant une mauvaise compréhension de la similarité des éléments par le modèle. Cette désalignement peut freiner l'efficacité des recommandations génératives. Pour résoudre ce problème, nous introduisons la Tokenisation Consciente de la Topologie (TopoTok), un cadre conçu pour maintenir la structure relationnelle des éléments durant le processus de quantification. Contrairement aux méthodes de tokenisation traditionnelles qui s'appuient sur un niveau de supervision unique, TopoTok utilise une approche de distillation à plusieurs niveaux pour récupérer la topologie à différents niveaux de détail. Cela inclut : 1) la Distillation Inter-Groupe pour comprendre les relations de clusters plus larges ; 2) la Distillation Intra-Groupe pour affiner les structures locales au sein des clusters ; et 3) la Distillation Inter-Élément pour garantir un alignement précis au niveau des éléments. Des tests complets sur trois ensembles de données de référence montrent que TopoTok réduit considérablement la distorsion topologique et dépasse les méthodes de tokenisation existantes, réalisant des améliorations notables dans des métriques de performance telles que le Recall@5.