Mejorando las Recomendaciones Generativas con Tokenización Consciente de la Topología

Los sistemas de recomendación generativa han reformulado las recomendaciones secuenciales como un desafío de generación autorregresiva. Sin embargo, persiste un desafío significativo: la distorsión de la topología durante la tokenización de elementos. Este problema surge cuando las relaciones de adyacencia naturales de los elementos en un espacio de incrustación semántica se ven alteradas por la cuantización, lo que lleva a una comprensión errónea de la similitud de los elementos por parte del modelo. Este desajuste puede obstaculizar la efectividad de las recomendaciones generativas. Para abordar este problema, presentamos la Tokenización Consciente de la Topología (TopoTok), un marco diseñado para mantener la estructura relacional de los elementos a lo largo del proceso de cuantización. A diferencia de los métodos de tokenización tradicionales que dependen de una supervisión monolítica, TopoTok emplea un enfoque de destilación multinivel para recuperar la topología en varios niveles de detalle. Esto incluye: 1) Destilación Inter-Grupal para capturar relaciones de clústeres globales; 2) Destilación Intra-Grupal para refinar estructuras locales dentro de los clústeres semánticos; y 3) Destilación Inter-Elemento para garantizar un alineamiento preciso a nivel de elemento. Las pruebas exhaustivas en tres conjuntos de datos de referencia demuestran que TopoTok reduce efectivamente la distorsión topológica y supera de manera consistente a los tokenizadores de última generación, logrando mejoras significativas en métricas de rendimiento como Recall@5.