Matérialisation Tardive Innovante pour l'Amélioration de l'Entraînement de Séquences dans les Systèmes de Recommandation Évolutifs

Dans le domaine des systèmes de recommandation par apprentissage profond, la nécessité de traiter des historiques d'interaction utilisateur ultra-longs est en forte augmentation. Les méthodes traditionnelles, en particulier l'approche 'Fat Row', rencontrent d'importants défis en raison d'une redondance excessive des données. Cette redondance est encore plus prononcée dans les environnements multi-locataires où des modèles avec des exigences de longueur de séquence variées fonctionnent sur un ensemble de données partagé. Pour résoudre ces problèmes, nous introduisons une stratégie de matérialisation tardive versionnée. Cette méthode optimise le stockage en conservant les historiques d'interaction utilisateur dans un format unique, normalisé et immuable, permettant la reconstruction à la volée des séquences pendant l'entraînement via des pointeurs versionnés légers. Notre approche maintient la cohérence entre les données en ligne et hors ligne grâce à un système à double protocole, empêchant efficacement les fuites de données lors de l'entraînement en streaming et par lots. De plus, nous mettons en œuvre une couche de stockage optimisée pour la lecture qui améliore la récupération des données pour des exigences de modèles diverses. En employant un prétraitement des données désagrégé et en optimisant les opérations d'entrée/sortie, nous minimisons la latence associée à la reconstruction des séquences, garantissant que l'entraînement reste lié aux GPU. Ce système innovant réduit non seulement la consommation de ressources dans l'infrastructure de données d'entraînement, mais facilite également des améliorations significatives des performances des modèles, posant les bases d'architectures avancées telles que HSTU et ULTRA-HSTU.