Materialización Tardía Innovadora para el Entrenamiento de Secuencias en Sistemas de Recomendación Escalables

En el ámbito de los sistemas de recomendación de aprendizaje profundo, la necesidad de procesar historiales de interacción de usuarios ultra-largos está en aumento. Los métodos tradicionales, especialmente el enfoque 'Fat Row', enfrentan desafíos significativos debido a la redundancia excesiva de datos. Esta redundancia se vuelve aún más pronunciada en entornos multi-inquilinos donde modelos con diferentes requisitos de longitud de secuencia operan sobre un conjunto de datos compartido. Para abordar estos problemas, presentamos una estrategia de materialización tardía versionada. Este método optimiza el almacenamiento al mantener los historiales de interacción de usuarios en un formato único, normalizado e inmutable, permitiendo la reconstrucción sobre la marcha de secuencias durante el entrenamiento a través de punteros versionados ligeros. Nuestro enfoque mantiene la consistencia entre los datos en línea y fuera de línea mediante un sistema de doble protocolo, evitando efectivamente la fuga de datos durante el entrenamiento en streaming y por lotes. Además, implementamos una capa de almacenamiento optimizada para lectura que mejora la recuperación de datos para diversos requisitos de modelos. Al emplear un preprocesamiento de datos desagregado y optimizar las operaciones de entrada/salida, minimizamos la latencia asociada a la reconstrucción de secuencias, asegurando que el entrenamiento permanezca limitado por los GPU. Este sistema innovador no solo reduce el consumo de recursos en la infraestructura de datos de entrenamiento, sino que también facilita mejoras significativas en el rendimiento de los modelos, sentando las bases para arquitecturas avanzadas como HSTU y ULTRA-HSTU.