RankGraph-2: Единый подход к обучению графов для рекомендаций

Задача графовой выборки на уровне миллиардов узлов включает в себя решение трех взаимосвязанных проблем: построение графов, обучение представлениям и обслуживание в реальном времени. Традиционные методы часто рассматривают эти аспекты отдельно, что приводит к неэффективности. RankGraph-2, разработанный компанией Meta, представляет собой интегрированную структуру, которая одновременно решает эти компоненты жизненного цикла для выборки на основе сходства, включая взаимодействия пользователь-пользователь и пользователь-товар. Дизайн структуры гарантирует, что потребности одной стадии влияют на другие. Например, этап обслуживания использует совместно обученный кластерный индекс для снижения высоких затрат, связанных с онлайн-соседями, интегрируя это в процесс обучения. Кроме того, этап обучения использует тот факт, что выборка на основе сходства может эффективно работать с предвычисленными соседями, минимизируя необходимость в обширной онлайн-инфраструктуре графов. Этап построения предназначен для обновления покрытия товаров на почасовой основе. Реализуя методы подсэмплирования с коррекцией популярности, RankGraph-2 сокращает количество рёбер с сотен триллионов до сотен миллиардов. Он также предвычисляет многослойные соседи с помощью персонализированного PageRank и совместно обучает кластерный индекс остаточной квантизации, что приводит к снижению затрат на обслуживание на 83%. Этот инновационный совместный дизайн жизненного цикла достигает уровня возврата, в 3,8 раза превышающего таковой у модели GAT + Deep Graph Infomax и в 2,1 раза превышающего PyTorch-BigGraph, способствуя значительному увеличению коэффициентов кликов и конверсий на различных платформах.