ResRank : Une approche unifiée pour la récupération et le reranking listwise

Les avancées récentes dans les modèles de langage de grande taille (LLM) ont fait du reranking listwise une méthode de premier plan pour améliorer la performance du classement dans les systèmes de récupération d'informations. Cependant, les approches traditionnelles rencontrent des obstacles importants, notamment le problème de la 'perte au milieu', qui diminue la précision du classement à mesure que la taille des entrées augmente, et la latence excessive associée aux séquences plus longues, compliquant les applications réelles. ResRank propose une solution en intégrant la récupération et le reranking dans un cadre cohérent. S'inspirant des LLM multimodaux, ResRank compresse les passages candidats en embeddings compacts à l'aide d'un Encoder-LLM. Ces embeddings sont ensuite traités avec la requête par un Reranker-LLM pour un classement listwise efficace. Pour combler le fossé entre les représentations compressées et le processus de classement, une connexion résiduelle est mise en œuvre, fusionnant les sorties de l'encodeur avec les états contextuels du reranker. De plus, le cadre remplace le décodage autoregressif traditionnel par une méthode de scoring par similarité cosinus simplifiée, éliminant ainsi les retards de génération. ResRank utilise une approche d'entraînement conjoint en deux étapes et multitâche, alignant les objectifs d'apprentissage de la récupération et du reranking tout en simplifiant le processus d'entraînement. Des évaluations complètes sur TREC Deep Learning et divers ensembles de données BEIR indiquent que ResRank non seulement égalise mais dépasse souvent les méthodes existantes, atteignant un équilibre supérieur entre l'efficacité du classement et l'efficacité opérationnelle.