ResRank: Унифицированный подход к извлечению и листовому ранжированию

Недавние достижения в области больших языковых моделей (LLM) сделали листовое ранжирование ведущим методом для повышения качества ранжирования в системах извлечения информации. Однако традиционные подходы сталкиваются с серьезными трудностями, особенно с проблемой 'потери в середине', которая снижает точность ранжирования по мере увеличения размера входных данных, и с чрезмерной задержкой, связанной с более длинными последовательностями, что усложняет реальные приложения. ResRank предлагает решение, интегрируя извлечение и ранжирование в единую структуру. Опираясь на мультимодальные LLM, ResRank сжимает кандидаты отрывки в компактные встраивания с помощью Encoder-LLM. Эти встраивания затем обрабатываются вместе с запросом Reranker-LLM для эффективного листового ранжирования. Чтобы устранить разрыв между сжатыми представлениями и процессом ранжирования, реализуется остаточная связь, объединяющая выходы кодировщика с контекстуальными состояниями ранжировщика. Кроме того, структура заменяет традиционное авторегрессионное декодирование на упрощенный метод оценки на основе косинусного сходства, полностью устраняя задержки генерации. ResRank использует подход совместного обучения в двух этапах и многозадачности, выравнивая цели обучения извлечения и ранжирования, одновременно упрощая процесс обучения. Обширные оценки на TREC Deep Learning и различных наборах данных BEIR показывают, что ResRank не только соответствует, но и часто превосходит существующие методы, достигая лучшего баланса между эффективностью ранжирования и операционной эффективностью.