M-RAG: Улучшение генерации с поддержкой извлечения

Генерация с поддержкой извлечения (RAG) стала популярной стратегией для повышения надежности больших языковых моделей (LLMs). Тем не менее, традиционные системы RAG сталкиваются с проблемами из-за своей зависимости от разбиения текста, что может привести к фрагментации информации и увеличению шума при извлечении. Недавние исследования предполагают, что LLMs с длинным контекстом могут устранить необходимость в многоступенчатом извлечении, обрабатывая целые документы. Однако простое увеличение емкости контекста не решает проблемы фильтрации релевантности и приоритизации доказательств. Чтобы решить эти задачи, мы представляем M-RAG, новую стратегию извлечения, которая исключает необходимость в текстовых фрагментах. M-RAG использует структурированные мета-маркеры разложения k-v, включая легкий ключ извлечения, согласованный с намерением пользователя, и богатую контекстом информацию для генерации. Этот подход обеспечивает эффективное сопоставление схожести ключ-запрос, не жертвуя выразительными возможностями. Экспериментальные результаты по подзадачам LongBench показывают, что M-RAG превосходит традиционные методы RAG на основе фрагментов, особенно в условиях ограниченных ресурсов. Дополнительный анализ показывает, что M-RAG эффективно извлекает более релевантные доказательства, подтверждая преимущества разделения представления извлечения и генерации.