В рамках задачи 1 FinMMEval 2026 команда DS@GT представила новаторский подход к многоязычным финансовым вопросам и ответам, сталкиваясь с сложностями экзаменов на финансовую сертификацию, таких как CFA и CPA, на нескольких языках, включая английский, испанский, греческий, китайский и хинди. Традиционные бенчмарки NLP часто не способны уловить структурированное мышление, необходимое в этих областях, особенно в языках с менее развитыми системами поиска. DS@GT разработала увеличенный процесс поиска с использованием LangGraph, который определяет язык запроса и извлекает соответствующие примеры из многоязычной базы знаний, содержащей более 30 000 записей. Это достигается с помощью эмбеддингов BGE-M3 и индексирования FAISS. Оценка ответов осуществляется с помощью Прямого Оценивания, Увеличенного Поиском (RADS), сосредоточенного на вероятностях следующего токена для кандидатных вариантов, а не на генерации свободных ответов. Для языков с ограниченными ресурсами используется комбинация языковых и кросс-языковых индексов поиска. Результаты показывают, что успешное многоязычное финансовое мышление требует учета языка в поиске, выбора моделей и стратегий оценки.
Многоязычные Финансовые Вопросы и Ответы: Инновации от DS@GT на FinMMEval
Статья рассматривает подход DS@GT к многоязычным финансовым вопросам и ответам, подчеркивая проблемы и решения в FinMMEval 2026.
5 min readТехнологии