OpenSanctions Pairs: Прогресс в Сопоставлении Сущностей с LLM

Набор данных OpenSanctions Pairs представляет собой значительный шаг вперед в сопоставлении сущностей, предоставляя комплексный бенчмарк, основанный на реальных данных о международных санкциях. Этот набор включает 755 540 пар с метками, собранных из 293 различных источников в 31 стране, с многоязычными и межскриптовыми именами, а также атрибутами, которые могут быть шумными или неполными. Исследование оценивает традиционную систему сопоставления на основе правил, в частности алгоритм nomenklatura RegressionV1, по сравнению с различными большими языковыми моделями (LLMs) в контекстах zero-shot и few-shot. Результаты показывают, что LLMs значительно превосходят подход на основе правил, достигая F1-оценок до 98,95% с GPT-4o и 98,23% с использованием открытой модели DeepSeek-R1-Distill-Qwen-14B. Хотя оптимизация подсказок DSPy MIPROv2 приводит к постоянным улучшениям, включение примеров в контексте не улучшает производительность и может даже ухудшить ее. Анализ ошибок показывает, что система на основе правил склонна к переопределению, что приводит к высокому количеству ложноположительных результатов, в то время как LLMs в основном испытывают трудности с межскриптовой транслитерацией и незначительными несоответствиями в идентификаторах и датах. Эти выводы предполагают, что область достигает потолка производительности в сопоставлении пар, подчеркивая необходимость сосредоточиться на других компонентах процесса сопоставления, таких как блокировка и кластеризация.