OpenSanctions Pairs: Avances en Coincidencia de Entidades con LLMs

El conjunto de datos OpenSanctions Pairs representa un avance significativo en la coincidencia de entidades al proporcionar un benchmark integral derivado de datos reales sobre sanciones internacionales. Este conjunto incluye 755,540 pares etiquetados de 293 fuentes diversas en 31 países, con nombres multilingües y de múltiples escrituras, así como atributos que pueden ser ruidosos o incompletos. El estudio evalúa un sistema de coincidencia basado en reglas, específicamente el algoritmo nomenklatura RegressionV1, en comparación con varios modelos de lenguaje (LLMs) en contextos de cero y pocos disparos. Los hallazgos muestran que los LLMs superan significativamente el enfoque basado en reglas, alcanzando puntajes F1 de hasta 98.95% con GPT-4o y 98.23% utilizando un modelo de código abierto, DeepSeek-R1-Distill-Qwen-14B. Aunque la optimización de prompts DSPy MIPROv2 conduce a mejoras consistentes, la inclusión de ejemplos en contexto no mejora el rendimiento y puede incluso perjudicarlo. Un análisis de errores indica que el sistema basado en reglas tiende a sobrecoincidir, resultando en un alto número de falsos positivos, mientras que los LLMs luchan principalmente con la transliteración entre escrituras y discrepancias menores en identificadores y fechas. Estos hallazgos sugieren que el campo está alcanzando un techo de rendimiento en coincidencia por pares, destacando la necesidad de centrarse en otros componentes del pipeline de coincidencia, como el bloqueo y el agrupamiento.