Présentation de PulseBench-Tab : Un Benchmark Multilingue Complet pour l'Extraction de Tableaux

PulseBench-Tab est un nouveau benchmark conçu pour évaluer l'extraction de tableaux à partir d'images de documents dans diverses langues. Cette ressource comprend 1 820 tableaux soigneusement annotés par des humains, couvrant 9 langues différentes et 4 systèmes d'écriture, dont le latin, CJK, l'arabe et le cyrillique. Les tableaux proviennent de 380 documents authentiques, tels que des états financiers, des rapports gouvernementaux et des dépôts réglementaires. Ils varient considérablement en taille, avec des comptes de cellules allant de 2 à 1 183, et près de la moitié d'entre eux (48,1 %) incluent des cellules fusionnées ou s'étendant. Pour faciliter l'évaluation, nous introduisons T-LAG (Table Logical Adjacency Graph), une métrique innovante qui représente les tableaux comme des graphes dirigés basés sur les adjacences des cellules. Cette métrique permet d'évaluer à la fois l'intégrité structurelle et l'exactitude du contenu grâce à un appariement bipartite optimal, produisant un score d'évaluation complet. Nous avons testé 9 systèmes d'extraction de tableaux, à la fois commerciaux et open-source, en utilisant ce benchmark, et fourni des résultats détaillés pour chaque langue. L'ensemble complet des données, le code d'évaluation et les résultats de tous les systèmes testés sont accessibles au public.