Представляем PulseBench-Tab: Всеобъемлющий Многоязычный Бенчмарк для Извлечения Таблиц

PulseBench-Tab - это новый бенчмарк, разработанный для оценки извлечения таблиц из изображений документов на различных языках. Этот ресурс включает 1 820 таблиц, тщательно аннотированных людьми, охватывающих 9 различных языков и 4 системы письма, включая латиницу, CJK, арабский и кириллицу. Таблицы взяты из 380 подлинных документов, таких как финансовые отчеты, государственные отчеты и регуляторные раскрытия. Они значительно различаются по размеру, с количеством ячеек от 2 до 1 183, и почти половина из них (48,1%) включает объединенные или охватывающие ячейки. Для упрощения оценки мы представляем T-LAG (Table Logical Adjacency Graph), инновационную метрику, которая представляет таблицы как ориентированные графы на основе смежностей ячеек. Эта метрика позволяет оценивать как структурную целостность, так и точность содержания с помощью оптимального двудольного соответствия, что дает комплексный оценочный балл. Мы протестировали 9 различных систем извлечения таблиц, как коммерческих, так и с открытым исходным кодом, с использованием этого бенчмарка и предоставили подробные результаты для каждого языка. Полный набор данных, код оценки и результаты всех протестированных систем доступны для общественности.