Datalab Запускает lift: Модель Визуализации на 9 миллиардов Параметров для Извлечения JSON из PDF

Datalab представил lift, модель визуализации с 9 миллиардами параметров, сосредоточенную на извлечении структурированных данных. Используя JSON-схему в качестве входных данных, lift обрабатывает PDF и изображения, чтобы сгенерировать соответствующий объект JSON. Эта модель является первой попыткой Datalab в технологии извлечения, опираясь на существующие инструменты OCR с открытым исходным кодом, такие как chandra, marker и surya. С точностью поля 90,2% на наборе из 225 документов, lift считается самой эффективной моделью для самостоятельного размещения, обрабатывающей каждый документ в среднем за 9,5 секунд. Модель поддерживает многопользовательские документы в одной операции, позволяя ей без труда считывать значения на нескольких страницах. Она предлагает два режима вывода: локальный вывод через HuggingFace и удаленный вывод через сервер vLLM, последний из которых рекомендуется для производственных сред. Архитектура модели включает декодирование с ограничениями схемы, что гарантирует, что выходные данные соответствуют заданной структуре JSON. Тем не менее, пользователи должны быть осторожны с определенными конструкциями схемы, которые могут не компилироваться должным образом, так как это может привести к неструктурированному выводу. В целом, lift позиционируется как ценное средство для извлечения структурированных данных, минимизируя риск генерации ошибочных полей.