Meta AI Представляет NeuralBench: Унифицированный Open-Source Инструмент для Бенчмаркинга Моделей NeuroAI

Оценка моделей ИИ, обученных на сигналах мозга, долгое время была неупорядоченной, поскольку различные исследовательские группы применяли разные методы предварительной обработки и наборы данных. Чтобы решить эту проблему, Meta AI представила NeuralBench, open-source фреймворк для бенчмаркинга моделей NeuroAI. Первая версия, NeuralBench-EEG v1.0, является самым обширным открытым бенчмарком такого рода, охватывающим 36 задач, 94 набора данных и почти 9,500 субъектов, а также более 13,600 часов данных ЭЭГ. NeuralBench построен на трех основных пакетах Python: NeuralFetch для получения данных, NeuralSet для подготовки данных и NeuralTrain для обучения моделей. Эта модульная структура позволяет пользователям легко выполнять задачи через интерфейс командной строки. Первая версия сосредоточена на ЭЭГ и включает различные категории задач, такие как когнитивное декодирование и клинические приложения. Результаты показывают, что, хотя модели фундамента демонстрируют потенциал, модели, специфичные для задач, часто показывают сопоставимые результаты, подчеркивая необходимость дальнейшего изучения сложных областей, таких как когнитивное декодирование.