Meta AI Lanza NeuralBench: Un Marco de Benchmarking Open-Source para Modelos NeuroAI

La evaluación de modelos de IA entrenados con señales cerebrales ha sido históricamente inconsistente, con diferentes grupos de investigación utilizando diversos métodos de preprocesamiento y conjuntos de datos. Para abordar este problema, Meta AI ha presentado NeuralBench, un marco open-source diseñado para evaluar modelos NeuroAI. La primera versión, NeuralBench-EEG v1.0, es el benchmark abierto más extenso de su tipo, abarcando 36 tareas, 94 conjuntos de datos y casi 9,500 sujetos, junto con más de 13,600 horas de datos EEG. NeuralBench se basa en tres paquetes principales de Python: NeuralFetch para la adquisición de datos, NeuralSet para la preparación de datos y NeuralTrain para el entrenamiento de modelos. Este diseño modular permite a los usuarios ejecutar tareas fácilmente a través de una interfaz de línea de comandos. La primera versión se centra en EEG e incluye varias categorías de tareas como el decodificación cognitiva y aplicaciones clínicas. Los resultados indican que, aunque los modelos de fundación muestran promesas, los modelos específicos para tareas a menudo tienen un rendimiento comparable, destacando la necesidad de explorar más en áreas desafiantes como la decodificación cognitiva.