Meta AI Lance NeuralBench : Un Outil de Benchmarking Open-Source pour les Modèles NeuroAI

L'évaluation des modèles d'IA utilisant des signaux cérébraux a longtemps été marquée par l'incohérence, chaque équipe de recherche adoptant ses propres méthodes de prétraitement et ensembles de données. Pour remédier à cette situation, Meta AI a présenté NeuralBench, un cadre open-source destiné à évaluer les modèles NeuroAI. La première version, NeuralBench-EEG v1.0, est le plus grand benchmark ouvert de son genre, englobant 36 tâches, 94 ensembles de données et près de 9 500 sujets, avec plus de 13 600 heures de données EEG. NeuralBench repose sur trois principaux packages Python : NeuralFetch pour l'acquisition de données, NeuralSet pour la préparation des données et NeuralTrain pour l'entraînement des modèles. Cette conception modulaire permet aux utilisateurs d'exécuter facilement des tâches via une interface en ligne de commande. La première version se concentre sur l'EEG et comprend diverses catégories de tâches telles que le décodage cognitif et les applications cliniques. Les résultats montrent que bien que les modèles de fondation soient prometteurs, les modèles spécifiques à une tâche affichent souvent des performances comparables, soulignant la nécessité d'explorer davantage des domaines difficiles comme le décodage cognitif.