Область нейронаук традиционно сосредоточена на изоляции когнитивных функций в специфических областях мозга, что привело к фрагментированному пониманию того, как мозг обрабатывает многосенсорную информацию. Чтобы решить эту проблему, команда FAIR компании Meta разработала TRIBE v2, трёхмодальную модель, которая выравнивает представления ИИ с активностью человеческого мозга, позволяя делать высокоточные прогнозы ответов fMRI на различные стимулы.
TRIBE v2 использует сложную архитектуру, которая включает три замороженных модели для извлечения признаков: LLaMA 3.2 для текста, V-JEPA2 для видео и Wav2Vec-BERT 2.0 для аудио. Эти модели обрабатывают входные данные для создания многомодальной временной серии, которая анализируется с помощью кодировщика Transformer. Этот инновационный подход позволяет делать специфические для субъекта прогнозы активности мозга, проецируя выходные данные на корковые и подкорковые структуры.
Модель была обучена на обширных наборах данных fMRI, демонстрируя значительное увеличение точности прогнозов по мере роста объёма данных. Примечательно, что TRIBE v2 превосходит в нулевой генерализации, точно предсказывая ответы для новых субъектов без дополнительного обучения. Она также облегчает ин-силико эксперименты, воспроизводя ключевые функциональные области мозга через виртуальные симуляции, тем самым продвигая наше понимание нейронных сетей.