Модель Языка Мухи Интегрирует Полный Коннектом Мухи-Фрукта в LLM на 1,2B

Модель Языка Мухи (FLM) сочетает полный коннектом мужской мухи-фрукта с замороженной основой LFM2.5-1.2B, но ее контролы показывают, что проводка не улучшает производительность.

3 min readТехнологии

Модель Языка Мухи (FLM) представляет собой значительный шаг вперед в области искусственного интеллекта, интегрируя полный коннектом мужской мухи-фрукта MaleCNS v1.0 с замороженной архитектурой LFM2.5-1.2B. Разработанная как публичный чат-бот, FLM утверждает, что является первой в своем роде, хотя и не обозначает себя официально как таковую. Интересно, что тесты показывают, что контрольная модель, не имеющая коннектома мухи, демонстрирует немного лучшие результаты, чем FLM. Система работает как резервуарный компьютер, подключенный к языковой модели, используя все 166 700 узлов и 25 582 938 направленных ребер графа MaleCNS. Только небольшая часть параметров обучается, оставляя большинство фиксированными. Результаты экспериментов показывают, что, хотя вывод мухи улучшает производительность незначительно, контроль прямого ввода последовательно превосходит его. Дальнейший анализ показывает, что коннектом не способствует удержанию долгосрочной памяти, так как различия в состоянии быстро уменьшаются. Эти выводы ставят под сомнение предположение о том, что сложная биологическая проводка улучшает способности обработки языка в ИИ.

Технологии