Une startup revendique une avancée majeure pour les modèles de langage

Subquadratic, une startup d'IA de Miami, a récemment fait surface avec des affirmations audacieuses sur la résolution d'un obstacle mathématique majeur qui a freiné l'avancement des modèles de langage (LLMs) pendant près de dix ans. Initialement accueillies avec scepticisme en raison d'un manque de preuves substantielles, les affirmations de l'entreprise ont été renforcées par des résultats d'évaluations indépendantes. Le nouveau modèle, appelé SubQ, fonctionnerait plus rapidement, à moindre coût et avec une consommation d'énergie réduite par rapport aux modèles existants. SubQ serait capable de traiter jusqu'à douze fois plus de texte simultanément, ce qui le rend adapté aux tâches d'analyse de données étendues. De plus, il prétend égaler les performances des modèles de pointe de géants technologiques comme Google DeepMind et OpenAI dans des domaines clés tels que la programmation. Malgré les doutes initiaux, les évaluations tierces d'Appen ont validé de nombreuses affirmations de Subquadratic, suggérant que le modèle pourrait révolutionner l'efficacité des LLMs. L'entreprise vise à redéfinir la construction des LLMs, s'éloignant potentiellement des architectures basées sur des transformateurs dans un avenir proche. L'approche innovante de Subquadratic consiste à utiliser des mécanismes d'attention sparse, qui minimisent les exigences computationnelles en se concentrant sélectivement sur les relations de données pertinentes.