Una startup afirma haber logrado un avance importante en modelos de lenguaje

Subquadratic, una startup de IA de Miami, ha salido recientemente de su modo sigiloso con afirmaciones audaces sobre haber superado un obstáculo matemático que ha frenado el avance de los modelos de lenguaje (LLMs) durante casi una década. Inicialmente recibidas con escepticismo debido a la falta de evidencia sustancial, las afirmaciones de la empresa han sido respaldadas por resultados de evaluaciones independientes. El nuevo modelo, denominado SubQ, supuestamente opera más rápido, a un costo más bajo y con un menor consumo de energía en comparación con los modelos existentes. Se dice que SubQ puede manejar hasta doce veces más texto simultáneamente, lo que lo hace adecuado para tareas de análisis de datos extensos. Además, supuestamente iguala el rendimiento de los modelos líderes de gigantes tecnológicos como Google DeepMind y OpenAI en áreas clave como la programación. A pesar de las dudas iniciales, las evaluaciones de terceros de Appen han validado muchas de las afirmaciones de Subquadratic, sugiriendo que el modelo podría revolucionar la eficiencia de los LLMs. La empresa busca redefinir cómo se construyen los LLMs, alejándose potencialmente de las arquitecturas basadas en transformadores en un futuro cercano. El enfoque innovador de Subquadratic implica el uso de mecanismos de atención dispersa, que minimizan las demandas computacionales al centrarse selectivamente en las relaciones de datos relevantes.