Стартап утверждает, что достиг значительного прорыва в области больших языковых моделей

Стартап Subquadratic из Майами недавно вышел из режима скрытности с смелыми заявлениями о том, что преодолел значительное математическое препятствие, сдерживающее развитие больших языковых моделей (LLMs) на протяжении почти десяти лет. Изначально его заявления встретили скептицизм из-за недостатка убедительных доказательств, однако компания опубликовала результаты независимых оценок, которые подтверждают ее утверждения. Новый модель, названная SubQ, якобы работает быстрее, дешевле и с меньшим потреблением энергии по сравнению с существующими моделями. SubQ, как утверждается, может обрабатывать до двенадцати раз больше текста одновременно, что делает ее подходящей для обширного анализа данных. Более того, она якобы соответствует производительности ведущих моделей от таких гигантов, как Google DeepMind и OpenAI в ключевых областях, таких как программирование. Несмотря на первоначальные сомнения, сторонние оценки от Appen подтвердили многие утверждения Subquadratic, что указывает на то, что модель может революционизировать эффективность LLMs. Компания стремится переопределить, как строятся LLMs, потенциально отказываясь от традиционных архитектур на основе трансформеров в ближайшем будущем. Инновационный подход Subquadratic включает использование механизмов разреженной внимания, которые минимизируют вычислительные затраты, сосредотачиваясь на релевантных взаимосвязях данных.