Microsoft Представляет Harrier-OSS-v1: Новая Семейство Мультиязычных Моделей Встраивания

Microsoft представила Harrier-OSS-v1, коллекцию из трех мультиязычных моделей встраивания текста, разработанных для предоставления высококачественных семантических представлений на нескольких языках. В этот выпуск входят модели различных масштабов: 270 миллионов параметров, 0,6 миллиарда параметров и 27 миллиардов параметров. Модели Harrier-OSS-v1 достигли передовых результатов на Multilingual MTEB (Massive Text Embedding Benchmark) v2, что стало значительным шагом вперед в технологии открытой разработки. В отличие от традиционных моделей двунаправленных кодеров, таких как BERT, Harrier-OSS-v1 использует архитектуры только декодеров, которые по-другому обрабатывают контекст. Каждый токен в этих моделях может ссылаться только на предыдущие токены, используя пуллинг последнего токена для создания единого векторного представления входных данных. Примечательной особенностью этих моделей является их способность обрабатывать длинные входные данные с контекстным окном в 32 768 токенов, что позволяет встраивать более крупные документы без потери семантической целостности. Кроме того, модели настроены на инструкции, требуя специфических задач для оптимальной производительности. Меньшие модели получают выгоду от дистилляции знаний, что улучшает их качество, несмотря на меньшее количество параметров. Семейство Harrier-OSS-v1 демонстрирует исключительные возможности в мультиязычных задачах, что делает его ценным инструментом для глобальных приложений.