Hugging Face объявила о выпуске TRL (Transformer Reinforcement Learning) v1.0, значительной эволюции своей библиотеки, переходящей от исследовательского инструмента к надежной системе, готовой к производству. Эта версия вводит структурированный процесс пост-обучения, который объединяет Супервизируемое Тонкое Настройка (SFT), Моделирование Награды и Выравнивание в едином API, улучшая опыт разработчиков ИИ.
Исторически, этап пост-обучения рассматривался как экспериментальный процесс. TRL v1.0 стремится упростить это, предлагая последовательный опыт для разработчиков, основанный на трех основных компонентах: удобном интерфейсе командной строки (CLI), единой системе конфигурации и наборе алгоритмов выравнивания, включая DPO и GRPO.
CLI упрощает процесс обучения, позволяя инженерам запускать этапы обучения с помощью простых команд, значительно сокращая необходимость в обширном коде. Кроме того, TRL v1.0 сохраняет совместимость с основной библиотекой трансформеров, обеспечивая наличие соответствующего класса конфигурации для каждого метода обучения.
Эта версия также акцентирует внимание на эффективности, интегрируя технологии, такие как Эффективная Настройка Параметров (PEFT) и упаковка данных для оптимизации использования памяти и скорости обучения. Более того, введение пространства имен trl.experimental позволяет разрабатывать передовые функции, сохраняя при этом стабильность основной библиотеки. В целом, TRL v1.0 представляет собой значительный шаг вперед в упрощении процессов пост-обучения для инженерных команд.