Tilde Research представила Aurora, современный оптимизатор для обучения нейронных сетей, который эффективно решает значительный недостаток популярного оптимизатора Muon. Этот недостаток приводит к тому, что значительное количество нейронов в многослойных перцептронах (MLP) становится неактивным во время обучения. Aurora была проверена в ходе эксперимента по предварительному обучению с 1,1 миллиарда параметров и достигла лучших результатов на модифицированном бенчмарке nanoGPT, с открытым исходным кодом.
Чтобы понять важность Aurora, сначала необходимо разобраться в Muon, который привлек внимание сообщества машинного обучения благодаря своей высокой производительности по сравнению с AdamW с точки зрения скорости сходимости. Muon использует уникальный алгоритмический подход, который вычисляет полярный фактор матрицы градиента, что позволяет эффективно обновлять веса. Однако было обнаружено, что Muon непреднамеренно приводит к явлению, при котором значительная часть нейронов становится неактивной, особенно в высоких матрицах весов.
Aurora исправляет эту проблему, используя новую математическую структуру, которая обеспечивает равномерные обновления для всех нейронов, не жертвуя преимуществами ортогонализации. Оптимизатор продемонстрировал замечательную эффективность, достигая 100-кратной эффективности данных на открытых наборах данных и превосходя более крупные модели в различных оценках, оставаясь при этом почти прямым заменителем Muon с минимальными накладными расходами.