Tilde Research ha presentado Aurora, un optimizador innovador para el entrenamiento de redes neuronales que resuelve eficazmente un defecto significativo en el optimizador Muon. Este defecto resulta en que un número considerable de neuronas en perceptrones multicapa (MLP) se vuelven inactivas durante el entrenamiento. Aurora ha sido validado a través de un experimento de preentrenamiento que involucra 1.1 mil millones de parámetros y ha logrado resultados de vanguardia en el benchmark modificado nanoGPT, con código abierto disponible.
Para entender la importancia de Aurora, es esencial primero comprender Muon, que ganó atención en la comunidad de aprendizaje automático por su rendimiento superior en comparación con AdamW en términos de velocidad de convergencia. Muon emplea un enfoque algorítmico único que calcula el factor polar de la matriz de gradiente, permitiendo actualizaciones de pesos eficientes. Sin embargo, se descubrió que Muon conduce involuntariamente a un fenómeno donde una porción sustancial de neuronas se vuelve inactiva, particularmente en matrices de peso altas.
Aurora corrige este problema mediante un nuevo marco matemático que asegura actualizaciones uniformes en todas las neuronas sin sacrificar los beneficios de la ortogonalización. El optimizador ha demostrado una eficiencia notable, logrando 100 veces la eficiencia de datos en conjuntos de datos de código abierto y superando modelos más grandes en diversas evaluaciones, todo mientras es un reemplazo casi directo para Muon con un overhead mínimo.