El entrenamiento de modelos avanzados de IA presenta desafíos significativos de coordinación, especialmente a medida que aumenta la escala de los modelos. El entrenamiento distribuido tradicional depende de la comunicación sincronizada entre numerosos chips, lo que puede causar retrasos si alguno de ellos presenta problemas. Decoupled DiLoCo (Distributed Low-Communication) de Google DeepMind propone una solución innovadora al crear 'islas' de computación asíncronas e isoladas de fallas, permitiendo un entrenamiento más resiliente a través de múltiples centros de datos.
Esta arquitectura aborda las limitaciones del entrenamiento Data-Parallel estándar, que requiere que todos los dispositivos esperen al más lento durante las actualizaciones de gradientes. Al permitir que las unidades de aprendizaje operen semi-independientemente y realicen pasos de gradiente locales antes de compartir actualizaciones, Decoupled DiLoCo reduce significativamente la banda ancha inter-centros de datos requerida de 198 Gbps a solo 0.84 Gbps.
Además, el sistema demuestra una impresionante tolerancia a fallas a través de la ingeniería de caos, manteniendo un rendimiento útil del 88% incluso bajo altas tasas de fallas, en comparación con solo el 27% para los métodos tradicionales. El marco fue probado con éxito al entrenar un modelo de 12 mil millones de parámetros en cuatro regiones de EE. UU., logrando velocidades más de 20 veces más rápidas que los métodos convencionales. Además, admite hardware heterogéneo, lo que permite el uso de diferentes generaciones de chips dentro de un mismo entrenamiento, extendiendo así la vida útil de la tecnología más antigua.