NVIDIA a introduit Nemotron-Cascade 2, un modèle Mixture-of-Experts (MoE) de 30B avec 3B de paramètres actifs. Ce modèle est conçu pour maximiser la 'densité d'intelligence', offrant des capacités de raisonnement supérieures tout en utilisant moins de paramètres que les modèles de pointe. Il est à noter que Nemotron-Cascade 2 est le deuxième modèle de langage à poids ouvert à obtenir des résultats de niveau médaille d'or dans des compétitions prestigieuses telles que l'Olympiade Internationale de Mathématiques 2025.
Le modèle excelle dans des domaines spécifiques, notamment le raisonnement mathématique et la programmation, surpassant des concurrents comme Qwen3.5-35B-A3B. En raisonnement mathématique, il a atteint des scores de 92,4 et 94,6 sur des tests clés, devançant ses rivaux. Ses performances en programmation se distinguent également, menant des benchmarks comme LiveCodeBench.
L'architecture du modèle intègre des techniques avancées telles que l'apprentissage par renforcement en cascade, améliorant son efficacité d'entraînement. Avec deux modes opérationnels, il peut s'engager dans un raisonnement approfondi ou fournir des réponses rapides, le rendant polyvalent pour diverses tâches. Dans l'ensemble, Nemotron-Cascade 2 démontre qu'un raisonnement de haut niveau peut être atteint à une échelle réduite grâce à des stratégies d'apprentissage ciblées.