La tendance à la quantification dans les réseaux de neurones pourrait bientôt évoluer avec l'émergence de modèles utilisant la logique ternaire. Cet article examine divers formats d'entraînement, allant de FP32 à FP4, et évalue le potentiel de ces nouveaux modèles. Nous allons également créer une version du modèle Microsoft Bitnet 1.58 en utilisant C#, qui sera compacte, atteignant jusqu'à 17,1 Ko dans sa forme la plus extrême. Cette exploration vise à mettre en lumière les avantages et les défis de l'implémentation de la logique ternaire dans les réseaux de neurones, ouvrant la voie à des systèmes d'IA plus efficaces et puissants.
Réseaux de neurones ternaires en C#
Une exploration de l'avenir de la quantification avec des modèles logiques ternaires.
3 min readTechnologie