La perception des modèles de langage de grande taille (LLMs) comme des 'boîtes noires' est courante ; les utilisateurs saisissent des invites et reçoivent des réponses, souvent en s'appuyant sur des ajustements de fine-tuning ou de LoRA pour des améliorations. Cependant, nous avons adopté une approche différente. Dans un article précédent, j'ai montré comment les signatures Schnorr/MuSig2 peuvent être décomposées en invariants affines stricts, les considérant comme un cadre mathématique plutôt que comme une énigme. Dans ce nouveau travail, nous avons avancé cette méthodologie en l'intégrant dans un réseau de neurones.
Nous avons utilisé une distribution MLX locale : gpt-oss-20b-TurboQuant-MLX-8bit, sans la réentraîner. Au lieu de cela, nous avons exploré les .safetensors au niveau des codes quantifiés, créé un cache de calibration déterministe et extrait des activations BF16 réelles de couches spécifiques. Nous avons réduit la tâche à une optimisation entière locale des poids quantifiés, mis en œuvre un patch sécurisé directement dans le modèle et intégré un contrôle de validation pour vérifier que nos calculs mathématiques s'alignent avec le runtime réel de MLX.
Le résultat est un pipeline où la couche quantifiée est observable, son comportement mesurable et elle peut être ajustée localement. Surtout, nous pouvons confirmer que l'environnement d'exécution ne nous induit pas en erreur. Par exemple, avec router.weight, nous avons atteint un transfert presque complet des améliorations vers l'ensemble de validation, tandis que pour q_proj, le système a clairement indiqué qu'un patch sans référence externe n'a pas de sens. Cette découverte pourrait s'avérer encore plus significative.