Les Dangers des Données Synthétiques : Oubli Catastrophique dans la Récupération de Compétences LLM

Avec la dépendance croissante des agents LLM aux compétences récupérées en temps réel, la sélection de compétences appropriées dans de vastes bases de données est devenue un défi majeur. Cette recherche présente un système de routage de compétences qui couvre plus de 34 000 compétences et analyse l'efficacité de la récupération de compétences en utilisant une supervision réelle limitée et des données synthétiques. Les résultats montrent que le réglage fin avec des données synthétiques améliore la précision de récupération dans la distribution d'entraînement, mais entraîne également un oubli catastrophique des compétences en dehors de cette distribution. Pour remédier à ce problème, plusieurs stratégies inspirées de l'apprentissage continu ont été évaluées, y compris la régularisation d'ancrage d'embedding, l'apprentissage sans oubli (LwF), la consolidation de poids élastiques (EWC) et l'initialisation L2. L'évaluation a révélé que ces méthodes préservaient non seulement la performance dans la récupération de compétences hors distribution, mais augmentaient également la précision de récupération des compétences synthétiques en distribution d'environ 14 % pour un modèle de récupérateur spécifique. Cette recherche offre des perspectives précieuses et un cadre pratique pour le réglage fin des modèles avec une supervision limitée.