FSPO : une nouvelle méthode d'optimisation pour l'apprentissage par renforcement
En bref
- FSPO utilise des distributions historiques de tokens comme cibles temporelles fixes pour éviter l'instabilité des enseignants évolutifs.
- La méthode améliore de 4 points en moyenne la précision sur des benchmarks de raisonnement et d'utilisation d'outils.
- FSPO réduit la mémoire requise de 70 Go à 56 Go sur Olmo3-7B-Instruct sous 5 heures d'entraînement.
Des chercheurs proposent Function-Space Policy Optimization (FSPO), une méthode d'optimisation pour l'apprentissage par renforcement des modèles de langage. FSPO utilise des distributions historiques de tokens comme cibles temporelles fixes, évitant ainsi la dépendance à un modèle enseignant évolutif. Elle intègre également une correction des désaccords privilégiés et une mémoire temporelle adaptative pour améliorer la fiabilité des démonstrations.
Les résultats montrent une amélioration moyenne de 4 points de pourcentage sur des benchmarks de raisonnement et d'utilisation d'outils, avec une réduction de la mémoire de 70 Go à 56 Go sur Olmo3-7B-Instruct sous un budget d'entraînement de 5 heures.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur