DTCA : une méthode de RL pour les modèles de langage par diffusion
En bref
- DTCA attribue des crédits aux tokens dans les modèles de langage par diffusion entraînés par RL.
- La méthode mesure l'amélioration de la confiance de prédiction des positions masquées après fixation d'un token.
- Les gains atteignent 9,0 points sur MATH500 et 5,3 points sur GSM8K avec LLaDA-8B-Instruct.
Des chercheurs proposent DTCA, un cadre pour attribuer des crédits aux tokens dans les modèles de langage par diffusion (DLMs) entraînés par renforcement. Selon l'annonce, DTCA mesure l'amélioration de la confiance de prédiction des positions masquées restantes après la fixation d'un token, puis regroupe ces signaux par catégories grammaticales. Les poids obtenus servent à sélectionner les étapes de débruitage informatives et à attribuer des signaux d'apprentissage au niveau des tokens pendant l'entraînement RL.
Les expériences menées sur LLaDA-8B-Instruct montrent que DTCA améliore les performances en raisonnement mathématique, avec des gains allant jusqu'à 9,0 points sur MATH500 et 5,3 points sur GSM8K par rapport au modèle de base.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur