Optimisation multiscale pour agents LLM à long horizon
En bref
- Les agents LLM à long horizon génèrent des actions token par token sur des tours complets.
- Multiscale Policy Optimization (MPO) améliore l'attribution du crédit entre les tokens et les tours.
- Des gains constants sont observés sur des tâches de recherche, d'outils et d'automatisation avec des modèles de 4B et 30B.
Des agents LLM à long horizon interagissent avec leur environnement via des tours d'assistant complets en générant chaque token d'action token par token. Selon l'étude, les valeurs de critique varient surtout entre les tours, ce qui justifie une optimisation ancrée sur ces tours avec une allocation plus fine du crédit entre les tokens. Les auteurs proposent Multiscale Policy Optimization (MPO), combinant Multiscale Advantage Estimation (MAE) et échantillonnage d'importance au niveau des tours pour aligner l'attribution du crédit et les mises à jour de la politique à l'échelle des tours. Des expériences sur des tâches de recherche, d'usage d'outils et d'automatisation avec des modèles de 4 milliards et 30 milliards de paramètres montrent des gains constants par rapport aux bases de référence en apprentissage par renforcement selon l'annonce.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur