InteractiveWorld : un environnement vérifiable pour assistants MLLM centrés humain
En bref
- InteractiveWorld simule un assistant MLLM guidant un humain autonome en temps réel dans un environnement 3D.
- InteractiveBench propose 120 tâches dynamiques pour évaluer les assistants en conditions réelles.
- Les 12 modèles testés, dont le meilleur (Claude Fable 5.1), atteignent moins de 25 % de réussite sur les tâches complexes.
Des chercheurs proposent InteractiveWorld, un environnement de simulation inédit pour évaluer des assistants MLLM (multimodal large language models) en interaction fermée avec un humain. Contrairement aux simulateurs robotiques existants, cette plateforme place l'assistant en position de guide tandis qu'un agent humain agit de manière autonome dans un environnement 3D. Elle s'accompagne d'InteractiveBench, un benchmark dynamique de 120 tâches réparties en six catégories, où chaque instruction de l'assistant influence le résultat final.
Les tests menés sur 12 modèles MLLM de pointe révèlent des performances limitées : le meilleur modèle, Claude Fable 5.1, atteint au maximum 20 % et 25 % de réussite sur les tâches de Guidance et de Planning à long terme. Les auteurs soulignent ainsi l'écart entre les capacités actuelles des MLLM et les exigences d'une assistance fiable dans le monde physique.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur