ChronoReplay améliore le raisonnement spatial des VLMs en streaming
En bref
- Les VLMs spécialisés en tâches spatiales souffrent d'un verrouillage par interface limitant leur généralisation.
- ChronoReplay organise les données en épisodes chronologiques et équilibre l'apprentissage entre familles de tâches.
- Un seul modèle améliore trois benchmarks simultanément, dont +13,41 points sur OST-Bench.
Une étude montre que les modèles de vision-langage (VLM) spécialisés dans des tâches spatiales comme la localisation d'objets ou l'estimation de distance développent une forme de verrouillage par interface : leurs performances se concentrent sur un type de réponse au détriment des autres, limitant leur généralisation.
ChronoReplay, un cadre d'entraînement, propose de résoudre ce problème en organisant les données de supervision spatiale en épisodes chronologiques et en équilibrant l'apprentissage entre différentes familles de tâches. Résultat : un seul modèle entraîné avec cette méthode améliore simultanément trois benchmarks (OVO-S-Bench, OST-Bench, UCS-Bench), avec un gain de 13,41 points sur OST-Bench. Les expériences confirment que la sérialisation des réponses, l'équilibrage des familles et le replay chronologique contribuent chacun à ces gains.
Cette approche souligne l'importance de préserver des informations spatiales complémentaires, d'organiser l'apprentissage autour de séquences temporelles et de sélectionner efficacement les indices visuels lors de l'inférence pour des VLMs en streaming.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur