Nouvelle méthode pour réduire le calcul des modèles visuels-linguistiques diffusifs

Des chercheurs proposent LOWN, une méthode de décodage adaptative pour les modèles visuels-linguistiques diffusifs (DVLMs). Selon l'annonce, ces modèles traitent l'intégralité de leur entrée à chaque étape de débruitage, avec 89 à 97 % des tokens visuels sur les benchmarks étudiés. LOWN décide à chaque étape si l'image doit être traitée et combien de tokens masqués doivent être révélés, en comparant les prédictions avec et sans image. La méthode conserve 99,6 % des performances d'un modèle de référence tout en réduisant de 64,7 % les calculs de décodage en moyenne, sans entraînement supplémentaire ni seuil ajusté. Elle s'applique à plusieurs DVLMs basés sur LLaDA et se combine avec des techniques de pruning de tokens visuels.

LOWN adapte sa décision en fonction des besoins variables selon les benchmarks, évitant ainsi une approche fixe. Elle fonctionne également avec la mise en cache des clés-valeurs pour des gains d'efficacité supplémentaires. Le code et une page de projet sont disponibles en ligne.