Youtu-Parsing-Omni : un encodeur, un schéma, toutes les modalités
En bref
- Un parseur unique gère documents, images, audio et vidéo avec un encodeur et un schéma communs.
- Performances record sur OmniDocBench v1.6 (96,96) et OmniParsingBench (75,08) avec un modèle de 5 milliards de paramètres.
- Code et poids du modèle sont publiés en open source.
Des chercheurs présentent Youtu-Parsing-Omni, un parseur omni-modal capable de transformer documents, images, audio et vidéo en enregistrements structurés ancrés dans l'espace et le temps. Selon l'annonce, le modèle repose sur un encodeur unique pour chaque modalité et un schéma unifié pour toutes les tâches, intégrant fusion intermodale et alignement temporel dès la phase de perception.
Ce système, entraîné avec une procédure post-formation auto-évolutive (OSAD), atteint des performances de pointe sur les benchmarks OmniDocBench v1.6 et OmniParsingBench, avec un avantage marqué sur les données audio et vidéo. Il surpasse également des modèles spécialisés en extraction de tableaux et en transcription musicale, tout en restant accessible en open source avec code et poids disponibles.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur