Nouveau benchmark et modèle pour l'extraction audio-visuelle de locuteurs cibles
En bref
- Publication de RealSSA, un benchmark réaliste pour l'extraction audio-visuelle de locuteurs cibles en streaming.
- Falcon, une méthode causale, réduit les paramètres de 91,9 % et la latence GPU de 11,1 fois par rapport au baseline.
- Falcon améliore la qualité d'extraction sur quatre benchmarks tout en supprimant les fuites en champ proche.
Des chercheurs publient RealSSA, un benchmark réaliste pour l'extraction audio-visuelle de locuteurs cibles (AVTSE) en streaming. Contrairement aux benchmarks existants, RealSSA inclut des scènes simulées avec 1 à 5 locuteurs interférents dynamiques en champ proche et 10 à 15 en champ lointain, ainsi qu'un jeu de données réel pour l'évaluation. Les systèmes actuels sont limités par des configurations simplistes et des architectures trop lourdes pour les périphériques.
Pour répondre à ces limites, l'équipe propose Falcon, une méthode AVTSE causale. Son séparateur effectue une séparation multi-échelle en une seule passe encodeur-décodeur. Entraîné avec une perte contrastive dans l'espace de l'encodeur, Falcon réduit les fuites en champ proche sans coût d'inférence supplémentaire. Sur RealSSA-Sim et trois autres benchmarks, il surpasse les modèles existants tout en divisant par 91,9 % le nombre de paramètres et par 20,2 fois la puissance de calcul requise par rapport à un baseline causal.
Ce que ça change pour vous
- Média & DivertissementLes professionnels du secteur peuvent déployer des outils d'extraction audio-visuelle plus légers et précis pour le streaming en temps réel.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur