Hy-Nomas : un modèle de génération vidéo interactive par commandes libres

Des chercheurs présentent Hy-Nomas, un modèle de génération vidéo interactif doté d’un backbone diffusion de 8 milliards de paramètres. Selon l’annonce, il permet de suivre des instructions textuelles libres et de contrôler en continu la caméra sur plusieurs tours d’interaction. Le système génère des segments vidéo de longueur variable en s’appuyant sur les entrées actuelles et un historique mis en cache. Son architecture repose sur une attention causale alignant les légendes structurées avec les actions, où le contexte descriptif reste accessible tandis que les instructions d’action sont limitées à leur fenêtre temporelle cible. Un Prompt Enhancer (PE) en vision-langage traduit les requêtes utilisateur et les historiques multimodaux en conditions structurées pour le segment suivant. Les auteurs détaillent un curriculum d’entraînement progressif incluant la génération causale, l’interaction textuelle, le contrôle de caméra et l’adaptation aux historiques générés par le modèle, suivi d’une distillation du modèle diffusion.

Dans une évaluation humaine, Hy-Nomas surpasserait les modèles existants de génération de mondes interactifs. Les poids du modèle, le code, les benchmarks et un workflow d’adaptation léger sont rendus publics pour favoriser la recherche reproductible dans ce domaine.