DeepMind Genie 4 : un modèle de monde interactif en temps réel avec sons et dialogues

Google DeepMind présente Genie 4, un modèle de monde interactif en temps réel capable de générer des environnements 3D avec sons et personnages parlants. Selon l'annonce, les modèles Gemini planifient en arrière-plan les actions à venir pour maintenir la cohérence de la simulation.

Genie 4 succède à Genie 3 et calcule chaque image de la scène au fur et à mesure, réagissant aux entrées utilisateur. Les utilisateurs naviguent dans la scène via clavier et orientent les événements par des prompts textuels. Le modèle génère des sons d'ambiance propres à chaque monde et gère des dialogues entre personnages, avec des réactions en temps réel aux actions de l'utilisateur. DeepMind met en avant une amélioration de la réalisme des mouvements humains et des interactions.

Genie 4 reste un modèle expérimental, avec des incohérences visuelles après des sessions prolongées. Il est actuellement réservé à des testeurs sélectionnés, avec un accès prévu pour les abonnés Google AI Ultra et certains partenaires. DeepMind évoque des applications futures pour l'entraînement de robots et d'agents IA dans des environnements simulés, combinant raisonnement et simulation pixel par pixel.