Google DeepMind veröffentlicht Genie 4: Spielbare 720p-Welten in Echtzeit mit nativem Audio und Live-Steuerung

Mit der offiziellen Vorstellung von Genie 4 hebt Google DeepMind seine interaktiven Weltmodelle auf eine Stufe, die für Spieleentwickler und Hardware-Enthusiasten gleichermaßen greifbar wird. Statt stummer Kurzclips mit starr vorgegebenen Startparametern berechnet die vierte Generation auf Basis der Gemini-Architektur durchgängig spielbare 3D- und 2D-Umgebungen in 720p-Auflösung bei 24 Bildern pro Sekunde (24 FPS). Nutzer steuern die Kamera per Maus und Tastatur, speisen eigene Referenzbilder ein und verändern Wetter, Beleuchtung oder Objekte mitten im laufenden Betrieb per Textbefehl, während das System erstmals eine synchronisierte Audio-Kulisse in Echtzeit generiert.
Referenzbilder und Live-Eingriffe dank Gemini Omni im Detail
Bisherige Weltmodelle wie Genie 2 und Genie 3 litten unter einer klaren Einschränkung: Sobald eine Simulation aus einem Startbild berechnet wurde, ließ sich die Welt zwar für ein bis drei Minuten erkunden, doch jede inhaltliche Änderung erforderte einen kompletten Neustart. Wie aus der offiziellen Genie-4-Projektseite von Google DeepMind hervorgeht, kombiniert das neue Modell nun zwei spezialisierte Zweige der Gemini-Familie. Während Gemini Omni (über Gemini Omni Flash) für physikalisch glaubwürdige Oberflächen, Kollisionen, fließendes Wasser und Windbewegungen sorgt, übernehmen die übergeordneten Gemini-Reasoning-Modelle die räumliche Gedächtnisleistung, damit Objekte auch nach einem Kameraschwenk konsistent an ihrem Platz bleiben.

Für das schnelle Prototyping von Spielwelten ergeben sich daraus zwei entscheidende Werkzeuge:
- Start per Referenzbild oder Hybrid-Prompt: Entwickler können ein einzelnes Konzeptbild, eine Textbeschreibung oder beides zusammen vorgeben. Ob eine gezeichnete Straßenszene, eine körnige 16-mm-Filmaufnahme oder eine komplexe 3D-Welt aus buntem Kirchenfenster-Glas als Vorlage dient: Genie 4 macht das Bild sofort begehbar und hält den exakten Stil über die gesamte Sitzung hinweg aufrecht.
- Umgebungsänderungen mitten im Spielverlauf: Während man sich per Tastatur und Maus durch die Szene bewegt, lassen sich über Live-Textbefehle neue Ereignisse einspeisen. So kann man mitten in der laufenden 24-FPS-Simulation einen Schneesturm auslösen, den Kamerawinkel umstellen, Tageszeiten wechseln oder neue Charaktere in die Szene setzen.
Diese Entwicklung zeigt eindrucksvoll, warum sich in der Branche die Diskussion um KI-gestützte Weltgenerierung und das drohende Ende klassischer 2-Milliarden-Dollar-Spieleproduktionen weiter zuspitzt, da selbst kleine Teams komplexe Level-Konzepte in Sekunden statt Monaten testen können.
Natives Echtzeit-Audio, SIMA-Training und Start in der Gemini API
Ein weiterer Meilenstein betrifft die Akustik. Erstmals in der Genie-Reihe berechnet das Modell parallel zum Videobild eine native, multimodale Tonspur. In den von DeepMind veröffentlichten Echtzeit-Aufnahmen, die von einer alpinen Ski-Abfahrt aus der Egoperspektive mit dezenten HUD-Markierungen über einen 140 km/h schnellen Drachenritt bis hin zu einer viktorianischen Porzellanwerkstatt reichen, knirscht Laub unter den Schuhen, Holzdielen knarzen bei Gewichtsverlagerung, Höhenwind pfeift um die Kamera und generierte Figuren sprechen direkt mit dem Spieler.
| Technische Eigenschaft | Genie 2 / Genie 3 | Genie 4 (Aktuelle Generation) |
|---|---|---|
| Interaktiver Videostream | Steuerbare 3D-Welt (1 bis 3 Minuten Sitzungsdauer) | Kontinuierlicher 720p-Stream mit bis zu 24 FPS |
| Eingabeformate | Einzelnes Startbild oder initialer Text-Prompt | Text-Prompt, Referenzbild oder kombinierte Hybrid-Eingabe |
| Eingriffe während der Sitzung | Nicht möglich (Parameter beim Start fixiert) | Live-Steuerung per Text (Wetter, Licht, Kamera, NPCs) |
| Audio-Engine | Stumme Videoausgabe | Synchrones natives Audio (Umgebung, Effekte, Musik, Dialoge) |
| Verfügbarkeit | Forschungs-Preview & Project Genie | Project Genie (AI Ultra), Google AI Studio & Gemini API |
Neben kreativen Anwendungen nutzt Google DeepMind das System vor allem als unerschöpflichen Trainingsraum für KI-Agenten wie SIMA sowie für Gemini Robotics. In einem konkreten Testlauf erstellt das Planungsmodell Gemini 4 Argon mehrstufige Handlungsanweisungen und übergibt sie als Live-Textbefehle an Genie 4, während die Physiksimulation im Hintergrund weiterläuft. Welcher enorme Rechenaufwand hinter solchen Echtzeit-Inferenzen steckt, verdeutlicht zugleich, weshalb die strategische Weichenstellung an der Spitze von GPU-Marktführer NVIDIA und Chip-Architekt Arm über die künftige Hardware-Basis solcher KI-Welten entscheidet.
Sämtliche Video- und Audiodaten von Genie 4 werden automatisch mit dem unsichtbaren Wasserzeichen SynthID versehen. Das Modell steht ab sofort für Abonnenten von Google AI Ultra innerhalb von Project Genie bereit und lässt sich von Entwicklern über die Interactions API der Gemini API sowie in Google AI Studio direkt ausprobieren.
Mein Fazit aus dem Testlabor
Wenn man bedenkt, dass das ursprüngliche Genie-Modell Anfang 2024 noch bei einem einzigen Bild pro Sekunde in schlichter 2D-Optik feststeckte, ist der Sprung auf durchgängige 720p mit 24 FPS inklusive Live-Texteingriffen und nativer Vertonung aus technischer Sicht enorm. Natürlich ersetzt Genie 4 heute noch keine deterministische Engine wie die Unreal Engine 5 für ein vollwertiges Action-Rollenspiel, zumal DeepMind selbst einräumt, dass sich Objektpermanenz und feine Texturdetails bei sehr langen Sitzungen oder nach vielen komplexen Live-Edits noch schleichend verändern können. Als interaktives Greyboxing-Werkzeug über die Gemini API, mit dem Entwickler eine handgezeichnete Konzeptskizze sofort per Tastatur begehen und Licht- oder Wetterwechsel live erproben können, liefert Google DeepMind hier jedoch eines der spannendsten Vorproduktions-Tools der letzten Jahre ab.
Gamer-Pro.de auf Google als bevorzugte Quelle festlegen
Füge gamer-pro.de zu deinen bevorzugten Quellen hinzu, um unsere Hardware-Tests, Guides und Gaming-News vorrangig in Google Discover und der Google-Suche zu sehen.

















