Google DeepMind veröffentlicht Genie 4: Spielbare 720p-Welten in Echtzeit mit nativem Audio und Live-Steuerung

Google DeepMind Genie 4 interaktives Weltmodell in Echtzeit 720p 24 FPS Simulation

Mit der offiziellen Vorstellung von Genie 4 hebt Google DeepMind seine interaktiven Weltmodelle auf eine Stufe, die für Spieleentwickler und Hardware-Enthusiasten gleichermaßen greifbar wird. Statt stummer Kurzclips mit starr vorgegebenen Startparametern berechnet die vierte Generation auf Basis der Gemini-Architektur durchgängig spielbare 3D- und 2D-Umgebungen in 720p-Auflösung bei 24 Bildern pro Sekunde (24 FPS). Nutzer steuern die Kamera per Maus und Tastatur, speisen eigene Referenzbilder ein und verändern Wetter, Beleuchtung oder Objekte mitten im laufenden Betrieb per Textbefehl, während das System erstmals eine synchronisierte Audio-Kulisse in Echtzeit generiert.

Referenzbilder und Live-Eingriffe dank Gemini Omni im Detail

Bisherige Weltmodelle wie Genie 2 und Genie 3 litten unter einer klaren Einschränkung: Sobald eine Simulation aus einem Startbild berechnet wurde, ließ sich die Welt zwar für ein bis drei Minuten erkunden, doch jede inhaltliche Änderung erforderte einen kompletten Neustart. Wie aus der offiziellen Genie-4-Projektseite von Google DeepMind hervorgeht, kombiniert das neue Modell nun zwei spezialisierte Zweige der Gemini-Familie. Während Gemini Omni (über Gemini Omni Flash) für physikalisch glaubwürdige Oberflächen, Kollisionen, fließendes Wasser und Windbewegungen sorgt, übernehmen die übergeordneten Gemini-Reasoning-Modelle die räumliche Gedächtnisleistung, damit Objekte auch nach einem Kameraschwenk konsistent an ihrem Platz bleiben.

Interaktive 3D-Echtzeitumgebung aus Google DeepMind Genie 4 mit nativer Audio-Generierung
Genie 4 verwandelt statische Referenzbilder und Textvorgaben in frei begehbare 720p-Umgebungen mit 24 FPS und übernimmt dabei exakt den vorgegebenen Kunststil.

Für das schnelle Prototyping von Spielwelten ergeben sich daraus zwei entscheidende Werkzeuge:

  • Start per Referenzbild oder Hybrid-Prompt: Entwickler können ein einzelnes Konzeptbild, eine Textbeschreibung oder beides zusammen vorgeben. Ob eine gezeichnete Straßenszene, eine körnige 16-mm-Filmaufnahme oder eine komplexe 3D-Welt aus buntem Kirchenfenster-Glas als Vorlage dient: Genie 4 macht das Bild sofort begehbar und hält den exakten Stil über die gesamte Sitzung hinweg aufrecht.
  • Umgebungsänderungen mitten im Spielverlauf: Während man sich per Tastatur und Maus durch die Szene bewegt, lassen sich über Live-Textbefehle neue Ereignisse einspeisen. So kann man mitten in der laufenden 24-FPS-Simulation einen Schneesturm auslösen, den Kamerawinkel umstellen, Tageszeiten wechseln oder neue Charaktere in die Szene setzen.

Diese Entwicklung zeigt eindrucksvoll, warum sich in der Branche die Diskussion um KI-gestützte Weltgenerierung und das drohende Ende klassischer 2-Milliarden-Dollar-Spieleproduktionen weiter zuspitzt, da selbst kleine Teams komplexe Level-Konzepte in Sekunden statt Monaten testen können.

Trailer video

Natives Echtzeit-Audio, SIMA-Training und Start in der Gemini API

Ein weiterer Meilenstein betrifft die Akustik. Erstmals in der Genie-Reihe berechnet das Modell parallel zum Videobild eine native, multimodale Tonspur. In den von DeepMind veröffentlichten Echtzeit-Aufnahmen, die von einer alpinen Ski-Abfahrt aus der Egoperspektive mit dezenten HUD-Markierungen über einen 140 km/h schnellen Drachenritt bis hin zu einer viktorianischen Porzellanwerkstatt reichen, knirscht Laub unter den Schuhen, Holzdielen knarzen bei Gewichtsverlagerung, Höhenwind pfeift um die Kamera und generierte Figuren sprechen direkt mit dem Spieler.

Technische EigenschaftGenie 2 / Genie 3Genie 4 (Aktuelle Generation)
Interaktiver VideostreamSteuerbare 3D-Welt (1 bis 3 Minuten Sitzungsdauer)Kontinuierlicher 720p-Stream mit bis zu 24 FPS
EingabeformateEinzelnes Startbild oder initialer Text-PromptText-Prompt, Referenzbild oder kombinierte Hybrid-Eingabe
Eingriffe während der SitzungNicht möglich (Parameter beim Start fixiert)Live-Steuerung per Text (Wetter, Licht, Kamera, NPCs)
Audio-EngineStumme VideoausgabeSynchrones natives Audio (Umgebung, Effekte, Musik, Dialoge)
VerfügbarkeitForschungs-Preview & Project GenieProject Genie (AI Ultra), Google AI Studio & Gemini API

Neben kreativen Anwendungen nutzt Google DeepMind das System vor allem als unerschöpflichen Trainingsraum für KI-Agenten wie SIMA sowie für Gemini Robotics. In einem konkreten Testlauf erstellt das Planungsmodell Gemini 4 Argon mehrstufige Handlungsanweisungen und übergibt sie als Live-Textbefehle an Genie 4, während die Physiksimulation im Hintergrund weiterläuft. Welcher enorme Rechenaufwand hinter solchen Echtzeit-Inferenzen steckt, verdeutlicht zugleich, weshalb die strategische Weichenstellung an der Spitze von GPU-Marktführer NVIDIA und Chip-Architekt Arm über die künftige Hardware-Basis solcher KI-Welten entscheidet.

Sämtliche Video- und Audiodaten von Genie 4 werden automatisch mit dem unsichtbaren Wasserzeichen SynthID versehen. Das Modell steht ab sofort für Abonnenten von Google AI Ultra innerhalb von Project Genie bereit und lässt sich von Entwicklern über die Interactions API der Gemini API sowie in Google AI Studio direkt ausprobieren.

Mein Fazit aus dem Testlabor

Wenn man bedenkt, dass das ursprüngliche Genie-Modell Anfang 2024 noch bei einem einzigen Bild pro Sekunde in schlichter 2D-Optik feststeckte, ist der Sprung auf durchgängige 720p mit 24 FPS inklusive Live-Texteingriffen und nativer Vertonung aus technischer Sicht enorm. Natürlich ersetzt Genie 4 heute noch keine deterministische Engine wie die Unreal Engine 5 für ein vollwertiges Action-Rollenspiel, zumal DeepMind selbst einräumt, dass sich Objektpermanenz und feine Texturdetails bei sehr langen Sitzungen oder nach vielen komplexen Live-Edits noch schleichend verändern können. Als interaktives Greyboxing-Werkzeug über die Gemini API, mit dem Entwickler eine handgezeichnete Konzeptskizze sofort per Tastatur begehen und Licht- oder Wetterwechsel live erproben können, liefert Google DeepMind hier jedoch eines der spannendsten Vorproduktions-Tools der letzten Jahre ab.

Folge Gamer-Pro auf Discord
Erhalte sofortige Gaming-News, Hardware-Deals und stimme live mit der Community über neue Releases ab.
Discord beitreten →

Gamer-Pro.de auf Google als bevorzugte Quelle festlegen

Füge gamer-pro.de zu deinen bevorzugten Quellen hinzu, um unsere Hardware-Tests, Guides und Gaming-News vorrangig in Google Discover und der Google-Suche zu sehen.

Lukas „Vex“
Geschrieben von Lukas „Vex“
🔧 Hardware, Linux & PC-Architektur (Köln)

Hardware- und Linux-Redakteur aus Köln. Lukas „Vex“ baut und vermisst seit vielen Jahren eigene PC-Systeme – vom leisen Small-Form-Factor-Rechner bis zum Linux-Setup unter SteamOS und CachyOS. Auf Gamer-Pro.de prüft er Grafikkarten, Prozessoren, Konsolen-Architekturen und Emulatoren nüchtern auf reale Frametimes, Energieeffizienz und Systemsicherheit.

Ähnliche Beiträge

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert