Gemini Omni:
Googles neuer Mediengenerator revolutioniert die Videoproduktion

Das „Any-Input-to-Video“-Prinzip: Nutzer sind nicht mehr nur auf Text-Prompts beschränkt. Bilder, Audioaufnahmen, geschriebene Anweisungen und bestehende Videoclips können beliebig als Eingabereferenz kombiniert werden. So lässt sich beispielsweise ein Voiceover mit einem Porträtfoto und einer Textanweisung verknüpfen, woraus Gemini Omni ein stimmiges Video generiert.

Schrittweise Videobearbeitung per Sprachbefehl: Eine der größten Neuerungen ist die intuitive Bearbeitung von Videos wie in einer Konversation. Jede Anweisung baut auf der vorherigen auf („Multi-turn editing“). Nutzer können die Umgebung, Kameraeinstellungen oder Details von Charakteren ändern, ohne dass der Faden der ursprünglichen Szene verloren geht oder Figuren inkonsistent werden.

Physikalisches und logisches Verständnis: Gemini Omni greift auf Geminis Allgemeinwissen zurück und kombiniert dies mit einem intuitiven Verständnis für physikalische Kräfte wie Schwerkraft, kinetische Energie und Fluiddynamik. Das Resultat sind realitätsgetreue Bewegungsabläufe anstelle von abstrakten, unnatürlichen KI-Artefakten.

Erweiterungen und Storyboarding: Mit der Integration in Google Flow, einem neuen KI-Kreativstudio, lassen sich aus Skizzen oder Bildsequenzen („Storyboard-to-Video“) fließende Handlungsabläufe generieren. Zudem erlaubt das Modell die präzise Stilübertragung (Style Transfer) auf bestehendes Filmmaterial.

Native Audio-Einbindung: Im Gegensatz zu älteren Modellen, die stummes Material lieferten, unterstützt Gemini Omni Flash native Audiogenerierung. So kann das Modell begleitenden Sound und synchronisierte Geräusche direkt passend zum Bildmaterial erstellen.