KI als Tool, KI als Ersatz, KI – vielleicht doch nicht?
2025 lag der Fokus der FMX wie zu erwarten stark auf dem Thema Künstliche Intelligenz. Was in den vergangenen Jahren in vielen Talks noch abgetan wurde als Tool für Memes und Content mit zu viel Randomness, scheint nun mehr und mehr Einzug in tagtägliche Tools der VFX-Branche zu erhalten. Die Diskussion bleibt aber nach wie vor spannend, ob KI nun tatsächlich massenhaft Jobs in der VFX-Industrie ersetzen wird oder ob es immer noch gewisse unersetzliche Aspekte „echter“ menschlicher Arbeit im Schaffensprozess bewegter Bilder gibt.
So gab beispielsweise Hao Li von Pinscreen zunächst einen kurzen historischen Überblick über die Entwicklung der Arbeitsmethoden im Bereich Face-Tracking. Er begann seinen Talk mit dem Weg von frühen Experimenten mit VR-Headsets, Tiefenkameras wie der Kinect und ähnlicher damals zusammengebastelter Hardware bis hin zu den ersten KI-Ansätzen mit Convolutional Neural Networks und dem Einsatz von Diskriminatoren sowie den aktuellsten spannenden Entwicklungen von Seedance.
Anhand von recht anschaulichen Beispielen zeigte er, wie man Deepfakes erstellt, indem man im Encoder-Prozess alle möglichen Eigenarten der aufgenommenen Person als Parameter abspeichert, um daraufhin mittels dieser Daten einen Transfer auf nahezu jedes andere mögliche Gesicht zu vollziehen. Seine Präsentation schloss er damit, einen Ausblick darauf zu geben, wie man in Kürze bereits aus einem einzigen Bild eine ganze interaktive Welt generieren lassen könne. Beispiele dazu findet man auf https://panworld.ai.
Abschließend ließ sich Li jedoch nicht nehmen, noch einmal zu erwähnen, dass Generative AI, selbst in ihren heutzutage ausgefeiltesten Versionen, einen Profi im Bereich Film, vor allem dort, wo es um „deep emotional content“ geht, so bald nicht ersetzen kann. Eine KI hat eben keine menschlichen Erfahrungen über Zeit, keine „lived experience“.
Ein weiterer Beitrag in Richtung „KI als Tool“ kam von Kimball Thurston von Weta FX, die ja seit Jahrzehnten führend im Bereich Animation von Kreaturen und digitalen Abbildern in der VFX-Szene sind. Sein Argument ging vor allem dahin, dass man KI besonders gut nutzen könne, um schneller zu iterieren, schneller Ideen zu reflektieren und Pipelines zu optimieren. Er schien sehr dafür, KI auch vor allem dort einzusetzen, wo Unternehmensprozesse vereinfacht werden können.
Gleichzeitig böten sich gerade mit neuen Parallelentwicklungen wie volumetrischen Daten immer mehr Optionen, schneller und effizienter digital zusammenzuarbeiten. Ein wirkliches kreatives Werk, wirkliche menschliche Kuration und dergleichen ließen sich aber nach wie vor nicht ersetzen. Thurston ging davon aus, es werde immer den Wunsch nach menschlichen Erlebnissen und Geschichten geben, die von echten Menschen erzählt werden. Beliebigkeit sei etwas für Werbung und Meme-Content, aber nicht für spannende kreative Werke.
Gaussian Splats und virtuelle Produktionen
Das Thema Volumetric wurde vor allem in seiner Brisanz mehr als deutlich, weil es in vielen Talks um das Thema „Gaussian Splats“ ging. Es handelt sich dabei um eine Technik, aus Fotos oder Videos eine Art 3D-Map zu erstellen, wie aus vielen kleinen Voxeln, also Pixeln im 3D-Raum, bei denen jeder aber nur eine Farbe und eine gewisse Ausdehnung sowie Transparenz hat. Damit lassen sich verblüffend realistisch Szenen in 3D nachstellen.
Ob große Szenen oder kleine, spielt technisch dabei weniger eine Rolle. Aber gerade große Szenen sind häufig im Preproduction-Bereich absolut essenziell. Wenn ein Regisseur nach einem schnell gemachten 3D-Scan in Form eines Gaussian Splats gesamte Shots planen und das Set vorbereiten kann, ist dies natürlich eine spannende neue Möglichkeit, Kosten bei der Produktion zu sparen und gleichzeitig deutlich besser vorbereitet am Set zu erscheinen.
So auch bei der Produktion zum neuen Jurassic Park Film, wie ihn Ron Frankel von Proof Inc. vorstellte. In den gezeigten Arbeitsbeispielen konnte man gut erkennen, wie der Regisseur mit seiner virtuellen Kamera die gesamte Szene live begehen kann, gleichzeitig die Szene mit digitalen Objekten anreichernd und so den ganzen Shot bereits in dieser Frühphase bearbeiten kann. Ähnlich wie Hao Lis Talk schloss auch der von Frankel damit, dass man entsprechende 3D-Modelle bereits aus einzelnen Bildern erstellen könne.
Es stellt sich nach all den bisherigen Erlebnissen durchaus die Frage, ob virtuelle Welten in Zukunft vielleicht nur noch wenige einzelne Bilder und ein paar gute KI-Prompts brauchen könnten, um glaubhaft zum Leben erweckt zu werden.
Space is Story
Gestaltung von Raum war auf jeden Fall ein mindestens so präsentes Thema wie KI. In dem Vortrag „Space is Story“ von Balthazar Auxietre, dem Co-Founder und Creative Director von Innerspace VR, zeigte er eindrücklich ein paar spannende Best-Practice-Inputs aus der Gestaltung von immersiven virtuellen Welten bei ortsgebundenen Umsetzungen.
Hier einmal in Kürze die Prinzipien, die man sich als AR/XR-Designer davon auf jeden Fall mitnehmen sollte:
Zuerst braucht es den virtuellen Ort, also den Ort, an dem das Erlebnis spielen soll. Dieser besteht aus einem Setting, einer Location, einer gewählten Zeitebene und Kontext.
Stilistisch sollte man sich genau überlegen: Möchte ich meine Welt lieber real gestalten, um eingängig zu sein, oder riskiere ich weniger Glaubwürdigkeit bei einer mehr künstlerisch stilisierten Welt? Hier gäbe es allerdings auch hybride Lösungen, wie Auxietres Projekt „Guardians of the Jade Mountain“ zeigte.
Dann braucht es natürlich die Wahl der richtigen Größe, also macht man sein Erlebnis eher 3×3, 8×8 oder größer als 15 Meter. Diese Auswahl bestimmt maßgeblich die Art von Erlebnis mit, die man kreieren möchte und kann. Will man das Erlebnis zu jemandem in sein heimisches VR-Studio bringen, geht oft nicht mehr als das kleinste Format. Große Museen, Ausstellungen oder dergleichen gelängen dagegen oft besonders immersiv, wenn das Erlebnis vollständig (ohne Teleport-Funktionen) durchlaufbar wäre.
Der Ort brauche aber auch Struktur. Es braucht einen guten Eingangspunkt, wie eine Art Portal, verschiedene kleinere Abschnitte für einzelne Aspekte der Interaktion, ein ganz klares Centerpiece, also den „Core Space“, wo der Höhepunkt des Erlebnisses stattfindet, und ebenso wichtig wie den Eingang auch wieder einen Exit-Room, damit der Besucher das Erlebnis auch in Ruhe zu Ende bringen und das Virtuelle wieder verlassen kann.
Außerdem brachte Auxietre viele kleine Tipps für das VR-Design im Einzelnen:
- Lasst die Leute Detektivarbeit machen.
- Hinterlasst Brotkrumen.
- Gestaltet den Raum wie einen Charakter mit interessanten Details.
- Leitet den User, anstatt einen Guide als NPC zu nutzen, beispielsweise über Licht, klare Türen oder Geometrie.
- Nutzt einen interessanten, abwechslungsreichen Mix aus Cutscenes und Interaktionen.
- Kontrastiert die Spaces mit unterschiedlichen Raumgrößen und Umsetzungsarten.
- Gebt Körper und Geist immer etwas zu tun.
Abschließend gab Auxietre noch zwei Empfehlungen, einmal für das Tool „Gravity Sketch“ und für sein neues VR-Game „Spymaster“. Insgesamt ein wirklich lehrreicher Vortrag für alle, die an XR/VR und Location-based Erlebnissen interessiert sind.
Kino der Zukunft?
Einen anderen, eher hardwarelastigen Aspekt der Gestaltung von Räumen ließ sich am Freitag in der digitalen Session von Doug Trumbull von Trumbull Ventures finden. Große Teile seines Talks kamen anscheinend zwar bereits aus einem FMX-2021-Vortrag, dennoch sind seine Unternehmungen keineswegs uninteressant.
Trumbull begeistert seit seiner Jugend die Suche nach dem nächsten großen Format, dem nächsten Schritt, den das Kino noch vor sich hat. Nachdem er in seiner Karriere viele Entertainment-Rides wie den Back to the Future Ride für Themenparks gebaut und viele Filme für Weitwinkel-Linsen-Kinoexperimente in der Vergangenheit gedreht hatte, beschäftigte ihn immer die Frage: Was kommt als Nächstes?
Die Antwort gibt Trumbull eigentlich direkt: Er baut seit Jahren selbst einen neuen Standard für ein sehr kompaktes Kino, mit einer Leinwand, die ein ganz bestimmtes Format und eine bestimmte Biegung hat – ähnlich seinen damaligen Rides aus Themenparks. Seine Hoffnung ist, dass durch dieses „MAGI“-Format, wie er es nennt, Kino endlich wieder ein vollwertiges Erlebnis werden kann, anstatt sich nur wie ein flacher Screen anzufühlen; für Filme, bei denen man sich mittendrin fühlt, viel mehr, als dies aktuelles 3D-Kino überhaupt leisten könne.
Man darf wohl gespannt sein, wann und ob dieses Format massentauglich wird.
Insgesamt wurde dieses Jahr auf der FMX jedenfalls mehr als deutlich, dass bei aller generativen künstlichen Intelligenz die Kreativität der Storyteller, Techniker und Künstler nach wie vor die treibende Kraft hinter allen maßgeblichen Ideen bleibt, auch wenn clevere Tools unsere Welt vermutlich weiterhin beschleunigen werden. KI wird nicht verschwinden, vielerorts ist sie bereits im Einsatz, anderenorts sogar der Standard in Arbeitsprozessen, in anderen Bereichen der virtuellen Kunst jedoch gänzlich fehl am Platz.
Es wird wohl noch einige Jahre dauern, bis sich Hype und Pragmatismus bezüglich dieses Themas ausbalanciert haben, und wir sind gespannt, wohin das Ganze geht.
Bis hoffentlich im nächsten Jahr dann wieder live auf der FMX 2027!