Dieses Jahr auf der FMX haben wir für Euch mal ein etwas anderes Konferenz-Review-Format ausprobiert: mit dem YouTube Channel „360 GRAT“ haben wir neben unserem klassischen Text-Review bewusst verschiedene Impressionen vor Ort, sowie Zwischen-Recaps, Interviews und Reviews aufgenommen, in denen Ihr Euch komplett umschauen könnt. Wir hoffen, dass vor allem die, die diesmal nicht nach Stuttgart zur größten VFX-, Transmedia-, Animations- und VR-Konferenz kommen konnten, so hoffentlich auch ein umfassendes Bild bekommen, was hier abseits der Talks noch so passiert. Schaut Euch dazu gern die Video-Playlist an, die im Laufe dieser Woche entstanden ist: zur YouTube-Playlist von 360 GRAT
Wer die Videos jetzt schon gesehen hat, dem hoffe ich hier textlich noch ein paar zusätzliche Infos mitgeben zu können, denn auch dieses Jahr gab es wieder ein paar äußerst spannende Inputs auf der FMX.
Tag 1
Eigentlich schaue ich mir auf der FMX für Euch primär Themen aus dem Bereich Games und Interaction Design an, insofern empfand ich es als besonders schade, dass es dieses Mal weder einen „Demoscene“ noch „Games for Change“ Track gab. Auf der einen Seite hoffe ich also, diese Inhalte nächstes Jahr hier wieder anzutreffen, auf der anderen Seite muss man auch sagen, dass im VR und AR Bereich derart viele neue Arten von Interaktionserlebnissen geschaffen werden, dass man sich fragen kann, wie relevant eigentlich ein dedizierter Games-Track noch ist, in einer Zeit, in der sich ohnehin viele Medienformate zu verbinden scheinen. Ich selbst rede ja im Bezug auf Spiele wie Journey und Dergleichen schon seit einiger Zeit eher von audiovisuellen Erlebnissen bzw. Reisen anstatt von klassischen Spielen.
Insofern war vor allem das AR-Installations-Projekt von „MediaMonks“ interessant, deren Software es Besuchern des Art & Science Museums in Singapur ermöglichte, durch einen virtuellen Wald zu laufen und trotz stilisierter Optik einen Bezug zu dieser Welt zu erhalten. Hier ging es vor allem um ein Bewusstmachen der kontinuierlichen Abforstung der Regenwälder als Awareness-Projekt, das am Ende des virtuellen Rundgangs darin mündete, die User einen digitalen Samen für einen neuen Baum sähen zu lassen. Im Anschluss wurden die Besucher um eine Spende für das Pflanzen eines tatsächlichen Baumes zur Wiederaufforstung gebeten, was dank dieses Projektes ein großer Erfolg war. An solchen Projekten lasst sich daher für meine Begriffe vor allem erkennen, welche einprägsame und verändernde Wirkung virtuelle Welten und Installationen sowie welche Rolle Games und Game-Systeme in Zukunft erhalten können.
Im Rahmen dieses „VR Social Impact“ Tracks bewegten sich auch weitere Projekte von „Emblematic“ und „Rewind“ welche vor allem noch einmal ausdrücklich thematisierten, dass VR die faszinierende Möglichkeit biete, User in völlig neue oder normalerweise unzugängliche Situationen zu versetzen und in diesen nachhaltige und emotional überzeugende Lerneffekte zu erzielen. Laut Luciana Carvalho Se sei bislang noch nie ein Medium in dieser Form so „100% fokussiert und 100% begeisternd“ gewesen wie VR, was allerdings auch große Verantwortung für Designer mit sich bringe.
Auch am Nachmittag gab es spannende Inputs von Adidas und dem Team hinter „Geopulse“ welche beide eindrücklich zeigten, wie einerseits Produktionsprozesse mit cleveren 3D-Tools optimiert werden können und andererseits, wie Installationen mit VR/AR dazu genutzt werden können, große Datenmengen relevant, übersichtlich und intuitiv verständlich strukturieren und visualisieren zu können. Im Falle von „GeoPulse“ bedeutete dies, auf einem virtuellen Erdball Daten als Live-Visualisierungen anschauen und in verschiedenen Zeitebenen betrachten und vergleichen zu können. Im Wesentlichen sehr ähnlich dem „GlobeWatcher“ Projekt, welches ich mit einem Team von der FHNW Anfang 2015 in Genf beim ITU als Konzept vorgestellt hatte.
Tag 2
Wozu mittlerweise FaceTracking und die Erstellung von Virtual Humans im Allgemeinen in der Lage ist, konnte ich am zweiten Tag bei „Replicating Rachel“ (einem Talk von MPC) sehen, in dem eindrucksvoll deutlich wurde, dass wir uns mittlerweile in einer Zeit befinden, in der es absolut möglich wird, nicht nur menschliche, glaubhafte Charaktere in 3D grundsätzlich zu entwickeln, sondern auch virtuelle Ebenbilder von bestehenden Personen (oder in diesem Beispiel der Schauspielerin Shawn Young von vor 30 Jahren) nahezu nicht mehr unterscheidbar zu erstellen.
Dass dies selbst bald in Echtzeit möglich sein könnte, war während der Konferenz jederzeit in der Vive Tracking Area oder auch auf dem Screen des FMX-Foyers zu sehen, wo das Unreal Engine Projekt „Siren“ vorgestellt wurde: eine Schauspielerin bewegt sich in einem Suit mit Facecams, was ermöglicht, dass die digitale Figur „Siren“ sämtliche Bewegungen samt Mimik nahezu komplett in Echtzeit kopiert. Ich denke, dass in spätestens 3-4 Jahren hier kaum oder weit weniger uncanny valley Momente auftreten und die Möglichkeiten von virtuellen live animierten Avataren (vor allem auch für VR/AR aber auch Filmproduktionen) immens an Potential gewinnen werden.
Am Nachmittag probierte ich das Oculus Scuplting Tool „Oculus Medium“ aus, mit dem man ähnlich wie in ZBrush oder C4D virtuelle Geometrie wie Knete modellieren und „bemalen“ konnte – alles in VR. Hier finden sich in Zukunft sicher neben neuen kreativen Tools auch tolle Möglichkeiten für neue Bildungsmittel sowie generell interaktive künstlerische Erlebnisse aller Art.
Neben der Erstellung des 360-Rundgangs durch die Business Area (ebenfalls in der YT Playlist) – in der es unter anderem das „Siren“ Projekt live zu sehen gab – schaute ich mir am Nachmittag das multi-user VR Cinema Erlebnis „Conscious Existence“ von Marc Zimmermann an. Im Wesentlichen war dies ein 360/3D-Kurzfilm mit wunderschön anzuschauenden Visualisierungen und fein abgestimmtem Sound-Design (gibt’s auf Vimeo zu sehen, auch hier werden ja mittlerweile 360-Videos unterstützt), spannender hätte ich allerdings tatsächlich noch die „multi-user VR cinema“ Komponenten gefunden, diese funktionierten leider nicht so ganz wie von dem Machern erhofft. Spannend war es zumindest zu sehen, wie nach dem Aufsetzen des Headsets alle anderen Besucher des Kinos als abstrakte Avatare sichtbar wurden, deren Blickrichtung man anhang von einzelnen Strahlen erkennen konnte. Sofern man dieses System als Interaktionskomponente nutzbar macht, birgt diese Art eines kollaborativen Erlebnisses sicher interessante Potentiale.
Tag 3
Stark im Gedächtnis blieb mir von der Session „AR Platforms“ des Donnerstags neben allen spannenden technologischen Lösungen von Microsoft, Apple und Google vor allem die mit ARKit entwickelte Companion App „Follow Me Dragon“ – eine App, in der der User einen kleinen Drachen bei sich hat, den er füttern kann und der auf der Geometrie des umgebenden Raumen optisch korrekt herumlaufen und klettern kann. An sich mag diese App sicher noch nur ein erster Schritt sein, jedoch sehe ich hier vor allem in Anbetracht von aufkommenden AR-Brillen Technologien (*Update 02-2020: anscheinend arbeitet Apple derzeit ebenfalls ein einem AR Glasses Headset für casual user, das könnte ebenfalls spannend werden) völlig neue Möglichkeiten für die virtuelle Gestaltung des Alltags, wie man dies bereits in meinem Artikel zu „Dennou Coil“ vor einiger Zeit lesen konnte. Allerdings sind wir nun fast an diesem Punkt, dass diese Fiktion Realität werden könnte, und das ist sicher eine faszinierende Perspektive.
Obwohl Ken Perlin bei der diesjährigen FMX leider nicht vor Ort sein konnte, dessen Inputs für mich sowohl den aktuellen Stand der Industrie in facettenreicher Form wiederspiegeln sowie interessante visionäre Impulse setzen, konnte Saschka Unseld am Donnerstagnachmittag diese Rolle mehr als würdig ersetzen. Im Planetarium experimentierte der ehemalige Pixar Director und Studiogründer nicht nur mit einem alternativen Talkformat, das in Kombination von ruhigem Vortrag und passender Hintergrundmusik beinahe schon fast etwas Poetisches hatte, sondern zeigte auch, wie man mit viel ernsthafter Recherche und literarischer Inspiration (von Mead über Sonntag und Tarkovsky bis hin zu Darwin und Piaget) unsere VR/AR und generell die Medienbranche mit einem künstlerischen Bewusstsein angehen kann, das seinesgleichen sucht. Unseld ist für mich in dem Sinne auch ein Künstler der besonderen Art, was man vor allem in seinen feinsinnigen Kurzfilmen der Vergangenheit sehen kann, aber auch in der Art und Weise, wie er dem noch vor 1-2 Jahren vorherrschenden Paradigma, man könnte mit VR keine Geschichten erzählen, Projekte wie „Lost“, „Dear Angelica“ oder „Wolves in the Walls“ eindrucksvoll entgegenstellt, in denen durch Prinzipien von Ko-Existenz mit virtuellen Charakteren und dem User als Präsenz emotional berührende Geschichten erzählt werden, wenn auch (oder gerade weil) nicht in klassischer Form. Außerdem konnte Unseld in seinem neuesten Experiment „Through You“ (360-Grad Film mit einer Tänzerin) zeigen, dass die Kamerabewegung in VR nicht problematisch sein muss für Motion Sickness, solange man die Kamera „richtig“ bewegt.
Tag 4
Eigentlich dachte ich, dass damit die für mich spannendsten Inputs der Konferenz bereits gelaufen wären, konnte aber am Freitag noch hier und da ein paar interessante Dinge entdecken. So gab es in der Rubrik „Filmakademie Transmedia Projects“ der Filmakademie selbst wieder ein paar Projekte, aus denen sich für die nahe Zukunft neue Inputs für die eigene Arbeit ziehen lassen. Neben einem in-depth talk von Marc Zimmermann zum zuvor gesehenen „Conscious Existence“ gab es hier noch die Museums-App „Memo“, das Awareness-Projekt „Sherpa“, das VR-Game „Dream Makers“ zum gleichnamigen ITFS Trailer sowie die Kombination von Installation und VR-Erlebnis „Pulse of Life“ zu sehen. Besonders spannend waren dabei die Methoden von „Dream Makers“, bei dem eine multi-user Kooperation zweier Spieler gefordert wurde, ein Spieler mit einem Tablet (der Professor, der bestimmte Zutaten für Rezepte für „Dreams“ auf diesem Tablet hat) und der zweite Spieler mit VR-Headset (der Assistent, welcher in VR die Zutaten für den Traum zusammenmischen muss).
Sicher war das Gameplay noch recht rudimentär, aber diese Art von Kooperation könnte das ansonsten als wenig sozial verschriene uns isolierte Solo-VR-Erlebnis zu etwas anderem werden lassen. In „Pulse of Life“ hingegen ließ sich beobachten, wie die Studenten eine Kombination schaffen konnten aus real-life Gegestand und virtueller Welt, im Grundprinzip nicht unähnlich meiner eigenen Masterarbeit. Hier wir in Zukunft sicher noch viel passieren.
Einen nicht weniger spannenden wenn auch möglicherweise etwas unangenehmen Beigeschmack hinterließen die Talks zum Ausklang des letzten Konferenztages zum Thema „Machine Learning“, denn hier wurde deutlich, wie rasant die Entwicklung von selbstlernenden Algorithmen voranschreitet. Hier wird es in Zukunft vermutlich für alle Beteiligten, Kreative, Programmierer und Projektleiter ein wesentlicher Faktor werden, wie solche Softwares/KIs als Tools eingesetzt werden können oder wie (und ob) diese Algorithmen komplette Arbeitsbereiche entweder bereichern oder sogar komplett ablösen können. Natürlich gab es in diesem Zusammenhang kritische (bzw. eher besorgte) Fragen von Designern aus dem Publikum sowie in angeschlossenen Panel-Diskussionen vom Mittag, allerdings wird zukünftig meiner Einschätzung nach wohl niemand umhin kommen, zu akzeptieren, dass solche Tools existieren und an Bedeutung sowie Kompetenz gewinnen werden. Selbst jetzt kann eine solche KI bereits anspruchsvolle Musikstücke schreiben und Gemälde erstellen – vielleicht ist es daher eher an der Zeit zu überlegen, welche Skills Designer, Artists, aber auch Programmierer in Zukunft noch selbst als Mehrwert für ihre Kunden anbieten können, oder ob KIs in Kooperationssystemen als Teil des Schaffensprozess koexistieren können.
Ja, wir leben in spannenden Zeiten des Umbruchs und insofern kann man nur gespannt bleiben, wie sich damit auch diese Konferenz und ihre Inhalte in den kommenden Jahren verändern werden und vielleicht auch müssen. Wir bleiben jedenfalls weiterhin dabei und berichten in Zukunft auch weiterhin von allen spannenden Entwicklungen in diesem Bereich.
Falls Ihr es nicht schon getan habt, schaut doch ruhig noch in mein Videoreview des letzten Tages rein und lasst ein Feedback oder Eure Meinung zur FMX da!