links: Obama Deepfakes | mittig: V-Tuber Gawr Gura |rechts: V-Tuber 0-Chi

Beim heutigen Durchstöbern meiner YouTube Abos hatte ich das Video “V-Tuber oder virtual YouTuber und die Bedeutung für unsere Zukunft” von Horst Lüning entdeckt, dessen Content ich schon eine Weile verfolge. Seinen Channel schaue ich eigentlich eher wegen gesellschaftlicher und wirtschaflicher Analysen, daher war ich erst etwas verwundert, einen solchen Beitrag auf seinem Channel zu finden.

Hier mal das Video zum Reinschauen, bevor Ihr weiterlest:

Was mir beim Schauen aber auffiel, und das mag entweder am Alter liegen oder daran, dass Herr Lüning in diesem Thema nicht so versiert ist, war, dass er das Thema “Deep Fakes” und “V-Tubing” bzw. “Virtual YouTubing” zu stark vermischt und sich scheinbar noch nicht im Detail mit der Materie beschäftigt hat.

Ich hatte daraufhin einen recht langen Kommentar geschrieben, indem ich die beiden Dinge gegenüber stellen wollte. Mein Ziel dabei war unter anderem aufzuzeigen, warum Vtubing gerade immer populärer wird, was daran interessant ist, und warum man das nicht mit Deep Fakes verwechseln sollte.

Da aber niemand so lange YouTube-Kommentare liest, dachte ich mir, poste ich den Kommentar lieber hier als Artikel. Vielleicht kann ich damit ja etwas Licht ins Dunkel dieser beiden wichtigen Themen bringen.

Deep Fakes

Bild von Hao Li’s Präsentation über “Virtual Humans” von der FMX 2017

Der eine Aspekt, der in dem Video beschrieben wird, sind “Deep Fakes”. Diese haben primär das Ziel, menschliche Gesichter + Stimme so realitätsgetreu wie möglich nachzustellen. Dass damit nicht nur Positives möglich ist, ist sicherlich logisch und bei jeder neuen Technologie eine allgemeine Sorge in der Gesellschaft.

Deep Fakes gibt es als Technologie schon seit Jahren und man ist bereits viel weiter als hier von Ihnen geschildert. Technisch ist man im Prinzip schon beim Fotorealismus angekommen – eine Unterscheidbarkeit von echt und fake ist hier fast nur noch von Experten möglich. Dass man sich als Bevölkerung dieser Technik bewusst sein sollte, weil damit langfristig quasi jede Relevanz eines “Videobeweises” verschwindet, ist wichtiges Allgemeinwissen in einer medial aufgeklärten Gesellschaft. Sicher, Identitätsdiebstahl ist eine Straftat, aber das viel größere Risiko hier ist sicher nach wie vor das Hacken oder Imitieren von Accounts, Fake Accounts oder auch “social engineering/hacking”, weil es so einfach per Text oder per Telefonat funktioniert und nicht die technisch noch recht aufwändige exakte Nachstellung einer Person erfordert. Dennoch wird sich das Strafgesetz hierfür sinnvolle Neuerungen einfallen lassen müssen, um mit solcher Technik auf der Höhe zu bleiben.

V-Tubing – Was ist das?

V-Tuber von links nach rechts: mittig: Gawr Gura | Mori Calliope | Salavore | 0-Chi

Das andere ist V-Tubing, also die Produktion von Videos oder Streams mit einem virtuellen Avatar. Der Avatar kann dabei (derzeit) als 2D oder 3D Modell umgesetzt werden, und wird per Webcam und entsprechender Tracking Tools wie Live2D, Facerig o.ä. auf die Bewegungen des Videoerstellers gemapped. Das Ganze lässt sich sogar schon mit full-body Captures im 3D Raum verbinden, also dass die 3D Figur durch einen Raum läuft. Manche Programme (2D wie auch 3D) ermöglichen dabei Face-Tracking inkl. einer (teils noch rudimentären) Emotions-Erkennung und mappen diese auf das Gesicht. Der Grad der Komplexität hängt hierbei nicht so sehr von Vtubing im Allgemeinen sondern des technischen Könnens des Riggers (Modell-Überarbeiter, damit dies live bewegbar wird) sowie den Erkennungsparametern der Software ab. Man schaue sich einfach mal das “Siren” live tracking 3D Projekt von der Game Engine “Unreal” an, das war vor 2018 schon ziemlich beeindruckend.

Interaktives 360°-Video von der FMX 2018, ab Minute 13:00 findet ihr ca. die relevante Stelle bzgl. “Siren”

Das ist aber nur der technische Hintergrund – interessanter wird es da schon bei den Gründen, warum die VTuber Bewegung gerade so an Momentum gewinnt.

Was bedeutet V-Tubing für die Zukunft?

Serien, Cartoons, 3D-Animation – all das gibt es ja schon seit Ewigkeiten. Schaut jemand eine Serie, baut er zu den Schauspielern/Figuren (ob Realfilm oder 2D ist dabei schon fast egal) eine para-soziale Beziehung auf, hat also das Gefühl, er “kennt” die dargestellten Figuren/Charaktere. Durch Streaming hat sich generell eine neue Möglichkeit ergeben, wie Menschen bzw. Schauspieler, Entertainer, Gamer oder einfach nur Hobbyisten mit einer großen Community direkt interagieren können. Das ist für viele jüngere Zuschauer ein willkommenes neues Medium, um Communities aufzubauen und sich auszutauschen, VOR ALLEM aber, ihrem “Idol” ein wenig näher zu kommen und persönlich interagieren zu können. Das schafft persönliche Bindungen und Beziehungen, die weit mehr sind als para-sozial.

Dass viele – vor allem in Japan ist das schon länger so – sich die Möglichkeit wünschen, tatsächlich mit einem virtuellen (z.B. Anime-)Charakter interagieren zu können, hat man sicher schon mal gehört. Teils wird dies bei manchen Individuen sicher auch zu pathologisch, der reine Otaku-Trend ist da aber noch nicht wirklich ein Problem, dennoch kann man es natürlich mit allem übertreiben. Allerdings war eine solche Interaktion bis vor der Vtubing-Bewegung nahezu unmöglich. “Hatsune Miku” war zwar die erste bekannte Vocaloid (virtuelle Sängerin) aber auch mit dieser konnte man auf entsprechenden Konzerten auch nicht wirklich interagieren – alles war vorab aufgenommen.

Videozusammenschnitt eines Auftritts von Hatsune Miku


Nun, mit Vtubing, verbinden sich die Welten und damit auch die Möglichkeiten von live-Streaming und virtuellen Charakteren. Es gibt einen virtuellen Charakter, hinter dem tatsächlich eine echte Person steht, mit der man interagieren kann. Man kann sich das im Prinzip vorstellen wie Impro-Theater, bei dem das Publikum eingeladen wird, sich zu unterhalten, aber der Schauspieler “bricht” quasi nie den Charakter und zieht auch sein Kostüm nie aus.

Fazit

Ich sehe Vtubing primär als eine neue Form von Medium bzw. Entertainment, eher ein Sub-Genre von Streaming und Videoproduktion. Daher sehe ich auch nicht wirklich eine “Konkurrenz” zu anderen Youtubern. Mit Deep Fakes hat das als Richtung erstmal gar nichts zu tun, aber dass jemand, der die Absicht hat, etwas zu faken, beide Technologien geschickt verbinden könnte, ist sicherlich eine Möglichkeit. Allerdings sehe ich auch, dass sich die Wichtigkeit von Vtubing in der Zukunft – und das schon recht bald – drastisch verschieben könnte. Welcher Fan wünscht sich nicht, mit einem seiner Lieblingscharaktere aus einem Film tatsächlich interagieren zu können? Dabei sollte man auch ein paar Dinge richtigstellen, die in Horst Lünings Video möglicherweise missverständlich dargestellt wurden:

1. Gawr Gura stellt einen weiblichen Teenager-Charakter dar und die Leute schauen sie primär wegen ihrer Persönlichkeit und weil sie unterhaltsam ist. Im Gegensatz zu der Vermutung in Lünings eingangs genanntem Videos hat Gawr Gura auch bewusst keine großen “Sie wissen schon” – aber natürlich gibt es diese Vtuber auch, und das zu Hauf.

2. Natürlich gibt es Anime-Charaktere in diesem Medium, aber das ist bei weitem nicht alles. Im Gegenteil: Vtubing bietet eigentlich für jeden virtuellen Charakter, von Iron Man über Elsa bis hin zu Mickey Mouse für sämtliche Figuren die Möglichkeit, diese live mit einem Schauspieler dahinter darzustellen. Dass das nicht nur ein kurzfristiger Trend ist, kann man daran sehen, dass große Firmen wie Disney derzeit testen, wie man sich an diese Bewegung mit seinen eigenen Marken dran hängen kann.

Abschließend sehe ich Vtubing vor allem als ein weiteres Kreativ-Medium mit der Möglichkeit, dass auch Introvertierte sich durch die Anonymität und damit den persönlichen Schutz, welche ein virtueller Charakter bietet, sicherer fühlen, in so einem Kontext Streaming anzufangen, was man sich sonst evtl. gar nicht getraut hätte. Auf diese Weise Communities aufzubauen ist eine wunderbare Sache und ich sehe hier täglich unglaublich menschlich tolle, unterstützende Communities. Das sollte man nicht abwerten sondern wertschätzen.

Natürlich ist Vtubing nicht ohne Kritik, und so kann es sicher auch passieren, dass jemand sich hinter seinem Avatar versteckt und über die so aufgebaute Identität hinaus nicht in menschliche Interaktion treten möchte. Studien aus den Niederlanden von vor 2-3 Jahren hatten mich schon verwundert, in denen es hieß, die Jugend sei zum Großteil lieber mit ihren Freunden in Text-Interaktionen (Chats, Whatsapp) als im “echten” Leben. Man wird sehen müssen, wohin das gesellschaftlich geht, aber so gesehen sind sämtliche Social Media Kanäle auch nichts anderes als gigantische MMO’s, in denen jeder eine möglichst perfekte und inszenierte Avatar-Version von sich selbst spielt. Man sollte also vielleicht eher mal eine Diskussion anstoßen, inwiefern Social Media abhängig machen kann und menschliche Interaktionen nachteilig verändert.

Ein letzter abschließender und vielleicht etwas provokativer Gedanke: ich denke, dass sich vor allem weibliche Streamer an dem Vtubing Trend stören, welche ganz bewusst und plakativ ihre „Sie wissen schon“ dazu nutzen, sich eine Fanbase von jungen bedürftigen Männern aufzubauen (siehe Amouranth, Ok Boomer Girl o.ä. – hier bewusst ohne Verlinkungen). Der Grund: gut auszusehen ist noch immer ein rares Gut in dieser Gesellschaft – wer gut aussieht, hat es leichter mit Followern und dem Aufbauen einer Fanbase. Wenn nun aber jede Person mit ein wenig Schauspiel-Geschick und einer gut gemachten Charakter-Illustration oder 3D-Figur beliebig “gut” aussehen kann, läuft das diesen Streamerinnen früher oder später den Rang ab, weil viele von Ihnen neben ihrem Aussehen den Zuschauern charakterlich wenig bieten – und wem das reicht, der wird sich auch mit einem optisch gut gemachten virtuellen Charakter zufriedengeben, solange die Möglichkeit der Interaktion gegeben ist.

Damit kann ich das ja mal zur Diskussion offenstellen und freue mich auf Rückmeldung zu diesem spannenden Thema 🙂

Bild von “Siren” – Foto eines Displays auf der FMX 2017