Meine Lieblingsneuigkeit der Meta Connect 2022 betrifft nur indirekt Virtual Reality: dass Xbox Cloud Gaming für Meta Quest kommt. Dank der entsprechenden VR-App wird es möglich sein, hunderte hochwertige 2D-Spiele direkt in die Quest zu streamen und auf einer großen Leinwand zu spielen. Ein Game-Pass-Abo und Xbox-Controller reicht.

Diese Nachricht kam überraschend und freute mich, weil ich daheim weder eine Spielkonsole noch einen Gaming-Monitor stehen habe. Wenn ich keine Filme schaue oder lese, dann bin ich in VR unterwegs. Mit 2D-Gaming habe ich mich seit Jahren nicht mehr auseinandergesetzt. Was nicht heißt, dass ich gelegentlich nicht gerne wieder etwas in die Richtung ausprobieren würde. Mit Xbox Cloud Gaming für Meta Quest könnte ich dieser Tätigkeit innerhalb meines gewohnten Medienkonsums nachgehen und dank Virtual Reality im Großformat und an jeder beliebigen Wand.

Mir ist klar, dass meine Mediennutzung von dem der großen Masse abweicht und dass Xbox Cloud Gaming allein kein Kaufgrund für eine VR-Brille ist. Aber Xbox Cloud Gaming zu unterstützen, ergibt Sinn im Rahmen einer umfassenderen Strategie, klassische 2D-Unterhaltungsformen in VR zugänglich zu machen. Weil diese enormen kulturellen und ökonomischen Wert haben, auf die Verbraucher Zugriff haben sollten, wenn sie ein Headset aufsetzen.

Virtuelle Wohnung der VR-App Virtual Desktop. | Bild: Guy Godin

Das gilt nicht nur für Unterhaltungsmedien wie Spiele, Filme und Musik. Wie praktisch wäre es, wenn man in VR vollen Zugang auf das eigene Smartphone hätte oder auf den Desktop-Computer, um nach einem VR-Spiel noch schnell eine Textarbeit in VR fertig zu tippen oder auf eine E-Mail zu antworten, ohne die VR-Brille absetzen zu müssen. Gleichzeitig mit Xbox Cloud Gaming kündigten Meta und Microsoft an, Windows 11 und Office-Apps für Meta Quest herauszubringen. Damit wäre ein weiterer, wichtiger Schritt in eine Zukunft getan, in der das 2D-Ökosystem im VR-Ökosystem aufgeht und VR-Headsets zu Allzweckgeräten werden. Eine Brücke zu schlagen zwischen alten und neuen Paradigmen des Medienkonsums und der Datenverarbeitung: Das ist unabdingbar für die breitere Aneignung von VR und AR.

Ein großer Verfechter des Vorhabens, 2D-Inhalte in VR zugänglich zu machen, ist John Carmack. Schon 2019 meinte der ehemalige Oculus-Technikchef bei einem Connect-Vortrag zu diesem Thema:

„Es gibt Inhalte im Wert von einer Billion Dollar, die für andere Bildschirme entwickelt wurden. Und ich halte es für völlig unvernünftig, so zu tun, als würden die Leute den gesamten Wert dieser Inhalte in VR-spezifischen Anwendungen nachbilden. [VR] sollte die universelle Plattform sein. Man sollte in der Lage sein, alles in VR zu tun.“

Und Carmack geht noch weiter in seiner Vision: Das VR-Headset solle „der beste Bildschirm im Haus“ sein, der „egal, welche anderen Tablets, Telefone, Bildschirme oder Fernseher man nutzt, eine VR-Version davon bietet, die auf eine Weise signifikant besser ist.“

Dieser Beitrag erschien am 5. November 2022 bei MIXED.

Im August veröffentlichte Meta die Handtracking-Demo First Hand, die den aktuellen Stand der Technik repräsentiert. Die Technologie ist eindrucksvoll, aber hat trotz jüngster Verbesserungen noch immer Gimmick-Charakter. Wenn ich meine Meta Quest 2 aufsetze, greife ich instinktiv zu den Touch-Controllern. Das geht schneller und fühlt sich irgendwie direkter und befriedigender an, selbst wenn ich nicht spiele und nur durch Menüs navigiere.

Das liegt nicht nur an der Trägheit des Trackings, den Aussetzern und fehlenden Präzision, kurz: der nervösen Frickeligkeit der aktuellen Handverfolgung. Ich empfinde es als unangenehm, wenn ich eine Auswahl bestätige und nichts spüre oder schlimmer: virtuell ein digitales Objekt in die Hand nehme und dabei in die Luft greife. Das zerstört nicht nur die Illusion. Es versetzt mein Gehirn in einen Alarmzustand. Hallo, hier stimmt etwas nicht.

Metas EMG-Armband, das neuronale Signale in Computerbefehle umwandeln und haptisches Feedback liefern kann.

Dass es nicht nur mir so geht, bestätigt ein vor kurzem stattgefundener Twitter-Diskurs, in dem es um die Unzulänglichkeiten aktuellen Handtrackings geht. Nach meinem Demo-Erlebnis bin ich überzeugter denn je, dass der Handverfolgung etwas Grundlegendes fehlt und das ist irgendeine Form von Haptik. Ich wünsche mir deswegen keine haptischen Handschuhe herbei. Die sind weit entfernt von der Marktreife, wie Metas eigene Forschung zeigt, und obendrein viel zu umständlich, um sich im Alltag durchzusetzen.

Womöglich ist weniger mehr. Etwa eine leichte Vibration am Handgelenk, wenn ich ein virtuelles Menü berühre, um die Illusion zu schaffen, dass ich etwas in der physischen Welt bewirke. Virtual Reality beweist doch wieder und wieder, dass das Gehirn disparate Sinnesreize zu einem kohärenten Ganzen zusammenfügen kann und dass wir dafür nicht unbedingt eine Menge Technik-Krempel brauchen. Ich denke in diesem Kontext an Metas EMG-Armband, das neuronale Signale von Mikrogesten in Computerbefehle übersetzen und dazu passendes subtiles haptisches Feedback liefern soll. Die Haptik-Seite des Armbands geht zurück auf ein Forschungsprojekt namens Tasbi, das im Sommer 2019 erstmals vorgestellt wurde. Internen Studien zufolge kann das Wearable überzeugende haptische Effekte bis in die Fingerspitzen simulieren. Selbst komplexere Interaktionen wie das Drehen eines Knopfes, Oberflächenbeschaffenheit und Trägheit von Objekten soll das Armband haptisch unterstützen können, bei minimalem technischem Aufwand. Schafft es Meta, die Technologie zu miniaturisieren, könnte sie womöglich in einer Smartwatch Platz finden.

Das Armband soll Berichten zufolge in den nächsten Jahren auf den Markt kommen. Dass Meta vor kurzem Lofelt kaufte, zeigt, wie ernst es mit dem Unternehmen mit diesem Vorhaben ist. Das deutsche Start-up spezialisierte sich auf Haptik und stellte ein Armband her, dass Audiosignale in haptische Effekte verwandelt.

Apples kommendes Headset wird laut Berichten ohne Controller erscheinen und stattdessen nur auf Handverfolgung setzen. Sollte dem wirklich so sein, kann ich mir nicht vorstellen, dass Apple auf haptisches Feedback gänzlich verzichtet.

Mit oder ohne Haptik: Handtracking ist längst nicht reif für die große Bühne. Zumindest in der Form, in der ich sie von Meta Quest 2 kenne. Doch es gibt Hoffnung: Bessere Sensoren werden die Präzision steigern und die Latenz senken und Entwickelnde mit Software-Tricks dafür sorgen, dass sich Handtracking natürlicher und müheloser anfühlt. Aber selbst dann könnte es sein, dass ich Handtracking nur bei einfachen Anwendungen und der Menünavigation den Vorzug gebe und dass die Controller auf dem Tisch liegen bleiben. Gerade bei Spielen.

Apple und Meta: Überzeugt mich vom Gegenteil.

Dieser Beitrag erschien am 18. September 2022 bei MIXED.

Ich mag VR-Spiele, die physisch fordern. Ich räume die Möbel beiseite, ziehe meine Turnschuhe an und los geht es. Solange ich mich bewege, trainiere und kämpfe und dabei alles um mich herum vergesse, merke ich nicht einmal, dass ich über längere Zeit mehr oder weniger an Ort und Stelle stehe.

Anders verhält es sich bei VR-Inhalten mit wenig oder gar keinen Interaktionen. In diesem Fall spüre ich das Gewicht und die Trägheit meines Körpers schon nach wenigen Minuten. Selbst das VR-Headset scheint stärker als sonst zu drücken. Nach einer halben Stunde oder so kommt der Wunsch auf, einen Stuhl herbeizuholen. Die Nachteile sind offensichtlich: Das Sitzen beeinträchtigt die Immersion und ist nicht gesund, da man Alltag genug sitzt. Wenn es im Rücken zwickt, macht Virtual Reality keinen Spaß.

Möchte ich in der VR entspannen oder ein Spiel spielen, das keine allzu große physische Aktivität voraussetzt, suche ich die Couch auf und begebe mich in eine mehr liegende als sitzende Position: mit dem Rücken an die Seitenlehne gelehnt und angewinkelten oder ausgestreckten Beinen. So kann ich Virtual Reality ein bis zwei Stunden ermüdungsfrei genießen.

Leider funktioniert das nicht mit allen VR-Spielen. Da man den Oberkörper in dieser Haltung kaum bewegt und die Hände weniger Bewegungsspielraum haben, kann es passieren, dass man bestimmte virtuelle Objekte nur schwer oder gar nicht erreicht. Selbst der Griff zur virtuellen Waffe oder zum Werkzeug kann durch die physische Couch blockiert sein. Das gilt übrigens auch dann, wenn man aufrecht sitzt, da man die Arme nicht seitlich hängen lassen kann.

Die Branche hat Umwege entwickelt, die das Problem einer fehlenden Übereinstimmung von virtueller und physischer Körperhaltung mit Software-Tricks löst. Spieler können virtuell in die Hocke gehen, um Objekte, die am Boden liegen, aufzunehmen oder diese telekinetisch an sich heranziehen. Manche VR-Spiele wie Demeo erlauben, die Perspektive mit wenigen Handbewegungen so auszurichten, sodass man selbst im Liegen spielen kann. Doch das sind Ausnahmen.

Es würde der Branche helfen, wenn mehr VR-Spiele Couch-Gaming unterstützen oder zumindest mehr Spielmodi für bequeme und entspannte Situationen. So greifen VR-Interessierte womöglich häufiger zur VR-Brille statt zum Buch, dem Smartphone, der Fernbedienung oder der Spielkonsole. Die Konkurrenz ist groß und häufig gewinnt das Medium, das am bequemsten ist. Ein weiterer positiver Effekt Couch-kompatiblen VR-Gamings wäre, dass Menschen, die aus gesundheitlichen Gründen nicht oder nicht lange sitzen, stehen oder gehen können, mehr VR-Inhalte genießen könnten. Ein Problem ist der zusätzliche Programmieraufwand. Die Implementierung geht zulasten VR-Studios, die ihre Spiele neben Sitzen, Stehen und Gehen für einen weiteren Spielmodus optimieren müssen, was noch mehr Ressourcen verschlingt.

Die Problematik scheint mir VR-spezifisch zu sein: Bildschirme waren jahrzehntelang stationär, ein Umstand, dem sich die Inhalte und Nutzung anpassten. Mit Handheld-Konsolen, Tablets und Smartphones wurden Bildschirme so klein und mobil, dass man sie in fast jeder Körperhaltung nutzen kann. Dennoch mussten Entwickler neue visuellen Strategien und Interaktionsformen erfinden. Virtual Reality ist ein noch größerer Paradigmenwechsel. Das hängt damit zusammen, dass Virtual Reality den physischen Körper und die Hände stärker involviert und in die Erfahrung einbringt – ein Anspruch, der mit dem Wunsch nach bequemer VR im Konflikt steht.

Die Konventionen des VR-Gamings sind nicht in Stein gemeißelt und befinden sich weiter im Fluss. Ich bin gespannt, wo VR in wenigen Jahren steht: Ob es sich stärker in Richtung Couch und klassischen Medienkonsum bewegt, oder als bewusst körperbetontes Medium neue Interaktions- und Unterhaltungswelten erschließt.

Dieser Beitrag erschien am 28. August 2022 bei MIXED.

Ich setze mich seit 2016 vertieft mit Virtual Reality auseinander, beruflich und in meiner Freizeit. Diese Beschäftigung ist nicht bloß theoretischer Natur: Ich tauche fast jeden Tag für ein paar Minuten ein und zuweilen verbringe ich ein oder zwei Stunden am Stück in VR. Meine Mitmenschen sagen mir, dass ich unweigerlich lächle, wenn ich mir die VR-Brille aufsetze.

Ja, ich bin verliebt in dieses Medium. Aber ich würde deswegen nicht in der VR leben wollen. Das hat einen triftigen Grund: Virtual Reality erweitert meinen Körper und Raum, aber sie kann sie nicht ersetzen. Ich bleibe tief in der Realität verwurzelt, durch meinen Leib und die Materie, die ihn umgibt.

Das ist ein beruhigender Gedanke. Als sportlicher Mensch möchte ich mir gar nicht vorstellen, wie es wäre, in eine künstliche Welt aufzubrechen und meinen Körper zurückzulassen. Die meisten Menschen empfinden so und ich kann das vollkommen nachvollziehen. Trotz langjähriger Beschäftigung mit VR habe ich nicht die geringste Lust, in eine andere digitale Realität zu flüchten, jedenfalls nicht dauerhaft.

Tauche in die Virtual Reality, so halte ich mich in zwei Welten gleichzeitig auf: Meine Augen und Ohren erleben eine digitale Welt, aber der Rest meines Körpers bleibt der physischen Realität verhaftet. Ob ihm das lieb ist oder nicht. Wollte ich dies, wie manche VR-Neulinge, vergessen und loslaufen, würde ich das schmerzhaft zu spüren bekommen.

Virtual Reality ist nicht wirklich Virtual Reality, sie ist, wie ich vor zwei Jahren schrieb, schon immer eine Mixed Reality gewesen: Wenn man sich in sie hineinbegibt, trägt man stets zwei Realitäten Rechnung, der digitalen und physischen, und ist in keiner ganz zu Hause. Zumindest mit der heutigen, vergleichsweise primitiven VR-Technik. Für komplette Immersion müsste man unsere Wahrnehmung vollständig simulieren. Das wäre, wenn überhaupt, wohl nur über eine direkte Schnittstelle im Gehirn möglich. Eine solche Technologie existiert nicht und könnte für immer ein philosophisches Gedankenkonzept und eine Sci-Fi-Fantasie bleiben. Für das Metaverse, das Meta und anderen Unternehmen vorschwebt, ist sie irrelevant, weil technisch nicht machbar.

Ich bin immer wieder irritiert, wenn ich Metaverse-Visionen sehen, die die Mischrealität der Virtual Reality ignorieren, den Umstand, dass wir unseren physischen Körper und Raum nicht verlassen können. Die so tun, als stünde „Full-Dive-VR“ vor der Haustür.

Metas Metaverse-Vision, präsentiert auf der Meta Connect 2021. | Bild: Meta

Ein Beispiel ist die Metaverse-Vision, die Meta im Rahmen der Meta Connect 2021 präsentierte. In einer Szene sieht man Avatare, die sich so verhalten, als seien sie von der physischen Wirklichkeit abgenabelt: Sie durchqueren virtuelle Räume, sitzen an einem Tisch oder schweben schwerelos durch die Luft. Das sind Bilder, die eine Körperlichkeit und Physikalität beschwören, die der stofflosen Virtual Reality abgeht. Was man in dem Ausschnitt sieht, kann man mehr oder weniger heute schon in der Virtual Reality tun. Man darf nur nicht erwarten, dass es sich natürlich anfühlt. Weil der eigene Körper physischen Gesetzen unterworfen bleibt. Auch wenn der Begriff Virtual Reality etwas anderes suggeriert: Aktuelle VR-Technik abstrahiert stark von der sogenannten Wirklichkeit.

Ein anderes Beispiel ist der Dokumentarfilm We Met in Virtual Reality, der komplett in VRChat gedreht wurde und zeigt, wie Menschen während des Lockdowns in der VR zueinanderfinden. Der Film präsentiert und filmt Virtual Reality, als wäre sie ein zweites Leben und wechselt nie in die Außenperspektive, um die Gerätschaften zu zeigen, die die Menschen für eine solche Erfahrung am Körper tragen müssen. Stattdessen sieht man zahlreiche Szenen, die ein natürliches Körper- und Weltgefühl suggerieren: Die Avatare fahren in Autos, umarmen sich, trinken in Bars und gehen gemeinsam auf den Rummelplatz.

Wer Virtual Reality selbst noch nicht erlebt hat, könnte glauben, es mit einer anderen, physisch annähernd gleichwertigen Realität zu tun zu haben, einer Art Matrix, nur nicht ganz so realistisch und mit Menschen, die als Animes, Tiere und Dämonen erscheinen. Ich habe viel Zeit in VR verbracht und kann mir nicht vorstellen, dass sich ein virtuelles Leben so natürlich anfühlt, wie es der Film zuweilen darstellt. In der VR spüre, rieche und schmecke ich nichts und mein virtueller Leib bleibt ein Fremdkörper.

In einer Heiratsszene ruft der Priester die Anwesenden vor der virtuellen Vermählung auf, „etwas zu tun, das sich sehr, sehr unnatürlich anfühlt und mit der Technologie, die ihr tragt, aufzustehen“. Das klingt so, als würden die meisten VRChat-Nutzer:innen sitzen, während sie sich in VR aufhalten. Das würde mich nicht überraschen: Sich in Virtual Reality physisch bewegen und Sport treiben, das macht Spaß. Aber stundenlang die Beine in den Bauch stehen?

Virtual Reality lässt vieles von dem Besten vermissen, was man aus der althergebrachten Realität kennt. Das ist gut, weil es die Chance verringert, dass wir uns in künstlichen Welten verlieren. Dass ich den physischen Körper in die VR mitnehmen muss, hat noch einen anderen Vorteil. Virtual Reality ist umso immersiver, je intensiver wir von unserem Leib Gebrauch machen. Das hat einen positiven Effekt: Im Gegensatz zu anderen Unterhaltungsmedien halten wir uns fit, während wir VR konsumieren und gewinnen so das Beste beider Welten.

Dieser Beitrag erschien am 21. August 2022 bei MIXED.

Meta dürfte mittlerweile an die zehn Millionen Geräte verkauft haben. Das gilt als relativ gesichert. Wer sich mit Metas VR-Historie auskennt, weiß: Zehn Millionen ist eine wichtige Zahl.

Im Jahr 2018 definierte Mark Zuckerberg zehn Millionen Nutzer:innen auf einer einzelnen VR-Plattform als vorläufiges Ziel. Sei diese Marke erreicht, könnten es sich Studios leisten, hochwertigere VR-Inhalte zu entwickeln, die wiederum mehr Nutzer ins Ökosystem spülen wurden, die diese Inhalte kaufen. Das Ergebnis, so meinte Zuckerberg auf der Bühne der Oculus Connect 5, wäre ein explosionsartiges Wachstum.

Im vergangenen Sommer zog Metas Technikchef Andrew Bosworth ein erstes positives Fazit: „Es läuft wirklich gut. Als wir uns auf der Connect dieses Ziel setzten, hatten wir einen Zeitplan im Kopf und ich bin überzeugt davon, dass es eher passieren wird, als wir ursprünglich erwarteten.“ Den Zeitraum, für den Meta das Erreichen dieses Ziels erwartet oder wann es denn so weit sein könnte, verriet Bosworth nicht.

Wenn Meta wirklich zehn Millionen Einheiten verkauft hat, wieso feiert die Firma diese Marke nicht lautstark als Erfolg? Diese Frage stellte sich kürzlich der Metaverse-Blogger Wagner James Au. Einer seiner Leser lieferte ihm eine mögliche Antwort: Die aktiven Nutzer könnten gegenüber den Hardware-Verkaufszahlen deutlich abfallen. Eine schlechte Metrik bei der regelmäßigen Nutzung, der sogenannten Retention, wäre für die Außenwirkung von Metas VR-Investitionen negativ.

An dieser These könnte etwas dran sein. Hören wir uns Zuckerbergs Keynote aus 2019 noch einmal an, so wird klar: Der CEO bezog sich nicht auf Verkäufe, sondern auf „Menschen, die VR-Inhalte nutzen und kaufen“. Zwei Jahre später sagte Zuckerberg in einem Interview mit The Verge: „Aus der Perspektive des Ökosystems waren wir der Meinung, dass eine kritische magische Zahl erreicht ist, wenn wir zehn Millionen aktive Einheiten erreichen. Ab diesem Punkt haben wir ein selbsttragendes Ökosystem.“ Zuckerberg fügte hinzu, dass er optimistisch sei, dieses Ziel in den „nächsten Jahren“ zu erreichen.

Den Erfolg von VR bemisst Meta also weniger an Hardware-Verkaufszahlen, als an wiederkehrenden Nutzer und deren Nutzungsdauer – die Grundlage für wachsende Umsätze. Selbst wenn Meta also zehn Millionen Geräte verkauft hat: Von zehn Millionen aktiven VR-Nutzer könnte das Unternehmen weit entfernt sein – und aus diesem Grund stets andere Metriken wie App-Store-Meilensteine und Entwicklerumsätze nennen, wenn es über Erfolge sprechen will.

Könnte es sein, dass viele Quest-Geräte selten genutzt werden? Jedenfalls seltener als andere Spieleplattformen wie Smartphones, Konsolen und PCs?

Meta demonstriert die Profitabilität des Quest-Ökosystems gern mit Entwicklerumsätzen. Das letzte Update stammt vom Februar 2022. | Bild: Chris Pruett @ Twitter

Dass viele Quest-Brillen ungenutzt im Schrank liegen, bestätigte Ende letzten Jahres der ehemalige Oculus-Technikchef John Carmack. Die Retention scheint also selbst mit autarken VR-Headsets noch eine Herausforderung für Virtual Reality zu sein. Auch der Hardware-Analyst und Leaker Brad Lynch hört laut eigenen Angaben häufiger von seinen Quellen, dass die Retention noch immer ein großes Problem ist.

Ein möglicher Grund: VR ist anspruchsvoll. Spieler müssen ihren Spielbereich einzeichnen, womöglich Platz freiräumen, unter Umständen körperlich aktiv sein, statt im Sitzen zu spielen. Die 360-Grad-Immersion und die natürliche Interaktion in VR mit dem eigenen Körper sind eindrucksvoll und der große Pluspunkt des Formats. Zugleich ist VR dadurch kognitiv anspruchsvoller als herkömmliche Medien.

Tolle Inhalte könnten Spieler regelmäßiger zurückbringen, meinte Carmack. Es sei jedoch auch möglich, dass erst die Hardware besser und leichter werden und mehr Funktionen für größeren Mehrwert gegenüber anderen Unterhaltungsformen bieten müsse, oder dass die VR-Brille schneller starten und einsatzbereit sein muss.

Dieser Beitrag erschien am 13. August 2022 bei MIXED.