Die bald erscheinende Meta Quest 3 wird Mixed Reality zum ersten Mal massentauglich machen. Doch was bedeutet das und warum ist das wichtig?

Mit Mixed Reality meine ich die Möglichkeit, die physische Umgebung mit digitalen Elementen anzureichern oder zu vermischen, während Virtual Reality als das bislang vorherrschende Paradigma die reale Umgebung vollständig ausblendet.

Meta Quest 3 wird das erste Headset, das fortschrittliche Mixed Reality unterstützt und gleichzeitig erschwinglich ist. Die Anfang 2024 erscheinende Apple Vision Pro wird schwerpunktmäßig ebenso auf Mixed Reality setzen. Man darf erwarten, dass sich die gesamte Industrie in den nächsten Jahren in diese Richtung bewegt, nachdem AR-Headsets wie Hololens und Magic Leap zu teuer und technisch zu eingeschränkt waren, um Relevanz zu entwickeln (siehe Artikel zum Unterschied von AR-Headsets und Passthrough-gestützten Mixed-Reality-Headsets).

Nun befürchten manche VR-Fans, dass Virtual Reality mit dem Aufkommen von Mixed Reality demnächst in den Hintergrund rücken oder gänzlich verdrängt werden könnte. Das ist unwahrscheinlich, denn VR ist ein etablierter Modus, während sich MR Reality erst noch beweisen muss. Doch selbst auf lange Sicht werden sich Mixed Reality Virtual Reality ergänzen statt ersetzen.

Es wird nach wie einen Markt für Virtual Reality und volle Immersion geben. Ähnlich verhält es sich beim Flach-Gaming. Nur weil viele Menschen mit dem Smartphone spielen, heißt das noch lange nicht, dass kein Interesse mehr an PC- und Konsolen-Gaming besteht. Beide haben ihre Daseinsberechtigung.

In meinen Augen besteht kein Grund zur Sorge, wohl aber zur Freude. Mixed Reality wird neue Möglichkeiten mit sich bringen und neue Nutzerschichten für die Technologie begeistern, die wir lieben. Hier sind drei Gründe, weshalb ich mich als Verbraucher auf Mixed Reality freue – und ihr das womöglich ebenso tun solltet.

1. Mixed Reality fügt sich leichter in den Alltag

Ich liebe es, dass Playstation VR 2 mir beim Aufsetzen zuallererst meine physische Umgebung anzeigt, sodass ich mich orientieren, zu den Controllern greifen und mich optimal im Raum aufstellen kann, bevor ich in den VR-Modus wechsle. Meta Quest 2 hingegen macht mich als Erstes blind für meine Umgebung. Auch wenn ich die Passthrough-Ansicht aktiviere, wechselt das Gerät nach einem Neustart wieder in die virtuelle Home-Umgebung. Ärgerlich.

Mit Mixed Reality wird das Konzept visueller Transparenz grundlegend und Headsets damit nutzerfreundlicher und sicherer. Ich sperre die Welt und meine Mitmenschen nicht mehr aus, sondern bringe digitale Elemente in den sozial geteilten Raum. Das ist eine totale Umkehrung des bisherigen Paradigmas.

Ich freue mich, Spiele wie Cubism (siehe Video unten) oder Squingle im Wohnzimmer zu spielen, auch wenn diese keine ausgefeilte Interaktion mit der physischen Umgebung bieten. Ich setze mir das Headset auf und schon schweben die digitalen Gebilde im Raum. Ich muss keinen Spielbereich einzeichnen, keine Möbelstücke zur Seite schieben oder meine Mitmenschen warnen, denn ich sehe sie stets vor mir.

Einfache Mixed Reality dieser Art könnte sich zu Virtual Reality ähnlich verhalten wie Smartphone-Gaming zu PC- und Konsolen-Gaming, um erneut obige Analogie zu bemühen. Sie ist mobiler, unkomplizierter und schneller zugänglich. Wenn sie auch noch auf Handtracking vertraut, dann geht der Wechsel noch müheloser, noch schneller vonstatten und genau das braucht die Technologie, um in der Mitte der Gesellschaft anzukommen.

Je kleiner die technischen Hürden und der Bruch mit der (sozialen) Umwelt, desto erfolgreicher kann das Medium werden. Die Technologie könnte so Menschen für sich gewinnen, die mit ihr ansonsten nichts anzufangen wüssten, was letzten Endes der gesamten Industrie zugutekommt. Vollimmersive VR-Spiele werden (bis auf Weiteres) meine Hauptmahlzeit bleiben, aber ich freue mich auf Mixed-Reality-Snacks wie diese und bin gespannt, wie sie meine Headset-Nutzung beeinflussen.

2. Mixed Reality ermöglicht neue Arten von Erfahrungen

Mixed Reality wird umso mächtiger, je stärker sie die Wirklichkeit in die Erfahrung einbindet.

Dafür muss sie die physische Umgebung zuerst räumlich und semantisch verstehen, also in Echtzeit die Anordnung und Beschaffenheit von Räumen erkennen, sowie die darin befindlichen Objekte einordnen und unterscheiden können. Gelingt dies und das wird nicht von heute auf morgen geschehen, da die technischen Voraussetzungen komplex sind, dann wird Mixed Reality neue Spielerfahrungen eröffnen.

Wie unerforscht diese Möglichkeiten sind, zeigt eine Liste der 15 besten Mixed-Reality-Erfahrungen für Meta Quest. Die meisten der darin genannten Spiele und Erfahrungen erschöpfen sich darin, digitale Objekte in der physischen Umgebung darzustellen, jedoch ohne mit dieser zu interagieren. Der Grund liegt darin, dass die Mixed-Reality-Technologie der Meta Quest 2 unausgereift ist und weder Räume noch Objekte von automatisch erkennt. Mit Meta Quest 3 wird sich das ändern.

Dank besserer Hardware und mächtigeren Schnittstellen können Entwickelnde zum ersten Mal das volle Potenzial der Mixed Reality erforschen. Da Quest 3 relativ erschwinglich ist im Gegensatz zu anderen Mixed-Reality- oder AR-Headsets, könnte zum ersten Mal ein profitables Ökosystem für vollimmersive Mixed-Reality-Apps entstehen und dieses wiederum die Innovation in diesem Bereich antreiben.

Mit Mixed Reality wird die Welt zu einer Leinwand und jeder Pixel der Wirklichkeit und damit unsere Wahrnehmung selbst beeinflussbar. Was das bedeutet, können wir noch gar nicht ermessen.

In der obigen Liste finden sich auch einige experimentierfreudigere Mixed-Reality-Apps, die vorgefundene Räume in die Erfahrung einbeziehen. Dazu gehören I Expect You To Die: Home Sweet Home, Dungeon Maker und Hauntify (siehe Video oben). Sie zeigen, in welche Richtung die Reise gehen könnte. Home Sweet Home kombiniert geschickt Wirklichkeitsebenen, Dungeon Maker verwandelt die eigene Wohnung in einen Hindernisparcours und Hauntify spielt auf fiese Weise mit unserer Wahrnehmung.

Wer sagt, dass Mixed Reality anders als Virtual Reality nicht immersiv sei, irrt sich: Mixed Reality hat das Zeug, noch immersiver zu sein, weil sie die taktile Wirklichkeit als Grundlage nutzt und keine andere, künstliche erschaffen muss. Ich freue mich auf die neuen Formen der Interaktion und Immersion, die Mixed Reality ermöglichen wird.

3. Mixed Reality bringt lokalen Multiplayer

Ziemlich genau fünf Jahre ist es her, dass Meta auf der eigenen Hausmesse eine aufregende neue Art, VR-Spiele zu spielen, demonstrierte. Wer die Oculus Connect 5 besuchte, konnte gemeinsam mit anderen in eine 450 Quadratmeter große Spielarena treten und sich mit Oculus Quest Gefechte in einem Western-Szenario liefern. Die Headsets stülpten der physischen Arena passgenau eine virtuelle über und verorteten sich gegenseitig in Echtzeit.

Obwohl dieses Konzept als äußerst vielversprechend galt, blieb es bei der einmaligen Demonstration. Eine Schnittstelle, die lokalen Multiplayer mit mehreren Quest-Geräten ermöglicht, erschien erst Anfang 2023 für Meta Quest 2.

Warum Meta so viele Jahre wartete, ist nicht bekannt. Der naheliegendste Grund sind Sicherheitsbedenken. Wenn mehrere Menschen im gleichen Raum gemeinsam Virtual Reality spielen, kommt es schneller zu Unfällen und Verletzungen, da man sich nur als Avatare sieht und blind für die physische Umgebung ist.

Mit Mixed Reality ändert sich das, da man die Umgebung und das Gegenüber stets im Blick hat. Mit der schrittweisen Einführung neuer Mixed-Reality-Schnittstellen für Meta Quest 2 ergab es Sinn, endlich lokalen Multiplayer einzuführen. Wobei diese Art des Spielens weitgehend unerforscht ist. Es gibt nur eine Handvoll Demos, die diese Möglichkeiten ausloten.

Mit der erschwinglichen Mixed Reality der Meta Quest 3 wird sich das ändern und Headset-Technologie endlich ein Pendant zum sozialen Couch-Gaming erhalten. Räumliche Inhalte wird man mühelos teilen und gemeinsam im gleichen Raum erleben können. Und mit dem Anwachsen der Spielfläche könnten sich auf Sportplätzen und in Spielhallen ganze neue Spielkonzepte auftun.

Diese Entwicklung wird Zeit brauchen, denn nicht jeder Haushalt besitzt zwei oder mehr Quest-Geräte. Aber die Hoffnung geht dahin, dass sich diese Art von Mixed-Reality-Erfahrung in den nächsten Jahren entfaltet und etwa soziales Gaming oder Zusammenarbeit neu definiert.

Man kann es nicht genug betonen: Mit Meta Quest 3 und anderen Mixed-Reality-Headsets, die folgen werden, beginnt eine neue Ära für die Technologie. Sie setzen die Arbeit fort, die AR-Headsets wie Hololens und Magic Leap begannen. Wegen der Einschränkungen dieser Geräte blieb die Software weit hinter ihren Möglichkeiten zurück. Mit Mixed-Reality-Headsets verschieben sich die technischen Grenzen und das Potenzial von AR-Technologie kann endlich entfesselt und gründlich erforscht werden.

Dieser Beitrag erschien als dreiteiliger Artikel bei MIXED.

Der deutsche Entwickler Holger Frydrych erzählt in einem Vortrag, wie sein Team Half-Life 2 erfolgreich in die Virtual Reality brachte. Die VR-Mod, die mit Valves Segen entstand und auf Steam veröffentlicht wurde, erschien im Herbst 2022 und erhielt mehr als 4.000 positiven Bewertungen auf Steam. Im März und April 2023 folgten Episode 1 und 2.

In einem Vortrag auf dem Big Techday 2023 in München geht der leitende Entwickler Holger Frydrych auf die Entstehungsgeschichte der VR-Portierung ein. Ein Video des Vortrags kann man sich bei Youtube ansehen.

Die Geschichte der VR-Mod reicht zehn Jahre zurück und erlebte mehrere lange Entwicklungspausen. Erst ab Jahr 2021 gewann die Entwicklung wieder an Schwung. Unter Mitwirkung Frydrychs und anderer Modding-Größen wie DrBeef und WormSlayer wurde die Arbeit an der VR Mod zu einem erfolgreichen Abschluss gebracht.

Im Vortrag erläutert Frydrych im Detail, wie Half-Life 2 an die technischen und spielerischen Erfordernisse der Virtual Reality angepasst wurde. So mussten etwa die 3D-Modelle der Waffen vervollständigt werden, da man diese in der klassischen Version nur von einer Seite sieht und die andere Seite von Valve gar nicht ausmodelliert wurde.

Viel Arbeit floss in Interface-Anpassungen. Für Half-Life 2 VR wurde ein neues Waffenauswahlmenü entwickelt, das demjenigen aus Half-Life: Alyx nachempfunden ist und eine ebenso schnelle, wie einprägsame Selektion der zahlreichen Waffen zulässt. Frydrychs Team ging gar so weit, Waffeninteraktionen einzubauen: So kann man die Pistole händisch nachladen und Gordon Freemans Brechstange eigenhändig schwingen, um Kisten zu zertrümmern.

Auch bei der Implementierung künstlicher Fortbewegung ging das Team beispielhaft vor. Die Mod erlaubt fließende Fortbewegung und Teleportation. Für die Vehikelpassagen, in denen man in hohem Tempo unterwegs ist, wurden weitere Modi entwickelt, um VR-Übelkeit einzudämmen.

Half-Life 2 VR ist ein leuchtendes Vorbild für Fan-Modding und eine der besten VR-Portierungen, die es gibt. Frydrych schrieb den Code in seiner Freizeit und arbeitete dafür an vielen Wochenenden und Abenden. Allein die Zeit, die Frydrych testend in der VR-Mod verbrachte, beläuft sich auf 250 bis 300 Stunden. Die Entwicklungszeit dürfte ein Mehrfaches davon betragen.

Dieser Beitrag erschien am 20. August 2023 bei MIXED.