Der VR-Markt sieht sich mit einer alten Bedrohung konfrontiert: der Fragmentierung in unterschiedliche Plattformen, Eingabemethoden und Spielarten.

Meta Quest ist seit Jahren die führende VR-Plattform mit Millionen von Nutzern. Für Studios und Entwickler, die auf dieser ein profitables Geschäft aufbauen möchten, gibt es keinen Weg am Quest Store vorbei. Doch 2024 drängen neue, ernst zu nehmende Bewerber auf den Markt, die Metas Vorherrschaft herausfordern. Apple baut mit Vision Pro eine komplett neue Headset-Plattform auf, basierend auf VisionOS. Bis Ende des Jahres dürften Google und Samsung dazustoßen und ein drittes Ökosystem für autarke Headsets begründen, das auf Android XR beruht, einem eigenen VR-optimierten Betriebssystem.

Meta Quest basiert ebenfalls auf einer stark modifizierten Version von Android, aber inwiefern die Plattformen kompatibel miteinander sein werden, ist unklar. Google und Meta konnten sich jedenfalls nicht auf eine engere Zusammenarbeit einigen. Eines ist klar: Die Gemengelage für Entwickler und Verbraucher wird in den nächsten fünf Jahren komplexer, als sie es in den vergangenen fünf Jahren war, in denen Meta Quest dominierte.

2025 könnten ein halbes Dutzend Headset-Plattformen zur Auswahl stehen, mit stark schwankendem Portierungsaufwand und unterschiedlichem App-Angebot: Meta Quest, Pico OS, VisionOS, Android XR, SteamVR und Playstation VR 2. Der Industriestandard OpenXR erstreckt sich auf die Hälfte dieser Plattformen, wobei noch unklar ist, inwiefern ihm Android XR verpflichtet sein wird. Es ist unwahrscheinlich, dass Entwickelnde ihre Inhalte für all diese Plattformen herausbringen werden, der Aufwand wäre schlicht zu groß. Die Verbraucher werden sich demnach für eine Plattform entscheiden und dabei auf bestimmte Inhalte verzichten müssen.

Apple Vision Pro setzt allein auf Blick- und Handerfassung als Eingabemethode, Meta Quest größtenteils auf Controller. | Bild: Apple / Meta

Eine weitere Fragmentierung droht auf Ebene der Eingabemethode. VR-Studios entwickeln seit knapp zehn Jahren für Controller und haben eine Designsprache entwickelt, die für diese Art der Eingabe optimiert ist. Mit Apples Fokus auf Hand- und Blicksteuerung wird dieses Paradigma infrage gestellt. Viele Spiele, die für Controller entwickelt wurden, lassen sich nicht ohne Weiteres mit Hand-Tracking umsetzen und eine wichtige Komponente dieser Spiel- und Nutzungserfahrung, die Haptik, geht dabei völlig verloren. Spiele und Apps müssen für Hand- und Blicksteuerung von Grund auf neu gedacht werden. Ein beträchtlicher Teil des in der letzten Dekade aufgebauten Wissens wäre somit obsolet. In der VR-Gemeinschaft scheiden sich die Geister darüber, wohin diese Entwicklung führt.

Innerhalb der führenden Quest-Plattform selbst droht ebenfalls eine Fragmentierung. Meta treibt mit Mixed Reality eine neue Spielart der Technologie voran, die sich von Virtual Reality dadurch unterscheidet, dass sie die physische Umgebung ins Erlebnis einbezieht. Virtual Reality und Mixed Reality schließen sich nicht gegenseitig aus, und Mixed Reality könnte den VR-Markt erweitern, anstatt ihn zu fragmentieren. Aber die Technologie ist noch relativ neu und unerprobt und man wird abwarten müssen, wie Verbraucher darauf reagieren.

Für Entwickler kann diese Wahl ein konkretes Dilemma darstellen: Soll man die (meist knappen) Ressourcen auf die etablierte Virtual Reality setzen, etwas Neues in Mixed Reality versuchen oder beide Technologien gleichzeitig nutzen? Die Wahl der Technologie hat weitreichende Folgen und kann über Gedeih und Verderb eines Studios entscheiden. Manche alteingesessene Studios wie Fast Travel Games haben die Entscheidung bereits für sich getroffen, wohl wissend, dass die Industrie eine riskante Phase der Selbstdefinition durchläuft.

Ich habe die Herausforderungen, die auf Virtual Reality zukommen, in diesem Artikel nur angeschnitten, aber man sieht ohne Weiteres, dass sich der Markt in den nächsten fünf Jahren in zahlreiche Richtungen entwickeln kann, die eher zu dessen Fragmentierung als dessen Vergrößerung beitragen.

Dieser Beitrag erschien am 13. März 2024 bei MIXED.

Waldszenen gehören zu den anspruchsvollsten Aufgaben moderner Computergrafik. Schließlich gilt es, Millionen von Ästen, Steinen, Blättern und ein äußerst komplexes Spiel von Licht und Schatten zu rendern.

Oniri Forest bekommt das beeindruckend gut hin, ohne dass ein externer Rechner benötigt wird. Die Simulation läuft auf einem autarken Headset. Als ich die Techdemo mit Meta Quest 3 startete, war ich ziemlich baff. Ich stand auf einem Waldweg, umgeben von realistischen gerenderten Bäumen, Sträuchern und Farnen. Die Szene wirkt nicht wie ein Computerspiel, sondern als hätte jemand einen existierenden Ort detailgetreu eingefangen. Ich habe schon viele Fotogrammetrie-Umgebungen in VR besucht, aber Oniri Forest mit seiner dichten Vegetation sprengt das bislang Gesehene.

Der Wald von Oniri Forest. | Bild: Oneiros

Der Wald von Oniri Forest ist keine 360-Grad-Tapete: Ich kann meine Perspektive verändern und die Umgebung wird korrekt gerendert. Zumindest innerhalb einer etwa ein Kubikmeter großen „Ansichtsbox“. Trete ich physisch aus dieser heraus und entferne mich von ihr, verliert der Wald an Detailtreue und es treten Verzerrungen auf. Das ist die größte Einschränkung der VR-App, die eine solche Grafik überhaupt erst ermöglicht.

Die Umgebung von Oniri Forest bietet mehr als ein Dutzend solcher Ansichtsboxen und die VR-App möchte, dass man sich von Box zu Box teleportiert. Freie Fortbewegung wie einem Computerspiel ist nicht vorgesehen. Der Waldweg führt auf eine Lichtung zu einer Cyberpunk-Bar und einem schwebenden Auto, das aus Blade Runner stammen könnte. Leider kann ich diesen Schauplatz nicht aus der Nähe bewundern.

Oniri Forest ist eine Techdemo des Start-ups Oneiros, das für Unternehmenskunden aufwendige 3D-Szenen in leicht zu rendernde Umgebungen für autarke VR-Headsets und das Web konvertiert. Oneiros sieht eine breite Palette möglicher Anwendungen für die hauseigene Technologie: Architektur und Immobilienbranche, Ausstellungen, Bildung und Training, Spiele und Konzerte.

Oneiros verrät nicht, welche Tricks zur Anwendung kommen, aber ich tippe auf ein Renderverfahren, das von Google Seurat inspiriert ist. Diese Technik wurde 2017 für mobile VR-Headsets vorgestellt und ist seit 2018 Open Source. Seurat ermöglicht das Rendering äußerst realistischer Szenen auf leistungsschwachen Systemen, indem es die Szenen auf bestimmte Perspektiven einschränkt. Das Funktionsprinzip ist in obigem Video veranschaulicht.

Oniri Forest ist trotz dieser Einschränkung absolut sehenswert und ich hoffe, dass sie zugrundeliegende Technologie in dafür geeigneten VR-Apps, etwa für virtuelle Reisen, Einzug findet.

Dieser Beitrag erschien am 1. März 2024 bei MIXED.

Jaron Lanier gründete in den 80er-Jahren das Unternehmen VPL Research, das die ersten kommerziellen VR-Headsets und VR-Anwendungen entwickelte und prägte den Begriff Virtual Reality. Anlässlich der Markteinführung von Apple Vision Pro veröffentlichte Lanier einen Kommentar im New Yorker, der in der VR-Gemeinschaft nur wenig Widerhall fand oder jedenfalls kaum diskutiert wurde.

Lanier blickt in seinem Aufsatz auf seine Jahre bei VPL zurück, beschreibt die hellen und dunklen Seiten der Technologie, wie er sie sieht und stellt die wichtige Frage danach, welche Rolle Virtual Reality dereinst im alltäglichen Leben spielen könnte.

Der Programmierer, Künstler, Komponist und VR-Pionier Jaron Lanier. | Bild: Winni Wintermeyer

Gaming schließt er als prägende Anwendung aus, da Gamer „größer sein wollen als das Spiel statt von ihm verschlungen zu werden“. Virtual Reality glänze dann, wenn sie eine aktive Erfahrung ist, die die Nutzer prägen statt umgekehrt und wenn sie die Wertschätzung für das wahre Leben steigere, statt versuche, diese zu ersetzen. Ansonsten laufe die Technologie Gefahr, Menschen noch mehr aufzuregen und zu deprimieren, als es die kleinen Bildschirmen von Smartphones tun, so Lanier.

VR-Headsets würden heute als etwas vermarktet, das man für alltägliche Verrichtungen nutzen kann. Lanier sei jedoch schon immer der Meinung gewesen, dass Virtual Reality am sinnvollsten ist, wenn sie etwas Bestimmtes und Praktisches bewirkt, das nicht sehr lange dauert, oder wenn sie so seltsam wie möglich ist.

Gegen Ende seines Kommentars spitzt Lanier seine Kritik zu:

„Investoren und CEOs sprechen davon, wie die Menschen die meiste Zeit in der VR verbringen werden, so wie sie auch viel Zeit mit ihrem Telefon verbringen. Die Motivation, sich diese Zukunft vorzustellen, liegt auf der Hand: Wer würde nicht gerne die nächste iPhone-ähnliche Plattform besitzen? Wenn die Menschen mit einem Headset im Gesicht leben, wird die Person, die die VR-Plattformen betreibt, ein gigantisches, äußerst profitables Imperium kontrollieren.

 

Aber ich glaube nicht, dass Kunden diese Zukunft wollen. Die Menschen können die sich abzeichnende Absurdität spüren und sehen, wie sie dadurch Bodenhaftung und Sinn verlieren.

 

(…) Die Wahrheit ist, dass das Leben in VR sinnlos ist. Das Leben innerhalb einer Konstruktion ist ein Leben ohne Grenzen und Herausforderungen. Es ist geschlossen, kalkuliert und nutzlos. Realität, die wirkliche Realität, das geheimnisvolle physikalische Zeug, ist offen, unbekannt und liegt jenseits von uns; wir dürfen sie nicht verlieren.“

Laniers Frage nach dem Stellenwert, den VR für das Leben hat, ist wichtig. Wir brauchen uns jedoch keine Sorgen zu machen, dass sie das Leben ersetzen oder uns zu passiven Objekten im Dauerberieselungsmodus machen wird, zumindest nicht in absehbarer Zukunft.

Zum einen sind VR-Headsets noch zu groß und schwer, als dass man sie den ganzen Tag oder auch nur mehr als eine Stunde am Stücken tragen wollen würde. Ich bin VR-Enthusiast und halte mich selten länger als eine Stunde in VR auf. Wenn die letzten zehn Jahre technologische Entwicklung ein Gradmesser sind, dann wird es noch lange, sehr lange dauern, bis die Geräte so klein und leicht geworden sind, dass der Tragekomfort ein massenverträgliches Maß erreicht. Ich gehe mit Lanier darin überein, dass kurze und intensive VR-Sitzungen am schönsten sind.

Zum anderen ist Virtual Reality eine Technologie, die den Körper einbindet und umso mächtiger wird, je mehr man sich bewegt. Das ist ein großer Unterschied zu herkömmlichen Computern, Konsolen, Smartphones und Tablets. Viele Menschen treiben Fitness mit VR-Headsets und ich spiele seit Kurzem Virtual Reality in einem naheliegenden Wald und an der frischen Luft. Apple mag Vision Pro als räumlichen Computer und Medienabspielgerät, das man vornehmlich im Sitzen und passiv nutzt, vermarkten, aber dabei wird es nicht bleiben.

„Die Wahrheit ist, dass das Leben in VR sinnlos ist“, sagt Jaron Lanier. | Bild: Midjourney prompted by MIXED

Und wie steht es um geistige und kreative Aktivität? Es gibt gute Gründe (Stichwort: Generative KI), anzunehmen, dass Nutzer dereinst in der Lage sein werden, leichter als je zuvor eigene Welten und Erfahrungen zu kreieren und dass Virtual Reality das ideale Medium für das Schaffen und Teilen solcher Inhalte mit anderen sein wird.

Der Kommentar erweckt bei mir den Eindruck, dass Lanier den Stand der Technik und Nutzung nur vom Hörensagen und nicht aus eigener Erfahrung kennt. Dafür spricht, dass er VR-Gaming abwertet und die kreative und soziale Seite des Mediums (VRChat!) sowie Fitnessanwendungen nicht einmal erwähnt.

Aber gleichzeitig finden seine Worte bei mir großen Widerhall. Ich meine sein Plädoyer, dass VR das Leben bereichern und nicht ersetzen soll. Genau so sehe ich das auch. Sein Aufsatz ist mehr als Kulturpessimismus und wurde für die Zukunft, nicht die Gegenwart geschrieben. Möglich, dass wir in fünfzig Jahren viel Zeit in ultraleichten Headsets verbringen und dann stellt sich tatsächlich die Frage, was die Technologie mit uns macht.

Ich habe bereits geschrieben, weshalb ich das Meatverse dem Metaverse vorziehe und ich erwarte nicht, dass sich daran etwas ändert. Manchmal kommt es vor, dass ich zwei Stunden oder länger in der VR verharre, weil sie mich so fesselt. Aber danach bin ich meist froh und atme auf, wenn ich das Headset vom Gesicht nehme und zurück in der wirklichen Welt bin, mit all ihren Möglichkeiten und Mängeln.

Nach einer langen VR-Sitzung fühle ich mich zuweilen so, als hätte ich mir in einem Fast-Food-Restaurant den Bauch vollgeschlagen anstatt eine reichhaltige Mahlzeit zu mir zu nehmen. Mein Magen ist voll, aber der Körper fühlt sich verraten. VR überflutet einen mit Reizen, aber intuitiv weiß man, dass diese Wirklichkeit eine Mogelpackung ist, dass etwas Substanzielles fehlt, sei es Haptik, Geruch oder einfach nur das „geheimnisvolle physische Zeug“, von dem Lanier spricht. Ich vertraue auf dieses Gefühl. Es hält mich in dieser Welt verwurzelt.

Dieser Beitrag erschien am 7. Februar 2024 bei MIXED.

Meta Quest 3 und Vision Pro sind keine herkömmlichen Brillen. Sie fangen die Umgebung mithilfe von Sensoren ein und rekonstruieren sie als digitalen Videofeed auf opaken Displays. Diese Technik nennt man Passthrough. Ist die Welt solchermaßen digitalisiert, kann sie manipuliert und um kontextsensitive virtuelle Objekte erweitert werden, was man Mixed Reality nennt.

Neben Passthrough-Headsets gibt es optische Headsets wie Hololens und Magic Leap. Diese sind transparent und projizieren digitale Elemente durch ein Stück Glas ins Auge, was den Vorteil hat, dass man die unvermittelte Welt vor sich sieht.

Passthrough-Headsets beseitigen eine Reihe von Schwächen optischer Headsets wie das schmale Sichtfeld und schwache Leuchtkraft digitaler Objekte, bringen jedoch eigene Nachteile mit sich: Die Welt gerinnt zu einem Videofeed und verliert dabei stets an Farbtreue, Auflösung und Tiefe.

Passthrough-Headsets werden sich in den nächsten Jahren dennoch durchsetzen und zur primären Kategorie räumlicher Computer werden. Die Technik und Inhalte werden erwartungsgemäß besser und die Geräte kleiner und bequemer, wodurch sie immer häufiger und länger am Stück genutzt werden. Doch was macht das eigentlich mit Menschen, wenn sie die Welt stundenlang durch ein solches Gerät betrachten und als Videofeed erleben?

Diese Frage stellte sich das Virtual Human Interaction Lab (VHIL) der Stanford University in einer neuen Feldstudie mit dem Titel: „Seeing the World through Digital Prisms: Psychological Implications of Passthrough Video Usage in Mixed Reality“. Das VHIL erforscht seit 2003, wie sich Virtual Reality auf Menschen auswirkt und ist auf diesem Gebiet das weltweit führende Forschungslabor.

„Millionen von Menschen werden bald jeden Tag stundenlang die Welt vermittelt durch Kameras und Bildschirme sehen. Apple, Meta und andere Unternehmen stellen massenhaft Headsets her, die Nutzer vom Licht der realen Welt abschirmen und stattdessen auf Passthrough-Video als Grundlagentechnologie für Mixed Reality setzen“, schreiben die elf Autorinnen und Autoren der Feldstudie.

Die Passthrough-Experimente des VHIL wurden mit Quest 3 durchgeführt. | Bild: VHIL

Die Forscher:innen haben jeweils einige Stunden damit verbracht, Quest 3 in der Öffentlichkeit und privat zu tragen und ihre Erfahrungen mit dieser Technik zu dokumentieren. Zusätzlich wurde frühere Forschung zu den psychologischen Folgen durchgesehen und aufgearbeitet.

Die Forscher kommen zum Schluss, dass die Passthrough-Technik Staunen hervorrufen kann und sich für viele Anwendungen eignet, aber auch negative Folgen haben könnte, darunter Nachwirkungen auf den Sehapparat, Fehler beim Schätzen von Entfernungen, Motion Sickness und Störungen sozialer Interaktion.

„Wir raten Unternehmen, die für den täglichen Gebrauch dieser Headsets werben, zur Vorsicht und Zurückhaltung und fordern Wissenschaftler auf, dieses Phänomen rigoros und in Langzeitstudien zu untersuchen“, schreiben die Autoren. Frühere Forschung lege nahe, dass langfristige Nutzung von Headsets Folgen hat und dass es keinerlei direkte Forschung zum Thema Passthrough gebe, auch was die Auswirkung auf Kinder betreffe.

Die Forscher schlagen vor, Leitlinien zu erstellen, die die Nutzung einschränken, geben sich jedoch keinen Illusionen hin. „Angesichts der Tatsache, dass diese Strategien mit Smartphones gescheitert sind, sind wir nicht optimistisch. Wenn Apple und Meta fantastische Mixed-Reality-Inhalte erstellen, werden die Menschen sie wahrscheinlich viel nutzen.“

Auch auf das Sozialverhalten könnten sich Passthrough-Headsets negativ auswirken. „Während die physische Sicherheit zweifellos wichtig ist, müssen sich Wissenschaftler auch auf soziale Abwesenheit konzentrieren, ein Phänomen, bei dem sich Passthrough-Nutzer von anwesenden Personen sozial abgekoppelt fühlen. Ausgehend von früheren Forschungen und unseren Erfahrungen sollte man nicht davon ausgehen, dass die soziale Präsenz von Personen, die über Passthrough hereingebeamt werden, gleichbedeutend mit Face-To-Face-Interaktion ist“, schreiben die Forscher:innen.

Apple Vision Pro bietet die bislang beste Passthrough-Qualität für Verbraucher, aber ist bei Weitem nicht perfekt. In seinem Vision-Pro-Test schrieb Verge-Chefredakteur Nilay Patel, dass Passthrough möglicherweise eine technologische Sackgasse sei, weil der Videofeed keineswegs mit dem natürlichen Sehen mithalten könne. Er kritisierte außerdem das EyeSight-Display, das die Augen der Nutzer auf externen Displays darstellt, weil es keinen echten Augenkontakt mit der Außenwelt ermögliche.

Solche rein technischen Mängel könnten jedoch im Laufe der Zeit ausgemerzt werden, wovon auch die Forscher des VHIL ausgehen.

Dieser Beitrag erschien am 6. Februar 2024 bei MIXED.

Man kann es nicht oft genug sagen: Für die VR- und AR-Industrie ist der Launch von Vision Pro das wichtigste Ereignis, seit Facebook vor zehn Jahren Oculus kaufte.

Seitdem hat sich viel getan in der Branche, die viel experimentiert sowie unzählige Höhen und Tiefen erlebt hat. Meta hat sich in diesem Jahrzehnt zum Quasi-Monopolist entwickelt. Meta Quest verkaufte sich mehr als 20 Millionen Mal und schuf ein Ökosystem, von dem viele kleinere bis mittelgroße Studios leben können.

Lange sah es so aus, als würde niemand ernsthaft versuchen, Metas VR-Dominanz herauszufordern, zumal das Unternehmen viele Milliarden in VR- und AR-Technologie investiert und der Markt noch immer klein ist und die Verluste groß.

Jahrelang gab es Gerüchte, dass Apple an einem Headset arbeitet. Immer wieder hieß es, dass das Unternehmen ein Gerät vorstellen werde. Doch man wartete vergeblich, ein ums andere Mal. Das sagenumwobene Headset drohte, ein Mythos zu bleiben. Bis Apple im Sommer 2023 die Welt in Staunen versetzte und Vision Pro der Öffentlichkeit vorstellte.

Bild vom Vision Pro Launch in New York. | Bild: Apple

Am 2. Februar 2024 ist es nun so weit: Vision Pro erscheint in den USA und für einmal schaut wieder die ganze Welt auf unsere Branche. Die nächsten Monate und Jahre werden ungeheuer spannend, da jetzt zwei Techriesen (offenbar langfristig) um die Führung im Bereich der Gesichtscomputer ringen wollen.

Mir gehen beim heutigen Launch eine Menge Fragen durch den Kopf:

• Wird Vision Pro ein Erfolg und was ist hier überhaupt das Kriterium?
• Wird Vision Pro verändern, wie VR-Headsets in der Öffentlichkeit wahrgenommen werden?
• Wird Vision Pro häufiger genutzt als andere Headsets?
• Wird Vision Pro in den nächsten Jahren tatsächlich zu einem Computerersatz, einer neuen Art Computer?
• Wird Vision Pro die Steuerung mit Augen und Händen durchsetzen?

Ich versuche, meine Erwartungen niedrig zu halten. Wer die VR-Industrie in den vergangenen zehn Jahren verfolgt hat, weiß, wie langsam sich die Dinge entwickeln.

Doch bei aller Skepsis: Ich bin froh, dass Apple endlich den Schritt gewagt hat. Nun werden wir die Technologie aus einer neuen, erfrischend anderen Perspektive erleben, die auch Metas Bemühungen neues Leben einhauchen wird.

Dieser Beitrag erschien am 2. Februar 2024 bei MIXED.