Diese Woche schrieb ich über eines der ersten VR-Erlebnisse Mark Zuckerbergs. Das war im Jahre 2014. Wenige Wochen nach der Demo erwarb Facebook das Start-up Oculus und brachte damit den Hype um Virtual Reality ins Rollen.

Der Traum vom schnellen Mainstream-Erfolg der VR-Headsets erfüllte sich nicht. Doch Zuckerberg hält VR und AR noch immer für die Zukunft. Im Herbst 2021 benannte er sein Unternehmen medienwirksam in Meta um und richtete es radikal neu aus. Das Ergebnis ist ein erneuter Hype um VR und AR, nur unter neuem Namen: dem Metaverse.

Dass auch dieser bald Früchte trägt, ist nicht zu erwarten. Das Metaverse entstand nicht aus dem Nichts und rückte auch kein bisschen näher dadurch, dass es Zuckerberg in hübschen Rendervideos heraufbeschwor. Das Metaverse ist mehr Sci-Fi-Vision als Wirklichkeit, mehr Platzhalter und Unbekannte als ein klar definierter Begriff. Im Metaverse sieht jeder etwas Anderes und darin liegt die Macht dieses Konzepts.

Der VR-Markt und dessen Entwicklung sind so interessant wie noch nie. Meta Quest 2 gab in den letzten Jahren einen Vorgeschmack auf den Mainstream. Stagnierte die Technologie in den letzten Jahren, wird sie demnächst wieder Sprünge machen: Project Cambria, Playstation VR 2 und Apples Headset, falls es denn endlich erscheint, werden 2023 neue Maßstäbe bei VR-Technik setzen und hoffentlich noch mehr Menschen für VR begeistern.

Im Rahmen der Connect 2021 präsentierte Meta, wie es sich das Metaverse vorstellt. | Bild: Meta

Ist Virtual Reality dann endlich über den Berg, aus der Nische herausgewachsen, eine Technologie, die ihren Platz gefunden hat? Ich denke nicht. VR-Headsets gab es schon vor 2016 und es wird sie auch in Zukunft geben für professionelle Anwendungen wie 3D-Design, Architektur und Training. Aber das ist nicht, was sich Zuckerberg erhofft. Virtual und Augmented Reality sollen Technologien mit großer kultureller Tragweite werden, die im Alltag der Menschen eine Rolle spielen und nicht nur ein Werkzeug unter vielen bleiben.

Es ist schwer, sich vorzustellen, wie sich die Branche ohne Metas Zugkraft und kompromisslosen Investitionswillen Metas entwickelt hätte und was passieren würde, wenn Zuckerberg sich entschlösse, sich von VR und AR abzuwenden. Leben wir tatsächlich in der Post-Meta-Ära, in der die Branche auch ohne größeres Zutun Metas kontinuierlich weiterwachsen würde, wie der Analyst Ming-Chi Kuo kürzlich behauptete? Ich bin skeptisch.

Der Grund ist, dass es nicht viele reiche Unternehmen gibt, die an VR glauben und die Ausdauer und Bereitschaft haben, in die Technologie zu investieren, ohne dass sie zeitnah Gewinne abwirft. Es gibt zum einen Meta und Sony, zum anderen die Opportunisten und Trittbrettfahrer, die aus primär drei Gründen in VR investierten: weil sie sich schnellen Umsatz versprechen, weil sie Angst haben, dass Zuckerberg am Ende doch recht hat oder weil sie schlicht tun, was Meta tut.

Mark Zuckerberg in seinem virtuellen Zuhause der Zukunft. | Bild: Meta

Das ist nachvollziehbar. Meta hat große Macht, wirtschaftlich und dadurch, dass knapp drei Milliarden Menschen dessen soziale Netzwerke nutzen. Zuckerbergs Einfluss ist so groß, dass er die Realität vieler Menschen allein schon dadurch formt, dass er ein neues Unternehmensziel ausgibt. In diesem Fall etwas, das noch gar nicht existiert: das Metaverse. Der ausufernde und teils bizarre Metaverse-Hype beweist das.

Ob der Enthusiasmus für VR und AR gespielt ist oder nicht, wissen wir nicht (ich denke, Zuckerberg ist in diesem Punkt aufrichtig). Aber die Begeisterung allein ist schon eine Botschaft, ein wichtiges Signal: Sie ist eine Zusicherung, dass Meta willens ist, die Grundlagen für ein VR- und AR-Ökosystem zu schaffen. Ohne diese wäre es schwierig, Entwickler zu gewinnen und damit Apps, die eine Anschaffung der Hardware überhaupt erst lohnenswert machen.

Sony könnte das ebenfalls gelingen, aber wie steht es um Valve, Google oder Apple? Können sie Entwickler begeistern, die für die betreffenden Ökosysteme Zeit und Geld aufwenden und Inhalte entwickeln wollen? Valve hat seit 2020 keinen Finger mehr gerührt, Google ist berühmt dafür, Projekte frühzeitig aufzugeben und Apple muss die eigene Produktstrategie erst noch darlegen.

Ich denke nicht, dass Virtual Reality als Mainstream-Technologie etabliert ist und ein gesunder Markt existiert. Dafür braucht es mehr als nur ein Ökosystem und Unternehmen, das 90 Prozent des Marktes dominiert, so wie es Meta derzeit tut. Die VR-Industrie braucht Zuckerbergs Enthusiasmus, zumindest so lange, bis die Branche auf eigenen Beinen steht.

Dieser Beitrag erschien am 10. Juli 2022 bei MIXED.

Im Juni stellte Meta mehrere VR-Prototypen vor, die neue und eigens für Virtual Reality entwickelte Display-Systeme demonstrieren. Sie zeigen, in welche Richtung sich VR-Headsets in den nächsten fünf bis zehn Jahren entwickeln könnten.

Metas selbsterklärtes Ziel ist, den visuellen Turing-Test zu bestehen. Das heißt: eine visuelle Qualität zu erreichen, die digitale Welten ununterscheidbar macht von der Realität.

Die vorgestellten Prototypen sind Bausteine auf diesem Weg: Mit Half-Dome erforscht Meta VR-Gleitsicht, mit Butterscotch Retina-Auflösung, mit Starburst HDR-Tauglichkeit und mit Holocake 2 eine holografische Optik, die VR-Brillen sehr dünn und leicht machen soll. Die Prototypen sind allesamt funktionsfähig, auch wenn deren Display-Technologie unterschiedlich weit von Umsetzbarkeit und Vermarktung entfernt sind.

Der Holocake-2-Prototyp ist ein voll funktionsfähiges PC-Headset mit holografischer Optik. | Bild: Meta

Ebenfalls vorgestellt wurde Mirror Lake, der Bauplan eines VR-Headsets, von dem noch kein funktionsfähiger Prototyp existiert. Mirror Lake ist Metas vorläufiges Endziel: Das futuristische VR-Headset soll die meisten der vorgestellten Display-Systeme sowie andere Technologien, die Meta in den letzten sieben Jahren entwickelte, in einem schlanken, leichten und energieeffizienten Gerät vereinen. Grund genug, Metas ambitioniertes Brillenkonzept einmal näher zu beleuchten.

Mirror Lake baut auf der Display-Architektur von Holocake 2 auf: eine holografische Optik, die eine Pancake-Linse emuliert. Das Resultat ist ein dünnes Profil mit Skibrillen-ähnlichem Formfaktor. Ein Vorteil dieses Display-Systems ist, dass es flach ist. Dadurch lässt es sich stapelartig um zahlreiche weitere Technologien und optische Elemente erweitern: etwa durch die Flüssigkristalllinsen eines Half-Dome 3, die variablen Fokus ermöglichen oder dünne Linsenaufsätze mit Korrekturgläsern, sodass man keine Brille mehr unter dem VR-Headset tragen muss. Die erste Hälfte des folgenden Videos veranschaulicht dieses Bauprinzip.

Das ist längst nicht alles: Laut Meta können mit der Holocake-Optik holografische Folien eingebettet werden, die das Licht von den Augen auf ein seitliches Kamerapaar lenken und damit sogenanntes Multi-View-Eyetracking ermöglichen. Die verbesserte Augenverfolgung kann zudem die Genauigkeit des variablen Fokus, der Verzerrungskorrektur und des Passthrough-Modus verbessern.

Apropos Passthrough: Mirror Lake ist Metas erstes Headset-Konzept, das einen Schwerpunkt auf Mixed Reality legt. Es nutzt eine neue Art Passthrough, das auf maschinelles Lernen setzt, um eines der schwierigsten Probleme der Passthrough-Technologie zu lösen: dass die Kameras nicht der räumlichen Position der Augen entsprechen. Meta wird das sogenannte Neural Passthrough im August auf der Siggraph 2022 vorstellen.

Zudem plant Meta die Integration zweier flacher 3D-Displays an der Außenseite des Gehäuses, mit dem Ziel, die Augen und das Gesicht des VR-Nutzers darzustellen und somit für andere Menschen sichtbar zu machen. Meta nennt das „Reverse Passthrough“, also umgekehrtes Passthrough. Entsprechende Forschung stellte Meta schon im Sommer 2021 vor.

Das Reverse-Passthrough-Prototyp zeigt der Umgebung die Augen des VR-Nutzers. | Bild: Meta

Das größte Hindernis bei der Verwirklichung dieses Konzepts ist die Lichtquelle: Sowohl Holocake 2 als auch Mirror Lake setzen auf Laserlicht statt LEDs als Hintergrundbeleuchtung. Das Problem ist, dass entsprechende Laser längst nicht gut genug und in Massen herstellbar sind.

„Wir müssen noch viel Entwicklungsarbeit leisten und einen Laser entwickeln, der unsere Anforderungen erfüllt: Er muss sicher, kostengünstig und effizient sein und er muss in ein schlankes VR-Headset passen“, sagte Chefforscher Abrash bei der Vorstellung von Mirror Lake.

Ob das gelingt, ist nicht sicher. Der Leiter der Display-Forschung, Douglas Lanman, meint, dass das Mirror-Lake-Konzept deshalb noch in sich zusammenfallen könnte. In diesem Falle würde Meta eine andere technologische Route verfolgen. Zweifel an der langfristigen Umsetzbarkeit der VR-Vision hat das Team jedenfalls nicht.

Dieser Beitrag erschien am 3. Juli 2022 bei MIXED.

Metas neue VR-Prototypen ermöglichen Gleitsicht in VR, besitzen Retina-Auflösung und simulieren realistische Lichtverhältnisse in Innenräumen.

Das selbsterklärte Ziel von Metas Display-Forschung ist, den visuellen Turing-Test zu bestehen. Der bewertet subjektiv, ob sich ein Virtual-Reality-Inhalt optisch von der realen Welt unterscheiden lässt.  Das ist eine hohe Messlatte und erfordert neue Technologien, die noch dazu in einem schlanken VR-Headset Platz finden müssen. Ist das überhaupt möglich?

Meta stellte die Prototypen vergangene Woche in einer Videokonferenz vor, an die Journalistinnen und Journalisten aus aller Welt eingeladen waren. Mark Zuckerberg und Metas Chefwissenschaftler Michael Abrash waren anwesend, ebenso wie der Leiter der Display-Forschung Douglas Lanman und führende Mitglieder seines Forschungsteams.

Was später erschienene Artikel zu diesem Thema in der Regel eher nicht beschreiben: Die Stimmung unter den jungen Forschern war gut. Man spürte ihren Optimismus. Besonders enthusiastisch zeigte sich Lanman, der die Veranstaltung mit folgenden Worten schloss: „Unser Team ist sich sicher, dass wir den visuellen Turing-Test bestehen werden und dass uns nichts in der Welt der Physik davon abhält, dieses Ziel zu erreichen.“

Metas Headset-Prototypen. Ganz vorne: das noch unrealisierte Mirror-Lake-Konzept. | Bild: Meta

Die These impliziert, dass das Team keine Hindernisse grundsätzlicher Natur sieht. Die formulierten Probleme (Gleitsicht, Retina-Auflösung, verzerrungsfreie Optik, HDR) lassen sich mit Zeit, talentiertem Personal und entsprechenden Investitionen lösen. Vielleicht nicht morgen und nicht mit den Mitteln, die die gezeigten VR-Prototypen demonstrieren, aber irgendwann in der Zukunft mithilfe anderer Erfindungen.

Die Aussage hat noch eine andere Bedeutung und ist offensichtlich eine Anspielung auf die Schwestertechnologie Augmented Reality und deren ganz eigene Herausforderungen. 2017 sagte Michael Abrash, dass die Gesetze der Physik verhindern könnten, dass man jemals brauchbare AR-Brillen bauen kann. Ob dem wirklich so ist, ist noch offen. Abrash gab der Forschung zehn Jahre, um das herauszufinden.

Lanman denkt nach sieben Jahren intensiver Forschung, dass VR-Headsets und deren Architektur keinen solchen Beschränkungen unterliegen, zumindest wenn es darum geht, die Realität visuell abzubilden. Sie können ihr Maximalziel erreichen, während das bei AR-Brillen offenbar noch unklar ist.

Dieser Beitrag erschien am 24. Juni 2022 bei MIXED.

Beat Saber ist vieles: ein Rhythmus-Kultspiel, ein Pfeiler der VR-Industrie und ein Kulturphänomen.

Im Frühjahr 2018 war dem noch nicht so. Damals reiste ich an die Game Developers Conference in San Francisco und begegnete rein zufällig einem der beiden Schöpfer des Spiels: Ján Ilavský. Beat Saber war noch nicht bei Steam erschienen und Ilavský besuchte die Entwicklerkonferenz, um für das VR-Spiel zu werben. Ich erinnere mich, wie der junge tschechische Entwickler auf mich wirkte: intelligent, sympathisch, bescheiden und dass er gerne und häufig lachte.

Zwei Wochen davor veröffentlichte das zweiköpfige Studio, das damals noch unter einem anderen Namen firmierte, ein Mixed-Reality-Video auf Youtube, das viral ging und in den nächsten Wochen viele Millionen Mal Aufrufe verzeichnete. Beat Saber sprach sich herum und als ich das VR-Spiel wenig später in San Francisco ausprobieren konnte, war auch Chris Bratt von Eurogamer da und interviewte Ilavský für den Youtube-Kanal der Webseite. Beat Saber musste etwas Besonderes sein, denn es erreichte schon vor Erscheinen Gaming-Sphären außerhalb der VR-Nische.

Trotz erster Zeichen: Ilavský sah den phänomenalen Erfolg des VR-Spiels nicht voraus. Niemand tat das. Wie auch? Virtual Reality steckte 2018 in großen Schwierigkeiten. VR-Spiele gab es wie Sand am Meer, aber fast niemand spielte sie. Was konnte ein weiteres Indie-Spiel zweier Entwickler schon für einen Unterschied machen?

Ich traf Ilavský damals ein drittes Mal und wie beim ersten Mal erneut zufällig. Ich hatte einen Termin bei Neat Corporation und traf das Entwicklerteam in einem Hotelzimmer, um ein damals viel bekannteres VR-Spiel auszuprobieren: das bald erscheinende Budget Cuts. Wie es der Zufall wollte, war zur gleichen Zeit auch Ilavský eingeladen. Im Hotelzimmer waren Basisstationen aufgebaut und schon bald ging es ans Spielen. Als Ilavský und ich mit Budget Cuts durch waren, ließ er das Entwicklerteam Beat Saber ausprobieren. Es wurde begeistert aufgenommen und ich weiß noch, wie jemand von Neat Corporation sagte: „Dein Spiel ist viel besser als unseres!“ Auch das blieb mir in Erinnerung: ein frühes Zeichen, dass Beat Saber etwas Außergewöhnliches ist.

Ich spiele im März 2018 zum ersten Mal Beat Saber. | Bild: Tomislav Bezmalinović

Der Rest ist Beat-Saber-Geschichte. Im Mai 2018 erscheint Beat Saber im Early Access und ein Jahr später für Meta Quest 1. Seit 2018 verkaufte sich Beat Saber mehr als vier Millionen Mal (Stand: Februar 2021) und allein auf der Quest-Plattform setzte es 100 Millionen US-Dollar um (Stand: Oktober 2021). Ende 2019 kaufte Facebook das neu gegründete Studio Beat Games für einen unbekannten Betrag.

Ilavský und seine Mitgründer Vladimír Hrinčár und Jaroslav Beck sind heute Millionäre. Aber was viel wichtiger ist: Sie schufen ein Spiel, das maßgeblich zum Erfolg und zur Bekanntheit von Virtual Reality beitrug und zum Aushängeschild einer ganzen Industrie wurde.

Dieser Beitrag erschien am 15. Juni 2022 bei MIXED.

Wer wird das Google oder Apple des VR- und AR-Zeitalters, zum reichen und mächtigen Türhüter einer neuen Computerplattform?

Meta ist gut aufgestellt und hat einen Vorsprung. Zum einen in Markterfahrung: Es hat ein halbes Dutzend VR-Headsets herausgebracht und mit Meta Quest viele Millionen Geräte unters Volk gebracht. Zum anderen steckt Meta so viel in Forschung und Entwicklung wie kein anderes Unternehmen: Über zehn Milliarden US-Dollar waren es allein im letzten Jahr und in Zukunft werden es noch mehr, sagte Zuckerberg Investoren. Mehr als 17.000 Angestellte hat Metas VR- und AR-Abteilung, die Reality Labs. Das ist mehr als ein Fünftel der Belegschaft.

Doch die Konkurrenz wartet nicht. Apple hat schon lange ein Headset in Entwicklung, das Insidern zufolge 2023 auf den Markt kommt. Noch dieses Jahr erscheint Project Cambria, Metas erstes Premium-Headset. Es wird sich an Apples Produkt messen müssen – oder umgekehrt. Neben Meta und Apple arbeiten Google (Project Iris) sowie Microsoft und Samsung (Project Bondi) an ähnlichen Geräten: schlanken Headsets, die sowohl VR als auch AR beherrschen. Die nächsten Jahre werden spannend.

Sollte VR und AR im Laufe des Jahrzehnts einen Durchbruch erleben, so ist ein paradigmatischer Wandel in der Computerinteraktion zu erwarten. Maus und Tastatur und das Touch-Display: Sie werden von neuen Schnittstellen wie Sprachsteuerung, Handtracking und neurale Interfaces herausgefordert und um diese ergänzt. Computer werden räumlicher, körperlicher, immersiver und stellen damit einen radikalen Bruch mit der Vergangenheit dar: etwas, das man als „Paradigmenlücke“ bezeichnen könnte.

Rendering eines angeblichen Apple-Headset-Prototyps. | Bild: Ian Zelbo

Diese Kluft zwischen Alt und Neu macht sich schon heute bemerkbar. Setze ich mir eine Meta Quest 2 auf, bin ich nicht nur von meinen Mitmenschen isoliert, auch mit meinem Laptop und Smartphone kann ich kaum mehr richtig interagieren. Mit einem Schlag habe ich mich vom restlichen Computer-Ökosystem abgekoppelt.

Meta bemüht sich, eine Brücke zu schlagen. So kann man Smartphone-Mitteilungen in der VR-Brille anzeigen lassen und eine Handvoll Produktiv-Apps in der Virtual Reality nutzen. Doch das ist bei Weitem nicht genug. Selbst wenn VR und AR künftig häufiger genutzt werden oder sogar im Alltag ankommen, so schnell werden sie den Desktop-Rechner, Laptops und Smartphones nicht ersetzen – wenn überhaupt.

Die neuen und alten Computerparadigmen werden lange koexistieren, weshalb die Bemühungen dahingehen werden, diese so weit zusammenzuführen, dass man nahtlos von einer Plattform in die nächste wechseln kann, egal, ob man im Internet surft, E-Mails liest, arbeitet oder spielt. Für die Aneignung der neuen Technologien wird das ein kritischer Faktor werden.

So stellt sich Meta das Tastaturtippen in der AR-Zukunft vor: Elektrische Hirnsignale werden von einem EMG-Armband am Handgelenk abgefangen und von einem KI-Algorithmus in Computerbefehle übersetzt. Die physische Tastatur wird überflüssig. | Bild: Meta

Hierin sehe ich den größten Vorteil Apples gegenüber allen anderen Mitbewerbern, einschließlich Meta: Apple besitzt ein einheitliches, in sich geschlossenes und aufeinander abgestimmtes Ökosystem aus Hardware und Software, in das es seine VR- und AR-Technologie einbetten kann. Kein anderes Unternehmen hat so gute Voraussetzungen, die Paradigmenlücke zu schließen, das zentrale Problem der nächsten Computerwelle zu lösen und Meta das Fürchten zu lehren.

Eine nahtlose Integration des kommenden Headsets oder einer AR-Brille mit dem iPhone, iPad, Macbook und der Apple Watch: Das sollte relativ leicht für Apple sein. Wie schwer hat es dagegen Meta, das nur VR-Hardware besitzt und auf das Wohlwollen und die Schnittstellen anderer Firmen angewiesen ist, um die allgegenwärtige und dominierende Computerplattformen der Gegenwart, das Smartphone, bestmöglich in VR- und AR-Brillen zu integrieren?

Apple hat natürliche weitere Asse im Ärmel: besonders leistungsfähige und effiziente Chips, auf die kein anderes Unternehmen Zugriff hat, jahrzehntelange Erfahrung mit Hardwaredesign und eine riesige Marktmacht. Doch ausschlaggebend werden dürfte etwas anderes: das Vermögen Apples, eine Brücke zwischen neuer und alter Technologie zu schlagen.

Vor diesem Hintergrund könnte man Project Cambria als den groß angelegten Versuch sehen, die aufklaffende Paradigmenlücke im kritischen Bereich der Arbeit und Produktivität anzugehen. Fürs Erste mit einem hochwertigen Passthrough-Modus, der den Blick aufs Smartphone erlaubt und mit der Integration von 2D-Apps, die Büro-Anwendungen in die VR bringen. Doch das kann nur der Anfang sein.

Dieser Beitrag erschien am 12. Juni 2022 bei MIXED.