Es ist ein Problem, das so alt ist wie VR-Brillen selbst: Nach einer längeren Zeit in der Virtual Reality tun die Augen weh und der Schädel brummt. Die Ursache ist ein Phänomen, das auch als Vergenz-Akkommodation-Konflikt (VAK) bezeichnet wird.

Nimmt man ein Objekt in der natürlichen Umgebung in den Blick, so passieren zwei Dinge. Zum einen stellen sich die Augenbälle durch sanfte Rotation auf das Objekt ein, um eine optimale stereoskopische Sicht zu gewährleisten. Dieses Phänomen nennt man Vergenz. Zum anderen werden die Linsen mittels Muskelkontraktion so geformt, dass das Objekt scharf erscheint. Dieses Phänomen nennt man Akkommodation.

Diese Mechanismen der menschlichen Auges sind normalerweise aneinander gekoppelt und in beständiger Wechselwirkung. Setzt man sich ein VR-Headset auf, kommt es zu einem Konflikt dieser beiden Reflexe, was zu einer Ermüdung der Augen, Kopfschmerzen und sogar Übelkeit führen kann. Eine längere Verweildauer in Virtual Reality wird dadurch beträchtlich gestört. Daher wären VR-Brillen mit Gleitsicht-Feature ein großer Gewinn.

Die Ursache für den VAK liegt in der Bauweise aktueller VR-Headsets. Das Zusammenspiel aus Display und Linsen erzeugt eine einzige, feste Fokusebene in etwa zwei Meter Entfernung. Alles, was sich hinter diesem Bereich befindet, ist für das Auge unendlich weit entfernt und gleichmäßig scharf. Da natürliche Umgebungen aus unendlich vielen stufenlosen Fokusebenen bestehen, ist das eine optische Anomalie für das Auge.

Blickt man in Virtual Reality auf ein Objekt, das weiter als zwei Meter entfernt ist, so stellt das kein gravierendes Problem dar, da Vergenz und Akkommodation unter diesen Bedingungen mehr oder weniger ungestört zusammenarbeiten. Ein Konflikt zwischen diesen Mechanismen entsteht erst im Nahbereich: Die Augenbälle konvergieren, um das nahe Objekt in den Blick zu nehmen, während die Linsen aufgrund fehlerhafter Tiefeninformation davon ausgehen, dass das Objekt unendlich weit entfernt ist und in infolgedessen nicht richtig scharf stellen. Das Ergebnis ist ein unscharfes Abbild der gesamten virtuellen Umgebung. Dass Vergenz und Akkommodation auf Objekte in unterschiedlicher Entfernung hinarbeiten, irritiert das Gehirn, wodurch es bei längerer Verweildauer zu den oben genannten unangenehme Symptomen kommen kann.

Diese drei Vergleichsbilder veranschaulichen den Vergenz-Akkommodation-Konflikt. Oben: Blick in eine natürliche Umgebung. Mitte: Blick in eine weit entfernte VR-Umgebung. Unten: Blick auf ein nahe gelegenes VR-Objekt. | Bild: Douglas Lanman / Meta

Die Industrie arbeitet seit vielen Jahren an Displays, die Gleitsicht in VR ermöglichen sollen, also das natürliche Fokussieren und Scharfstellen virtueller Objekte in beliebiger Entfernung. Als besonders vielversprechend gelten varifokale Displays und Lichtfeld-Displays.

2015 entwickelte Meta einen wuchtigen Varifokal-Prototyp mit feinmechanischen Teilen. In den folgenden Jahren miniaturisierte und vereinfachte Meta die Technologie. Das Ergebnis ist ein Prototyp mit Namen Half-Dome 3, der auf unbewegliche Flüssigkristalllinsen setzt. Sie erzeugen durch unterschiedliche elektrische Ladung bis zu 64 verschiedene Fokusebenen und liefern dem Auge so die Tiefeninformation, die es benötigt, um korrekt auf nahe Objekte scharfzustellen.

Ein Nachteil varifokaler Displays ist, dass sie präzises und schnelles Eye-Tracking voraussetzen: Das VR-Headset muss ermitteln, was das Auge anblickt und die nächstgelegene Fokusebene aktivieren. Gerenderte künstliche Unschärfe liefert weitere Tiefeninformationen, die die Akkommodation unterstützt. Das folgende Video zeigt das Bild aus Metas frühestem Varifokal-Prototyp, der bereits erstaunlich gut funktioniert: Man sieht den Fokuspunkt des Auges und wie das System zwischen verschiedenen Fokusebenen wechselt.

Der Headset-Träger kann wie beim Blick in eine natürliche Umgebung durch Akkommodation abwechselnd Vorder- und Hintergrund fokussieren, wobei eine Ebene scharf, die andere unscharf wird. Besonders schön zeigt sich das beim Maschendrahtzaun.

Lichtfeld-Displays sind eine zweite vielversprechende Technologie, die den Vergenz-Akkommodation-Konflikt lösen könnte. Auf diese Lösung wettet unter anderem das Schweizer Start-up Creal (ausgesprochen wie englisch „see-real“), das seit fünf Jahren an Lichtfeldtechnologie arbeitet und seither verschiedene VR- und AR-Prototypen vorgestellt hat.

Creals Display ahmt das Verhalten von Licht nach, das von der natürlichen Umgebung reflektiert wird. Die Fokusebenen sind damit schon in der Bildinformation enthalten und müssen nicht eigens simuliert werden: Das Auge kann natürlich fokussieren, nicht einmal Eye-Tracking ist notwendig.

Creal hat Videos veröffentlicht, die das Lichtfeld-Display in der Praxis zeigen. Das jüngste Video stammt aus dem Juni und demonstriert den VR-Prototyp. Es zeigt hervorragend den fokalen Wechsel zwischen Vorder- und Hintergrund, je nachdem, was die Kamera fokussiert: einmal die Hand und Finger, einmal das Display dahinter.

Das Lichtfeld erscheint in der Bildmitte innerhalb eines hochauflösenden 30-Grad-Sichtfelds, das dem fovealen Bereich des Auges entspricht. Das umgebende Sichtfeld wird durch ein herkömmliches, niedriger auflösendes Display dargestellt. Dieses Prinzip eines Doppeldisplays kennt man von Varjos Premium-Headsets.

Da das Lichtfeld schmaler ist, sinkt auch der Renderaufwand, was ein Vorteil ist für den Einsatz der Technologie. Das Team arbeitet nun an einem fovealen Darstellungsbereich, der sich mit dem Auge bewegt, um das Display noch effizienter zu machen.

Der aktuelle VR-Prototyp ist noch sehr klobig, schwer und teuer in der Herstellung. Creal will die Größe des Headsets in den nächsten Jahren auf den Formfaktor einer Skibrille reduzieren.

Dieser Beitrag erschien am 24. Juli 2022 bei MIXED.

Vor ein paar Jahren hatte ich einen deutschen IT-Unternehmer zu Besuch, der es zu bedeutendem Wohlstand brachte. Der Zweck der Visite: Ich sollte ihm den Stand der VR-Technik vorführen. Er war mit modernen VR-Geräten noch nicht in Kontakt gekommen.

Viel gab es damals nicht zu zeigen. Wenn ich mich recht erinnere, probierte mein Gast Google Earth VR aus und spielte etwas Beat Saber. Seine erste Reaktion: Die Geräte sind noch immer wuchtig und unbequem. Dann kam die Gretchenfrage, die mein Gast mit einem tiefen Stirnrunzeln stellte: „Gibt es etwas, das Virtual Reality besser kann als ein herkömmlicher Computer, eine grundlegende Arbeitsanwendung, die in VR besser funktioniert?“

Ich hatte damals keine Antwort parat und habe sie, ehrlich gesagt, selbst heute nicht. Die bislang erfolgreichste Anwendung der Technologie sind Spiele. Das zeigen die millionenfachen Verkäufe der VR-Spielkonsole Meta Quest 2. Danach kommen Anwendungsfelder wie Training, Schulungen und 3D-Visualisierung, die primär für Unternehmen und professionelle Anwender:innen interessant sind – ein überschaubarer Markt. Und dann gibt es noch VR-Fitness, über dessen Reichweite wir nur spekulieren können.

Selbst wenn VR-Brillen verkaufstechnisch mit Spielkonsolen gleichziehen könnten, beschränkte sich die Zielgruppe auf einen niedrigen dreistelligen Millionenbereich. Und diesen Stellenwert muss Virtual Reality erst noch erreichen. Vom „Mainstream“ ist die Technologie weit entfernt.

Mark Zuckerberg, der früh in Virtual Reality investierte und noch immer investiert, sieht in Spielen nur eine Brücke. Die Technologie hat für ihn eine höhere Bestimmung: Sie trägt das Potenzial einer neuen Computerplattform in sich und als ultimative Kommunikationstechnologie, die Menschen auf Distanz verbindet, als wären sie vor Ort. Als solche bräuchte sie keine Killer-App, weil die Killer-App in ihrem universellen Charakter, ihrer unglaublichen Vielseitigkeit bestünde.

Headsets haben einen weiten Weg vor sich, sollen sie Laptops ersetzen. Gerade in puncto Größe und Mobilität haben sie viel aufzuholen. | Bild: Tomislav Bezmalinović

Metas vorläufiges, hochgestecktes Ziel ist, die Arbeitswelt zu erobern und von dort aus in sämtliche Bereiche des Alltags vorzudringen. Zuckerberg hofft auf Headsets, die eines Tages herkömmliche Computer ersetzen können und den klassischen Arbeitsplatz verdrängen, indem sie das eigene Büro tragbar machen und beliebig viele, beliebig große Monitore in den Raum projizieren. Verbraucher hätten dann neben einem Grund für den Headset-Kauf auch eine Rechtfertigung. Dies ist laut Metas Technikchef Voraussetzung für eine Durchbruch der Technologie.

Metas erster VR-Arbeitscomputer Project Cambria kommt im Herbst auf den Markt und ist ein erster Schritt in diese Richtung. Apples erstes Headset dürfte ebenfalls auf Produktivität zielen und könnte dank einer tiefen Integration in Apples Ökosystem die Nase vorn haben.

Die entscheidende Frage ist, ob das Arbeiten in Virtual oder Augmented Reality genug Mehrwert bietet, dass Menschen bereit sind, einen Computer auf der Nase zu tragen. Im Raum schwebende 2D-Monitore? Das klingt nach Gimmick. Eine technische Umwälzung, wie sie Zuckerberg vorschwebt, bedarf großer Revolutionen, insbesondere beim Interface. Um die Produktivität mit Headsets wirklich zu steigern, braucht es neue Schnittstellen, die Sprachsteuerung, Hand- und Blickverfolgung und neuronale Signale umfassen. Ob und wie diese Interfaces Word und Co. verändern werden, ist noch nicht absehbar. Aber sie werden Arbeitsprozesse einfacher und schneller machen müssen, um sich zu bewähren.

Vielleicht stellt sich am Ende heraus, dass die bestehenden Arbeitswerkzeuge (Laptops, Desktop-Computer, Tablets und Smartphones) ihren Zweck hinreichend erfüllen und nicht neu erfunden werden müssen. Mein Macbook Air mit M1-Prozessor ist dünn, leicht, schnell, hält bei voller Ladung zwei Arbeitstage durch und hat ein ausreichend scharfes Bild. Für meine Meta Quest gilt nichts von dem und ich bezweifle, dass die ersten Cambria-Generationen an diesem Leistungsgefälle groß etwas ändern werden.

Meine Vermutung ist, dass Meta, Apple und Co. selbst nicht recht wissen, wohin die Reise geht und das Naheliegendste ausprobieren. Das ist normal – und ungeheuer spannend. Das Aufregende an neuer Technologie ist seit jeher, dass sie Anwendungen schafft, die wir vorab nicht erwarteten. Das Einzige, das gewiss ist, sind Überraschungen.

Dieser Beitrag erschien am 16. Juli 2022 bei MIXED.

Diese Woche schrieb ich über eines der ersten VR-Erlebnisse Mark Zuckerbergs. Das war im Jahre 2014. Wenige Wochen nach der Demo erwarb Facebook das Start-up Oculus und brachte damit den Hype um Virtual Reality ins Rollen.

Der Traum vom schnellen Mainstream-Erfolg der VR-Headsets erfüllte sich nicht. Doch Zuckerberg hält VR und AR noch immer für die Zukunft. Im Herbst 2021 benannte er sein Unternehmen medienwirksam in Meta um und richtete es radikal neu aus. Das Ergebnis ist ein erneuter Hype um VR und AR, nur unter neuem Namen: dem Metaverse.

Dass auch dieser bald Früchte trägt, ist nicht zu erwarten. Das Metaverse entstand nicht aus dem Nichts und rückte auch kein bisschen näher dadurch, dass es Zuckerberg in hübschen Rendervideos heraufbeschwor. Das Metaverse ist mehr Sci-Fi-Vision als Wirklichkeit, mehr Platzhalter und Unbekannte als ein klar definierter Begriff. Im Metaverse sieht jeder etwas Anderes und darin liegt die Macht dieses Konzepts.

Der VR-Markt und dessen Entwicklung sind so interessant wie noch nie. Meta Quest 2 gab in den letzten Jahren einen Vorgeschmack auf den Mainstream. Stagnierte die Technologie in den letzten Jahren, wird sie demnächst wieder Sprünge machen: Project Cambria, Playstation VR 2 und Apples Headset, falls es denn endlich erscheint, werden 2023 neue Maßstäbe bei VR-Technik setzen und hoffentlich noch mehr Menschen für VR begeistern.

Im Rahmen der Connect 2021 präsentierte Meta, wie es sich das Metaverse vorstellt. | Bild: Meta

Ist Virtual Reality dann endlich über den Berg, aus der Nische herausgewachsen, eine Technologie, die ihren Platz gefunden hat? Ich denke nicht. VR-Headsets gab es schon vor 2016 und es wird sie auch in Zukunft geben für professionelle Anwendungen wie 3D-Design, Architektur und Training. Aber das ist nicht, was sich Zuckerberg erhofft. Virtual und Augmented Reality sollen Technologien mit großer kultureller Tragweite werden, die im Alltag der Menschen eine Rolle spielen und nicht nur ein Werkzeug unter vielen bleiben.

Es ist schwer, sich vorzustellen, wie sich die Branche ohne Metas Zugkraft und kompromisslosen Investitionswillen Metas entwickelt hätte und was passieren würde, wenn Zuckerberg sich entschlösse, sich von VR und AR abzuwenden. Leben wir tatsächlich in der Post-Meta-Ära, in der die Branche auch ohne größeres Zutun Metas kontinuierlich weiterwachsen würde, wie der Analyst Ming-Chi Kuo kürzlich behauptete? Ich bin skeptisch.

Der Grund ist, dass es nicht viele reiche Unternehmen gibt, die an VR glauben und die Ausdauer und Bereitschaft haben, in die Technologie zu investieren, ohne dass sie zeitnah Gewinne abwirft. Es gibt zum einen Meta und Sony, zum anderen die Opportunisten und Trittbrettfahrer, die aus primär drei Gründen in VR investierten: weil sie sich schnellen Umsatz versprechen, weil sie Angst haben, dass Zuckerberg am Ende doch recht hat oder weil sie schlicht tun, was Meta tut.

Mark Zuckerberg in seinem virtuellen Zuhause der Zukunft. | Bild: Meta

Das ist nachvollziehbar. Meta hat große Macht, wirtschaftlich und dadurch, dass knapp drei Milliarden Menschen dessen soziale Netzwerke nutzen. Zuckerbergs Einfluss ist so groß, dass er die Realität vieler Menschen allein schon dadurch formt, dass er ein neues Unternehmensziel ausgibt. In diesem Fall etwas, das noch gar nicht existiert: das Metaverse. Der ausufernde und teils bizarre Metaverse-Hype beweist das.

Ob der Enthusiasmus für VR und AR gespielt ist oder nicht, wissen wir nicht (ich denke, Zuckerberg ist in diesem Punkt aufrichtig). Aber die Begeisterung allein ist schon eine Botschaft, ein wichtiges Signal: Sie ist eine Zusicherung, dass Meta willens ist, die Grundlagen für ein VR- und AR-Ökosystem zu schaffen. Ohne diese wäre es schwierig, Entwickler zu gewinnen und damit Apps, die eine Anschaffung der Hardware überhaupt erst lohnenswert machen.

Sony könnte das ebenfalls gelingen, aber wie steht es um Valve, Google oder Apple? Können sie Entwickler begeistern, die für die betreffenden Ökosysteme Zeit und Geld aufwenden und Inhalte entwickeln wollen? Valve hat seit 2020 keinen Finger mehr gerührt, Google ist berühmt dafür, Projekte frühzeitig aufzugeben und Apple muss die eigene Produktstrategie erst noch darlegen.

Ich denke nicht, dass Virtual Reality als Mainstream-Technologie etabliert ist und ein gesunder Markt existiert. Dafür braucht es mehr als nur ein Ökosystem und Unternehmen, das 90 Prozent des Marktes dominiert, so wie es Meta derzeit tut. Die VR-Industrie braucht Zuckerbergs Enthusiasmus, zumindest so lange, bis die Branche auf eigenen Beinen steht.

Dieser Beitrag erschien am 10. Juli 2022 bei MIXED.

Im Juni stellte Meta mehrere VR-Prototypen vor, die neue und eigens für Virtual Reality entwickelte Display-Systeme demonstrieren. Sie zeigen, in welche Richtung sich VR-Headsets in den nächsten fünf bis zehn Jahren entwickeln könnten.

Metas selbsterklärtes Ziel ist, den visuellen Turing-Test zu bestehen. Das heißt: eine visuelle Qualität zu erreichen, die digitale Welten ununterscheidbar macht von der Realität.

Die vorgestellten Prototypen sind Bausteine auf diesem Weg: Mit Half-Dome erforscht Meta VR-Gleitsicht, mit Butterscotch Retina-Auflösung, mit Starburst HDR-Tauglichkeit und mit Holocake 2 eine holografische Optik, die VR-Brillen sehr dünn und leicht machen soll. Die Prototypen sind allesamt funktionsfähig, auch wenn deren Display-Technologie unterschiedlich weit von Umsetzbarkeit und Vermarktung entfernt sind.

Der Holocake-2-Prototyp ist ein voll funktionsfähiges PC-Headset mit holografischer Optik. | Bild: Meta

Ebenfalls vorgestellt wurde Mirror Lake, der Bauplan eines VR-Headsets, von dem noch kein funktionsfähiger Prototyp existiert. Mirror Lake ist Metas vorläufiges Endziel: Das futuristische VR-Headset soll die meisten der vorgestellten Display-Systeme sowie andere Technologien, die Meta in den letzten sieben Jahren entwickelte, in einem schlanken, leichten und energieeffizienten Gerät vereinen. Grund genug, Metas ambitioniertes Brillenkonzept einmal näher zu beleuchten.

Mirror Lake baut auf der Display-Architektur von Holocake 2 auf: eine holografische Optik, die eine Pancake-Linse emuliert. Das Resultat ist ein dünnes Profil mit Skibrillen-ähnlichem Formfaktor. Ein Vorteil dieses Display-Systems ist, dass es flach ist. Dadurch lässt es sich stapelartig um zahlreiche weitere Technologien und optische Elemente erweitern: etwa durch die Flüssigkristalllinsen eines Half-Dome 3, die variablen Fokus ermöglichen oder dünne Linsenaufsätze mit Korrekturgläsern, sodass man keine Brille mehr unter dem VR-Headset tragen muss. Die erste Hälfte des folgenden Videos veranschaulicht dieses Bauprinzip.

Das ist längst nicht alles: Laut Meta können mit der Holocake-Optik holografische Folien eingebettet werden, die das Licht von den Augen auf ein seitliches Kamerapaar lenken und damit sogenanntes Multi-View-Eyetracking ermöglichen. Die verbesserte Augenverfolgung kann zudem die Genauigkeit des variablen Fokus, der Verzerrungskorrektur und des Passthrough-Modus verbessern.

Apropos Passthrough: Mirror Lake ist Metas erstes Headset-Konzept, das einen Schwerpunkt auf Mixed Reality legt. Es nutzt eine neue Art Passthrough, das auf maschinelles Lernen setzt, um eines der schwierigsten Probleme der Passthrough-Technologie zu lösen: dass die Kameras nicht der räumlichen Position der Augen entsprechen. Meta wird das sogenannte Neural Passthrough im August auf der Siggraph 2022 vorstellen.

Zudem plant Meta die Integration zweier flacher 3D-Displays an der Außenseite des Gehäuses, mit dem Ziel, die Augen und das Gesicht des VR-Nutzers darzustellen und somit für andere Menschen sichtbar zu machen. Meta nennt das „Reverse Passthrough“, also umgekehrtes Passthrough. Entsprechende Forschung stellte Meta schon im Sommer 2021 vor.

Das Reverse-Passthrough-Prototyp zeigt der Umgebung die Augen des VR-Nutzers. | Bild: Meta

Das größte Hindernis bei der Verwirklichung dieses Konzepts ist die Lichtquelle: Sowohl Holocake 2 als auch Mirror Lake setzen auf Laserlicht statt LEDs als Hintergrundbeleuchtung. Das Problem ist, dass entsprechende Laser längst nicht gut genug und in Massen herstellbar sind.

„Wir müssen noch viel Entwicklungsarbeit leisten und einen Laser entwickeln, der unsere Anforderungen erfüllt: Er muss sicher, kostengünstig und effizient sein und er muss in ein schlankes VR-Headset passen“, sagte Chefforscher Abrash bei der Vorstellung von Mirror Lake.

Ob das gelingt, ist nicht sicher. Der Leiter der Display-Forschung, Douglas Lanman, meint, dass das Mirror-Lake-Konzept deshalb noch in sich zusammenfallen könnte. In diesem Falle würde Meta eine andere technologische Route verfolgen. Zweifel an der langfristigen Umsetzbarkeit der VR-Vision hat das Team jedenfalls nicht.

Dieser Beitrag erschien am 3. Juli 2022 bei MIXED.

Metas neue VR-Prototypen ermöglichen Gleitsicht in VR, besitzen Retina-Auflösung und simulieren realistische Lichtverhältnisse in Innenräumen.

Das selbsterklärte Ziel von Metas Display-Forschung ist, den visuellen Turing-Test zu bestehen. Der bewertet subjektiv, ob sich ein Virtual-Reality-Inhalt optisch von der realen Welt unterscheiden lässt.  Das ist eine hohe Messlatte und erfordert neue Technologien, die noch dazu in einem schlanken VR-Headset Platz finden müssen. Ist das überhaupt möglich?

Meta stellte die Prototypen vergangene Woche in einer Videokonferenz vor, an die Journalistinnen und Journalisten aus aller Welt eingeladen waren. Mark Zuckerberg und Metas Chefwissenschaftler Michael Abrash waren anwesend, ebenso wie der Leiter der Display-Forschung Douglas Lanman und führende Mitglieder seines Forschungsteams.

Was später erschienene Artikel zu diesem Thema in der Regel eher nicht beschreiben: Die Stimmung unter den jungen Forschern war gut. Man spürte ihren Optimismus. Besonders enthusiastisch zeigte sich Lanman, der die Veranstaltung mit folgenden Worten schloss: „Unser Team ist sich sicher, dass wir den visuellen Turing-Test bestehen werden und dass uns nichts in der Welt der Physik davon abhält, dieses Ziel zu erreichen.“

Metas Headset-Prototypen. Ganz vorne: das noch unrealisierte Mirror-Lake-Konzept. | Bild: Meta

Die These impliziert, dass das Team keine Hindernisse grundsätzlicher Natur sieht. Die formulierten Probleme (Gleitsicht, Retina-Auflösung, verzerrungsfreie Optik, HDR) lassen sich mit Zeit, talentiertem Personal und entsprechenden Investitionen lösen. Vielleicht nicht morgen und nicht mit den Mitteln, die die gezeigten VR-Prototypen demonstrieren, aber irgendwann in der Zukunft mithilfe anderer Erfindungen.

Die Aussage hat noch eine andere Bedeutung und ist offensichtlich eine Anspielung auf die Schwestertechnologie Augmented Reality und deren ganz eigene Herausforderungen. 2017 sagte Michael Abrash, dass die Gesetze der Physik verhindern könnten, dass man jemals brauchbare AR-Brillen bauen kann. Ob dem wirklich so ist, ist noch offen. Abrash gab der Forschung zehn Jahre, um das herauszufinden.

Lanman denkt nach sieben Jahren intensiver Forschung, dass VR-Headsets und deren Architektur keinen solchen Beschränkungen unterliegen, zumindest wenn es darum geht, die Realität visuell abzubilden. Sie können ihr Maximalziel erreichen, während das bei AR-Brillen offenbar noch unklar ist.

Dieser Beitrag erschien am 24. Juni 2022 bei MIXED.