Wer Vision Pro zum ersten Mal sieht und sich mit VR-Technologie nicht auskennt, könnte denken, dass die Vorderseite aus einem transparenten Stück Glas besteht. In Wirklichkeit sind die Augen der Person, so wie bei jedem anderen VR-Headset, hinter einer dicken Schicht Technik verborgen, die eine Leiterplatte, Sensoren, Prozessoren, Displays und Linsen enthält.

In einem Podiumsgespräch, das im Rahmen der WWDC 2023 stattfand, ging der leitende Entwickler der Vision Pro Mike Rockwell auf die Technik hinter Eyesight ein. Die Idee geht laut Alex Heath auf Apples ehemaligen Chefdesigner Jony Ive zurück. Ganz neu ist sie nicht: Meta zeigte 2021 Prototypen mit Fake-Durchblick, implementierte die Technik jedoch nicht in Produkte.

Die Augenpartie ist durch das opakte Headset hindurch sichtbar. | Bild: Apple

Das Geheimnis hinter Eyesight ist ein Frontdisplay, das in Echtzeit die Augenpartie der Headset-Nutzer rendert. Doch nicht irgendein beliebiges Display. Das Eyesight-Display ist gebogen und nutzt das Linsenrasterprinzip (auch Lentikularprinzip genannt). Das heißt, es stellt abhängig vom Blickwinkel ein jeweils leicht verschobenes Bild der Augen dar. Ein herkömmliches 2D-Display würde die Augen stielhaft und unnatürlich wirken lassen, insbesondere dann, wenn man eine Person seitlich ansieht.

Den Unterschied kann man gut anhand des folgenden Forschungsbeispiels von Meta sehen. In der Mitte kommt ein herkömmliches 2D-Display zum Einsatz, auf der rechten Seite ein lentikulares 3D-Display nach dem Linsenrasterprinzip.

„Wir mussten eine separate Ansicht für jede Person schaffen, die dich aus einem beliebigen Winkel betrachtet. Also haben wir ein Linsenraster-Display entwickelt, das erste gebogene Linsenraster-Display, das jemals hergestellt wurde. Und wir rendern tatsächlich für jede Person, die dich ansieht, eine eigene Ansicht deiner Augen“, erklärt Mick Rockwell.

Und woher kommen die Daten für diese Ansichten? Aus Rockwells Äußerungen kann man auf zwei Datenquellen schließen: Da wären zum einen die Aufnahmen der Eye-Tracking-Kameras, vier an der Zahl, im Inneren des Headsets. Zum anderen nutzt Apple die Persona, also den digitalen Avatar, der vorab mithilfe eines 3D-Gesichtsscans der tragenden Person generiert wird.

Aus diesen Datenquellen entsteht mit minimaler Latenz ein digitales Abbild der Augenpartie, das anschließend in die verschiedenen Blickwinkel aufgefächert und gerendert wird.

Wohl wegen der technischen Komplexität dieses Features und der unheimlichen Effekte, die ein Fehlverhalten der Technik zur Folge haben könnte, durfte die Presse Eyesight noch nicht ausprobieren. Wahrscheinlich arbeitet Apple noch immer am Feinschliff. Dennoch werde Eyesight eine Reihe von Einschränkungen haben, munkeln Experten und erwarten technologiebedingt ein eingetrübtes und gering aufgelöstes Bild der Augenpartie.

Apple ist gleichwohl überzeugt, dass sich der enorme technische Aufwand lohnt. Weshalb? Weil Apple die Isolation von VR-Headsets nach beiden Seiten hin durchbrechen will. Die Nutzer sollen die Umgebung sehen und die Umgebung die Nutzer.

„Man kann mit jedem, der ins Zimmer kommt, auf natürliche Weise interagieren, und das ist wirklich verblüffend. Wenn die Leute das sehen, werden sie das Gerät als transparent empfinden. Es sieht so aus, als ob es transparent ist, und sorgt dafür, dass man sich nicht von den Menschen getrennt fühlt. Das war ein grundlegender Wert dessen, was wir zu tun versuchten“, sagt Rockwell.

Zu Eyesight gehört auch die Funktion einer automatischen Ein- und Ausblendung der Augenpartie, je nachdem, ob man in immersive Inhalte vertieft ist oder mit Menschen in der unmittelbaren Umgebung interagiert. Nähert sich jemand, taucht die Person automatisch in der Sicht auf. Das obige Video veranschaulicht beide Szenarien.

Dieser Beitrag erschien am 18. Juni 2023 bei MIXED.

Da ist es nun endlich, Apples sagenumwobenes Mixed-Reality-Headset, an dem der Konzern seit mindestens sieben Jahren im Geheimen gearbeitet hat. Für die VR-Industrie ist die Ankündigung der Apple Vision Pro das bedeutendste Ereignis der vergangenen zehn Jahre, vergleichbar nur mit Facebooks Oculus-Übernahme im Jahr 2014.

Die Vorstellung des Geräts kam mir surreal vor. Zum einen, weil ich so lange darauf gewartet habe, zum anderen, weil Vision Pro letzten Endes alles andere als ein Apple-typisches Produkt geworden ist.

Man kann es drehen und wenden, wie man will: Apple Vision Pro ist seiner Form nach ein Headset und als solches groß, schwer und merkwürdig anzusehen an Menschen – der Schönheit seines Designs zum Trotz. Die erste Apple-Reklame wirkt genauso peinlich und befremdlich wie die Metas und anderer Hersteller. Ein Produkt, das Steve Jobs in der Form niemals durchgewinkt hätte. Eine schicke, schlanke AR-Brille, die man in der Öffentlichkeit tragen kann? Vielleicht. Ein Gesichtscomputer im Tauchermasken-Look? Niemals.

Mir war klar, dass selbst Apple keine Wunder vollbringen und die notwendige technologische Entwicklung hin zu schlankeren Headsets einfach so überspringen kann. Trotzdem war ich etwas enttäuscht, wie wuchtig Vision Pro letztlich ausgefallen ist. Der für die Technologie so wichtige Durchbruch beim Tragekomfort ist damit erst einmal vom Tisch, mit oder ohne das optionale Überkopfband, das Apple nur am Rande zeigte.

Apple Vision Pro ist wuchtig und wiegt trotz externer Batterie ein volles Pfund. | Bild: Apple

Doch Apple wäre nicht Apple, wenn es nicht neue Maßstäbe setzen und die Konkurrenz in puncto Hardware-Design alt aussehen ließe. Verglichen mit Geräten wie Meta Quest Pro oder Varjo XR-3 wirkt Apple Vision Pro ein gutes Stück eleganter, moderner, extravaganter. Dies verdankt sich genialen Design-Kniffen, wie man sie von Apple kennt. Das beste Beispiel dafür sehe ich im externen Display, das die schmucklose Vorderseite herkömmlicher Headsets in eine magische Projektionsfläche verwandelt und dem Produkt einen futuristischem Look verleiht. Ich behauptete vor zwei Jahren, dass externe Headset-Displays ziemlich cool wären. Apple beweist es.

Das externe Display hat nicht nur ästhetische Zwecke: Es zeigt die Augen der Headset-Träger und erlaubt dadurch Augenkontakt mit der Außenwelt. Ein einzigartiges Feature, das Apple „EyeSight“ nennt und das ich für die größte und faszinierendste Innovation der Apple Vision Pro halte.

Die Idee an sich ist nicht neu: Meta zeigte vor zwei Jahren einen Forschungsprototyp, der im Prinzip das Gleiche leistet. Aber ausschlaggebend ist nicht die Idee, sondern deren Implementierung in ein Produkt. Der digitalisierte Durchblick ist ungewohnt, unheimlich und dystopisch, aber auf jeden Fall eine Innovation, die Apple Vision Pro technisch und ästhetisch prägen wird.

Eine weitere tolle Innovation Apples ist, dass Vision Pro immersives Aufnahme- und Ausgabegerät in einem ist. Headset-Träger können durch Knopfdruck Fotos und Filme in 3D aufnehmen und betrachten. Wer bislang selbst solche Inhalte herstellen will, muss spezielle VR-Kameras kaufen, die entweder sündhaft teuer sind oder Aufnahmen in schlechter Qualität liefern. Das Betrachten entsprechender 3D-Fotos und -Filme auf VR-Headsets gestaltet sich zudem recht umständlich. Apple Vision Pro vereint das Aufnehmen, Betrachten und Teilen solcher Inhalte und könnte immersiven Medien dadurch einen Schub verleihen.

Zu weiteren Innovationen der Apple Vision Pro, die mir auf den ersten Blick aufgefallen sind und an dieser Stelle nicht in aller Ausführlichkeit besprochen werden können, gehören:

• die Beschränkung auf natürliche Eingabemethoden (Hände, Augen und Stimme) statt Hardware-Controller,
• eine hochwertige 3D-Audiolösung, die ein individuelles HRTF-Profil unterstützt,
• verschiedene Arten und Größen von Kopfbändern und Gesichtspolstern und
• die Darstellung realistischer FaceTime-Personas in Echtzeit.

Apple denkt den ersten Gesichtscomputer primär von Augmented Reality her, obwohl es sich bei Vision Pro technisch um ein VR-Headset handelt. Die Außenwelt wird mittels Sensoren eingefangen und auf opaken Displays digital rekonstruiert, genauso wie die Augen der Headset-Träger auf dem externen Display. Uneingeweihte könnten denken, dass Apple Vision Pro aus einem transparenten Stück Glas besteht und genau darauf zielt Apples Marketing ab. Oder wie Tim Cook zu Beginn der Vorstellung werbewirksam formulierte: „Vision Pro ist das erste Apple-Produkt, durch das man durchschaut, statt auf es zu schauen.“

Die Geräte der Konkurrenz, wie die Meta Quest 2, werden im Gegensatz dazu primär als Virtual-Reality-Produkte vermarktet. Erst mit Meta Quest 3 wird sich der Konzern stärker der Augmented Reality zuwenden. Apple geht den umgekehrten Weg: Vision Pro ist primär ein Augmented-Reality-Produkt und Virtual Reality nur ein Submodus desselben.

Apropos Realität: Es ist ein Segen, dass Apple auf das Definitionswirrwarr der Industrie und damit auf Ausdrücke wie VR, AR, MR, XR sowie das undefinierbare „Metaverse“ verzichtet. Apple spielt nicht mit der Realität, es entwickelt einen Gesichtscomputer, der digitale Inhalte verräumlicht. Das ist konkreter. Und leichter zu kommunizieren.

Apple weiß, dass der Begriff „Virtual Reality“ Ängste schüren kann oder aber Erwartungen, die die aktuelle Technologie nicht hält und womöglich auch nie halten wird. Das Ziel ist nicht, den menschlichen Sinnesapparat zu hacken und die Realität zu ersetzen, sondern etwas viel Bescheideneres: Vision Pro beschränkt sich dem Namen des Produkts zufolge auf eine Erweiterung des Sehens. Der Konzern vermarktet das Headset im Sinne John Carmacks als Universal-Display, das eine Vielzahl anderer Bildschirme ersetzen kann und noch dazu ein selbstständiger mobiler Computer ist, der das iPhone und den Mac erweitert, aber nicht voraussetzt. So rechtfertigt Apple auch den Preis von 3.499 US-Dollar in der Basisausstattung.

Apple hat gut kommuniziert und visualisiert, wozu das futuristische Gerät gut sein soll. Aber ob die gezeigten Anwendungsszenarien ausreichen, um Verbraucher vom Kauf zu überzeugen, ist dennoch fraglich. Tim Cook sagte, dass Vision Pro die Art verändern wird, wie Menschen kommunizieren, kollaborieren, arbeiten und Medien konsumieren und zeigte konkrete Beispiele für jede dieser Aktivitäten. Aber die meisten dieser Anwendungsszenarien erschöpften sich darauf, 2D-Bildschirme in die eigenen 3D-Umgebung zu projizieren. Das zeugt von Ratlosigkeit.

Die zwei besten und kommerziell erfolgreichsten Arten von Apps, die VR-Technologie bislang hervorbrachte, nämlich Gaming und Fitness, spielten bei der Vorstellung praktisch keine Rolle. Immerhin wird es möglich sein, mobile 2D-Spiele auf einer virtuellen Leinwand zu spielen, sofern man ein kompatibles Gamepad besitzt. Ein schlechter Scherz angesichts der Möglichkeiten, die erschwingliche VR-Technologie in Form der Meta Quest 2 oder Playstation VR 2 bietet. Eine große Entwicklergemeinschaft hat seit 2016 ein hochwertiges Portfolio an VR-Spielen produziert, die auf Vision Pro keine Zukunft haben, weil das Gerät keine VR-Controller unterstützt.

Ein wunderschönes Stück Technik, keine Frage. | Bild: Apple

Die Befürchtungen haben sich bestätigt: Apple weiß selbst nicht recht, wofür diese Technologie gut ist und hofft darauf, dass die Entwicklerszene den entscheidenden Existenzgrund liefert. Immersivere Kommunikation, Kollaboration, Arbeit und Unterhaltung: All diese Ansätze gab es schon bei Meta zu sehen und die Trailer und Konzepte der beiden Techkonzerne gleichen sich teilweise aufs Haar. Die Frage ist, ob Apple durch eine bessere Implementierung und Integration ins eigene Ökosystem den entscheidenden Mehrwert liefern kann, der Vision Pro braucht. Für im Raum schwebende iPad-Apps wird sich dieses Gerät niemand kaufen. Nicht in dieser Form und nicht zu diesem Preis.

Es war Berichten zufolge Tim Cooks Entscheidung, das Headset endlich der Öffentlichkeit vorzustellen, anstatt zu warten, bis die Technologie fortgeschritten ist und kleinere, elegantere Gesichtscomputer ermöglicht. Ich hatte bei der Vorstellung das Gefühl, dass Cook wirklich begeistert ist von Apple Vision Pro und dessen Möglichkeiten. In dieser Hinsicht trennt Tim Cook und Mark Zuckerberg womöglich gar nicht so viel. Beide glauben an die Technologie, beide sind bereit, in sie zu investieren und beiden schweben die gleichen Anwendungsszenarien vor.

Ich war am Ende dennoch zwiegespalten. Vision Pro ist ein wunderschönes Stück Technologie. Ich bewundere die Liebe zum Detail, die die Apple-Ingenieure an den Tag legten und die zahlreichen kleineren und größeren Innovationen, die in dem Gerät stecken und die Industrie inspirieren werden. Apple Vision Pro ist in der Tat der „fortschrittlichste persönliche Computer, der je entwickelt wurde“. Aber was ich und andere Verbraucher damit letzten Endes machen sollen, ist mir gestern nicht klar geworden.

Apple schwebt wie Meta und anderen Herstellern ein räumlicher Allzweckcomputer vor, aber es wird viele Jahre dauern, bis die Hardware miniaturisiert und die Software ausgereift genug dafür ist. Ich hoffe, dass sich Apple dessen klar ist, denn der Erfolg wird nicht über Nacht kommen.

Dieser Beitrag erschien am 6. Juni 2023 bei MIXED.

Die jüngste Virtual-Reality-Welle kam vor einer Dekade ins Rollen, aber trotz rasanter technologischer Fortschritte, stehen VR-Brillen noch immer am Anfang ihrer Entwicklung. Noch immer schlagen wir uns mit Kabeln herum (Playstation VR 2), tragen sperrige Kästen im Gesicht, die ein halbes Kilo oder mehr wiegen (Meta Quest 2), müssen Zubehör an die Wände schrauben (Bigscreen Beyond) oder vor dem Kauf einen Kredit aufnehmen (Varjo XR-3). Jedes der genannten Geräte kann etwas besonders gut, aber keines befriedigt in jeglicher Hinsicht.

Eine auch nur annähernd perfekte VR-Brille? Sie existiert nicht und dafür gibt es gute Gründe, die mit den (immens hohen) Erwartungen zusammenhängen, die an solche Geräte geknüpft sind. Die VR-Brille soll Grafik auf dem Niveau einer Konsole darstellen können, aber gleichzeitig ohne Strom aus dem Netz auskommen, kaum Abwärme produzieren und auch noch so leicht und klein sein, dass man sie kaum auf der Nase spürt. Eine technische Unmöglichkeit!

Optik, Leistungsfähigkeit, Gewicht, Formfaktor, Energieeffizienz und nicht zuletzt der Preis: All das sind Faktoren, deren Gewichtung die Ingenieurinnen gegeneinander abwägen müssen. Unternimmt man den Versuch, die Geräte in eine Richtung entscheidend zu verbessern, so muss man dafür unweigerlich Kompromisse in anderen wichtigen Bereichen hinnehmen. Ein aktuelles Beispiel: Durch den Einsatz sogenannter Pancake-Linsen kann man Formfaktor von VR-Brillen beträchtlich reduzieren. Der Nachteil solcher Linsen ist, dass sie zehnmal so viel Licht schlucken, was wiederum heller leuchtende Displays und effizientere Batterien voraussetzt.

Von links oben nach rechts unten: Playstation VR2, Meta Quest 2, Bigscreen Beyond, Varjo XR-3.

Die Entwicklung von VR-Hardware ist ein Spiel der Kompromisse. Die beste VR-Brille ist letzten Endes nicht die, die nur ein, zwei Dinge sehr gut kann, sondern deren technische Nachteile in der Summe am wenigsten stören.

Als ich meine MIXED-Kollegen kürzlich über die Unvollkommenheit von VR-Brillen lamentieren hörte, kam mir eine Filmszene aus „Club der toten Dichter“ in den Sinn. In der besagten Szene beschreibt der Student Todd Anderson (Ethan Hawke) die Wahrheit als eine Decke, die einen nie ganz zudeckt, sodass man notgedrungen friert, egal, wie man sie sich zurechtlegt oder an ihr zerrt. Ihr könnt euch diesen Ausschnitt in Englisch bei Youtube ansehen.

Natürlich stellen VR-Brillen anders als die Wahrheit eine technologische, keine prinzipielle Unvollkommenheit dar. Sie könnten eines Tages vollkommen sein oder zumindest die größten Nachteile beseitigen, dergestalt, dass eine Stärke nicht mit einer Schwäche erkauft werden muss.

Das wird lange dauern. VR-Brillen haben weitaus komplexere Anforderungen als alle bisherige Unterhaltungselektronik. Einige Bausteine müssen verbessert, andere erst noch erfunden werden. Diese Entwicklung mitzuverfolgen und gleichsam der Decke beim Wachsen zuzusehen, ist ungeheuer spannend und einer der Gründe, weshalb mich Virtual Reality nach zehn Jahren noch immer fasziniert, Unvollkommenheit hin oder her.

Wer mehr über die technischen Hürden von Headsets erfahren möchte, dem empfehle ich Matthew Balls exzellenten Essay Why VR/AR Gets Farther Away as It Comes Into Focus.

Dieser Beitrag erschien am 7. Mai 2023 bei MIXED.

Oculus Quest hatte ursprünglich keinen Gaming-Fokus und wurde in letzter Minute für VR-Spiele umgestaltet, verrät der Director of Content Ecosystem Chris Pruett in einem Vortrag mit dem Titel „Meta Quest heute und wo es morgen hingeht“, den er auf der GDC 2023 hielt (siehe Youtube).

In dem knapp 50-minütigen Vortrag geht Pruett unter anderem auf die Entwicklungsgeschichte von Oculus Quest ein, die im Mai 2019 auf den Markt kam. Diesem Produkt vorausgegangen sind Oculus Rift (2016) und Oculus Go (2018).

Pruett sagt, dass es innerhalb Metas zwei Lager gegeben habe: Eines habe sich für Highend-Technik ausgesprochen, während das andere auf möglichst einfache Nutzung und Reichweite pochte. Die 2021 eingestellte Rift-Produktreihe war gewissermaßen das Baby des ersten Lagers, die autarke und technisch stark eingeschränkte Oculus Go dasjenige des zweiten. Doch keines der beiden Geräte hatte den erhofften Erfolg. Rift setzte einen PC voraus und war umständlich zu nutzen, während Oculus Go nur Rotationen und keine Bewegung in den Raum hinein erfassen konnte.

„Wir haben viel Arbeit in beide investiert. Wir haben Inhalte für beide entwickelt. Wir haben sie auf Teufel komm raus vermarktet, wir haben sie im Einzelhandel verkauft, wir haben sie in verschiedene Länder gebracht. Wir haben alles richtig gemacht. Und wir haben eine Menge gelernt. Und dann haben wir die Dinge, die wir gelernt haben, genutzt, um Oculus Quest zu entwickeln“, sagt Pruett.

Oculus Quest aus dem Jahr 2019. | Bild: Meta

Oculus Quest sei die Verschmelzung dieser beiden Geräte, aber schon sehr früh in Entwicklung gegangen. „Das erste Quest-Gerät war bereits in Entwicklung, bevor Go überhaupt in die Entwicklung ging. Und wir haben sehr spät, basierend auf den Erkenntnissen aus Rift und Go, das Quest-Gerät so umgestaltet, dass es sich viel mehr auf Spiele konzentriert.“

Zwei der wichtigsten Lektionen, die Meta in dieser Periode gelernt hatte, war, dass die Inhalte zählten („Content is King“) und dass Virtual Reality sich (in der Anfangsphase) hauptsächlich um Videospiele dreht. Hochwertige VR-Spiele waren es, die Menschen dazu brachten, sich ein VR-Headset zu kaufen.

Ausdruck fand dieser späte Schwenker auf Gaming unter anderem in den Controllern, die in letzter Minute umdesignt wurden. Statt Trackpads ähnlich Oculus Go erhielten die Quest-Eingabegeräte Analogsticks und Knöpfe. Eine fertige Hardware-Pipeline umzugestalten sei eine „extrem teure und extrem schwierige“ Angelegenheit, meint Pruett, aber das sei erforderlich gewesen, um Oculus Quest zum Erfolg zu verhelfen.

Nicht vorzustellen, was aus Oculus Quest geworden wäre, wenn das Gerät mit Trackpad-Controllern auf den Markt gekommen wäre!

Dieser Beitrag erschien am 5. Mai 2023 bei MIXED.

Das Metaverse ist ein Sci-Fi-Konzept, das längst nicht Wirklichkeit geworden ist und aus diesem Grund eine schwer nachvollziehbare Sache. Selbst die Experten können sich nicht auf eine einheitliche Definition festlegen.

Der Begriff wurde vom Sci-Fi-Autor Neal Stephenson in seinem Buch „Snowcrash“ geprägt und steht für eine digitale Parallelwelt, in die sich die Menschheit mithilfe futuristischer VR-Brillen einklinken. Das 1992 erschienene Buch hatte großen Einfluss auf Silicon-Valley-Visionäre, darunter Mark Zuckerberg. Ende 2021 benannte Zuckerberg Facebook in Meta um, eine Kurzform des Wortes Metaverse.

Dies alles haben die Jeopardy-Kandidaten offenbar nicht mitbekommen. Die Quizfrage wurde in der Kategorie „Moderne Worte“ gestellt. Die Kandidaten wetteten insgesamt knapp 25.000 US-Dollar auf ihre Antwort – und lagen allesamt falsch.

Was lehrt uns diese Geschichte über das Metaverse? Dass das Wort und die dahinterstehende Idee bei Weitem nicht so verbreitet ist, wie sich das Zuckerberg wünschte.

Der geschasste Oculus-Gründer Palmer Luckey wies bei dieser Gelegenheit schadenfroh darauf hin, dass die Jeopardy-Kandidaten einer früheren Sendung keine Probleme hatten, das Wort „Oculus“ zu erraten. Ein Markenname, der in den USA viel stärker verbreitet ist und häufig synonym mit Virtual Reality gebraucht wird.

Facebook tilgte den Markennamen nach der Umbenennung in Meta fast vollständig, besann sich kürzlich jedoch wieder darauf, als es den eigenen Third-Party-Spieleverlag werbewirksam „Oculus Publishing“ taufte. Das Unternehmen verwendet den Begriff des Metaverse immer seltener, wohl aus obigen Gründen und weil er Meta eher schadet, als hilft. Einige Investoren zweifeln am Zukunftspotenzial vom VR und AR und sähen lieber, dass Meta in etwas anderes als in weit entfernte Sci-Fi-Visionen investiert.

Dieser Beitrag erschien am 24. April 2023 bei MIXED.