Wer Vision Pro zum ersten Mal sieht und sich mit VR-Technologie nicht auskennt, könnte denken, dass die Vorderseite aus einem transparenten Stück Glas besteht. In Wirklichkeit sind die Augen der Person, so wie bei jedem anderen VR-Headset, hinter einer dicken Schicht Technik verborgen, die eine Leiterplatte, Sensoren, Prozessoren, Displays und Linsen enthält.
In einem Podiumsgespräch, das im Rahmen der WWDC 2023 stattfand, ging der leitende Entwickler der Vision Pro Mike Rockwell auf die Technik hinter Eyesight ein. Die Idee geht laut Alex Heath auf Apples ehemaligen Chefdesigner Jony Ive zurück. Ganz neu ist sie nicht: Meta zeigte 2021 Prototypen mit Fake-Durchblick, implementierte die Technik jedoch nicht in Produkte.
Die Augenpartie ist durch das opakte Headset hindurch sichtbar. | Bild: Apple
Das Geheimnis hinter Eyesight ist ein Frontdisplay, das in Echtzeit die Augenpartie der Headset-Nutzer rendert. Doch nicht irgendein beliebiges Display. Das Eyesight-Display ist gebogen und nutzt das Linsenrasterprinzip (auch Lentikularprinzip genannt). Das heißt, es stellt abhängig vom Blickwinkel ein jeweils leicht verschobenes Bild der Augen dar. Ein herkömmliches 2D-Display würde die Augen stielhaft und unnatürlich wirken lassen, insbesondere dann, wenn man eine Person seitlich ansieht.
Den Unterschied kann man gut anhand des folgenden Forschungsbeispiels von Meta sehen. In der Mitte kommt ein herkömmliches 2D-Display zum Einsatz, auf der rechten Seite ein lentikulares 3D-Display nach dem Linsenrasterprinzip.
„Wir mussten eine separate Ansicht für jede Person schaffen, die dich aus einem beliebigen Winkel betrachtet. Also haben wir ein Linsenraster-Display entwickelt, das erste gebogene Linsenraster-Display, das jemals hergestellt wurde. Und wir rendern tatsächlich für jede Person, die dich ansieht, eine eigene Ansicht deiner Augen“, erklärt Mick Rockwell.
Und woher kommen die Daten für diese Ansichten? Aus Rockwells Äußerungen kann man auf zwei Datenquellen schließen: Da wären zum einen die Aufnahmen der Eye-Tracking-Kameras, vier an der Zahl, im Inneren des Headsets. Zum anderen nutzt Apple die Persona, also den digitalen Avatar, der vorab mithilfe eines 3D-Gesichtsscans der tragenden Person generiert wird.
Aus diesen Datenquellen entsteht mit minimaler Latenz ein digitales Abbild der Augenpartie, das anschließend in die verschiedenen Blickwinkel aufgefächert und gerendert wird.
Wohl wegen der technischen Komplexität dieses Features und der unheimlichen Effekte, die ein Fehlverhalten der Technik zur Folge haben könnte, durfte die Presse Eyesight noch nicht ausprobieren. Wahrscheinlich arbeitet Apple noch immer am Feinschliff. Dennoch werde Eyesight eine Reihe von Einschränkungen haben, munkeln Experten und erwarten technologiebedingt ein eingetrübtes und gering aufgelöstes Bild der Augenpartie.
Apple ist gleichwohl überzeugt, dass sich der enorme technische Aufwand lohnt. Weshalb? Weil Apple die Isolation von VR-Headsets nach beiden Seiten hin durchbrechen will. Die Nutzer sollen die Umgebung sehen und die Umgebung die Nutzer.
„Man kann mit jedem, der ins Zimmer kommt, auf natürliche Weise interagieren, und das ist wirklich verblüffend. Wenn die Leute das sehen, werden sie das Gerät als transparent empfinden. Es sieht so aus, als ob es transparent ist, und sorgt dafür, dass man sich nicht von den Menschen getrennt fühlt. Das war ein grundlegender Wert dessen, was wir zu tun versuchten“, sagt Rockwell.
Zu Eyesight gehört auch die Funktion einer automatischen Ein- und Ausblendung der Augenpartie, je nachdem, ob man in immersive Inhalte vertieft ist oder mit Menschen in der unmittelbaren Umgebung interagiert. Nähert sich jemand, taucht die Person automatisch in der Sicht auf. Das obige Video veranschaulicht beide Szenarien.
Dieser Beitrag erschien am 18. Juni 2023 bei MIXED.