Augmented Reality: So steht es um die Zukunftstechnologie

Dieser Beitrag unternimmt den Versuch einer allgemeinen Kategorisierung. Sein Zweck ist, einen Überblick zu geben über die wichtigsten Geräteklassen und dabei zugleich die Entwicklung bis 2022 widerzuspiegeln: von AR-tauglichen mobilen Geräten über AR-Headsets wie Hololens und Magic Leap bis zu den ersten VR-Headsets mit Passthrough-AR.

Mobile-AR

Andere Bezeichnungen oder Unterformen: Smartphone-AR, Tablet-AR
Bekannte Schnittstellen: ARKit, ARCore
Vorteile: große Verbreitung, gereifte Schnittstellen
Nachteile: umständliche Nutzung, kleiner Bildausschnitt, kein echtes 3D, eingeschränkte Interaktivität

Mobile-AR ist Augmented Reality mithilfe mobiler Geräte wie Smartphones und Tablets. Die nutzen eine Kamera und weitere Sensoren sowie maschinelles Sehen, um digitale Objekte und Informationen kontextsensitiv im physischen Raum darzustellen. Auf dem Display des Smartphones oder Tablets verschmelzen die digitalen und physischen Elemente.

Mobile-AR projiziert digitale Objekte auf realistische Weise in die physische Umgebung. | Bild: Apple

Erste ausgereifte Schnittstellen für Mobile-AR waren die Entwicklungskits Vuforia und Wikitude. 2017, mit der Vorstellung von Apples ARKit und der Integration der Schnittstelle in iOS, erreichte Mobile-AR die Massen. Google folgte 2018 Apples Beispiel mit ARCore, einer Lösung für Android-Geräte. Weitere einflussreiche Schnittstellen sind Spark AR von Meta, Snap AR und das von Niantic erworbene 8th Wall.

Da Smartphones allgegenwärtig sind, ist Mobile-AR die weit verbreitetste und meist genutzte Form von Augmented Reality. Zu den beliebtesten Anwendungen gehören AR-Spiele wie Pokémon Go, Gesichtsfilter und Googles AR-Suche.

Datenbrillen

Andere Bezeichnungen oder Unterformen: Smartglasses, Videobrillen, Kamerabrillen, Audiobrillen
Bekannte Beispiele: Google Glass, North Focals, Ray-Ban Stories, Echo Frames, Snap Spectacles (1-3)
Vorteile: vergleichsweise schmaler Formfaktor
Nachteile: schwache bis keine AR-Funktionalität, schmales Sichtfeld

In diese Klasse gehören Geräte, die sich am Formfaktor einer herkömmlichen Brille orientieren und möglichst unauffällig wirken wollen, aus diesem Grund aber lediglich rudimentäre Augmented Reality bieten: Sie blenden nützliche Informationen im Sichtfeld ein (Google Glass, North Focals) oder beamen virtuelle Bildschirme in den Raum (Nreal Air), ohne die physische Umgebung zu berücksichtigen.

Die Ray-Ban Stories mit zwei integrierten Kameras ist von einer normalen Ray-Ban fast nicht zu unterscheiden. Der tolle Formfaktor wird unter anderem dadurch erkauft, dass sie kein Display bietet. | Bild: Meta / Ray-Ban

Andere Geräte dieser Klasse haben kein Display verbaut und bieten dafür alternative smarte Funktion wie Kameras und Lautsprecher (Ray-Ban Stories) oder Sprachassistenz (Echo Frames). Die stark beschränkte AR-Funktionalität ist in allen Fällen auf technische Gründe zurückzuführen: die Miniaturisierung von AR-Technik ist nur ansatzweise gelungen.

Das meist recht schmale Sichtfeld und der mit diesem einhergehende eingeschränkte Nutzen der Geräte hat eine größere Verbreitung bislang verhindert. In einigen Fällen sind die Datenbrillen optisch immer noch als solche auszumachen und daher nicht sozialverträglich. Google Glass floppte wegen dieses Umstands und der integrierten Kamera, die Kontroversen rund um Privatsphäre und Datenschutz hervorrief.

AR-Headsets

Andere Bezeichnungen oder Unterformen: Seethrough-AR-Headsets
Bekannte Beispiele: Microsoft Hololens, Magic Leap, Snap Spectacles
Vorteile: Fortschrittliche AR-Funktionalität
Nachteile: vergleichsweise wuchtig, schmales Sichtfeld, teuer

AR-Headsets haben eine andere Prämisse als Datenbrillen: Abstriche beim Formfaktor werden in Kauf genommen, um Raum zu schaffen für wichtige Grundfunktionen von Augmented Reality wie räumliches Tracking und 3D-Mapping der Umgebung. Dementsprechend wuchtig sind die Geräte und nicht mit herkömmlichen Brillen zu verwechseln, weshalb diese Kategorie auch mit AR-Headsets statt AR-Brillen (siehe Kategorie 5) überschrieben ist.

Die bekanntesten AR-Headsets sind Microsoft Hololens und Magic Leap. Die erste Hololens erschien 2016. 2018 folgte die Magic Leap One (heute: Magic Leap 1) und 2019 die Hololens 2. 2022 kommt die Magic Leap 2 auf den Markt.

Hololens 2: Gute AR-Technik mit Schwächen beim Display, die deshalb und wegen des Formfaktors noch nicht für den Alltag geeignet ist. | Bild: Microsoft

Wegen ihres hohen Preises, der experimentellen Technik und ihrem Aussehen sind die Geräte unattraktiv für Endverbraucher. Abnehmer sind primär Unternehmen, Profis und AR-Enthusiasten, die für die Brillen und spezifische Nutzungsszenarien maßgeschneiderte Anwendungen entwickeln. Hololens 2 und Magic Leap 2 brachten zwar Fortschritte in Bereichen wie Formfaktor, Tragekomfort, Bedienung und Sichtfeld. Einen technischen Durchbruch, der die Geräte auch für Konsumenten interessant machen könnte, gelang ihnen aber nicht.

Gerüchten zufolge hat Microsoft die Arbeit an Hololens 3 eingestellt. Stimmt das, wäre Magic Leap der einzige größere Akteur, der AR-Headsets herstellt. Das könnte ein Hinweis sein, dass der Formfaktor keine große Zukunft hat, da Hersteller dieser Geräte über kurz oder lang in Kategorie 5 landen wollen.

Interessante Hybriden sind Nreal Light und Snaps Spectacles. Beide Geräte gehen optisch in Richtung einer herkömmlichen Brille und bieten grundlegende AR-Features. An die technischen Kapazitäten echter AR-Headsets kommt sie aber nicht heran. Der Formfaktor ist zwar schlanker als bei einem Headset wie Hololens, aber noch immer deutlich größer als bei einer Brille.

Passthrough-AR-Headsets

Andere Bezeichnungen oder Unterformen: Mixed-Reality-Headsets
Beispiele: Project Cambria, Lynx R-1, Varjo XR-3
Vorteile: derzeit beste AR-Funktionalität, weites Sichtfeld
Nachteile: Formfaktor

AR-Headsets wie Hololens und Magic Leap leiten das Licht eines Bildprojektors in ein transparentes Glas, den sogenannten Wellenleiter, der das Bild anschließend ins Auge wirft. Diese Technik steckt in den Kinderschuhen, ist komplex und teuer in der Herstellung.

Passthrough-AR-Headsets hingegen setzen auf das gleiche Bauprinzip wie VR-Brillen, was die Herstellung erleichtert und die Kosten senkt, da es sich um weitgehend etablierte Technik handelt. Sie werden in den nächsten Jahren voraussichtlich die beste Hardware für fortschrittliche Augmented Reality werden.

Im Gehäuse von Passtrough-AR-Headsets sind Kameras verbaut, die die Umgebung filmen und als Videobild an die undurchsichtigen Bildschirme weiterleiten. So entsteht die Illusion, die umgebende Welt zu sehen, die auf den Displays beliebig um digitale Elemente erweitert werden kann.

Erstes Bild von Project Cambria

Project Cambria kommt voraussichtlich an den Formfaktor der Hololens 2 heran. Wesentlich kleiner dürften Video-AR-Headsets wegen der benötigten Technik zeitnah nicht werden. | Bild: Meta

Diese Darstellungstechnik hat Vorteile gegenüber klassischen AR-Headsets mit transparenten Wellenleitern: Sie ermöglicht ein weites Sichtfeld vergleichbar mit VR-Headsets, realistische Verdeckung physischer Objekte, Darstellung von Schatten und Dunkelheit und fließende Übergänge entlang des Mixed-Reality-Spektrums.

Nachteile von Video-AR wie Latenz und eine fixe Fokusebene wiegen nicht so schwer wie die Kompromisse herkömmlicher AR-Headets (geisterhafte AR-Objekte, schmales Sichtfeld).

Deswegen hoffen viele Unternehmen auf einen größeren Erfolg von Video-AR-Headsets. Meta und Lynx bringen dieses Jahr entsprechende Geräte auf den Markt und ähnliche Headsets von Apple, Google, Samsung und Microsoft sollen gerüchteweise in den nächsten Jahren folgen.

Der Formfaktor dieser Art Headsets ermöglicht zwar fortschrittliche AR, ist aber zugleich der größte Nachteil: Wie VR-Headsets sind die Geräte wuchtig und nur bedingt alltagstauglich, weshalb die Nutzung größtenteils auf Innenräume und dafür vorgesehene Areale beschränkt bleiben dürfte.

AR-Brillen

Andere Bezeichnungen oder Unterformen: AR Glasses
Beispiele:
Vorteile: Brillenformfaktor, hervorragende AR-Funktionalität, weites Sichtfeld
Nachteile: offene Fragen bezüglich Datenschutz und Privatsphäre, technische Infrastruktur ist eine große Herausforderung

Eine stylische und bequeme Brille mit AR-Features, die Träger im Alltag unterstützt, lebensechte Hologramme in den Raum projiziert und analoge und digitale Realität gekonnt vermischt: Das ist der Traum, auf den die AR-Industrie hinarbeitet und der seit Jahren kaum näher rückt. Ob er jemals Wirklichkeit wird, entscheidet sich laut Metas wichtigstem Technikforscher Michael Abrash in dieser Dekade.

Die Liste der Hürden ist lang: Eine richtige AR-Brille müsste eine immense Computerleistung für die komplexen Aufgaben bei AR-Berechnungen bieten und dennoch ausreichend Akkuleistung für einen ganzen Tag haben, ähnlich wie unsere Smartphones heute.

Mit Project Aria erforscht Meta Grundlagen für die AR-Brillenzukunft. Der aktuelle Prototyp ist funktionstüchtig: Erste Tester sammeln damit Alltagsdaten über Kameras und Tiefensensoren. Die Brille hat allerdings keinen Bildschirm und keine Grafikeinheit verbaut. Der Formfaktor ist in etwa das, was Meta und andere Tech-Konzerne realistisch anstreben dürften. | Bild: Meta

Neben den Prozessoren müssen zwei oder mehr Kameras ins Brillengestell passen, über die sich die Brille in der Umgebung orientiert und etwa Orte, Objekte und Personen wiedererkennt. Dabei darf die Brille weder zu groß, noch zu schwer und warm werden.

Eine mögliche Lösung für einige der technischen Herausforderungen wäre 5G-Streaming: Inhalte kommen fertig aus der Cloud, die Brille muss sie „nur“ noch in die Umgebung projizieren und Interaktion ermöglichen. So könnte man einen Teil der Rechenlast auslagern und die Brillen schlanker bauen.

Doch selbst wenn diese Probleme gelöst wären, besteht noch immer die Frage, wie die Öffentlichkeit auf AR-Brillen reagiert, die ihre Umgebung fortwährend filmen und analysieren. Diese Debatte muss erst noch stattfinden. Die Erfahrungen von Google Glass zeigen, dass sie kompliziert werden dürfte.

AR-Kontaktlinsen

Beispiele: Mojo Lens, Inwith

Noch mehr Zukunftsmusik als schlanke AR-Brillen sind AR-Kontaktlinsen. Start-ups wie Mojo Vision oder Inwith stellen zwar erste, technisch beeindruckende Prototypen vor. Deren Funktionalität ist aber rudimentär.

Der Prototyp der Mojo Lens kann Inhalte in einem 15-Grad-Sichtfeld direkt auf der Retina darstellen. Per Eye-Tracking erkennt die Linse, wohin das Auge gerade blickt, und passt das Bild entsprechend an. Derzeit kann das selbst entwickelte Display nur grün darstellen, Raum- und Objekterkennung bietet die Linse nicht.

Ein Einsatz im medizinischen Umfeld für spezifische Augenkrankheiten, etwa als Kontrastverstärker, ist zunächst wahrscheinlicher. Ein externer Zuspieler wie ein Taschencomputer oder Cloud-Streaming sind in jedem Fall notwendig.

Dieser Beitrag erschien am 3. April 2022 bei MIXED. Matthias Bastian hat am Text mitgewirkt.