Zehn Jahre nach der Enthüllung von Google Glass ist der Traum von Augmented Reality noch immer lebendig. Zumindest in den Köpfen von Silicon-Valley-Größen wie Mark Zuckerberg und Tim Cook.

Google, Meta, Apple: Diese und andere Konzerne arbeiten weiterhin an smarten Brillen, die Gesellschaft und Welt verändern sollen. Der Aufstieg und Fall von Google Glass liefert wichtige Lektionen in dieser Hinsicht, eine Blaupause dafür, wie man es nicht machen sollte. Die Frage ist, ob die Techriesen diese Lehren beherzigen.

Der Journalist Quinn Myers hat sich eingehend mit der Geschichte von Googles Datenbrille befasst und ein Buch über das legendäre Produkt verfasst, das noch in der Betaphase gestoppt und später als Enterprise Edition wiederbelebt wurde. Der Herausgeber des XR-Newsletters Virtual Vector Mathew Olson hat sich mit ihm unterhalten.

Laut Myers gibt es reichlich Gemeinsamkeiten zwischen der Google-Glass-Ära (2012-2015) und heute. „Es gibt eine Reihe von Parallelen, bis zu den Phrasen, die Mark Zuckerberg verwendet, wenn er über Meta spricht, die ähnlich klingen wie das, was Google über Glass gesagt hat. Sie verfolgen auf ähnliche Weise dasselbe Ziel. Die Leute sagen: ‚Ich weiß nicht, ob ich das nutzen will‘, aber sie bestehen darauf, dass dies die Zukunft ist.“

Google Glass. | Bild: Google

Eine Lehre, die Konzerne wie Google und Amazon gezogen hätten, betreffe das Marketing, das „ein wenig subtiler“ geworden wäre. Man erinnere sich: Google wollte mit Glass das Smartphone ersetzen und warb mit einem berühmt-berüchtigten Video, das eher eine mögliche Zukunft illustrierte als ein Produkt, das tatsächlich existierte. Dadurch musste die Datenbrille später zwangsläufig enttäuschen.

Smarte Lautsprecher hätten wie Google Glass negative Presse bezüglich Privatsphäre erhalten, aber wurden von Verbrauchern dennoch angenommen, wobei das Marketing eine wichtige Rolle spielte. Google und Amazon warben nicht mit Berühmtheiten und Laufstegmodels, was Google Glass eine elitäre Aura und ein Image verlieh, das später dazu beitrug, dass Glass-Träger als „Glassholes“ beschimpft und aus Lokalen geworfen wurden.

Eine weitere wichtige Lehre sei, einen konkreten Nutzen in den Vordergrund zu stellen, anstatt von einem Allzweckgerät oder einem Smartphone-Ersatz zu sprechen. Google testet derzeit wieder eine Datenbrille in der Öffentlichkeit und betonte bei der Vorstellung des Projekts deren Funktionalität: Sie übersetzt in Echtzeit gesprochene oder geschriebene Sprache.

Myers findet, dass in puncto Privatsphäre eine Veränderung eingetreten sei im Vergleich zu Google-Glass-Ära: In Zeiten von TikTok würden öffentliche Plätze häufiger gefilmt als vor zehn Jahren. In Gegenwart der Glass-Träge, so erinnert sich Myers, hätten sich die Menschen „angespannt“ gefühlt. Allerdings sei dieses Gefühl auch heute nicht ganz überwunden.

Setzt Augmented Reality wirklich eine Brille voraus und ist der Nutzen eingeblendeter Informationen wirklich so groß? Myers zweifelt daran. „Das ist etwas, worüber ich viel nachdenke: Muss die Brille das Vehikel für AR sein? Oder könnte es eher so sein, wie wenn man eine Wegbeschreibung auf der Windschutzscheibe seines Autos hat, oder andere Formen, die man nicht tragen muss, die aber trotzdem in unser tägliches Leben integriert sind?“

Dieser Beitrag erschien am 8. November 2022 bei MIXED.

Meine Lieblingsneuigkeit der Meta Connect 2022 betrifft nur indirekt Virtual Reality: dass Xbox Cloud Gaming für Meta Quest kommt. Dank der entsprechenden VR-App wird es möglich sein, hunderte hochwertige 2D-Spiele direkt in die Quest zu streamen und auf einer großen Leinwand zu spielen. Ein Game-Pass-Abo und Xbox-Controller reicht.

Diese Nachricht kam überraschend und freute mich, weil ich daheim weder eine Spielkonsole noch einen Gaming-Monitor stehen habe. Wenn ich keine Filme schaue oder lese, dann bin ich in VR unterwegs. Mit 2D-Gaming habe ich mich seit Jahren nicht mehr auseinandergesetzt. Was nicht heißt, dass ich gelegentlich nicht gerne wieder etwas in die Richtung ausprobieren würde. Mit Xbox Cloud Gaming für Meta Quest könnte ich dieser Tätigkeit innerhalb meines gewohnten Medienkonsums nachgehen und dank Virtual Reality im Großformat und an jeder beliebigen Wand.

Mir ist klar, dass meine Mediennutzung von dem der großen Masse abweicht und dass Xbox Cloud Gaming allein kein Kaufgrund für eine VR-Brille ist. Aber Xbox Cloud Gaming zu unterstützen, ergibt Sinn im Rahmen einer umfassenderen Strategie, klassische 2D-Unterhaltungsformen in VR zugänglich zu machen. Weil diese enormen kulturellen und ökonomischen Wert haben, auf die Verbraucher Zugriff haben sollten, wenn sie ein Headset aufsetzen.

Virtuelle Wohnung der VR-App Virtual Desktop. | Bild: Guy Godin

Das gilt nicht nur für Unterhaltungsmedien wie Spiele, Filme und Musik. Wie praktisch wäre es, wenn man in VR vollen Zugang auf das eigene Smartphone hätte oder auf den Desktop-Computer, um nach einem VR-Spiel noch schnell eine Textarbeit in VR fertig zu tippen oder auf eine E-Mail zu antworten, ohne die VR-Brille absetzen zu müssen. Gleichzeitig mit Xbox Cloud Gaming kündigten Meta und Microsoft an, Windows 11 und Office-Apps für Meta Quest herauszubringen. Damit wäre ein weiterer, wichtiger Schritt in eine Zukunft getan, in der das 2D-Ökosystem im VR-Ökosystem aufgeht und VR-Headsets zu Allzweckgeräten werden. Eine Brücke zu schlagen zwischen alten und neuen Paradigmen des Medienkonsums und der Datenverarbeitung: Das ist unabdingbar für die breitere Aneignung von VR und AR.

Ein großer Verfechter des Vorhabens, 2D-Inhalte in VR zugänglich zu machen, ist John Carmack. Schon 2019 meinte der ehemalige Oculus-Technikchef bei einem Connect-Vortrag zu diesem Thema:

„Es gibt Inhalte im Wert von einer Billion Dollar, die für andere Bildschirme entwickelt wurden. Und ich halte es für völlig unvernünftig, so zu tun, als würden die Leute den gesamten Wert dieser Inhalte in VR-spezifischen Anwendungen nachbilden. [VR] sollte die universelle Plattform sein. Man sollte in der Lage sein, alles in VR zu tun.“

Und Carmack geht noch weiter in seiner Vision: Das VR-Headset solle „der beste Bildschirm im Haus“ sein, der „egal, welche anderen Tablets, Telefone, Bildschirme oder Fernseher man nutzt, eine VR-Version davon bietet, die auf eine Weise signifikant besser ist.“

Dieser Beitrag erschien am 5. November 2022 bei MIXED.

Im August veröffentlichte Meta die Handtracking-Demo First Hand, die den aktuellen Stand der Technik repräsentiert. Die Technologie ist eindrucksvoll, aber hat trotz jüngster Verbesserungen noch immer Gimmick-Charakter. Wenn ich meine Meta Quest 2 aufsetze, greife ich instinktiv zu den Touch-Controllern. Das geht schneller und fühlt sich irgendwie direkter und befriedigender an, selbst wenn ich nicht spiele und nur durch Menüs navigiere.

Das liegt nicht nur an der Trägheit des Trackings, den Aussetzern und fehlenden Präzision, kurz: der nervösen Frickeligkeit der aktuellen Handverfolgung. Ich empfinde es als unangenehm, wenn ich eine Auswahl bestätige und nichts spüre oder schlimmer: virtuell ein digitales Objekt in die Hand nehme und dabei in die Luft greife. Das zerstört nicht nur die Illusion. Es versetzt mein Gehirn in einen Alarmzustand. Hallo, hier stimmt etwas nicht.

Metas EMG-Armband, das neuronale Signale in Computerbefehle umwandeln und haptisches Feedback liefern kann.

Dass es nicht nur mir so geht, bestätigt ein vor kurzem stattgefundener Twitter-Diskurs, in dem es um die Unzulänglichkeiten aktuellen Handtrackings geht. Nach meinem Demo-Erlebnis bin ich überzeugter denn je, dass der Handverfolgung etwas Grundlegendes fehlt und das ist irgendeine Form von Haptik. Ich wünsche mir deswegen keine haptischen Handschuhe herbei. Die sind weit entfernt von der Marktreife, wie Metas eigene Forschung zeigt, und obendrein viel zu umständlich, um sich im Alltag durchzusetzen.

Womöglich ist weniger mehr. Etwa eine leichte Vibration am Handgelenk, wenn ich ein virtuelles Menü berühre, um die Illusion zu schaffen, dass ich etwas in der physischen Welt bewirke. Virtual Reality beweist doch wieder und wieder, dass das Gehirn disparate Sinnesreize zu einem kohärenten Ganzen zusammenfügen kann und dass wir dafür nicht unbedingt eine Menge Technik-Krempel brauchen. Ich denke in diesem Kontext an Metas EMG-Armband, das neuronale Signale von Mikrogesten in Computerbefehle übersetzen und dazu passendes subtiles haptisches Feedback liefern soll. Die Haptik-Seite des Armbands geht zurück auf ein Forschungsprojekt namens Tasbi, das im Sommer 2019 erstmals vorgestellt wurde. Internen Studien zufolge kann das Wearable überzeugende haptische Effekte bis in die Fingerspitzen simulieren. Selbst komplexere Interaktionen wie das Drehen eines Knopfes, Oberflächenbeschaffenheit und Trägheit von Objekten soll das Armband haptisch unterstützen können, bei minimalem technischem Aufwand. Schafft es Meta, die Technologie zu miniaturisieren, könnte sie womöglich in einer Smartwatch Platz finden.

Das Armband soll Berichten zufolge in den nächsten Jahren auf den Markt kommen. Dass Meta vor kurzem Lofelt kaufte, zeigt, wie ernst es mit dem Unternehmen mit diesem Vorhaben ist. Das deutsche Start-up spezialisierte sich auf Haptik und stellte ein Armband her, dass Audiosignale in haptische Effekte verwandelt.

Apples kommendes Headset wird laut Berichten ohne Controller erscheinen und stattdessen nur auf Handverfolgung setzen. Sollte dem wirklich so sein, kann ich mir nicht vorstellen, dass Apple auf haptisches Feedback gänzlich verzichtet.

Mit oder ohne Haptik: Handtracking ist längst nicht reif für die große Bühne. Zumindest in der Form, in der ich sie von Meta Quest 2 kenne. Doch es gibt Hoffnung: Bessere Sensoren werden die Präzision steigern und die Latenz senken und Entwickelnde mit Software-Tricks dafür sorgen, dass sich Handtracking natürlicher und müheloser anfühlt. Aber selbst dann könnte es sein, dass ich Handtracking nur bei einfachen Anwendungen und der Menünavigation den Vorzug gebe und dass die Controller auf dem Tisch liegen bleiben. Gerade bei Spielen.

Apple und Meta: Überzeugt mich vom Gegenteil.

Dieser Beitrag erschien am 18. September 2022 bei MIXED.

Ich mag VR-Spiele, die physisch fordern. Ich räume die Möbel beiseite, ziehe meine Turnschuhe an und los geht es. Solange ich mich bewege, trainiere und kämpfe und dabei alles um mich herum vergesse, merke ich nicht einmal, dass ich über längere Zeit mehr oder weniger an Ort und Stelle stehe.

Anders verhält es sich bei VR-Inhalten mit wenig oder gar keinen Interaktionen. In diesem Fall spüre ich das Gewicht und die Trägheit meines Körpers schon nach wenigen Minuten. Selbst das VR-Headset scheint stärker als sonst zu drücken. Nach einer halben Stunde oder so kommt der Wunsch auf, einen Stuhl herbeizuholen. Die Nachteile sind offensichtlich: Das Sitzen beeinträchtigt die Immersion und ist nicht gesund, da man Alltag genug sitzt. Wenn es im Rücken zwickt, macht Virtual Reality keinen Spaß.

Möchte ich in der VR entspannen oder ein Spiel spielen, das keine allzu große physische Aktivität voraussetzt, suche ich die Couch auf und begebe mich in eine mehr liegende als sitzende Position: mit dem Rücken an die Seitenlehne gelehnt und angewinkelten oder ausgestreckten Beinen. So kann ich Virtual Reality ein bis zwei Stunden ermüdungsfrei genießen.

Leider funktioniert das nicht mit allen VR-Spielen. Da man den Oberkörper in dieser Haltung kaum bewegt und die Hände weniger Bewegungsspielraum haben, kann es passieren, dass man bestimmte virtuelle Objekte nur schwer oder gar nicht erreicht. Selbst der Griff zur virtuellen Waffe oder zum Werkzeug kann durch die physische Couch blockiert sein. Das gilt übrigens auch dann, wenn man aufrecht sitzt, da man die Arme nicht seitlich hängen lassen kann.

Die Branche hat Umwege entwickelt, die das Problem einer fehlenden Übereinstimmung von virtueller und physischer Körperhaltung mit Software-Tricks löst. Spieler können virtuell in die Hocke gehen, um Objekte, die am Boden liegen, aufzunehmen oder diese telekinetisch an sich heranziehen. Manche VR-Spiele wie Demeo erlauben, die Perspektive mit wenigen Handbewegungen so auszurichten, sodass man selbst im Liegen spielen kann. Doch das sind Ausnahmen.

Es würde der Branche helfen, wenn mehr VR-Spiele Couch-Gaming unterstützen oder zumindest mehr Spielmodi für bequeme und entspannte Situationen. So greifen VR-Interessierte womöglich häufiger zur VR-Brille statt zum Buch, dem Smartphone, der Fernbedienung oder der Spielkonsole. Die Konkurrenz ist groß und häufig gewinnt das Medium, das am bequemsten ist. Ein weiterer positiver Effekt Couch-kompatiblen VR-Gamings wäre, dass Menschen, die aus gesundheitlichen Gründen nicht oder nicht lange sitzen, stehen oder gehen können, mehr VR-Inhalte genießen könnten. Ein Problem ist der zusätzliche Programmieraufwand. Die Implementierung geht zulasten VR-Studios, die ihre Spiele neben Sitzen, Stehen und Gehen für einen weiteren Spielmodus optimieren müssen, was noch mehr Ressourcen verschlingt.

Die Problematik scheint mir VR-spezifisch zu sein: Bildschirme waren jahrzehntelang stationär, ein Umstand, dem sich die Inhalte und Nutzung anpassten. Mit Handheld-Konsolen, Tablets und Smartphones wurden Bildschirme so klein und mobil, dass man sie in fast jeder Körperhaltung nutzen kann. Dennoch mussten Entwickler neue visuellen Strategien und Interaktionsformen erfinden. Virtual Reality ist ein noch größerer Paradigmenwechsel. Das hängt damit zusammen, dass Virtual Reality den physischen Körper und die Hände stärker involviert und in die Erfahrung einbringt – ein Anspruch, der mit dem Wunsch nach bequemer VR im Konflikt steht.

Die Konventionen des VR-Gamings sind nicht in Stein gemeißelt und befinden sich weiter im Fluss. Ich bin gespannt, wo VR in wenigen Jahren steht: Ob es sich stärker in Richtung Couch und klassischen Medienkonsum bewegt, oder als bewusst körperbetontes Medium neue Interaktions- und Unterhaltungswelten erschließt.

Dieser Beitrag erschien am 28. August 2022 bei MIXED.

Ich setze mich seit 2016 vertieft mit Virtual Reality auseinander, beruflich und in meiner Freizeit. Diese Beschäftigung ist nicht bloß theoretischer Natur: Ich tauche fast jeden Tag für ein paar Minuten ein und zuweilen verbringe ich ein oder zwei Stunden am Stück in VR. Meine Mitmenschen sagen mir, dass ich unweigerlich lächle, wenn ich mir die VR-Brille aufsetze.

Ja, ich bin verliebt in dieses Medium. Aber ich würde deswegen nicht in der VR leben wollen. Das hat einen triftigen Grund: Virtual Reality erweitert meinen Körper und Raum, aber sie kann sie nicht ersetzen. Ich bleibe tief in der Realität verwurzelt, durch meinen Leib und die Materie, die ihn umgibt.

Das ist ein beruhigender Gedanke. Als sportlicher Mensch möchte ich mir gar nicht vorstellen, wie es wäre, in eine künstliche Welt aufzubrechen und meinen Körper zurückzulassen. Die meisten Menschen empfinden so und ich kann das vollkommen nachvollziehen. Trotz langjähriger Beschäftigung mit VR habe ich nicht die geringste Lust, in eine andere digitale Realität zu flüchten, jedenfalls nicht dauerhaft.

Tauche in die Virtual Reality, so halte ich mich in zwei Welten gleichzeitig auf: Meine Augen und Ohren erleben eine digitale Welt, aber der Rest meines Körpers bleibt der physischen Realität verhaftet. Ob ihm das lieb ist oder nicht. Wollte ich dies, wie manche VR-Neulinge, vergessen und loslaufen, würde ich das schmerzhaft zu spüren bekommen.

Virtual Reality ist nicht wirklich Virtual Reality, sie ist, wie ich vor zwei Jahren schrieb, schon immer eine Mixed Reality gewesen: Wenn man sich in sie hineinbegibt, trägt man stets zwei Realitäten Rechnung, der digitalen und physischen, und ist in keiner ganz zu Hause. Zumindest mit der heutigen, vergleichsweise primitiven VR-Technik. Für komplette Immersion müsste man unsere Wahrnehmung vollständig simulieren. Das wäre, wenn überhaupt, wohl nur über eine direkte Schnittstelle im Gehirn möglich. Eine solche Technologie existiert nicht und könnte für immer ein philosophisches Gedankenkonzept und eine Sci-Fi-Fantasie bleiben. Für das Metaverse, das Meta und anderen Unternehmen vorschwebt, ist sie irrelevant, weil technisch nicht machbar.

Ich bin immer wieder irritiert, wenn ich Metaverse-Visionen sehen, die die Mischrealität der Virtual Reality ignorieren, den Umstand, dass wir unseren physischen Körper und Raum nicht verlassen können. Die so tun, als stünde „Full-Dive-VR“ vor der Haustür.

Metas Metaverse-Vision, präsentiert auf der Meta Connect 2021. | Bild: Meta

Ein Beispiel ist die Metaverse-Vision, die Meta im Rahmen der Meta Connect 2021 präsentierte. In einer Szene sieht man Avatare, die sich so verhalten, als seien sie von der physischen Wirklichkeit abgenabelt: Sie durchqueren virtuelle Räume, sitzen an einem Tisch oder schweben schwerelos durch die Luft. Das sind Bilder, die eine Körperlichkeit und Physikalität beschwören, die der stofflosen Virtual Reality abgeht. Was man in dem Ausschnitt sieht, kann man mehr oder weniger heute schon in der Virtual Reality tun. Man darf nur nicht erwarten, dass es sich natürlich anfühlt. Weil der eigene Körper physischen Gesetzen unterworfen bleibt. Auch wenn der Begriff Virtual Reality etwas anderes suggeriert: Aktuelle VR-Technik abstrahiert stark von der sogenannten Wirklichkeit.

Ein anderes Beispiel ist der Dokumentarfilm We Met in Virtual Reality, der komplett in VRChat gedreht wurde und zeigt, wie Menschen während des Lockdowns in der VR zueinanderfinden. Der Film präsentiert und filmt Virtual Reality, als wäre sie ein zweites Leben und wechselt nie in die Außenperspektive, um die Gerätschaften zu zeigen, die die Menschen für eine solche Erfahrung am Körper tragen müssen. Stattdessen sieht man zahlreiche Szenen, die ein natürliches Körper- und Weltgefühl suggerieren: Die Avatare fahren in Autos, umarmen sich, trinken in Bars und gehen gemeinsam auf den Rummelplatz.

Wer Virtual Reality selbst noch nicht erlebt hat, könnte glauben, es mit einer anderen, physisch annähernd gleichwertigen Realität zu tun zu haben, einer Art Matrix, nur nicht ganz so realistisch und mit Menschen, die als Animes, Tiere und Dämonen erscheinen. Ich habe viel Zeit in VR verbracht und kann mir nicht vorstellen, dass sich ein virtuelles Leben so natürlich anfühlt, wie es der Film zuweilen darstellt. In der VR spüre, rieche und schmecke ich nichts und mein virtueller Leib bleibt ein Fremdkörper.

In einer Heiratsszene ruft der Priester die Anwesenden vor der virtuellen Vermählung auf, „etwas zu tun, das sich sehr, sehr unnatürlich anfühlt und mit der Technologie, die ihr tragt, aufzustehen“. Das klingt so, als würden die meisten VRChat-Nutzer:innen sitzen, während sie sich in VR aufhalten. Das würde mich nicht überraschen: Sich in Virtual Reality physisch bewegen und Sport treiben, das macht Spaß. Aber stundenlang die Beine in den Bauch stehen?

Virtual Reality lässt vieles von dem Besten vermissen, was man aus der althergebrachten Realität kennt. Das ist gut, weil es die Chance verringert, dass wir uns in künstlichen Welten verlieren. Dass ich den physischen Körper in die VR mitnehmen muss, hat noch einen anderen Vorteil. Virtual Reality ist umso immersiver, je intensiver wir von unserem Leib Gebrauch machen. Das hat einen positiven Effekt: Im Gegensatz zu anderen Unterhaltungsmedien halten wir uns fit, während wir VR konsumieren und gewinnen so das Beste beider Welten.

Dieser Beitrag erschien am 21. August 2022 bei MIXED.