Metas neue VR-Prototypen ermöglichen Gleitsicht in VR, besitzen Retina-Auflösung und simulieren realistische Lichtverhältnisse in Innenräumen.

Das selbsterklärte Ziel von Metas Display-Forschung ist, den visuellen Turing-Test zu bestehen. Der bewertet subjektiv, ob sich ein Virtual-Reality-Inhalt optisch von der realen Welt unterscheiden lässt.  Das ist eine hohe Messlatte und erfordert neue Technologien, die noch dazu in einem schlanken VR-Headset Platz finden müssen. Ist das überhaupt möglich?

Meta stellte die Prototypen vergangene Woche in einer Videokonferenz vor, an die Journalistinnen und Journalisten aus aller Welt eingeladen waren. Mark Zuckerberg und Metas Chefwissenschaftler Michael Abrash waren anwesend, ebenso wie der Leiter der Display-Forschung Douglas Lanman und führende Mitglieder seines Forschungsteams.

Was später erschienene Artikel zu diesem Thema in der Regel eher nicht beschreiben: Die Stimmung unter den jungen Forschern war gut. Man spürte ihren Optimismus. Besonders enthusiastisch zeigte sich Lanman, der die Veranstaltung mit folgenden Worten schloss: „Unser Team ist sich sicher, dass wir den visuellen Turing-Test bestehen werden und dass uns nichts in der Welt der Physik davon abhält, dieses Ziel zu erreichen.“

Metas Headset-Prototypen. Ganz vorne: das noch unrealisierte Mirror-Lake-Konzept. | Bild: Meta

Die These impliziert, dass das Team keine Hindernisse grundsätzlicher Natur sieht. Die formulierten Probleme (Gleitsicht, Retina-Auflösung, verzerrungsfreie Optik, HDR) lassen sich mit Zeit, talentiertem Personal und entsprechenden Investitionen lösen. Vielleicht nicht morgen und nicht mit den Mitteln, die die gezeigten VR-Prototypen demonstrieren, aber irgendwann in der Zukunft mithilfe anderer Erfindungen.

Die Aussage hat noch eine andere Bedeutung und ist offensichtlich eine Anspielung auf die Schwestertechnologie Augmented Reality und deren ganz eigene Herausforderungen. 2017 sagte Michael Abrash, dass die Gesetze der Physik verhindern könnten, dass man jemals brauchbare AR-Brillen bauen kann. Ob dem wirklich so ist, ist noch offen. Abrash gab der Forschung zehn Jahre, um das herauszufinden.

Lanman denkt nach sieben Jahren intensiver Forschung, dass VR-Headsets und deren Architektur keinen solchen Beschränkungen unterliegen, zumindest wenn es darum geht, die Realität visuell abzubilden. Sie können ihr Maximalziel erreichen, während das bei AR-Brillen offenbar noch unklar ist.

Dieser Beitrag erschien am 24. Juni 2022 bei MIXED.

Beat Saber ist vieles: ein Rhythmus-Kultspiel, ein Pfeiler der VR-Industrie und ein Kulturphänomen.

Im Frühjahr 2018 war dem noch nicht so. Damals reiste ich an die Game Developers Conference in San Francisco und begegnete rein zufällig einem der beiden Schöpfer des Spiels: Ján Ilavský. Beat Saber war noch nicht bei Steam erschienen und Ilavský besuchte die Entwicklerkonferenz, um für das VR-Spiel zu werben. Ich erinnere mich, wie der junge tschechische Entwickler auf mich wirkte: intelligent, sympathisch, bescheiden und dass er gerne und häufig lachte.

Zwei Wochen davor veröffentlichte das zweiköpfige Studio, das damals noch unter einem anderen Namen firmierte, ein Mixed-Reality-Video auf Youtube, das viral ging und in den nächsten Wochen viele Millionen Mal Aufrufe verzeichnete. Beat Saber sprach sich herum und als ich das VR-Spiel wenig später in San Francisco ausprobieren konnte, war auch Chris Bratt von Eurogamer da und interviewte Ilavský für den Youtube-Kanal der Webseite. Beat Saber musste etwas Besonderes sein, denn es erreichte schon vor Erscheinen Gaming-Sphären außerhalb der VR-Nische.

Trotz erster Zeichen: Ilavský sah den phänomenalen Erfolg des VR-Spiels nicht voraus. Niemand tat das. Wie auch? Virtual Reality steckte 2018 in großen Schwierigkeiten. VR-Spiele gab es wie Sand am Meer, aber fast niemand spielte sie. Was konnte ein weiteres Indie-Spiel zweier Entwickler schon für einen Unterschied machen?

Ich traf Ilavský damals ein drittes Mal und wie beim ersten Mal erneut zufällig. Ich hatte einen Termin bei Neat Corporation und traf das Entwicklerteam in einem Hotelzimmer, um ein damals viel bekannteres VR-Spiel auszuprobieren: das bald erscheinende Budget Cuts. Wie es der Zufall wollte, war zur gleichen Zeit auch Ilavský eingeladen. Im Hotelzimmer waren Basisstationen aufgebaut und schon bald ging es ans Spielen. Als Ilavský und ich mit Budget Cuts durch waren, ließ er das Entwicklerteam Beat Saber ausprobieren. Es wurde begeistert aufgenommen und ich weiß noch, wie jemand von Neat Corporation sagte: „Dein Spiel ist viel besser als unseres!“ Auch das blieb mir in Erinnerung: ein frühes Zeichen, dass Beat Saber etwas Außergewöhnliches ist.

Ich spiele im März 2018 zum ersten Mal Beat Saber. | Bild: Tomislav Bezmalinović

Der Rest ist Beat-Saber-Geschichte. Im Mai 2018 erscheint Beat Saber im Early Access und ein Jahr später für Meta Quest 1. Seit 2018 verkaufte sich Beat Saber mehr als vier Millionen Mal (Stand: Februar 2021) und allein auf der Quest-Plattform setzte es 100 Millionen US-Dollar um (Stand: Oktober 2021). Ende 2019 kaufte Facebook das neu gegründete Studio Beat Games für einen unbekannten Betrag.

Ilavský und seine Mitgründer Vladimír Hrinčár und Jaroslav Beck sind heute Millionäre. Aber was viel wichtiger ist: Sie schufen ein Spiel, das maßgeblich zum Erfolg und zur Bekanntheit von Virtual Reality beitrug und zum Aushängeschild einer ganzen Industrie wurde.

Dieser Beitrag erschien am 15. Juni 2022 bei MIXED.

Wer wird das Google oder Apple des VR- und AR-Zeitalters, zum reichen und mächtigen Türhüter einer neuen Computerplattform?

Meta ist gut aufgestellt und hat einen Vorsprung. Zum einen in Markterfahrung: Es hat ein halbes Dutzend VR-Headsets herausgebracht und mit Meta Quest viele Millionen Geräte unters Volk gebracht. Zum anderen steckt Meta so viel in Forschung und Entwicklung wie kein anderes Unternehmen: Über zehn Milliarden US-Dollar waren es allein im letzten Jahr und in Zukunft werden es noch mehr, sagte Zuckerberg Investoren. Mehr als 17.000 Angestellte hat Metas VR- und AR-Abteilung, die Reality Labs. Das ist mehr als ein Fünftel der Belegschaft.

Doch die Konkurrenz wartet nicht. Apple hat schon lange ein Headset in Entwicklung, das Insidern zufolge 2023 auf den Markt kommt. Noch dieses Jahr erscheint Project Cambria, Metas erstes Premium-Headset. Es wird sich an Apples Produkt messen müssen – oder umgekehrt. Neben Meta und Apple arbeiten Google (Project Iris) sowie Microsoft und Samsung (Project Bondi) an ähnlichen Geräten: schlanken Headsets, die sowohl VR als auch AR beherrschen. Die nächsten Jahre werden spannend.

Sollte VR und AR im Laufe des Jahrzehnts einen Durchbruch erleben, so ist ein paradigmatischer Wandel in der Computerinteraktion zu erwarten. Maus und Tastatur und das Touch-Display: Sie werden von neuen Schnittstellen wie Sprachsteuerung, Handtracking und neurale Interfaces herausgefordert und um diese ergänzt. Computer werden räumlicher, körperlicher, immersiver und stellen damit einen radikalen Bruch mit der Vergangenheit dar: etwas, das man als „Paradigmenlücke“ bezeichnen könnte.

Rendering eines angeblichen Apple-Headset-Prototyps. | Bild: Ian Zelbo

Diese Kluft zwischen Alt und Neu macht sich schon heute bemerkbar. Setze ich mir eine Meta Quest 2 auf, bin ich nicht nur von meinen Mitmenschen isoliert, auch mit meinem Laptop und Smartphone kann ich kaum mehr richtig interagieren. Mit einem Schlag habe ich mich vom restlichen Computer-Ökosystem abgekoppelt.

Meta bemüht sich, eine Brücke zu schlagen. So kann man Smartphone-Mitteilungen in der VR-Brille anzeigen lassen und eine Handvoll Produktiv-Apps in der Virtual Reality nutzen. Doch das ist bei Weitem nicht genug. Selbst wenn VR und AR künftig häufiger genutzt werden oder sogar im Alltag ankommen, so schnell werden sie den Desktop-Rechner, Laptops und Smartphones nicht ersetzen – wenn überhaupt.

Die neuen und alten Computerparadigmen werden lange koexistieren, weshalb die Bemühungen dahingehen werden, diese so weit zusammenzuführen, dass man nahtlos von einer Plattform in die nächste wechseln kann, egal, ob man im Internet surft, E-Mails liest, arbeitet oder spielt. Für die Aneignung der neuen Technologien wird das ein kritischer Faktor werden.

So stellt sich Meta das Tastaturtippen in der AR-Zukunft vor: Elektrische Hirnsignale werden von einem EMG-Armband am Handgelenk abgefangen und von einem KI-Algorithmus in Computerbefehle übersetzt. Die physische Tastatur wird überflüssig. | Bild: Meta

Hierin sehe ich den größten Vorteil Apples gegenüber allen anderen Mitbewerbern, einschließlich Meta: Apple besitzt ein einheitliches, in sich geschlossenes und aufeinander abgestimmtes Ökosystem aus Hardware und Software, in das es seine VR- und AR-Technologie einbetten kann. Kein anderes Unternehmen hat so gute Voraussetzungen, die Paradigmenlücke zu schließen, das zentrale Problem der nächsten Computerwelle zu lösen und Meta das Fürchten zu lehren.

Eine nahtlose Integration des kommenden Headsets oder einer AR-Brille mit dem iPhone, iPad, Macbook und der Apple Watch: Das sollte relativ leicht für Apple sein. Wie schwer hat es dagegen Meta, das nur VR-Hardware besitzt und auf das Wohlwollen und die Schnittstellen anderer Firmen angewiesen ist, um die allgegenwärtige und dominierende Computerplattformen der Gegenwart, das Smartphone, bestmöglich in VR- und AR-Brillen zu integrieren?

Apple hat natürliche weitere Asse im Ärmel: besonders leistungsfähige und effiziente Chips, auf die kein anderes Unternehmen Zugriff hat, jahrzehntelange Erfahrung mit Hardwaredesign und eine riesige Marktmacht. Doch ausschlaggebend werden dürfte etwas anderes: das Vermögen Apples, eine Brücke zwischen neuer und alter Technologie zu schlagen.

Vor diesem Hintergrund könnte man Project Cambria als den groß angelegten Versuch sehen, die aufklaffende Paradigmenlücke im kritischen Bereich der Arbeit und Produktivität anzugehen. Fürs Erste mit einem hochwertigen Passthrough-Modus, der den Blick aufs Smartphone erlaubt und mit der Integration von 2D-Apps, die Büro-Anwendungen in die VR bringen. Doch das kann nur der Anfang sein.

Dieser Beitrag erschien am 12. Juni 2022 bei MIXED.

Unglaublich, aber wahr: Seit der Enthüllung von Google Glass sind zehn Jahre vergangen.

Das ist eine sehr lange Zeit in der Tech-Industrie und wirft die Frage auf, was sich technologisch seither in diesem Bereich getan hat. Auf den ersten Blick nicht viel: Es gibt noch immer keine Display-Brille, mit der Menschen auf die Straße gehen würden. Die größten Fortschritte gab es aufseiten der Software: Schnittstellen wie ARKit und ARCore brachten Augmented Reality auf Milliarden von Smartphones und wurden über die Jahre immer besser. Smartphone-AR ist dennoch eine Nische geblieben. Auf Gesichtsfiltern und dem One-Hit-Wunder Pokémon Go kann man keine nachhaltige Industrie bauen.

Das Smartphone kann nur eine technische Brücke sein zur vollwertigen AR-Brille, aber gerade die ist noch immer Science-Fiction. AR-Headsets wie Hololens und Magic Leap bringen zwar die wichtigsten AR-Features mit, aber sind zu wuchtig für den Alltag, während die Kamera- und Audiobrille Ray-Ban Stories zwar gut aussieht, aber nicht mal ein Display hat. Der Grund ist einfach: Die für schlanke, aber leistungsfähige AR-Brillen benötigte Technologie existiert noch nicht.

Es war Magic Leap, das in den letzten Jahren am meisten Schlagzeilen machte. An keinem anderen Unternehmen lässt sich die Entwicklung der AR-Industrie, deren Hochmut und Fall, so gut ablesen. Das Start-up gab vor, an einer revolutionären AR-Brille zu arbeiten und bis heute flossen sage und schreibe 3,5 Milliarden US-Dollar in das Unternehmen. Nach Jahren strengster Geheimhaltung und ausufernden Hypes – Magic Leaps AR-Brille wurde zeitweise als potenzieller Smartphone-Killer gehandelt – kam ein Produkt auf den Markt, das Augmented Reality technisch kaum voran und Magic Leap an den Rand des Bankrotts brachte.

Der Grund: Die „Wunderwaffe“ des Start-ups versagte. Die Display-Technologie, die Investoren Jahre zuvor beeindruckte, konnte Magic Leap nicht so weit miniaturisieren, dass sie in einer Brille Platz fand. In der Not setzte das Start-up auf eine althergebrachte Display-Technik, sogenannte Wellenleiter, mit allen ihren Unzulänglichkeiten. Aus der Revolution wurde ein Evolution, aus dem Sprung ein kleiner Schritt.

Die Magic Leap One: Futuristisch, aber nicht alltagstauglich. | Bild: Magic Leap

Magic Leap lebt dank Investoren weiter und bringt dieses Jahr ein neues AR-Headset heraus: die Magic Leap 2. Von dem Ziel, Hardware für Endverbraucher herzustellen, ist das Start-up realistischerweise abgerückt. Magic Leap 2 wird nur an Unternehmen verkauft. Der AR-Hype hat seither merklich gelitten und ist zunehmender Skepsis gewichen. Viel Zeit, Geld und Talent floss in die Technik, doch die Hardware hat sich nur marginal verbessert. Zu teuer, zu wuchtig, zu eingeschränkt sind die AR-Headsets, als dass sie für Endverbraucher interessant werden könnten.

Weil die Killer-Hardware fehlt, fehlen auch die Killer-Apps: Augmented Reality sucht weiter nach einem Problem, das es lösen kann. Ihr haftet der Ruf eines Gimmicks und einer ewigen Zukunftstechnologie an. Manche Experten meinen, dass eine fortschrittliche und zugleich alltagstaugliche AR-Brille niemals gebaut werden kann. Andere pochen auf mehr Entwicklungszeit. In fünf bis zehn Jahren könnte es klappen, heißt es aus Industriekreisen. Der iPhone-Moment der Augmented Reality wird kontinuierlich nach hinten verlegt.

Die großen Techkonzerne forschen indes weiter, in der Hoffnung auf das „nächste große Ding“. Tim Cook sieht in der AR-Brille sein mögliches Vermächtnis, während Mark Zuckerberg gar die Zukunft seines Unternehmens auf sie wettet. Doch auch Google, Microsoft und Amazon arbeiten laut Gerüchten und Stellenausschreibungen (wieder) an entsprechenden Geräten.

Apple und Meta investieren nach derzeitigem Kenntnisstand noch am stärksten in Forschung und Entwicklung, wobei Metas Investitionen beispiellos sind: Mehr als zehn Milliarden US-Dollar flossen allein im letzten Jahr in die Reality Labs, Metas VR- und AR-Abteilung, und in Zukunft sollen es noch mehr werden. Das Unternehmen entwickelt mehrere AR-Produkte und plant bis zu drei Hardware-Generationen in die Zukunft. Zuckerberg sieht in Virtual Reality und Augmented Reality eine neue Computerplattform, mit der sich Meta aus Apples und Googles Smartphone-Ökosystemen befreien könnte. Eine riskante, aber notwendige Wette auf die langfristige Zukunft des Unternehmens.

Vor kurzem legte ein Leak die Hardware-Roadmap des Unternehmens offen. Meta will demnach 2024 zwei AR-taugliche Geräte auf den Markt bringen: eine technisch einfachere Datenbrille (Codename: Hypernova) und eine vollwertige, aber alltagstaugliche AR-Brille (Project Nazare), die den Kern von Zuckerbergs Metaverse-Vision bildet. Die erste Version von Project Nazare richtet sich an Entwickler und Enthusiasten. Eine leichtere und fortschrittlichere Version soll 2026 kommen, gefolgt von einer dritten Version im Jahre 2028.

So könnte Augmented Reality durch die Gläser von Project Nazare aussehen. | Bild: Meta

Diese Roadmap ist ehrgeizig und zeigt, dass Meta möglichst bald in den Markt einsteigen will. Das ist verständlich: Nach acht Jahren Forschung und Entwicklung, benötigt Meta endlich greifbare Erfolge. Den Quellen zufolge will Meta bis Ende der 20er-Jahre Millionen alltagstauglicher Techbrillen verkaufen, doch ein Durchbruch könnte „Jahrzehnte beanspruchen“.

Ob Zuckerberg so lange investieren will, ist fraglich. Schon heute herrscht ein großer Druck auf Meta seitens Investoren und die Reality Labs sind ein immenses Verlustgeschäft. Zuckerberg wird beweisen müssen, dass sich mit AR-Brillen Geld verdienen lässt. Ob Metas Pläne aufgehen, dürfte sich daher in den nächsten Jahren entscheiden. Ich denke, dass 2026 das bislang wichtigste Jahr der Augmented Reality werden wird, gesetzt, dass die zweite Version von Project Nazare in diesem Jahr erscheint und sich an Endverbraucher richtet.

Project Nazare ist Metas Leuchtturmprojekt. Sollten die vergangenen Jahre, Mittel und Talente der Reality Labs nicht reichen, um eine alltagstaugliche AR-Brille zu bauen oder diese keinen Anklang finden, dann könnte dies das vorläufige Ende der AR-Welle bedeuten, die Google Glass vor zehn Jahren anstieß.

Dass die zu nehmenden Hürden gewaltig sind, weiß die Industrie. „Es gibt keine Kombination existierender Technologien, die alle nötigen Bedingungen erfüllt. Die Gesetze der Physik könnten verhindern, dass wir jemals brauchbare AR-Brillen bauen“, sagte Metas AR- und AR-Visionär und Forschungschef Michael Abrash 2017. „Aber wenn es möglich ist, dann ist es sehr wahrscheinlich, dass sie innerhalb der nächsten zehn Jahre erscheinen.“

Kann Meta ein Produkt abliefern, das gut genug ist für Verbraucher? Die bisherigen Gerüchte schüren Zweifel: Meta soll noch keinen funktionsfähigen, tragbaren Prototyp haben und zudem auf die mehr oder wenige gleiche Display-Technik wie Magic Leap und Konsorten setzen. Project Nazare wird allem Anschein nach mehr vom Gleichen, nur in besser bieten und keine grundlegenden technologischen Durchbrüche.

Natürlich kann alles auch ganz anders kommen: Womöglich verschiebt sich der Marktstart wie so oft um Jahre, vielleicht kommt Apple oder ein anderer Mitbewerber mit etwas Besserem um die Ecke oder vielleicht investieren Meta und Konsorten weiterhin in Augmented Reality und schaffen den Durchbruch zu einem (sehr viel) späteren Zeitpunkt.

Eines ist klar: Die Uhr tickt für Augmented Reality. Dürfte in den nächsten Jahren kein signifikanter Fortschritt in puncto Technik und Marktwachstum erzielt werden, könnte die Technologie für längere Zeit wieder von der Bildfläche verschwinden.

Dieser Beitrag erschien am 9. Mai 2022 bei MIXED. Im Juni 2022 wurde bekannt, dass Project Nazare erst 2026 statt wie geplant 2024 kommerzialisiert werden solle.

Wir schreiben das Jahre 2022 und Virtual Reality wird von einflussreichen Industrievertretern noch immer als Antithese der Augmented Reality beschrieben.

Das Argument ist alt: Augmented Reality lässt an der realen Welt teilhaben, Virtual Reality ersetzt sie. Augmented Reality bringt die Menschen zusammen, Virtual Reality isoliert sie. Böse Virtual Reality. Mit der gleichen Begründung könnte man Bücher abqualifizieren. Schließlich setzen sie voraus, dass sich Menschen allein in etwas vertiefen, das nichts mit ihrer unmittelbaren Umgebung zu tun hat.

Ich beziehe mich auf Äußerungen zweier einflussreicher CEOs, deren Unternehmen im Feld der Augmented Reality tätig sind. Die Polemik begann letztes Jahr mit Niantic-Chef John Hanke. Der Geschäftsführer des Pokémon-Go-Studios unterstellte Meta, ein dystopisches VR-Metaverse anzustreben. Dystopisch deshalb, weil es eine Realitätsflucht darstellt. Als Gegenentwurf brachte er ein AR-Metaverse in Stellung, das in der Wirklichkeit verwurzelt ist.

Zwei Tatsachen unterschlug Hanke dabei: a) dass ein AR-Metaverse ebenso dystopisch sein kann und b) dass Metas Metaverse-Vision sowohl VR als auch AR umfasst. An Augmented Reality wird Zuckerberg noch mehr gelegen sein als an Virtual Reality. Mit gutem Grund: Mit AR lässt sich auf lange Sicht mehr Geld verdienen. AR-Brillen könnten eines Tages so allgegenwärtig sein wie Smartphones, VR-Headsets werden eher etwas für die eigenen vier Wände bleiben.

Avatare spielen virtuelles Schach auf einem physischen Tisch. Die Umgebung lässt sich stufenlos ein- und ausblenden. Eine Szene aus der Mixed-Reality-Demo Unity Slices: Table. | Bild: Unity

Snap-CEO Evan Spiegel grenzt sich auf ähnliche Weise gegen Meta ab. Der Begriff des Metaverse, den Spiegel zurecht als „zweideutig und „hypothetisch“ bezeichnet, werde in Snaps Büros niemals ausgesprochen. „Eines der großen übergreifenden Konzepte, die die Leute [vom Metaverse] haben, ist, dass viele dieser Werkzeuge dazu gedacht sind, die Realität zu ersetzen. Wir hingegen versuchen, die reale Welt um uns herum zu erweitern“, sagte Spiegel kürzlich dem Guardian.

Dass Niantic und Snap die Stärken der Augmented Reality herausstellen, ist nachvollziehbar. Beide Unternehmen entwickeln AR-Produkte: Niantic landete mit dem AR-Spiel Pokémon Go einen Milliarden-Hit und Snap machte Gesichtsfilter zu einem Kulturphänomen. Aber AR gegen VR auszuspielen, ist nicht zielführend für die Branche – und ein wenig heuchlerisch.

Technologisch gesehen sind VR und AR Geschwister. Sie haben mehr Gemeinsamkeiten als Unterschiede. Bei Milgram-Kishino besetzen VR und AR unterschiedliche Positionen des gleichen Mixed-Reality-Kontinuums. Davon abgesehen ist die sogenannte Virtual Reality gar nicht so virtuell, wie man gemeinhin annimmt und stark in der physischen Realität verwurzelt. Technologie ist, was man aus ihr macht.

In der Zukunft, so die Hoffnung, werden wir nicht mehr von VR- und AR-Headsets sprechen, weil entsprechende Geräte beides unterstützen. VR und AR werden dann nur noch Darstellungsmodi ein- und desselben übergreifenden Mediums sein, beide mit ihren eigenen Stärken und Anwendungen, keine schlechter als die andere und frei von Stigmatisierung.

Dieser Beitrag erschien am 7. Mai 2022 bei MIXED.