Meta Quest läuft auf Basis von Android, weshalb es im Grunde ein Leichtes wäre, beliebte Smartphone-Apps aus dem Google Play Store mit ein wenig Portierungsaufwand auf die VR-Plattform zu bringen.

Meta führte im November 2021 mit System-Update 34 Unterstützung für 2D-Apps im Quest Store ein. Zu den ersten unterstützten Android-Apps gehörten Facebook, Instagram, Smartsheet und Spike. Mehr Apps würden folgen, hieß es. Doch zwei Jahre später hat sich kaum etwas getan.

Messenger wurde in die VR-Plattform integriert und im September 2023 kam Whatsapp als 2D-App hinzu. Reichlich spät, wenn man bedenkt, dass der Messaging-Dienst Meta gehört. Von Youtube und Netflix gibt es dedizierte VR-Apps, die seit Langem nicht mehr gepflegt werden. Andere essenzielle Android-Apps mit Millionen von Nutzer wie Discord, Spotify, Twitter und Reddit fehlen. Der Quest Store führt derzeit gerade mal zehn 2D-Apps.

Meta Quest benötigt die Anbindung an das Android-Ökosystem. Die wenigsten Nutzer möchten sich beim Aufsetzen des Headsets von den Apps und Plattformen abkoppeln, die sie durch den Tag begleiten. Konkurrent Apple weiß das und so wird Vision Pro von Haus aus die meisten iPhone- und iPod-Apps unterstützen. Ein riesiger Vorteil für Apple.

Alle derzeit verfügbaren 2D-Apps im Meta Quest Store. | Screenshot: TB

Während Apple volle Kontrolle über Soft- und Hardware seines Ökosystems hat, ergibt sich bei Meta ein ganz anderes Bild. Meta ist von anderen Akteuren abhängig: von den großen Plattformbetreibern und Entwickler und nicht zuletzt Google selbst. So jedenfalls stellt es Metas Technikchef Andrew Bosworth dar.

In seiner jüngsten Frage-und-Antwort-Runde auf Instagram geht Bosworth auf die mangelhafte Unterstützung von 2D-Apps ein und macht deutlich, dass es nicht an Meta liege, die Situation zu verbessern. Bosworth fordert die VR-Nutzer auf, sich an die App-Entwickler zu wenden:

„Ich möchte darauf hinweisen, dass die Entwickler dieser Android-Apps sie gerne als APKs in unseren Store bringen können. Es ist ein ziemlich unkomplizierter Prozess. Ihr solltet euch also auf jeden Fall an eure Entwickler-Communities wenden und sie ermutigen, ihre Apps auf die Plattform zu bringen.“

Etwas später kommt er noch einmal auf die Problematik zu sprechen:

„Es gibt nichts, was Android-Entwickler daran hindert, ihre Smartphone-APK in die VR zu bringen. Sie müssen uns nur die APK schicken, und vielleicht ein paar wenige Modifikationen vornehmen, je nachdem, wie sie die Bedienung haben wollen, aber vielleicht nicht einmal so viel. Wir haben keine Möglichkeit, die Apps automatisch einzulesen. Wir würden uns freuen, wenn Google seinen Play Store für VR zur Verfügung stellen würde. Wir haben sie gefragt, aber sie wollen es nicht tun. Es liegt also in gewisser Weise an den Entwickler, das zu tun.“

Etwas Grundlegendes an der Situation ändern dürfte sich erst, wenn Quest viele Millionen tägliche Nutzer erreicht und Plattformbetreiber sowie Entwickler Vorteile darin sehen, ihre Apps für die Plattform herauszubringen und aktuell zu halten.

Dieser Beitrag erschien am 7. November 2022 bei MIXED.

Mark Zuckerberg zeichnet diese Vision seit vielen Jahren: Eines Tages werden wir schicke AR-Brillen tragen, die Hologramme in die Welt projizieren und Objekte ersetzen, die nicht unbedingt in physischer Form existieren müssen. Dazu könnte auch jede Art von Bildschirm gehören.

Mit Quest 3, dem ersten erschwinglichen Mixed-Reality-Headset, geht Meta den ersten Schritt in diese Richtung. Das Gerät fängt die physische Umgebung mit Sensoren ein und reproduziert sie in digitaler Form auf den Displays, wo sie beliebig manipuliert und erweitert werden kann. Zum Beispiel um virtuelle Bildschirme, die bei Bedarf in der wirklichen Umgebung verankert werden können. Etwa an der Wand oder in der Nische, wo der physische Fernseher steht.

Diese Art digitaler Mischrealität ist noch weit von Alltagstauglichkeit entfernt. Quest 3 ist ein schweres Headset, keine Brille und die Auflösung und Darstellungstreue der reproduzierten physischen Welt ist längst nicht perfekt. Und dann wäre noch die Software selbst, die Zuckerbergs Vision hinterherhinkt.

Der US-Entwickler Thomas Ratliff kann an den ersten beiden Dingen nichts ändern, aber mit ein paar Software-Tricks hat er einen virtuellen Bildschirm geschaffen, der schon jetzt täuschend echt wirkt. Auf Twitter zeigt er einen Mixed-Reality-Screen, der Global Illumination und Reflexionen in Echtzeit unterstützt. Man beachte, wie der Bildschirm nahe Oberflächen realistisch erhellt und wie sich das Bild auf dem Tisch spiegelt.

Zwei Einschränkungen hat die Techdemo: Zum einen wird der Bildschirm laut Ratliff auf einem PC und nicht nativ auf Meta Quest 3 gerendert. Zum anderen handelt es sich nur um einen Videoplayer, keinen Nintendo-Switch-Emulator oder eine andere App, die Spiele in Echtzeit rendert.

Ratliff schreibt auf Twitter, dass er sein Programm möglicherweise weiterentwickeln und in Metas App Lab oder auf Sidequest veröffentlichen will. Möglicherweise kommt ihm auch jemand zuvor. Schließlich gibt es bereits eine Reihe von Videoplayer-Apps für Meta Quest 3. Die äußerst beliebte App Virtual Desktop, mit der man den PC-Bildschirm in das Headset streamen kann, unterstützt bereits die Passthrough-Ansicht. Auch Youtube VR könnte ein entsprechendes Feature bringen oder Meta selbst. All das ist nur eine Frage der Zeit und Schnittstellen-Unterstützung seitens Meta.

Ob realistische virtuelle Monitore Mixed-Reality-Headsets wie der Quest 3 und der kommenden Apple Vision Pro zum Durchbruch verhelfen werden, ist fraglich, aber ein unabdingbares Feature auf ihrem Weg zum ultimativen Display sind sie allemal.

Dieser Beitrag erschien am 30. Oktober 2023 bei MIXED.

Sieben oder mehr Jahre arbeitete Apple im Geheimen an räumlichen Computern. Im Juni wurden die Früchte dieser Arbeit der Öffentlichkeit vorgestellt: Apple Vision Pro.

Eine der kontroversesten Design-Entscheidungen Apples war, die Batterie auszulagern, um Formfaktor, Gewicht und Wärmeentwicklung zu reduzieren. Der Nachteil ist, dass man das Headset per Kabel ans Netz anschließen oder einen Akku mit sich herumtragen muss. Eine Notlösung, die Apple-untypisch ist und von Meta jetzt genüsslich ausgeschlachtet wird.

Metas Quest-Headsets haben seit jeher alle Elektronik im Gehäuse verbaut. Ein Umstand, auf den CEO Mark Zuckerberg und CTO Andrew Bosworth bei der Vorstellung der Meta Quest 3 von vergangener Woche hinwiesen, mit den Worten, dass das Gerät vollkommen autark sei und keine Kabel oder externe Batterie benötige. Ein klarer Seitenhieb auf Apple.

Die beiden Unternehmen verfolgen die gleiche Gerätekategorie, aber mit sehr unterschiedlichen Produkt-, Markt- und Werbestrategien. Meta will möglichst viele Headsets unter die Leute bringen und peilt das beste Preis-Leistungs-Verhältnis an, während Apple die bestmögliche Nutzererfahrung im Auge hat und Preise aufruft, die für die meisten Menschen unerschwinglich sind. Meta Quest 3 kostet 500 US-Dollar, Vision Pro 3.500 US-Dollar.

Vision Pro leistet allerdings auch mehr und das in mehrfacher Hinsicht. Meta Quest 3 ist primär eine VR-Spielkonsole, Vision Pro ein eigenständiger Computer mit M2-Prozessor, der in Apples Ökosystem integriert ist. Hier klaffen Welten auseinander. Auf der anderen Seite wird Vision Pro nur bedingt für komplexere VR-Spiele geeignet sein, da es keine Controller unterstützt.

Meta Quest 3 und Apple Vision Pro. Zwei Headsets mit gegensätzlichen Produkt- und Marktstrategien. | Bild: Meta / Apple

Auch bei der Vermarktung gibt es große Unterschiede: Meta bewirbt Virtual Reality als körperlich aktives Medium, während die Menschen in Apples Werbung meistens bewegungslos in sterilen Räumen sitzen und Mikrogesten mit den Händen machen. Eine ganz andere, nüchternere und langweiligere Vision des Mediums.

Zuckerberg und Bosworth geben sich derweil unbeeindruckt von Apple Vision Pro. In einem Interview mit The Verge sagte Zuckerberg, dass das Produkt keine völlig neue Erkenntnis oder einen Durchbruch gebracht hätte, der Metas Bemühung zunichtegemacht und die Forschungsabteilung gezwungen hätte, zurück ans Reißbrett zu gehen. Er wolle das Produkt jedoch nicht abtun, „schließlich sei Apple sehr gut in solchen Sachen“. Bosworth wiederum meinte recht überheblich, dass er eine Vision Pro bauen könne, aber nicht wolle.

Würde man mich fragen, welche Strategie ich aktuell überzeugender und vielversprechender finde, dann würde ich Meta nennen. Vision Pro könnte in der dritten oder vierten Generation als Macbook-Ersatz taugen, sofern es Apple gelingt, den Formfaktor, das Gewicht und den Preis deutlich zu reduzieren. Meta Quest hingegen kann schon heute Millionen von Menschen erreichen und Entwickler ins Ökosystem holen, die mit der App-Entwicklung ihren Lebensunterhalt bestreiten können. Das ist überlebenswichtig für die Technologie. Dennoch braucht es beide Ansätze: erschwingliche Headsets und Headsets, die die Grenzen des Möglichen verschieben, falls nötig zu einem hohen Preis.

Müssen Headsets erst etwas werden, das alle haben wollen, bevor sie zu etwas werden, das sich alle leisten können, wie Oculus-Gründer Palmer Luckey meinte? Das werden wir sehen. Womöglich treffen sich Metas und Apples Headsets eines Tages in der Mitte. Die Unternehmen sind Konkurrenten und Verbündete zugleich und arbeiten dem gleichen Ziel zu: eine Zukunft für räumliche Computer zu schaffen.

Dieser Beitrag erschien am 5. Oktober 2023 bei MIXED.

Meta kündigte Augments im Rahmen der Meta Connect 2023 an. Gemeint sind interaktive digitale Objekte, die dauerhaft im Raum verankert werden. Meta beschreibt das Mixed-Reality-Feature folgendermaßen:

„Stell dir vor, du hängst dein Lieblingskunstwerk an eine Wand oder ein Wetter-Augment auf deinen Schreibtisch, das dich vor einsetzendem Regen warnt und jedes Mal, wenn du dein Headset aufsetzt, erscheinen diese digitalen Objekte an denselben Stellen. Du wirst deinen Raum individuell gestalten können mit Augments wie Instagram Reels, Fotos oder Videos an der Wand oder Portalen, mit denen du schnell wieder in dein Lieblingsspiele eintauchen kannst.“

Ebenfalls geplant ist ein Radio, Beat-Saber-Trophäen und ein Portal für Metas VR-Fitness-App Supernatural. Augments erscheinen im Laufe des nächsten Jahres.

Beispielfoto von Augments. | Bild: Meta

Natürlich ist all das nicht neu. AR-Headsets wie Hololens und Magic Leap experimentierten schon vor Jahren mit räumlich persistenten Objekten und Augmented-Reality-Widgets. Doch mit Quest 3, dem ersten erschwinglichen Mixed-Reality-Headset, wird diese Idee weiter erforscht und konkretisiert werden.

Wir wissen bereits, dass Meta Quest 3 standardmäßig in den Passthrough-Modus startet und dass man von dort aus in vollimmersive VR-Apps und wieder zurück in die physische Umgebung springt. Das wird die Attraktivität von Augments steigern. Besonders dann, wenn controllerfreie Widgets und Minispiele entstehen, die den Aufenthalt in der Mixed Reality lohnenswert machen. Schließlich könnte man diese nutzen, ohne eine dedizierte App starten zu müssen und zugleich mit seinen Mitmenschen im physischen Raum verbleiben. Die Augments gehören auf jeden Fall zu den interessantesten neuen Möglichkeiten der Meta Quest 3.

Dieser Beitrag erschien am 28. September 2023 bei MIXED.

Foveated Rendering leistet Phänomenales für Virtual Reality, wie man am Beispiel von No Man’s Sky sehen kann.

Die PSVR-2-Version des Spiels erhielt im August ein Update, das Unterstützung für Foveated Rendering brachte und der optische Unterschied ist riesig, wie ich kürzlich beim Ausprobieren selbst erleben durfte. War No Man’s Sky zuvor grob und unscharf, wirken die Planeten, Lebewesen, Raumschiffe und Gebäude jetzt so klar und majestätisch, wie sie sollten. Das Spiel ist über Nacht zum Vorzeigetitel der Playstation VR 2 avanciert.

Beim Foveated Rendering verfolgen Kameras in Echtzeit, wohin die Augen des Nutzers blicken. Dieser „foveale“ Blickbereich des schärfsten Sehens wird anschließend selektiv in einer höheren Auflösung gerendert, während die Peripherie mit niedrigeren Details dargestellt wird. Dies spart enorm Rechenleistung und erklärt, weshalb No Man’s Sky nun so viel besser aussehen kann. Die Nutzer bekommen von diesen Tricks in der Regel nichts mit.

Eine Planetenlandschaft in No Man’s Sky. | Bild: Hello Games

Die Implementierung in VR-Spiele ist kein Selbstläufer, weshalb viele PSVR-2-Titel die Rendertechnik gar nicht nutzen. Der Engine-Programmierer Martin Griffiths arbeitete laut eigenen Angaben vier Monate an der Integrierung in No Man’s Sky’s Grafik-Engine. In einem Twitter-Thread illustriert er, wie die GPU die Spielwelt bei der Anwendung von Foveated Rendering berechnet.

Betrachtet man den TV-Output des Spiels, so erkennt man die abfallende Auflösung des peripheren Blickbereichs. Der TV-Output stellt dar, was das rechte Auge sieht, in ein TV-kompatibles flaches Bild konvertiert. Griffiths zeigt nun, wie die von der GPU gerenderten Bilder tatsächlich aussehen, nämlich stark verzerrt, je nachdem, welchen Bereich der Spielwelt man fokussiert: etwa den Boden oder einen Balkon.

„Ich hoffe, dass diese echten Headset-Bilder verdeutlichen, warum das Foveated Rendering einen so großen Sprung in der Wiedergabetreue bringt: Der Grafikprozessor rendert die Details genau dort, wo sie benötigt werden, nämlich im Zentrum des Blickfokus“, kommentiert Griffiths. Alternativ kann man sich die Bilder auch hier ansehen.

Die GPU-Renderbilder. | Bild: Martin Griffiths

Playstation VR 2 ist das erste verbraucherorientierte VR-Headset am Markt, das Eye-Tracking und Foveated Rendering unterstützt. Dies ermöglicht detaillierte oder weitläufige Spielwelten in einer hohen Auflösung und flüssigen Bildwiederholrate. Neben No Man’s Sky nutzen auch Resident Evil 7, Horizon Call of the Mountain, Gran Turismo 7 und einige Indie-Titel die Rendertechnik.

Dabei war lange nicht klar, ob und wann die komplexe und fehleranfällige Technik ausgereift genug sein wird, um in Massenprodukten anzukommen. Meta führte sie nach etlichen Jahren der Forschung erst 2022 und auch nur für Quest Pro ein, mit guten, aber nicht überragenden Resultaten. Der Grund liegt darin, dass Quest Pro einen stark geforderten mobilen Chipsatz nutzt und Eye-Tracking Rechenleistung bedarf. Zumindest für autarke Headsets ist Foveated Rendering noch kein Gamechanger.

Dieser Beitrag erschien am 5. September 2023 bei MIXED.