Jed Ashforth war knapp 12 Jahre bei Sony beschäftigt, ist Gründungsmitglied des Playstation-VR-Projekts und trug Entscheidungen beim Design von Hard- und Software der VR-Brille mit. 2017 verließ Ashforth Sony und gründete eine XR-Beratungsagentur.

Im März 2023 veröffentlichte Ashforth einen zweiteiligen Artikel, der seine Eindrücke zur Playstation VR 2 wiedergibt. Den 7.000 Worte starken Text kann man als einen Hardware-Test lesen, der allerdings nur ein vorläufiges Urteil darstellt. Eine endgültige Bewertung sei unmöglich, meint Ashforth, da Sony die zugrundeliegende Systemsoftware über Jahre hinweg verbessern werde.

Ashforth bezeichnet Playstation VR 2 nach eingehender Nutzung als „einen (größtenteils) fantastischen Schritt nach vorn, aber nicht ohne einige Probleme und Ärgernisse“. Die Passform des Headset hinterlasse einen gemischten Eindruck. Er wünscht sich, dass Sony Nutzer stärker beim Finden des im Vergleich zur PSVR 1 kleinen Sweetspots unterstützt. Auch die Anpassung der Halo-Kopfhalterung sei teilweise umständlich.

Dann zieht Ashforth eine interessanten Vergleich: VR-Headsets seien wie Autos, an die man sich erst gewöhnen und deren Sitz man perfekt einstellen müsse, bevor man sich wohlfühle. Das gelte für Playstation VR 2 ganz besonders.

Playstation VR 1 (2016, links) und Playstation VR 2 (2023). | Bild: Sony / RoadtoVR

Sonys kontroverse Entscheidung, auf integrierte Lautsprecher zu verzichten, findet Ashforth „vernünftig“. Er erklärt den Verzicht folgendermaßen: „Sony weiß, dass die ursprüngliche Nutzerbasis aus Core-Gamern besteht, und unsere internen Statistiken haben immer gezeigt, dass Audio-Headsets von dieser Gruppe stark nachgefragt werden. Wir haben Umfragen durchgeführt, und alle wollten, dass das Headset eigene Kopfhörer und Earbuds unterstützt.“ Sonys drahtloser Pulse-Kopfhörer sei dafür da, diese Nachfrage zu decken, meint Ashforth, und hält es für möglich, dass Sony an einer Ansteck-Version der Kopfhörer als Upgrade zu den mitgelieferten Earbuds arbeitet.

Im zweiten Teil seines Artikels geht Ashforth detaillierter auf das Onboarding-Erlebnis, den Passthrough-Modus und die Headset-Haptik ein, die er als eine „weitere großartige Ergänzung für die Hardware“ bezeichnet. Daran soll Sony übrigens schon bei der Entwicklung der ersten Playstation VR 2 geforscht haben, um VR-Übelkeit zu vermindern.

Die VR-Brille sei teuer, aber liefere etwas, das dem Preis entspreche. „Das Erlebnis ist, abgesehen von ein paar kleinen Macken und Problemen, äußerst beeindruckend, selbst für einen großen PC-VR-Fan wie mich“, schreibt Ashforth in seinem Fazit. „Es gibt so viele Verbesserungen im Vergleich zu PSVR 1, dass die abgewanderte Fangemeinde dieser Plattform das Gefühl bekommen wird, einen großen Sprung in puncto Hardware-Fähigkeiten, Controller und dem allgemeinen Benutzererlebnis gemacht zu haben.“

Dieser Beitrag erschien am 26. März 2023 bei MIXED.

Der VR-Film Recombination entführt in die faszinierende Welt der Fraktale, in 8K und 3D. Ich habe ihn mir angesehen und war überwältigt.

Der niederländische Fraktalkünstler Julius Horsthuis beschäftigt sich seit zehn Jahren mit den mathematischen Mustern. Für Ant-Man 3 wirkte er am Design mit und für Guillermo del Toros Cabinet of Curiosities entwarf er eine Filmsequenz.

Sein neuestes Werk ist ein „VR-Filmalbum“ für Meta Quest 2 und Meta Quest Pro. „Da ich erkannt habe, dass man meine Arbeit am besten genießen kann, wenn man in sie eintaucht, habe ich mit sieben meiner Lieblingsmusiker zusammengearbeitet, um eine abstrakte Reise durch Musik, Raum und Mathematik zu kreieren“, heißt es auf der offiziellen Webseite des Projekts.

Den Film erschien im März 2023 im App Lab und besteht aus acht vorgerenderten VR-Filmen mit eigens komponierter Musik und einer Gesamtlaufzeit von rund 45 Minuten. Gerendert wurde Recombination mithilfe der Fraktalsoftware Mandelbulb3D und einer Renderfarm binnen rund sechs Monaten.

Wer sich alle Videos anschauen möchte, muss 25 Gigabyte Video herunterladen. Eine Streaming-Möglichkeit gibt es nicht, weil Horsthuis keine Kompromisse bei der Bildqualität eingehen wollte. Die gute Nachricht ist, dass man die Filme in der VR-App auch einzeln herunterladen kann.

Fraktale in VR: eine explosive Kombination. | Bild: Julius Horsthuis

Die Fraktalfilme liegen in der Maximalauflösung für VR-Filme auf Meta Quest 2 vor: 8.192 mal 4.096 Bildpunkte. Ein stereoskopisches 180-Grad-Panorama sorgt für satte Immersion, ohne dass man sich beim Betrachten um die eigene Achse drehen muss. Man kann sich also bequem zurücklehnen und die Bilder auf sich wirken lassen.

Ich habe mir die VR-Filme angesehen und war überwältigt von ihrer Klang- und Bildgewalt. Organisch wirkende Strukturen wechseln sich ab mit pulsierenden Alien-Bauten und auch Kamerafahrten in sich unendlich wiederholende Formen, ein Charakteristikum von Fraktalen, fehlen nicht.

Manche Szenen erinnern an Sci-Fi-Filme von Christopher Nolan wie Inception (2010) und Interstellar (2014) und würden diesen Filmen zweifellos gut stehen. Recombination ist ein Fest für die Sinne, ein wahrhaft irrwitziger audiovisueller Trip, der noch dadurch verstärkt wird, dass er das Sichtfeld ausfüllt und es kein Entkommen gibt. Wer sich das VR-Album kauft, sollte gute Kopfhörer an die Meta Quest 2 anschließen. Die Bilder leben von der Musik und umgekehrt.

So beeindruckend Horsthuis‘ Fraktale auch sind: Die Kamera- und Schnittarbeit ist nicht ganz auf dem Niveau des Bildmaterials, wirkt zuweilen etwas beliebig oder nicht abgestimmt mit der Musik. Apropos Kamera: Recombination nimmt sich große Freiheiten heraus und manche Kamerafahrten könnten empfindlichen Menschen auf den Magen schlagen. Selbst ich als alter VR-Hase, dem so schnell nicht schlecht wird in VR, hatte manchmal Mühe. Objekte, die geradewegs durch einen hindurchfliegen, können ebenfalls ein mulmiges Gefühl hinterlassen. Und dann wäre da noch die Bildrate, die häufig einbricht und zu Nachziehern oder Strobo-Effekten führt, was die Freude an den Bild- und Klangwelten beträchtlich trübt.

Quest 2 ächzt spürbar unter der Last des hochauflösenden Videomaterials. „Es treibt die Hardware definitiv an ihre Grenzen“, schreibt mir Horsthuis. „Wir werden die Entwicklung auf jeden Fall fortsetzen und versuchen, eine geschmeidigere Darstellung zu erreichen.“

Eine Veröffentlichung auf Meta Quest TV schließt Horsthuis vorerst aus, weil es sich primär um eine Streaming-App handelt, keine Monetarisierungsmöglichkeit besteht und die Bildqualität nicht dem gewünschten Niveau entspricht. „Es darf nicht zu einem unscharfen Durcheinander werden, was vor allem bei hochdetaillierten Fraktalen schnell passieren kann“, sagt Horsthuis.

Und wie geht es weiter nach Recombination? Sollte die Nachfrage bestehen, dann könnte es für weitere VR-Plattformen erscheinen und etwa in Planetarien gezeigt werden.

„Aber ich bin auch von der Idee begeistert, diese VR-Plattform als Format für weitere immersive Fraktalfilme zu nutzen. Die Erstellung dieser acht Tracks hat viele weitere Ideen, Kollaborationen mit Musikkünstlern und fraktale Welten hervorgebracht, die ich gerne weiter erforschen würde. Wenn ausreichend Leute Spaß daran haben, würde ich gerne eine ganze Reihe mehr machen!“

Dieser Beitrag erschien am 25. März 2023 bei MIXED.

Mit Playstation VR 2 kam vergangene Woche eines der wichtigsten VR-Headsets der letzten Jahre in den Handel. Die Kinderkrankheiten und Unzulänglichkeiten des Vorgängers hat Sony größtenteils beseitigt. Die neue Hardware ist fortschrittlicher und zukunftssicherer, als es die erste Playstation VR zu ihrem Launch im Jahr 2016 war und stellt in Summe jedes andere handelsübliche VR-Headset in den Schatten.

Da Playstation VR 2 nicht rückwärtskompatibel ist, stellt das VR-System einen Plattform-Neustart für Sony dar. Die Hardware-Grundlagen für den Erfolg hat der Konzern gelegt, jetzt braucht es regelmäßigen Nachschub an guter Software.

Und damit kommen wir zum Ausgangspunkt dieses Beitrags. Wenn man die Liste der Launch-Titel für Playstation VR 2 durchgeht, fällt eines auf: Unter den mehr als vierzig VR-Spielen ist kein einziges, das von einem der zehn größten Publisher stammt, mit Ausnahme von Sony natürlich. Sieben Jahre nach Playstation VR startet Sonys eine neue und vielversprechende VR-Plattform und so ziemlich jeder größere Akteur der Spieleindustrie entscheidet sich, der Party fernzubleiben.

Der primäre Grund ist klar: Virtual Reality ist noch immer eine Nische. Selbst die naheliegendste Zielgruppe, die Gamer, hat sich als erstaunlich resistent erwiesen gegen die Innovationen des Mediums. Die große Mehrheit zieht Couch oder Gaming-Sessel vor und will sich mit der neuen, raumbezogenen Art des Spielens nicht anfreunden. Sie fühlen sich ganz wohl mit dem, was sie kennen.

In Playstation VR 2 zu investieren, birgt Risiken für Publisher. Damit sich größere Investitionen lohnten, müsste die VR-Plattform Millionen Nutzer haben und das ist fraglich angesichts der relativ hohen Anschaffungskosten von PS5 und PSVR 2. Das Gros der Spieleindustrie erwartet schlicht nicht, dass Virtual Reality demnächst steil geht und schafft allein damit die Bedingungen für eine selbsterfüllende Prophezeiung.

Die großen Player der Spieleindustrie ignorieren Virtual Reality geflissentlich.

Würde die Nachfrage anziehen, wenn die großen Publisher mitspielen würden und ihre Marken für Virtual Reality neu erfänden? Vermutlich. Aber wieso sollten sie? Die Spieleindustrie ist trotz der gegenwärtigen Wirtschaftskrise noch immer einer der am schnellsten wachsenden Märkte. Wieso gerade jetzt in eine risikobehaftete Nische investieren?

Die Publisher haben zudem mehr zu verlieren als nur Entwicklungsbudgets. Virtual Reality stellt ein neues Gaming-Paradigma dar, das etablierte Arten des Spielens und Entwickelns sowie bestehende Geschäftsmodelle und Vertriebskanäle gefährdet. So wie das letzte Mal das Smartphone, nur noch tiefgreifender, da Virtual Reality einen noch größeren technologischen Bruch mit der Vergangenheit darstellt. Im schlimmsten Fall müsste sich die Spieleindustrie neu erfinden. Die alte Ordnung wäre gefährdet und die Karten würden neu gemischt, wenn sich eine neue Hardware-Basis etablierte, die Sony oder – noch schlimmer – Meta kontrolliert.

„VR stellt eine mögliche existenzielle Bedrohung für die milliardenschwere AAA-Spieleindustrie dar“, schreibt Denny Unger, Studiochef von Cloudhead Games in einem Twitter-Thread, in dem er analysiert, weshalb es keine AAA-Spiele im VR-Bereich gibt und das Henne-Ei-Problem des VR-Markts nach wie vor ein Thema ist. „Letzten Endes erfordert [VR] neue Absatzmärkte, neue Fähigkeiten und grundlegende Änderungen in der Art und Weise, wie [Publisher] ihr Geschäft angehen. Wie bei Big Oil gegen erneuerbare Energien gibt es auch hier eine alte Garde, die kein Fan von Virtual Reality ist.“

Aus dieser Perspektive gesehen, hätten die großen Publisher guten Grund, Virtual Reality gegenüber misstrauisch bis feindselig eingestellt zu sein. Die Unterlassung jeglicher Investitionen in den Bereich, wie es sich jüngst am Launch der Playstation VR 2 beobachten lässt, darf man als passiv-aggressiv bewerten.

Die Hoffnung geht wohl dahin, dass man Virtual Reality durch Nichtstun so lange aussitzen könne, bis die Technologie wieder von der Bildfläche verschwindet. Neue Märkte erfordern Investitionen, aber gerade die verweigern die ausschlaggebenden Akteure und werden so indirekt zu Totengräbern der aufkeimenden VR-Industrie.

Die Kosten und Risiken tragen die Hardware-Hersteller und die unabhängigen VR-Studios, die viel, sehr viel Ausdauer auf dem Weg zu einem selbsttragenden VR-Ökosystem benötigen werden, der mit Unterstützung der großen Publisher ohne Zweifel verkürzt werden könnte. Sollten sich das Blatt eines Tages überraschend wenden, werden diese Letzten die Ersten sein und den neuen Markt beherrschen.

Dieser Beitrag erschien am 5. März 2023 bei MIXED.

Das Wearable sieht aus wie eine herkömmliche Brille, aber kann viel mehr: Man kann mit ihr Fotos schießen, Filme aufnehmen, Musik und Podcasts hören, via Whatsapp und Messenger Nachrichten diktieren und verschicken sowie telefonieren. Die hierfür benötigte Technik wiegt lediglich 5 Gramm und passt in den Brillenrahmen und die Bügel, ohne diese in auffallender Weise aufzublähen. Eine beeindruckende technische Leistung.

Meta sieht in der Ray-Ban Stories, die aus einer Kooperation mit der Ray-Ban-Mutter EssilorLuxottica hervorging, den ersten Schritt in Richtung einer alltagstauglichen AR-Brille. Das Wearable kam im September 2021 auf den Markt und ein leistungsfähigerer Nachfolger ist bereits in Entwicklung.

In einem Blogartikel beleuchtet Meta die Entwicklung der Ray-Ban Stories und die technischen Herausforderungen, denen sich das Hardware-Team gegenübersah. Das leitende Designprinzip war, dass das Produkt alltagstauglich sein musste. „Erst eine coole Technologie entwickeln und dann herausfinden, wie man sie stilvoll verpacken kann, war nicht gestattet. Es ging darum, eine Ray-Ban-Brille zu nehmen und herauszufinden, wie man sie mit smarter Brillentechnologie ausstattet“, heißt es in dem Artikel. Das Wearable musste in erster Linie gut aussehen, statt mit technischen Features zu glänzen, die sie unansehnlich machten.

Die Ray-Ban Stories ist von einer gewöhnlichen Ray-Ban-Brille fast nicht zu unterscheiden. | Bild: TB

Weil Metas Labore während der Pandemie geschlossen waren, mussten die Ingenieurinnen und Ingenieure improvisieren und Teststationen für Hardware-Designs zu Hause aufbauen. Testaufnahmen mit verschiedenen Kamerasensoren wurden live aus China gestreamt. „Unser Hardware-Team ist nie nach China gereist, um die Produktion zu begutachten, was unvorstellbar ist.“

Die Auswahl der einzelnen Komponenten (Kameras, Lautsprecher, Mikrofone) gestaltete sich äußerst schwierig, weil jede Komponente auf Kosten eines anderen wichtigen Aspekts wie Platzbedarf, Batterieverbrauch, Wärmeableitung und Gewicht ging. Die Ray-Ban Stories hat an drei Stellen Mikrofone verbaut, um Geräusche aus der Nähe und der Ferne einzufangen. Hinzu kommen zwei praktisch unsichtbare Kameras in einem besonderen Winkel, um natürliche wirkende Aufnahmen aus der Blickperspektive zu erlauben. Eine flexible Leiterplatte in den Scharnieren der Bügel soll zudem 10.000 Faltungen der Brille standhalten.

Eine weitere Herausforderung war, dass das Team mehrere Modelle der Ray-Ban Stories mit stark variierenden Designs entwickeln musste, was mit individuellen Platz- und Designanforderungen einherging. „Ursprünglich haben wir versucht, das Design so zu gestalten, dass wir bei den verschiedenen Stilen flexibel sind, damit wir nicht jeden Aspekt des Produkts für jeden Stil neu entwickeln müssen“, heißt es im Artikel. „Aber uns wurde auch klar, dass wir Anpassungen vornehmen mussten, um die unterschiedlichen Rahmengrößen der verschiedenen Modelle zu berücksichtigen, und auch, wie die verschiedenen Modelle in ihr Ladeetui passen würden.“

Dieser Beitrag erschien am 26. Februar 2023 bei MIXED.

Caitlin Kalinowski leitet Metas prestigeträchtigstes Metaverse-Projekt: die Entwicklung einer AR-Brille. Die Ingenieurin arbeitete sechs Jahre lang als Produktdesignerin bei Apple, bevor sie 2013 zu Oculus wechselte. Nach der Facebook-Übernahme 2014 leitete sie knapp zehn Jahre lang die Entwicklung von VR-Hardware. In dieser Rolle verantwortete sie unter anderem das Produktdesign von Oculus Go (2018) und Oculus Quest (2019).

Im März 2022 wechselte Kalinowski in die AR-Abteilung und leitet seither die Entwicklung von Metas erster, vollwertiger AR-Hardware. Eine Geräteklasse, die höchste Priorität hat für Mark Zuckerberg: Die AR-Brille soll eines Tages das Smartphone ersetzen und Metas Abhängigkeit von Googles und Apples Ökosystemen vermindern. Rund die Hälfte aller Metaverse-Ausgaben fließen in die Entwicklung der Hard- und Software dieses künftigen Super-Wearables.

Doch ein Produktlaunch ist keineswegs nahe und die technischen Herausforderungen im Vergleich zu VR-Brillen immens, wie Kalinoswki in einem Interview auf Metas Techblog erläutert. „Wir entwickeln ein Gerät, das das Erste seiner Art ist, und gleichzeitig arbeiten wir daran, es zu einem Produkt zu machen“, sagt Kalinowski.

Die Produktdesignerin und AR-Hardware-Chefin Caitlin Kalinowski. | Bild: Meta

Etwas zu entwickeln, das noch nicht existiert, bezeichnet die Ingenieurin als „New Technology Introduction“ oder NTI. Beim vor kurzem gelaunchten Mixed-Reality-Headset Meta Quest Pro waren die schwierigste NTI die Pancake-Linsen, deren Entwicklung allein vier Jahre in Anspruch nahm. „Die AR-Brille, an der wir arbeiten, hat ungefähr sechs NTIs, die mindestens so schwierig, wenn nicht sogar noch schwieriger sind“, meint Kalinowski.

Dass Meta im Gegensatz dazu bereits sechs oder sieben VR-Headsets auf den Markt gebracht hat, liege an der Verfügbarkeit der Komponenten, die oft aus bestehenden Smartphone-Lieferketten stammen, und daran, dass nicht so viele NTIs in die Entwicklung einfließen. „Auf der AR-Seite muss jede NTI gelöst werden, bevor wir überhaupt an ein Produkt denken können“, sagt Kalinowski. „Der größte Unterschied [zu VR] ist also, dass wir uns in einer anderen Phase der Produktentwicklung befinden. VR ist viel weiter fortgeschritten als AR, aber irgendwann wird AR aufholen.“

Eine AR-Brille dürfe nur ein Sechstel des Gewichts eines VR-Headsets oder weniger haben, und das, obwohl es eine anspruchsvollere Aufgabe hat. „Alles, was wir auf den Bildschirm projizieren, muss genau [mit der physischen Welt] übereinstimmen.“ Fast alles müsse eigens für den Zweck gebaut und optimiert werden, so wenig Energie wie möglich zu verbrauchen, da in einer alltagstauglichen AR-Brille nicht viel Platz ist für einen Akku, meint die Ingenieurin.

Mit „Project Aria“ erforscht Meta die Grundlagen für die AR-Brillenzukunft. Das reine Forschungsgerät hat keinen Bildschirm verbaut, aber einen Formfaktor wie diesen könnte Meta für das erste Produkt anstreben. | Bild: Meta

Die vielen Herausforderungen kann Kalinowski nicht auf die leichte Schulter nehmen, die Entwicklung von VR-Brillen sei für sie angenehmer gewesen. „Ich musste damit fertigwerden, dass ich mir nicht 100-prozentig sicher sein kann, wann die Dinge eintreffen und wann alles bereit sein wird.“ Apple soll die eigene AR-Brille aus diesen Gründen auf unbestimmte Zeit verschoben haben, während Metas erste AR-Hardware angeblich für das Jahr 2026 angesetzt ist – falls nicht weitere Hürden und Überraschungen hinzukommen.

Aber wenn es einmal so weit ist, werden AR-Brillen VR-Headsets komplett ersetzen? Kalinowski widerspricht dieser Auffassung. „Es handelt sich um unterschiedliche Technologien. Ich denke, wir werden viel mehr Zeit in AR als in VR verbringen. VR wird wichtig sein für Bildung, für tiefgreifende, immersive Erfahrungen, während AR für die meisten Dinge verwendet werden wird, für die man heute das Smartphone benutzt“, prognostiziert Kalinowski.

Die Produktdesignerin denkt, dass wir die Schlüsselanwendungen von AR-Brillen noch gar nicht kennen. „Eines der Dinge, die uns bei VR wirklich überrascht hat, war Fitness. Die Leute wollen in VR trainieren, was wir nie erwartet hätten. Auch bei AR wird es Überraschungen geben“, meint die Projektleiterin.

Dieser Beitrag erschien am 3. Februar 2023 bei MIXED.