In der jüngsten Podcaste-Folge von Boz to the Future unterhielt sich Carmack eine Stunde lang mit Metas Technikchef Andrew Bosworth. Die dominierenden Themen sind Künstliche Intelligenz und Virtual Reality.

Carmack war seit 2013 Oculus-Technikchef und bei Facebook maßgeblich an der Entwicklung mobiler VR-Headsets, darunter Meta Quest, beteiligt. Ende 2022 verließ er Meta, um sich der Erforschung genereller künstlicher Intelligenz zu widmen.

Gegen Ende des Podcasts fragt Bosworth Carmack, in welche Richtung sich VR-Hardware seiner Meinung nach entwickeln müsse, um im Mainstream anzukommen. Carmack weicht der Frage aus und sagt, dass man sich auf die Verbesserung der Nutzererfahrung konzentrieren müsse. Es brauche keine futuristische Hardware, die Ingredienzen für den VR-Durchbruch seien bereits vorhanden und der Durchbruch nur eine Frage der Umsetzung.

Carmack wiederholt in seiner Antwort, was er bei früheren Gelegenheiten über seine Vision von Virtual Reality als Produkt sagte. Weil die Antwort seine Ansichten gut zusammenfasst, ist sie unten in Gänze wiedergegeben.

Carmack VR-Erfolgsformel

Andrew Bosworth: Deine Vision für Quest-Hardware war immer „leicht, günstig und schnell“. Wenn du einen Vektor für zukünftige VR-Hardware auswählen müssten, welcher wäre das?

John Carmack: Ja, sie muss all das sein: Leicht, bequem und günstig. Sie muss für alle verfügbar sein. Wir sollten noch immer auf die Dinge achten, die Menschen mit ihrem Handy oder ihrem Tablet tun. Ich sage den Leuten immer, dass sie folgende Überlegung anstellen sollen: Wenn es bei VR darum geht, wie mühsam das Starten einer VR-Erfahrung vonstattengeht, wie viele Fehler dabei entstehen, wie begrenzt die Dinge sind, die man tun kann, wie würde das dann beim Smartphone aussehen? Wenn man beim Nutzen des Smartphones jedes Mal ein Guardian-System einrichten müsste, wenn man warten müsste, bis die Controller aufwachen, bevor man Eingaben machen kann?

VR-Headsets sollten also nicht nur leicht und günstig sein, sondern auch sofort funktionieren. Man sollte das Headset einfach auf den Kopf setzen und einen Blick auf etwas werfen können, als würde man auf eine Uhr schauen. Ich denke, dass dieses Level an Feedback und niedriger Latenz von entscheidender Bedeutung sind.

Und dann müssen sie in der Lage sein, all das zu leisten, was Menschen machen wollen. Und ich sage immer wieder, dass Virtual Reality all diese anderen Geräte verdrängen muss. Die Early Adopter, die Leute, die ganz vorn mit dabei sind, kaufen alles. Sie kaufen ein VR-Headset zusätzlich zu ihrem zweiten, dritten, vierten Fernseher, ihrem Tablet, ihrem Chromebook und all diesen Dingen. Aber um alle Menschen zu erreichen, muss Virtual Reality diese Dinge ersetzen. Sie muss vermitteln: Wenn Sie das VR-Headset kaufen, brauchen Sie dieses Chromebook nicht zu kaufen, Sie können einfach eine Tastatur daran anschließen. Sie brauchen keinen zusätzlichen Fernseher zu kaufen, Sie haben schon Ihr virtuelles Kino. Sie brauchen dieses Tablet nicht, es kann Android-Apps direkt ausführen.

Und das super Frustrierende daran ist: All das liegt bereit vor uns. Es ist nur eine Frage der Umsetzung. Wir müssen nicht auf magische MicroLED-Siliziumkarbid-Displays warten, um diesen Nutzerwert zu schaffen. Wir müssen es einfach tun. Die Programmierer müssen nur dies statt jenes tun.

Ich bin nach wie vor sehr hoffnungsvoll. Es wird passieren. Der Nutzen von HMDs ist extrem groß. Sie können in gewisser Hinsicht billiger sein als Smartphones. Sie können all diese Fähigkeiten besitzen und gleichzeitig den Wert eines großen Bildschirms bieten. Sie können den einzigartigen Vorteil der VR mit der räumlichen Bewegung und der Handverfolgung und den Dingen, die wir damit machen, besitzen, während sie all diese anderen Dinge in sich vereinen. Ich denke immer noch, dass es eine großartige Wette ist, und eine, die Meta an diesem Punkt verlieren kann.

Dieser Beitrag erschien am 5. April 2023 bei MIXED.

Jed Ashforth war knapp 12 Jahre bei Sony beschäftigt, ist Gründungsmitglied des Playstation-VR-Projekts und trug Entscheidungen beim Design von Hard- und Software der VR-Brille mit. 2017 verließ Ashforth Sony und gründete eine XR-Beratungsagentur.

Im März 2023 veröffentlichte Ashforth einen zweiteiligen Artikel, der seine Eindrücke zur Playstation VR 2 wiedergibt. Den 7.000 Worte starken Text kann man als einen Hardware-Test lesen, der allerdings nur ein vorläufiges Urteil darstellt. Eine endgültige Bewertung sei unmöglich, meint Ashforth, da Sony die zugrundeliegende Systemsoftware über Jahre hinweg verbessern werde.

Ashforth bezeichnet Playstation VR 2 nach eingehender Nutzung als „einen (größtenteils) fantastischen Schritt nach vorn, aber nicht ohne einige Probleme und Ärgernisse“. Die Passform des Headset hinterlasse einen gemischten Eindruck. Er wünscht sich, dass Sony Nutzer stärker beim Finden des im Vergleich zur PSVR 1 kleinen Sweetspots unterstützt. Auch die Anpassung der Halo-Kopfhalterung sei teilweise umständlich.

Dann zieht Ashforth eine interessanten Vergleich: VR-Headsets seien wie Autos, an die man sich erst gewöhnen und deren Sitz man perfekt einstellen müsse, bevor man sich wohlfühle. Das gelte für Playstation VR 2 ganz besonders.

Playstation VR 1 (2016, links) und Playstation VR 2 (2023). | Bild: Sony / RoadtoVR

Sonys kontroverse Entscheidung, auf integrierte Lautsprecher zu verzichten, findet Ashforth „vernünftig“. Er erklärt den Verzicht folgendermaßen: „Sony weiß, dass die ursprüngliche Nutzerbasis aus Core-Gamern besteht, und unsere internen Statistiken haben immer gezeigt, dass Audio-Headsets von dieser Gruppe stark nachgefragt werden. Wir haben Umfragen durchgeführt, und alle wollten, dass das Headset eigene Kopfhörer und Earbuds unterstützt.“ Sonys drahtloser Pulse-Kopfhörer sei dafür da, diese Nachfrage zu decken, meint Ashforth, und hält es für möglich, dass Sony an einer Ansteck-Version der Kopfhörer als Upgrade zu den mitgelieferten Earbuds arbeitet.

Im zweiten Teil seines Artikels geht Ashforth detaillierter auf das Onboarding-Erlebnis, den Passthrough-Modus und die Headset-Haptik ein, die er als eine „weitere großartige Ergänzung für die Hardware“ bezeichnet. Daran soll Sony übrigens schon bei der Entwicklung der ersten Playstation VR 2 geforscht haben, um VR-Übelkeit zu vermindern.

Die VR-Brille sei teuer, aber liefere etwas, das dem Preis entspreche. „Das Erlebnis ist, abgesehen von ein paar kleinen Macken und Problemen, äußerst beeindruckend, selbst für einen großen PC-VR-Fan wie mich“, schreibt Ashforth in seinem Fazit. „Es gibt so viele Verbesserungen im Vergleich zu PSVR 1, dass die abgewanderte Fangemeinde dieser Plattform das Gefühl bekommen wird, einen großen Sprung in puncto Hardware-Fähigkeiten, Controller und dem allgemeinen Benutzererlebnis gemacht zu haben.“

Dieser Beitrag erschien am 26. März 2023 bei MIXED.

Der VR-Film Recombination entführt in die faszinierende Welt der Fraktale, in 8K und 3D. Ich habe ihn mir angesehen und war überwältigt.

Der niederländische Fraktalkünstler Julius Horsthuis beschäftigt sich seit zehn Jahren mit den mathematischen Mustern. Für Ant-Man 3 wirkte er am Design mit und für Guillermo del Toros Cabinet of Curiosities entwarf er eine Filmsequenz.

Sein neuestes Werk ist ein „VR-Filmalbum“ für Meta Quest 2 und Meta Quest Pro. „Da ich erkannt habe, dass man meine Arbeit am besten genießen kann, wenn man in sie eintaucht, habe ich mit sieben meiner Lieblingsmusiker zusammengearbeitet, um eine abstrakte Reise durch Musik, Raum und Mathematik zu kreieren“, heißt es auf der offiziellen Webseite des Projekts.

Den Film erschien im März 2023 im App Lab und besteht aus acht vorgerenderten VR-Filmen mit eigens komponierter Musik und einer Gesamtlaufzeit von rund 45 Minuten. Gerendert wurde Recombination mithilfe der Fraktalsoftware Mandelbulb3D und einer Renderfarm binnen rund sechs Monaten.

Wer sich alle Videos anschauen möchte, muss 25 Gigabyte Video herunterladen. Eine Streaming-Möglichkeit gibt es nicht, weil Horsthuis keine Kompromisse bei der Bildqualität eingehen wollte. Die gute Nachricht ist, dass man die Filme in der VR-App auch einzeln herunterladen kann.

Fraktale in VR: eine explosive Kombination. | Bild: Julius Horsthuis

Die Fraktalfilme liegen in der Maximalauflösung für VR-Filme auf Meta Quest 2 vor: 8.192 mal 4.096 Bildpunkte. Ein stereoskopisches 180-Grad-Panorama sorgt für satte Immersion, ohne dass man sich beim Betrachten um die eigene Achse drehen muss. Man kann sich also bequem zurücklehnen und die Bilder auf sich wirken lassen.

Ich habe mir die VR-Filme angesehen und war überwältigt von ihrer Klang- und Bildgewalt. Organisch wirkende Strukturen wechseln sich ab mit pulsierenden Alien-Bauten und auch Kamerafahrten in sich unendlich wiederholende Formen, ein Charakteristikum von Fraktalen, fehlen nicht.

Manche Szenen erinnern an Sci-Fi-Filme von Christopher Nolan wie Inception (2010) und Interstellar (2014) und würden diesen Filmen zweifellos gut stehen. Recombination ist ein Fest für die Sinne, ein wahrhaft irrwitziger audiovisueller Trip, der noch dadurch verstärkt wird, dass er das Sichtfeld ausfüllt und es kein Entkommen gibt. Wer sich das VR-Album kauft, sollte gute Kopfhörer an die Meta Quest 2 anschließen. Die Bilder leben von der Musik und umgekehrt.

So beeindruckend Horsthuis‘ Fraktale auch sind: Die Kamera- und Schnittarbeit ist nicht ganz auf dem Niveau des Bildmaterials, wirkt zuweilen etwas beliebig oder nicht abgestimmt mit der Musik. Apropos Kamera: Recombination nimmt sich große Freiheiten heraus und manche Kamerafahrten könnten empfindlichen Menschen auf den Magen schlagen. Selbst ich als alter VR-Hase, dem so schnell nicht schlecht wird in VR, hatte manchmal Mühe. Objekte, die geradewegs durch einen hindurchfliegen, können ebenfalls ein mulmiges Gefühl hinterlassen. Und dann wäre da noch die Bildrate, die häufig einbricht und zu Nachziehern oder Strobo-Effekten führt, was die Freude an den Bild- und Klangwelten beträchtlich trübt.

Quest 2 ächzt spürbar unter der Last des hochauflösenden Videomaterials. „Es treibt die Hardware definitiv an ihre Grenzen“, schreibt mir Horsthuis. „Wir werden die Entwicklung auf jeden Fall fortsetzen und versuchen, eine geschmeidigere Darstellung zu erreichen.“

Eine Veröffentlichung auf Meta Quest TV schließt Horsthuis vorerst aus, weil es sich primär um eine Streaming-App handelt, keine Monetarisierungsmöglichkeit besteht und die Bildqualität nicht dem gewünschten Niveau entspricht. „Es darf nicht zu einem unscharfen Durcheinander werden, was vor allem bei hochdetaillierten Fraktalen schnell passieren kann“, sagt Horsthuis.

Und wie geht es weiter nach Recombination? Sollte die Nachfrage bestehen, dann könnte es für weitere VR-Plattformen erscheinen und etwa in Planetarien gezeigt werden.

„Aber ich bin auch von der Idee begeistert, diese VR-Plattform als Format für weitere immersive Fraktalfilme zu nutzen. Die Erstellung dieser acht Tracks hat viele weitere Ideen, Kollaborationen mit Musikkünstlern und fraktale Welten hervorgebracht, die ich gerne weiter erforschen würde. Wenn ausreichend Leute Spaß daran haben, würde ich gerne eine ganze Reihe mehr machen!“

Dieser Beitrag erschien am 25. März 2023 bei MIXED.

Mit Playstation VR 2 kam vergangene Woche eines der wichtigsten VR-Headsets der letzten Jahre in den Handel. Die Kinderkrankheiten und Unzulänglichkeiten des Vorgängers hat Sony größtenteils beseitigt. Die neue Hardware ist fortschrittlicher und zukunftssicherer, als es die erste Playstation VR zu ihrem Launch im Jahr 2016 war und stellt in Summe jedes andere handelsübliche VR-Headset in den Schatten.

Da Playstation VR 2 nicht rückwärtskompatibel ist, stellt das VR-System einen Plattform-Neustart für Sony dar. Die Hardware-Grundlagen für den Erfolg hat der Konzern gelegt, jetzt braucht es regelmäßigen Nachschub an guter Software.

Und damit kommen wir zum Ausgangspunkt dieses Beitrags. Wenn man die Liste der Launch-Titel für Playstation VR 2 durchgeht, fällt eines auf: Unter den mehr als vierzig VR-Spielen ist kein einziges, das von einem der zehn größten Publisher stammt, mit Ausnahme von Sony natürlich. Sieben Jahre nach Playstation VR startet Sonys eine neue und vielversprechende VR-Plattform und so ziemlich jeder größere Akteur der Spieleindustrie entscheidet sich, der Party fernzubleiben.

Der primäre Grund ist klar: Virtual Reality ist noch immer eine Nische. Selbst die naheliegendste Zielgruppe, die Gamer, hat sich als erstaunlich resistent erwiesen gegen die Innovationen des Mediums. Die große Mehrheit zieht Couch oder Gaming-Sessel vor und will sich mit der neuen, raumbezogenen Art des Spielens nicht anfreunden. Sie fühlen sich ganz wohl mit dem, was sie kennen.

In Playstation VR 2 zu investieren, birgt Risiken für Publisher. Damit sich größere Investitionen lohnten, müsste die VR-Plattform Millionen Nutzer haben und das ist fraglich angesichts der relativ hohen Anschaffungskosten von PS5 und PSVR 2. Das Gros der Spieleindustrie erwartet schlicht nicht, dass Virtual Reality demnächst steil geht und schafft allein damit die Bedingungen für eine selbsterfüllende Prophezeiung.

Die großen Player der Spieleindustrie ignorieren Virtual Reality geflissentlich.

Würde die Nachfrage anziehen, wenn die großen Publisher mitspielen würden und ihre Marken für Virtual Reality neu erfänden? Vermutlich. Aber wieso sollten sie? Die Spieleindustrie ist trotz der gegenwärtigen Wirtschaftskrise noch immer einer der am schnellsten wachsenden Märkte. Wieso gerade jetzt in eine risikobehaftete Nische investieren?

Die Publisher haben zudem mehr zu verlieren als nur Entwicklungsbudgets. Virtual Reality stellt ein neues Gaming-Paradigma dar, das etablierte Arten des Spielens und Entwickelns sowie bestehende Geschäftsmodelle und Vertriebskanäle gefährdet. So wie das letzte Mal das Smartphone, nur noch tiefgreifender, da Virtual Reality einen noch größeren technologischen Bruch mit der Vergangenheit darstellt. Im schlimmsten Fall müsste sich die Spieleindustrie neu erfinden. Die alte Ordnung wäre gefährdet und die Karten würden neu gemischt, wenn sich eine neue Hardware-Basis etablierte, die Sony oder – noch schlimmer – Meta kontrolliert.

„VR stellt eine mögliche existenzielle Bedrohung für die milliardenschwere AAA-Spieleindustrie dar“, schreibt Denny Unger, Studiochef von Cloudhead Games in einem Twitter-Thread, in dem er analysiert, weshalb es keine AAA-Spiele im VR-Bereich gibt und das Henne-Ei-Problem des VR-Markts nach wie vor ein Thema ist. „Letzten Endes erfordert [VR] neue Absatzmärkte, neue Fähigkeiten und grundlegende Änderungen in der Art und Weise, wie [Publisher] ihr Geschäft angehen. Wie bei Big Oil gegen erneuerbare Energien gibt es auch hier eine alte Garde, die kein Fan von Virtual Reality ist.“

Aus dieser Perspektive gesehen, hätten die großen Publisher guten Grund, Virtual Reality gegenüber misstrauisch bis feindselig eingestellt zu sein. Die Unterlassung jeglicher Investitionen in den Bereich, wie es sich jüngst am Launch der Playstation VR 2 beobachten lässt, darf man als passiv-aggressiv bewerten.

Die Hoffnung geht wohl dahin, dass man Virtual Reality durch Nichtstun so lange aussitzen könne, bis die Technologie wieder von der Bildfläche verschwindet. Neue Märkte erfordern Investitionen, aber gerade die verweigern die ausschlaggebenden Akteure und werden so indirekt zu Totengräbern der aufkeimenden VR-Industrie.

Die Kosten und Risiken tragen die Hardware-Hersteller und die unabhängigen VR-Studios, die viel, sehr viel Ausdauer auf dem Weg zu einem selbsttragenden VR-Ökosystem benötigen werden, der mit Unterstützung der großen Publisher ohne Zweifel verkürzt werden könnte. Sollten sich das Blatt eines Tages überraschend wenden, werden diese Letzten die Ersten sein und den neuen Markt beherrschen.

Dieser Beitrag erschien am 5. März 2023 bei MIXED.

Das Wearable sieht aus wie eine herkömmliche Brille, aber kann viel mehr: Man kann mit ihr Fotos schießen, Filme aufnehmen, Musik und Podcasts hören, via Whatsapp und Messenger Nachrichten diktieren und verschicken sowie telefonieren. Die hierfür benötigte Technik wiegt lediglich 5 Gramm und passt in den Brillenrahmen und die Bügel, ohne diese in auffallender Weise aufzublähen. Eine beeindruckende technische Leistung.

Meta sieht in der Ray-Ban Stories, die aus einer Kooperation mit der Ray-Ban-Mutter EssilorLuxottica hervorging, den ersten Schritt in Richtung einer alltagstauglichen AR-Brille. Das Wearable kam im September 2021 auf den Markt und ein leistungsfähigerer Nachfolger ist bereits in Entwicklung.

In einem Blogartikel beleuchtet Meta die Entwicklung der Ray-Ban Stories und die technischen Herausforderungen, denen sich das Hardware-Team gegenübersah. Das leitende Designprinzip war, dass das Produkt alltagstauglich sein musste. „Erst eine coole Technologie entwickeln und dann herausfinden, wie man sie stilvoll verpacken kann, war nicht gestattet. Es ging darum, eine Ray-Ban-Brille zu nehmen und herauszufinden, wie man sie mit smarter Brillentechnologie ausstattet“, heißt es in dem Artikel. Das Wearable musste in erster Linie gut aussehen, statt mit technischen Features zu glänzen, die sie unansehnlich machten.

Die Ray-Ban Stories ist von einer gewöhnlichen Ray-Ban-Brille fast nicht zu unterscheiden. | Bild: TB

Weil Metas Labore während der Pandemie geschlossen waren, mussten die Ingenieurinnen und Ingenieure improvisieren und Teststationen für Hardware-Designs zu Hause aufbauen. Testaufnahmen mit verschiedenen Kamerasensoren wurden live aus China gestreamt. „Unser Hardware-Team ist nie nach China gereist, um die Produktion zu begutachten, was unvorstellbar ist.“

Die Auswahl der einzelnen Komponenten (Kameras, Lautsprecher, Mikrofone) gestaltete sich äußerst schwierig, weil jede Komponente auf Kosten eines anderen wichtigen Aspekts wie Platzbedarf, Batterieverbrauch, Wärmeableitung und Gewicht ging. Die Ray-Ban Stories hat an drei Stellen Mikrofone verbaut, um Geräusche aus der Nähe und der Ferne einzufangen. Hinzu kommen zwei praktisch unsichtbare Kameras in einem besonderen Winkel, um natürliche wirkende Aufnahmen aus der Blickperspektive zu erlauben. Eine flexible Leiterplatte in den Scharnieren der Bügel soll zudem 10.000 Faltungen der Brille standhalten.

Eine weitere Herausforderung war, dass das Team mehrere Modelle der Ray-Ban Stories mit stark variierenden Designs entwickeln musste, was mit individuellen Platz- und Designanforderungen einherging. „Ursprünglich haben wir versucht, das Design so zu gestalten, dass wir bei den verschiedenen Stilen flexibel sind, damit wir nicht jeden Aspekt des Produkts für jeden Stil neu entwickeln müssen“, heißt es im Artikel. „Aber uns wurde auch klar, dass wir Anpassungen vornehmen mussten, um die unterschiedlichen Rahmengrößen der verschiedenen Modelle zu berücksichtigen, und auch, wie die verschiedenen Modelle in ihr Ladeetui passen würden.“

Dieser Beitrag erschien am 26. Februar 2023 bei MIXED.