Date Archives → November 2023

Foveated Rendering ist ein technisches Wunderwerk

Foveated Rendering leistet Phänomenales für Virtual Reality, wie man am Beispiel von No Man’s Sky sehen kann.

Die PSVR-2-Version des Spiels erhielt im August ein Update, das Unterstützung für Foveated Rendering brachte und der optische Unterschied ist riesig, wie ich kürzlich beim Ausprobieren selbst erleben durfte. War No Man’s Sky zuvor grob und unscharf, wirken die Planeten, Lebewesen, Raumschiffe und Gebäude jetzt so klar und majestätisch, wie sie sollten. Das Spiel ist über Nacht zum Vorzeigetitel der Playstation VR 2 avanciert.

Beim Foveated Rendering verfolgen Kameras in Echtzeit, wohin die Augen des Nutzers blicken. Dieser „foveale“ Blickbereich des schärfsten Sehens wird anschließend selektiv in einer höheren Auflösung gerendert, während die Peripherie mit niedrigeren Details dargestellt wird. Dies spart enorm Rechenleistung und erklärt, weshalb No Man’s Sky nun so viel besser aussehen kann. Die Nutzer bekommen von diesen Tricks in der Regel nichts mit.

Eine Planetenlandschaft in No Man’s Sky. | Bild: Hello Games

Die Implementierung in VR-Spiele ist kein Selbstläufer, weshalb viele PSVR-2-Titel die Rendertechnik gar nicht nutzen. Der Engine-Programmierer Martin Griffiths arbeitete laut eigenen Angaben vier Monate an der Integrierung in No Man’s Sky’s Grafik-Engine. In einem Twitter-Thread illustriert er, wie die GPU die Spielwelt bei der Anwendung von Foveated Rendering berechnet.

Betrachtet man den TV-Output des Spiels, so erkennt man die abfallende Auflösung des peripheren Blickbereichs. Der TV-Output stellt dar, was das rechte Auge sieht, in ein TV-kompatibles flaches Bild konvertiert. Griffiths zeigt nun, wie die von der GPU gerenderten Bilder tatsächlich aussehen, nämlich stark verzerrt, je nachdem, welchen Bereich der Spielwelt man fokussiert: etwa den Boden oder einen Balkon.

„Ich hoffe, dass diese echten Headset-Bilder verdeutlichen, warum das Foveated Rendering einen so großen Sprung in der Wiedergabetreue bringt: Der Grafikprozessor rendert die Details genau dort, wo sie benötigt werden, nämlich im Zentrum des Blickfokus“, kommentiert Griffiths. Alternativ kann man sich die Bilder auch hier ansehen.

Die GPU-Renderbilder. | Bild: Martin Griffiths

Playstation VR 2 ist das erste verbraucherorientierte VR-Headset am Markt, das Eye-Tracking und Foveated Rendering unterstützt. Dies ermöglicht detaillierte oder weitläufige Spielwelten in einer hohen Auflösung und flüssigen Bildwiederholrate. Neben No Man’s Sky nutzen auch Resident Evil 7, Horizon Call of the Mountain, Gran Turismo 7 und einige Indie-Titel die Rendertechnik.

Dabei war lange nicht klar, ob und wann die komplexe und fehleranfällige Technik ausgereift genug sein wird, um in Massenprodukten anzukommen. Meta führte sie nach etlichen Jahren der Forschung erst 2022 und auch nur für Quest Pro ein, mit guten, aber nicht überragenden Resultaten. Der Grund liegt darin, dass Quest Pro einen stark geforderten mobilen Chipsatz nutzt und Eye-Tracking Rechenleistung bedarf. Zumindest für autarke Headsets ist Foveated Rendering noch kein Gamechanger.

Dieser Beitrag erschien am 5. September 2023 bei MIXED.

Eine heilsame Katastrophe

Manche Katastrophen erweisen sich im Nachhinein als Glücksfälle, weil sie einen zur Besinnung bringen und eine wichtige neue Entwicklung anstoßen.

Ich hatte mich Anfang Sommer 2023 am Rücken verletzt und musste eine mehrmonatige Auszeit von meinem gewohnten Leben nehmen. Schmerzen beherrschten meinen Alltag. Das Stehen bereitete mir Schwierigkeiten und an Sitzen war nicht zu denken, sodass mein Tag hauptsächlich aus Liegen und kurzen Spaziergängen bestand. Arbeiten und Schreiben, Virtual Reality und Kinofilme, gesellschaftliche Ereignisse, lange Spaziergänge, Ausflüge und Sport: all dies war nicht mehr möglich. Alltägliche Verrichtungen wie Rasieren, Duschen, Einkaufen und Kochen musste ich über den Tag hinweg verteilen, weil ich nicht lange am Stück stehen konnte. Die einzigen schmerzfreien Formen der Zerstreuung waren Lesen und Musikhören.

Dass es überhaupt zu dem Unfall kam, lag daran, dass ich Signale meines Körpers ignorierte. Jetzt stand ich im Dienste meines Körpers, statt umgekehrt, horchte auf jeden seiner Wünsche und gehorchte in der Hoffnung auf schnellstmögliche Genesung. Aus Rücksicht auf meine Gesundheit und weil ich die Heilung nicht hinauszögern wollte, sah ich vom gesellschaftlichen Leben ab, das, wie mir bewusst wurde, meist mit längerem Stehen oder Sitzen verbunden ist. Außerdem war es schwer, anderen Menschen die Einschränkungen, unter denen man lebte, verständlich zu machen.

Die mehrmonatige Heilungsphase ging zum einen mit sozialer Isolation, zum anderen mit viel Freizeit einher. Weil ich meiner Arbeit und den meisten anderen Aktivitäten, die mich normalerweise von morgens bis spätabends auf Trab hielten, nicht oder nur sehr eingeschränkt nachgehen konnte, hatte ich plötzlich Zeit für andere Dinge, die ich viele Jahre vernachlässigt hatte und da es fast keine Möglichkeit der Zerstreuung für mich gab, war ich auf mich selbst zurückgeworfen. Ich hatte viel Muße und nutzte sie fürs Nachdenken, Lesen und die Gesellschaft mit mir selbst.

Gewohnt, meinem Tag und Körper stets das Maximum abzufordern, war ich zur strengen Ruhe und Schonung gezwungen. Und während dieser Zeit erkannte ich, dass Erholung mehr als Untätigkeit und ausreichend Schlaf bedeutete. Sie schöpfte aus der Stille und Einsamkeit, kreativer Arbeit und Auseinandersetzung mit geistigen Dingen, die einen herausfordern. Ich stöberte in alten Aufzeichnungen und setzte mich mit meiner Vergangenheit auseinander, nahm die Beschäftigung mit Themen auf, die mich während meines Studentenzeit faszinierten, belebte in Vergessenheit geratene Traditionen wieder und begann, hier und da, wieder über Dinge zu schreiben, die mich selbst betrafen.

All dies rief mir in Erinnerung, dass ein großes Glück in einem schlummert, ein Schatz, der nur darauf wartet, entdeckt und zutage gefördert zu werden und der, weil er von nichts und niemandem abhängt, einem jederzeit zu Gebote steht, sofern man sich seiner würdig erweist. Sich seiner würdig zu erweisen, heißt, diesem geistigen Leben aktiv nachzugehen, was Hingabe, Zeit und Geduld erfordert. Man geht eine Beziehung mit sich selbst ein, die, wie jede andere, steht und fällt, mit dem, was man für sie herzugeben bereit ist. Die Zeit, die man mit sich selbst verbringt, lässt sich nicht beschneiden oder aufschieben. Das Selbst merkt ebenso wie ein Partner, wenn es betrogen und vertröstet wird. Sich selbst zu begegnen, erfordert Muße und Mut.

Es muss so etwas wie eine höhere Weisheit des Körpers geben. Der eigene Leib übernimmt die Kontrolle, wenn man Gefahr läuft, sich aus den Augen zu verlieren und führt einen – nötigenfalls mit Gewalt – auf den rechten Pfad zurück. Und all dies geschieht, ohne dass wir uns der Ursachen, Vorgänge und Folgen bewusst sind.

Der Weg, den ich Sommer diesen eingeschlagen habe, wiegt den Schmerz und die monatelange Entsagung, die meine Verletzung verursachte, mehr als auf und ich würde diese Zeit niemals gegen einen anderen Verlauf der Dinge eintauschen wollen. Das meine ich, wenn ich sage, dass sich eine Katastrophe mitunter als Glücksfall erwiesen kann und empfinde große Dankbarkeit dafür. Es war nicht das erste Mal und wird mit Sicherheit nicht das letzte Mal sein.