Im August veröffentlichte Meta die Handtracking-Demo First Hand, die den aktuellen Stand der Technik repräsentiert. Die Technologie ist eindrucksvoll, aber hat trotz jüngster Verbesserungen noch immer Gimmick-Charakter. Wenn ich meine Meta Quest 2 aufsetze, greife ich instinktiv zu den Touch-Controllern. Das geht schneller und fühlt sich irgendwie direkter und befriedigender an, selbst wenn ich nicht spiele und nur durch Menüs navigiere.

Das liegt nicht nur an der Trägheit des Trackings, den Aussetzern und fehlenden Präzision, kurz: der nervösen Frickeligkeit der aktuellen Handverfolgung. Ich empfinde es als unangenehm, wenn ich eine Auswahl bestätige und nichts spüre oder schlimmer: virtuell ein digitales Objekt in die Hand nehme und dabei in die Luft greife. Das zerstört nicht nur die Illusion. Es versetzt mein Gehirn in einen Alarmzustand. Hallo, hier stimmt etwas nicht.

Metas EMG-Armband, das neuronale Signale in Computerbefehle umwandeln und haptisches Feedback liefern kann.

Dass es nicht nur mir so geht, bestätigt ein vor kurzem stattgefundener Twitter-Diskurs, in dem es um die Unzulänglichkeiten aktuellen Handtrackings geht. Nach meinem Demo-Erlebnis bin ich überzeugter denn je, dass der Handverfolgung etwas Grundlegendes fehlt und das ist irgendeine Form von Haptik. Ich wünsche mir deswegen keine haptischen Handschuhe herbei. Die sind weit entfernt von der Marktreife, wie Metas eigene Forschung zeigt, und obendrein viel zu umständlich, um sich im Alltag durchzusetzen.

Womöglich ist weniger mehr. Etwa eine leichte Vibration am Handgelenk, wenn ich ein virtuelles Menü berühre, um die Illusion zu schaffen, dass ich etwas in der physischen Welt bewirke. Virtual Reality beweist doch wieder und wieder, dass das Gehirn disparate Sinnesreize zu einem kohärenten Ganzen zusammenfügen kann und dass wir dafür nicht unbedingt eine Menge Technik-Krempel brauchen. Ich denke in diesem Kontext an Metas EMG-Armband, das neuronale Signale von Mikrogesten in Computerbefehle übersetzen und dazu passendes subtiles haptisches Feedback liefern soll. Die Haptik-Seite des Armbands geht zurück auf ein Forschungsprojekt namens Tasbi, das im Sommer 2019 erstmals vorgestellt wurde. Internen Studien zufolge kann das Wearable überzeugende haptische Effekte bis in die Fingerspitzen simulieren. Selbst komplexere Interaktionen wie das Drehen eines Knopfes, Oberflächenbeschaffenheit und Trägheit von Objekten soll das Armband haptisch unterstützen können, bei minimalem technischem Aufwand. Schafft es Meta, die Technologie zu miniaturisieren, könnte sie womöglich in einer Smartwatch Platz finden.

Das Armband soll Berichten zufolge in den nächsten Jahren auf den Markt kommen. Dass Meta vor kurzem Lofelt kaufte, zeigt, wie ernst es mit dem Unternehmen mit diesem Vorhaben ist. Das deutsche Start-up spezialisierte sich auf Haptik und stellte ein Armband her, dass Audiosignale in haptische Effekte verwandelt.

Apples kommendes Headset wird laut Berichten ohne Controller erscheinen und stattdessen nur auf Handverfolgung setzen. Sollte dem wirklich so sein, kann ich mir nicht vorstellen, dass Apple auf haptisches Feedback gänzlich verzichtet.

Mit oder ohne Haptik: Handtracking ist längst nicht reif für die große Bühne. Zumindest in der Form, in der ich sie von Meta Quest 2 kenne. Doch es gibt Hoffnung: Bessere Sensoren werden die Präzision steigern und die Latenz senken und Entwickelnde mit Software-Tricks dafür sorgen, dass sich Handtracking natürlicher und müheloser anfühlt. Aber selbst dann könnte es sein, dass ich Handtracking nur bei einfachen Anwendungen und der Menünavigation den Vorzug gebe und dass die Controller auf dem Tisch liegen bleiben. Gerade bei Spielen.

Apple und Meta: Überzeugt mich vom Gegenteil.

Dieser Beitrag erschien am 18. September 2022 bei MIXED.