Das Entwicklungsteam von Facebook Reality Labs und Oculus haben bis heute das einzige vollartikulierte Handtracking-System für VR entwickelt, das vollständig auf Monochrom-Kameras basiert. Das System verwendet weder die aktive Depth-Sensing Technologie noch zusätzliche Geräte. Facebook wird diese Technologie als Software-Update für Oculus Quest einsetzen. Es handelt sich dabei um das erste kabellose, eigenständige VR-Headset, dass seit Kurzem auf dem Markt erhältlich ist.
Durch den Einsatz der vier Kameras von Quest in Verbindung mit neuen Techniken des Deep Learning und des modellbasierten Tracking wird ein größeres Interaktionsvolumen für das Handtracking als bei tiefenbasierten Lösungen erreicht und dass noch zu einem Bruchteil der Größe, des Gewichts, der Leistung und der Kosten. Die Verarbeitung erfolgt vollständig auf dem Gerät und das System ist optimiert, um Gesten für die Interaktion zu unterstützen, wie z.B. Pointing oder Pinch to Select.
So funktioniert es.
Tiefe neuronale Netze werden verwendet, um den Standort der Hände einer Person sowie Orientierungspunkte wie z.B. Handgelenke zu prognostizieren. Aus diesen Landmarks wird anschließend eine 26 Grad Freiheitsgrad-Pose der Hände und Finger der Person rekonstruiert. Das Ergebnis ist ein 3D-Modell, das die Konfiguration und Oberflächengeometrie der Hand beinhaltet. APIs ermöglichen es Entwicklern, diese 3D-Modelle zu nutzen, um neue Interaktionsmechanismen in ihren Anwendungen zu ermöglichen oder eine Benutzeroberfläche zu steuern.
Facebook nutzt eine neuartige Tracking-Architektur, die genaue, vibrationsarme Schätzungen der Handpose in einer Vielzahl von Umgebungen liefert und ein effizientes, quantisiertes neuronales Netzwerk-Framework, dass das Handtracking in Echtzeit auf einem mobilen Prozessor ermöglicht, ohne die Ressourcen für Benutzeranwendungen zu beeinträchtigen.
Warum es wichtig ist.
Präzises Handtracking wird eine Reihe neuer Möglichkeiten eröffnen und Barrieren bei der Nutzung der Oculus Quest reduzieren. So könnte es beispielsweise möglich sein, einen Film in VR mit nur einer Geste zu pausieren und sich in Social Games natürlicher auszudrücken. In Business-Anwendungen kann ein Instructor eine VR-basierte Trainingseinheit leiten, ohne eine Flotte von gepaarten, aufgeladenen Controllern warten zu müssen.
Genauer gesagt, wird das Handtracking dazu beitragen, dass sich VR natürlicher und intuitiver anfühlt. Zudem wird es Entwicklern helfen, neue Wege für die Interaktion von Menschen in virtuellen Welten zu schaffen. Facebook Reality Labs und Oculus werden nach Möglichkeiten suchen, auf dieser Kerntechnologie aufzubauen, um zukünftige AR/VR-Erlebnisse zu verbessern.
Vielen Dank für Ihren Besuch.