Foveated (VR-gerechtes oder -optimiertes) Rendering stellt eine wachsende Herausforderung für VR-Headsets dar, indem es scharfe Details für den visuellen Sweet Spot Ihres Auges (die Fovea) und eine einfachere, verschwommenere Version für Ihr peripheres Sehen liefert. Vor kurzem hat das Dev-Team der Facebook Reality Labs DeepFovea entwickelt, eine KI-gestützte Alternative, die ein „plausibles peripheres Video“ erzeugt, anstatt tatsächlich genaue periphere Bilder zu rendern. Der neue Prozess wird als „foveated reconstruction“ bezeichnet und Facebook kommunizierte dazu, dass es mehr als die 14-fache Kompression bei RGB-Videos erreicht, ohne dass die vom Nutzer wahrgenommene Qualität signifikant beeinträchtigt wird.
Bei der Aufnahme eines Videostreams tastet DeepFovea nur insgesamt 10% der Pixel in jedem Videobild ab und konzentriert sich dabei weitgehend, aber nicht ausschließlich auf den Bereich, in dem das Auge des Nutzer fokussiert ist. Im Vergleich dazu wird der Randbereich nur durch verstreute Punkte abgetastet, die weiter vom Fokusbereich des Auges entfernt weniger dicht werden. Das System verwendet anschließend trainierte generative gegnerische neuronale Netze, um jeden Frame aus den winzigen Proben zu rekonstruieren, während es sich auf den zeitlichen und räumlichen Inhalt des Streams stützt, um Details stabil und nicht hektisch auszufüllen.
Ein traditionelles Foveated Rendering-System würde diese Pixel als niedrigauflösende, flach schattierte Blöcke darstellen, während DeepFovea mehr von den ursprünglichen Formen und Farben beibehält – oder genauer gesagt, approximiert.
Der Hauptgrund für die große Bedeutung von DeepFovea ist, dass es eine überlegene Kombination aus Energieeffizienz und Bildqualität im Vergleich zu Standard Foveated Rendering bietet. Facebook behauptet, dass es in der Lage sein wird, Echtzeit-Videos mit niedriger Latenz für Displays bereitzustellen, sie von der Blickerkennung abhängen – ein notwendiger Schritt beim Aufbau leichter VR- und AR-Headsets, die hochauflösende Grafiken anzeigen, die ursprünglich in der Cloud gerendert wurden. Ganztägige tragbare Oculus AR Headsets gelten als unpraktisch, bis der Energieverbrauch von mobilen Chips ebenso drastisch sinkz wie bei Echtzeit-3D-Mapping, wie bei Streaming-Videos.
Michael Abrash von Facebook deutete erstmals die Konzepte an, die DeepFovea im vergangenen Jahr bei Oculus Connect 5 zugrunde lagen, was darauf hindeutet, dass in Zukunft Deep-Learning-basiertes Foveating und gutes Eyetracking zusammenkommen würden, um hochauflösende VR-Headsets wie den Prototyp Half Dome zu ermöglichen. Auf der diesjährigen Oculus Connect 6 sagte Abrash, dass das Unternehmen die Half Dome Hardware der nächsten Generation in seinen eigenen Büros testen wird, bevor es sie der Öffentlichkeit zur Verfügung stellt.
Anstatt DeepFovea während der Arbeit an Headsets der nächsten Generation für sich allein zu behalten, veröffentlicht Facebook eine Beispielversion der Netzwerkarchitektur für Forscher, VR-Entwickler und Grafikingenieure. Das Unternehmen präsentierte vor Kurzem auf der Siggraph Asia das zugrundeliegende Forschungspapier und stellt die Muster danach zur Verfügung.
Vielen Dank für Ihren Besuch.