In unserem heutigen Beitrag berichten wir über „Facebook Reality Labs“ und deren Einfluss auf die Art und Weise, wie wir uns in Zukunft in der virtuellen Welt miteinander verbinden und interagieren werden.
Virtual Reality (VR) ermöglicht es uns heute, digital geschaffene Welten zu erkunden und mit Freunden zu interagieren, während Augmented Reality (AR) uns neue Erfahrungen schaffen und teilen lässt, vor allem über unsere mobilen Endgeräte. Facebook Reality Laps (FRL) Experten treiben den Stand der Technik sowohl in VR als auch in AR voran. Diese Arbeit wird uns letztendlich helfen, virtuelle Objekte nahtlos über die reale Welt zu legen und unsere Erfahrung des täglichen Lebens zu verbessern. Wir glauben, dass die Zukunft in Form einer leichten, ganztägig tragbaren AR-Brille erfolgen wird.
Bei der jährlichen Oculus Connect 6, auf der die VR- und AR-Community zusammenkommen, hat Facebook die nächste Welle von Innovationen aus dem FRL vorgestellt, von Mapping-Technologien bis hin zu unglaublich genauen virtuellen Ganzkörper-Avataren. Diese Fortschritte aus dem FRL bringen die Möglichkeit, dass die AR-gesteuerte Zukunft der Realität einen Schritt näher kommt.
Echte soziale Präsenz in VR ermöglichen.
Zunächst einmal arbeitet Facebook daran, ein noch tieferes Gefühl der Verbindung in VR zu ermöglichen, als es die heutigen 2D-Technologien bieten. Unser Ziel ist es, virtuelle Interaktionen so natürlich wie persönliche Interaktionen zu gestalten. Facebook nennt dies „soziale Präsenz“. Es ist das Gefühl, dass Sie den gleichen Raum physisch mit jemand anderem teilen, auch wenn Sie vielleicht kilometerweit voneinander entfernt sind – und dass Sie Ihre Ideen und Emotionen nahtlos und mühelos kommunizieren können. Um das in VR zu erreichen, benötigen Sie lebensechte Avatare – virtuelle Stellvertreter, die Ihre Gesichtsausdrücke, Gesten und Ihre Stimme originalgetreu wiedergeben.
Einführung von Ganzkörper-Codec-Avataren.
Anfang dieses Jahres hat Facebook seine Forschungsarbeit zu Codec vorgestellt – unglaublich lebensechte digitale Darstellungen der Köpfe echter Menschen. Diese Avatare können in Echtzeit animiert werden, was den Weg für eine mühelose, direkte und ungeschriebene Interaktion in VR öffnet. Die Möglichkeit für zwei Personen, über ihre fotorealistischen Avatare in VR so natürlich zu kommunizieren, wie sie es tun würden, wenn sie sich im selben physischen Raum bewegen, ist eine Premiere.
In diesem Video messen die Sensoren von Danielle Belko, Technicam Program Manager, und Yaser Sheikh, Research Science Director, ihre Mimik. Diese Messungen werden anschließend in Echtzeit in Audio- und Bildsignale übersetzt, die sie ale eine perfekte Darstellung des Bildes, der Bewegungen und der Stimme des anderen Menschen wahrnehmen.
Um eine echte soziale Präsenz zu ermöglichen, bedarf es jedoch mehr als nur die Präsentation von Köpfen. Die Körpersprache ist entscheidend für die Kommunikationsfähigkeit eines Menschen. Deshalb hat Facebook Ganz-Körper-Avatare eingeführt. Obwohl Sie diese Technologie in naher Zukunft nicht in einem Konsumprodukt finden werden, stellen wir uns eine Zukunft vor, in der die Menschen in der Lage sein werden, mit nur wenigen schnellen Schnappschüssen ihrer Smartphonekameras ultrarealistische Avatare von sich selbst zu erstellen und sie über ihre Headsets zu animieren. In Zukunft wird eine neue Welle von völlig immersiven VR-Inhalten erwartet.
Gemeinsame Räume in VR.
Persönliche Räume wie das Wohnzimmer oder Büroumgebungen spielen in unserem Leben eine wichtige Rolle. Facebook möchte diese Relevanz in VR aufnehmen und es den Menschen ermöglichen, Zeit an den Orten zu verbringen, die ihnen wichtig sind, auch wenn sie nicht physisch dort sein können. Deshalb investiert Facebook viel Geld in die Erstellung möglichst realistischer 3D-Modelle von realen Räumen.
Im Juni zeigte Facebook seinen neuen ultrarealistischen 3D-Modelle von realen Umgebungen und gab einen Datensatz von 18 Räumen an die Community weiter. Diese simulierten Umgebungen erfassen subtile Details von Räumen, wie Spiegelreflexionen und Teppichtexturen, die notwendig sind, um sie praktisch nicht von der Realität zu unterscheiden. Durch eine Kombination aus einem hochpräzisen Depth-Capture-System, modernster SLAM-Technologie, einem hochmodernen Kamerarigg und einem dichten Rekonstruktionssystem erreicht Facebook eine Genauigkeit, die in der VR-Welt ihresgleichen sucht.
Vor Kurzem hat Facebook auf der OC6 eine Demo gezeigt, die von einem der Technik-Teams mit den von der FRL entwickelten 3D-Modellierungstechniken entwickelt wurde. Darin können zwei Personen in einem dieser 3D-rekonstruierten Räume mit Oculus Avataren gemeinsam anwesend sein und ein Video ansehen oder gemeinsam ein Spiel spielen. Dies ist das erste Mal überhaupt, dass Menschen in einer personalisierten 3D-Umgebung eine gemeinsame Erfahrung machen können und es ist ein spannender Einblick in die Zukunft.
Die von Facebook präsentierten Rekonstruktionen, die mit 3D-Positionierungsalgorithmen und speziellen Depth-Sensing-Kameras erstellt wurden, sind bereits in der Forschungsphase ein Beweis für das Konzept und obwohl diese Technologie noch in weiter Ferne liegt, erforscht Facebook, wie es Menschen ermöglicht werden kann, ihre eigenen persönlichen Räume in Zukunft wiederherzustellen.
Technologien und Menschen zusammenbringen.
Im obigen Space-Sharing-Video sahen Sie nicht-lebensechte Oculus Avatare in einem lebensechten Raum. Aber die Dinge werden wirklich spannend, wenn wir die ultrarealistischen Ganzkörper-Codec Avatar-Körper von FRL in ultrarealistische Umgebungen bringen – und eines Tages auch in personalisierte Umgebungen. Dies nähert sich der wahren Teleportation, bei der jeder mit den wichtigen Menschen in seinem Leben zusammen sein und über VR Zeit an persönlich bedeutsamen Orten verbringen kann. Stellen Sie sich vor, Sie nehmen an einem Familientreffen auf der anderen Seite der Welt teil.VR hat auch das Potenzial, Remote-Arbeit zu ermöglichen, indem es Ihnen Tools zur Zusammenarbeit zur Verfügung stellt – wie virtuelle Bildschirme in Monitorqualität, Hologramme und Whiteboards, die Sie beliebig konfigurieren können – die in der realen Welt nie existieren könnten. Es hätte auch einen äußerst positiven Einfluss auf unser Leben, da wir Pendelfahrten vermeiden und die Art und Weise, wie wir zusammenarbeiten und gestalten, verändern würden.
Diese Forschungsarbeiten haben auch Auswirkungen auf AR-Brillen. In den kommenden Jahren wird die AR-Brille unzählige Möglichkeiten eröffnen, darunter die Möglichkeit, sich unterwegs zu teleportieren. Das wird es Ihnen ermöglichen, präsent, verbunden und tief in Kontakt mit den Menschen und Orten um Sie herum und in der Ferne zu bleiben – sowohl physisch als auch virtuell. Mit Ihrem Avatar können Sie sich sogar überall auf der Welt hinteleportieren. Dies erfordert die Fähigkeit, Räume in einem viel größeren Umfang zu virtualisieren. Zudem hat Facebook damit begonnen, an dieser Herausforderung zu arbeiten.
Einführung in LiveMaps.
Facebooks Forschungsteams beginnen am FRL mit dem Aufbau einer Kerninfrastruktur, die die AR-Erfahrungen von morgen unterstützen wird.
Wie funktioniert das? Denken Sie an die 3D-Räume, die wir oben angesprochen haben und stellen Sie sich nun diese Möglichkeiten im Planetenmaßstab vor. LiveMaps verwendet neben der Lokalisierungs- und Maptechnologie auch die Bildverarbeitung und erstellt eine gemeinsame virtuelle Map. Um diese Technologie in dieser Größenordnung bereitzustellen zu können, geht Facebook davon aus, dass LiveMaps auf Informationen aus der Menge angewiesen sein wird, die von den Smart Devices von morgen erfasst werden. Um die erste Generation von Maps zu füllen, erforscht Facebooks Forscherteam das Mapping der eigenen Standorte und die Verwendung kleiner Stücke geotaggter öffentlicher Bilder zur Erzeugung von Punktwolken – eine gängige Technik, die heute in der Navigation Mapping Technologie verwendet wird.
Anstatt Ihre Umgebung in Echtzeit zu rekonstruieren, werden AR-Brillen eines Tages auf diese 3D-Maps zugreifen. Das bedeutet, dass für Ihre Brille eine drastisch reduzierte Rechenleistung benötigt wird, so dass sie auf einem mobilen Chipsatz laufen kann. Mit diesen 3D-Räumen kann sich Ihr Avatar überall auf der Welt teleportieren.
Zusätzlich zur Teleportation wird LiveMaps es Ihnen eines Tages ermöglichen, Echtzeitinformationen über die physische Welt zu suchen und auszutauschen. Dies ermöglicht es einem leistungsstarken Assistenten, Ihnen personalisierte Informationen, die an Ihren Standort gebunden sind, sofort zur Verfügung zu stellen. Es gibt Ihnen auch ein Overlay, mit dem Sie virtuelle Inhalte in der realen Welt verankern können. Stellen Sie sich vor, Sie bekommen Showzeiten, indem Sie sich einfach das Festzelt eines Kinos ansehen oder Kalendarerinnerungen von Ihrem persönlichen Assistenten erhalten.
Facebook befindet sich noch in der Forschungsphase und ist fest entschlossen, diese Forschungsarbeiten im Freien durchzuführen und die Fortschritte auf dem Weg zu einer AR-Brille zu teilen. Facebook wird diese Arbeit auch im Hinblick auf den Datenschutz fortsetzen und globale Experten für ihr Feedback einbeziehen, wenn das Unternehmen über bewährte Verfahren nachdenkt und wie die Menschen die Kontrolle über Ihre Informationen behalten können. Diese Technologie könnte die Art und Weise, wie Menschen sich in Zukunft verbinden, radikal verändern. Es bleibt also spannend, wohin der weitere Weg hingehen wird.
Vom VR-Headset bis zur AR-Brille.
Facebook betrachtet VR und AR oft als zwei verschiedene Computerplattformen, während sie eigentlich zwei Seiten der selben Medaille sind. Die virtuelle Realität lässt Menschen in digitale Inhalte eintauchen und gibt Facebook die Möglichkeit, der Distanz und der Physik zu trotzen, während Menschen neue Welten erfinden und bewohnen. AR nimmt virtuelle Objekte und fügt Sie der menschlichen Wahrnehmung der realen Welt hinzu, um eine verbesserte Erfahrung des Alltags zu ermöglichen. Zusammengenommen sollen diese Technologien die Art und Weise, wie wir uns mit der Welt um uns herum verbinden, neu erfinden.
Vielen Dank für Ihren Besuch.