Wie Sie mit der SLAM-Technologie Kunst zum Leben erwecken.

„Für viele scheint die Technologie unzugänglich zu sein. Aber durch die Kunst wird die Technik menschlicher.“

Das sind die Worte, die die US-amerikanische Designerin Heather Day in einem Brief an Facebook schrieb, in dem sie hoffte, ihre Kunst mit der Augmented-Reality-(AR)-Technologie von Facebook zu kombinieren. Sie hat den Brief nie verschickt, aber in einer glücklichen Wendung kontaktierte Facebook sie Wochen später mit einem eigenen Vorschlag: ein AR-Kunstprojekt für Facebook`s Menlo Park-Zentrale.

Sowohl Virtual-Reality-(VR) als auch AR haben in den letzten 12 Monaten beeindruckende Fortschritte gemacht. Kunden können bereits Dinge erleben, die noch vor kurzem nur in Träumen denkbar waren.

Stellen Sie sich vor, Sie beobachten ausgestorbene Tiere oder Drachen in ihrem Park. Oder Sie öffnen ein Portal in ihrem Zimmer und verwandeln es in eine blühende Stadtlandschaft, in der ihre Wände plötzlich mit Graffiti bedeckt sind. Szenarien wie diese sind keine Fantasie oder Science Fiction mehr. Stattdessen sind sie Beispiele dafür, was auf ihrem Smartphone bereits heute durch Augmented Reality möglich ist.

Im Kern verändert die AR-Technologie die Sichtweise, wie Sie die Welt um sich herum sehen. Facebook macht sich den Fortschritt dieser innovativen Technologie jetzt auf der Smartphone-App zunutze.

Um dies zu tun, zunächst eine Map der Umgebung erstellt werden, während Sie in Echtzeit erforscht wird. Dabei müssen auch die Position und Ausrichtung der Smartphone-Kamera in Bezug auf diese Map genau eingeschätzt werden. Diese Fähigkeit, digitale Objekte realtiv zu realen Objekten zu platzieren und zu sperren, wird als simultaneous localization and mapping (SLAM) bezeichnet und ist eine ständige Herausforderung in der Computer-Visions- und Robotik-Forschung.

Die Geschichte von SLAM.

Um SLAM auf mobilen Geräten einsetzen zu können, brauchten wir mehr als 40 Jahre Forschung. Die ersten SLAM-Techniken wurden in den 1980er Jahren als Forschungsarbeiten veröffentlicht und ursprünglich für die Roboternavigation in unbekannten Umgebungen entwickelt.

Damals setzte SLAM teure oder maßgeschneiderte Sensoren wie LIDAR, SONAR oder Stereokameras ein. Doch mit dem technologischen Fortschritt und dem Einsatz moderner Smartphones, die heute fast alle mindestens eine Kamera sowie einen Gyroskop- und Beschleunigungssensor enthalten, stehen nun allen zur Verfügung. Heute wird SLAM nicht nur zum Platzieren von Objekten in einer Szene verwendet, sondern auch für eine Reihe anderer Anwendungen, darunter selbstfahrende Autos, Roboterstaubsauger und minimal-invasive Chirurgie.

Mobiles SLAM bei Facebook.

Unser Applied Machine Learning (AML-)Team, das die neuesten Fortschritte in der KI-Forschung aufgreift und sie in eine Infrastruktur für neue Produkte umsetzt, nutzte die anfängliche Arbeit von Oculus in seiner Computer-Vision-Gruppe, um SLAM in großem Maßstab zu entwickeln und einzusetzen. Auf dem Weg dorthin gab es drei wichtige technische Herausforderungen.

Ein auf jedes Gerät zugeschnittener Algorithmus.

Facebook`s SLAM-Bibliothek integriert Funktionen aus mehreren Systemen (ORB-SLAM, SVO und LSD SLAM), aber was sie wirklich auszeichnet, ist die Leistungsoptimierung der Bibliothek bis zur letzten Anwendung. Ein SLAM-System, das mit 60 Hz auf mobilen Geräten laufen kann, ist schwierig: Alle 16 Millisekunden muss ihr Handy ein Bild aufnehmen, Hunderte von interessanten Schlüsselpunkten finden, diese mit den gleichen Punkten im vorherigen Frame abgleichen und dann mit der Trigonometrie bestimmen, wo sich jeder dieser Punkte im 3D-Raum befindet. Anschließend müssen viele feinkörnige Optimierungen vorgenommen und ständig überdacht werden, wie diese Algorithmen eigentlich funktionieren.

Darüber hinaus besteht die Herausforderung beim Einsatz von mobilem SLAM im Facebook-Ökosystem darin, dass die Community eine Vielzahl von mobilen Geräten nutzt. Facebook möchte nach Möglichkeit so viele User wie möglich unterstützen, daher ist es Teil der Bemühungen, sicherzustellen, dass die SLAM-Implementierung abwärtskompatibel ist.

Ein Beispiel hierfür finden Sie in den Anforderungen an die Gerätekalibrierung. Sowohl iOS- als auch Android-Smartphone-Modelle haben einzigartige Eigenschaften, aber Android ist besonders vielfältig und es gibt Tausende von Modellen mit unterschiedlichen Hardware-Fähigkeiten. Jedes Modell hat eine andere Kamerakalibrierung von Brennweite, Hauptpunkt und Verzerrungsparametern, so dass 3D-Punkte mit Sub-Pixel-Genauigkeit in den Kameraraum projiziert werden können.

Auch mobile Geräte verfügen über Rolling-Shutter-Kameras mit Autofokus und Autoexposition, die ebenfalls berücksichtigt werden müssen. Da die Kamera auf Dinge fokussiert, die näher und weiter sind, ändert sich diese Kalibrierung; die IMU (Trägheitsmesseinheit, die die Beschleunigung und Drehung des Geräts verfolgt) muss ebenfalls kalibriert sowie die Kamera und die IMU-Uhren synchronisiert werden. Facebook beginnt mit einer Grobkalibrierung für jedes Modell und stimmt es im Laufe der Zeit auf die spezifischen Geräte der User ab.

Die Suche nach der binären Größe.

Die Facebook-App ist bereits eine der komplexeren Apps im Android- oder iOS-App-Store und Facebook arbeitet ständig daran, der App neue spannende Funktionen hinzuzufügen und die Gesamtgröße dabei so klein wie möglich zu halten. Die ursprüngliche SLAM-Bibliothek wurde bei Oculus für einen anderen Anwendungsfall entwickelt und war etwa 40 Mb groß, da sie mehrere große Open-Source-Bibliotheken verwendete. Facebook extrahierte die minimale SLAM-Funktionalität, die die Arbeit erst ermöglichte und überarbeitete sie, um gängige Facebook-Bibliotheken zu verwenden, wodurch die Bibliotheksgröße unter 1 Mb lag.

Einsatz einer glaubwürdigen Technik.

Für eine überzeugende mobile AR ist mehr als nur der Einsatz von SLAM erforderlich. Facebook begann im vergangenen November mit der Erforschung des ersten Prototypen, um 3D-Kunst auf den rekonstruierten Oberflächen von SLAM zu platzieren. Seitdem ist Facebook`s UX-Forschung nach den intuitivsten Gesten im vollen Gange, um Kunst zu platzieren und zu ersetzen, Kunst zu wechseln und Kunst zu drehen/verschieben/zoomen, nachdem Sie bereits platziert wurde, damit die Leute ihre Kompositionen mit ihren mobilen Geräten präzise einrahmen können. Facebook untersuchte auch, wie man bestimmte Orte erkennt, um AR-Inhalte zu platzieren und wie man die Szenengeometrie analysiert, um virtuelle Objekte an den realen Oberflächen haften zu lassen.

Um eine bessere User Experience zu schaffen, musste Facebook auch die Ausfallmodi der entsprechenden Technologien berücksichtigen und alternative Lösungen entwickeln. Zu diesem Zweck hat Facebook die WorldTracker API entwickelt, eine übergreifende Schnittstelle, die SLAM mit anderen Tracking-Technologien kombiniert, um „Dinge in der Welt zu platzieren“. Die aktuelle Version von World Tracker wechselt zwischen SLAM und einem gyroskopisch verbesserten bildbasierten Tracker, um Dinge in der Welt zu platzieren, wenn SLAM sich nicht sicher ist, wo sie sich befinden.

Facebook`s erstes AR-getriebenes Kunstprojekt mit Heather Day.

Nachdem Facebook diese grundlegenden Werkzeuge entwickelt hatte, war es an der Zeit, mit einem Designer zusammenzuarbeiten, um neue Techniken zu erlernen, die Facebook dabei helfen, AR authentisch und Teil des täglichen Lebens zu machen. Facebook lud Heather Day auf den Menlo Park Campus ein, wo ihre Kunstwerke virtuell installiert wurden. Jedes Mal, wenn sie Farbe goss, einen Pinselstrich machte oder ein andere Bewegung ausführte, nahm das AML-Team diese Bewegungen mit der Kamera auf und fügte sie einer digitalen Bibliothek hinzu.

Das AML-Team arbeitete mit Heather zusammen, um festzustellen, welche Bilder den Animateuren gegeben werden sollten und welche Bewegungen sie in der lebenden, atmenden AR-Installation ausführen sollten. Innerhalb von zwei Wochen baute sie eine Technologie, die den spezifischen Ort der Kunst erkennt und die Szenengeometrie analysiert, die Heathers virtuelle Installation an realen Oberflächen haften lässt.

Auf Facebook`s diesjähriger F8-Entwicklerkonferenz sah das Publikum, wie Heathers Kunst im Rhythmus von den Wänden auf den Boden floss wie ein Wasserfall. Durch die SLAM-Technologie und das kreative Know-how von Heather konnten die Grenzen zwischen virtuell und real aufgehoben und dabei ein Einblick in die Verflechtung von Technik und Kunst gegeben werden. Das ist unsere Vision, den Alltag mit den Möglichkeiten der virtuellen, digitalen Ökosphäre zu bereichern.

Ausblick.

AR ermöglicht unbegrenzte Möglichkeiten, sich mit der Welt auseinanderzusetzen und sie zu erleben. Während Facebook bei der Verbesserung der AR-Technologie unglaublich weit gekommen ist, gibt es noch mehr zu tun. Der nächste Schritt von Facebook besteht darin, noch mehr geolokalisierte und persistente Erlebnisse zu schaffen, wie das, was bereits für Heathers AR-Installation im Menlo Park gebaut wurde. Darüber hinaus erforscht Facebook, wie die Leistungsfähigkeit von tiefen neuronalen Netzwerken und Caffe2 kombiniert werden können, um vollständigere SLAM-Maps zu erstellen, dynamische Objekte zu bearbeiten, semantische Informationen hinzuzufügen und persistente AR-Erlebnisse zu schaffen, die tief in das Facebook-Ökosystem integriert sind.

Vielen Dank fürs Lesen.