Wie Sie Facebook`s AR Plattform um zahlreiche Trackingfunktionen erweitern.

Stellen Sie sich vor, Sie gehen die Straße entlang und sehen ein Poster für ihren Lieblingsfilm. Nun richten Sie ihre Snarthone-Kamera auf das Poster. Durch einen Snapschuss werden die Charaktere aus dem Film lebendig und Sie können damit direkt über ihr Smartphone in ein Augmented-Reality(AR)-Erlebnis eintauchen.

AR-Tracking ist der nächste Meilenstein in der Entwicklung der AR-Plattform von Facebook. Die im AR Studio von Facebook verfügbaren AR Target Tracker-Effekte ermöglichen es Marken, Verlagen, Künstlern und Entwicklern, Inhalte zu erstellen, die inhaltlich mit Bildern, Logos, Zeichen und Bildern in der realen Welt verknüpft sind. Die Technologie, die für die Facebook-Kamera entwickelt wurde, ermöglicht es der Kamera, ein Bild zu tracken und ein immersives Erlebnis zu schaffen. Augmented Reality kann auf jeder ebenen Fläche verankert werden, so dass der Effekt als Overlay in der Facebook-Kamera erscheint.

Die Filme „A Wrinkle in Time and Ready Player one“ nutzen die Facebook AR Target Tracking-Technologie, um immersive Erlebnisse zu schaffen, die an die jüngsten Kinocharts gekoppelt sind, mit dem Ziel, Fans auf neue Weise zu begeistern. Die Menschen können das Erlebnis heute auf allen ihren Filmplakaten weltweit ausprobieren. Ein ToolKit für alle Entwickler ist als Feature unter dem Plane-Tracker-Menü im AR Studio verfügbar.

Wechsel von ephemeren zu persistenten ARs.

Im Dezember letzten Jahres wurde AR Studio ins Leben gerufen, mit dem Kreative Effekte erstellen und bei denen Menschen 3D-Objekte in ihre Umgebung platzieren und in Echtzeit mit ihnen interagieren können. Diese ephemere Aufgabe ermöglicht es ihnen, ein AR-Objekt auf jeder Oberfläche zu platzieren, um zu interagieren und zu teilen. Facebook wollte es auf die nächste Stufe bringen und Anwendungsfälle rund um persistente AR untersuchen – Erfahrungen, die mit Orten oder Dingen in der realen Welt verbunden und in Bezug darauf bestehen bleiben. AE Target Tracking ist die erste Instanz von Facebook für diese Art von anhaltendem AR-Erlebnis.

Facebooks erster Ausflug in die persistente AR ist auf planare 2D-Ziele ausgerichtet, da sie allgegenwärtig sind. Zum Beispiel existiert das Filmplakat auf der ganzen Welt, so dass jeder vor dem Plakat die gleiche Erfahrung machen kann, da AR an dieses Plakat gebunden ist. Dies ermöglicht es uns, Zeit und Raum zu überwinden und unserer Facebook-Community ein einheitliches Erlebnis zu bieten.

Der Ansatz von Facebook konzentriert sich auf Qualität und Zugang.

Während andere ähnliche Technologien entwickelt haben, gibt es zwei Dinge, die an unserem Ansatz einzigartig sind. Unser Ziel ist es, die Technologie für eine Vielzahl von Geräten auf höchstem Qualitätsniveau verfügbar zu machen und den Zugang zu den unterschiedlichen mobilen Endgeräten zu maximieren, damit jeder mit einem iPhone 5s und höher oder einem Android 2012 Gerät und höher diese nutzen kann. Facebook ist in der Lage, diese Erfahrung für High-End-Markt-Geräte bis hinunter zu älteren, unteren Endgeräten anzubieten, um sicherzustellen, dass die Menschen in jedem Markt sie erleben können. Facebook hat diese Abdeckung erreicht, indem der Tracking-Algorithmus stark optimiert wurde, um auf den Low-End-Geräten wirklich gut zu funktionieren.

Facebook möchte auch beim AR-Erlebnis das höchste Qualitätsniveau beibehalten. Um ein hohes Niveau aufrechtzuerhalten, testen Facebook Algorithmen unter verschiedenen Lichtverhältnissen, bei Nacht, unter verschiedenen Winkeln und mit teilweiser Okklusion.

Einen AR Target Tracker Effekt erstellen.

Um einen AR Target Tracker Effekt für ein Poster zu erzeugen, müssen Sie zunächst das Master Poster Bild im AR Studio hochladen. Sie würden dann das sepzifische AR-Kunsterlebnis erstellen und hochladen, das sich in das Poster einbetten soll. Sobald es ausgefahren ist, öffnet eine Person einfach ihre Facebook Kamera, startet den Effekt aus dem Effektfach und kann anschließend auf das Poster zeigen. Das Poster löst das AR-Erlebnis für den Nutzer aus, sobald er auf dieses zeigt. Die Person kann den Effekt auch direkt durch andere Mechanismen wie einen vorprogrammierten QR-Code erreichen, wie z.B. das, was auf den „Wrinkle in Time and Ready Player One“-Filmplakaten gemacht wurde.

Wie es funktioniert.

Das Poster oder Bild, das in AR Studio hochgeladen wird, bildet das Template-Bild, mit dem die Videobilder der Kamera verglichen werden, um das Poster zu erkennen. Facebooks Technologie analysiert das Template-Poster, um eindeutig identifizierbare visuelle Merkmale auf niedriger Ebene zu finden und verwendet dann eine Bildabgleichs- und Verifizierungspipeline, um es unter verschiedenen Bedingungen zu vergleichen. Der Prozess nimmt das Template-Poster und sucht dann nach eindeutig identifizierbaren Teilen wie Ecken oder Texturmustern. Anschließend werden Patches von diesen Stellen extrahiert, die dann mit einem vorab trainierten Kodierungsprozess in einen Feature-Dekriptor-Vektor kodiert werden. Diese Vektoren werden dann quantisiert und in einem effizienten Index gespeichert, der schnell nachgeschlagen und angepasst wird.

Der Schlüssel zur Effektivität dieses Algorithmus ist, wie gut dieser mit dem übereinstimmen kann, was hochgeladen wurde, so dass der Benutzer sich sofort in der Experience befindet. Dort angekommen, wechselt der Algorithmus zum Tracken des Posters. Wenn der Benutzer sein Smartphone bewegt, müssen wir sicherstellen, dass wir das Tracken nicht verlieren und dass er das AR weiterhin sieht, auch wenn das Bild teilweise durch z.B. jemanden, der davor geht, behindert wird. Um dies zu erreichen, nutzt Facebook den Viper-Tracker, der in der Vergangenheit beim SLAM-Tracking für World-Effekte eingesetzt wurde. Facebooks Verfahren übernimmt dies, indem es die Tragkonstruktion in der Umgebung außerhalb des Posters erkennt und trackt – mit einem hochoptimierten, der schnell genug ist, um auf Low End Smartphones zu laufen.

Möglichkeiten für Gründer und Unternehmen.

Diese neue Target Tracking Funktion bietet Unternehmen völlig neue Möglichkeiten, ihre Marken aufzubauen und mit Kunden durch immersive AR-Erlebnisse in Kontakt zu treten. Es ist eine neuartige und dynamische Methode, um Kunden über Berührungspunkte und auf der ganzen Welt zu erreichen. Das Filmposter (oder jedes andere Poster in diesem Zusammenhang) kann bei allen Arten von Werbeaktionen eingesetzt werden, von einem kostenlosen Popcorn bis hin zur Jagd auf Freikarten. Restaurants und Geschäfte können eindringliche und unterhaltsame AR-Erlebnisse schaffen, die an ihre Schaufenster gebunden sind, um Kunden dazu zu verleiten, durch die Tür zu gehen. Zudem wird die Möglichkeit Spiele zu entwickeln, weit über das hinausgehen, was die Vorstellungskraft hergibt. Die Möglichkeiten sind endlos.

Vielen Dank für ihren Besuch.