Wie Sie als Entwickler mit Unity in Augmented Reality animieren können.

Die Veröffentlichung von ARKit und dem iPhone X haben es Unity ermöglicht, den nächsten Schritt in der Augmented Reality Technologie zu machen. Sie haben nun das Gefühl, dass sie diese Technologie nutzen können, um verschiedene Gesichtserkennungen, die durch ihre Software erweitert werden können, stärker zu erfassen.

Unity Labs hatte sich mit dem Animationsteam hinter dem Kurzfilm Windup zusammengetan, um zu sehen, wie weit sie ihre Echtzeit-Animationstechnologie vorantreiben können. Das Ergebnis ihrer Bemühungen war ein neues Gerät mit der Bezeichnung Facial AR Remote, das als „ein Weg mit geringem Overhead beschrieben wurde, um die Leistung mit einem angeschlossenen Gerät direkt in den Unity-Editor einzufangen.“

Der Remote wurde nicht nur für die Animation, sondern auch für die Formung der Charaktermodelle und deren Montage auf den Puppenspieler als nützlich erachtet. Unity erklärt, dass der Remote in der Lage ist, das Gesicht eines Schauspielers aufzunehmen und anschließend schnell an einem bestimmten Charaktermodell zu befestigen. Darüber hinaus kann sie verwendet werden, um das Modell zu aktualisieren oder die Animation so zu ändern, dass sie zu einer anderen Figur passt, ohne dass zusätzliche Aufnahmen mit dem Schauspieler gemacht werden müssen. Damit wird das Ziel von Unity erreicht, den Arbeitsablauf zu verkürzen und es den Designern zu ermöglichen, flexibler und experimentieller mit der Handhabung der Aufnahmen und der Animation umzugehen.

Laut Unity besteht die Art und Weise, wie der Remote funktioniert, darin, dass der Remote „aus einer Client-Smartphone-App besteht, wobei ein Stream-Reader als Server im Editor von Unity fungiert. Der Client ist eine leichte Anwendung, die in der Lage ist, die neuesten Ergänzungen des ARKit zu nutzen und diese Daten über das Netzwerk an die Netzwerk-Stream-Quelle des Stream-Reader GameObjects zu senden. Über einen einfachen TCP/IP-Socket und einen Byte-Stream fester Größe senden wir jedes Frame mit Blendshape-, Kamera- und Head-Pose-Daten vom Gerät an den Editor. Der Redakteur dekodiert anschließend den Stream und aktualisiert die geriggte Figur in Echtzeit.

Durch die Partnerschaft mit Windup hatte das Unity-Team Zugang zu ihrer zuvor erstellten technischen Demo und konnte ihre hochwertigen Ressourcen nutzen. Das bedeutet, dass sie mehr Zeit hatten, um mit der Erstellung der verschiedenen Werkzeuge zu experimentieren, um die Modelle bestmöglichst zu kombinieren. Der Hauptschwerpunkt der Versuche bestand darin, die Probleme mit dem „Jitter, der Glättung und der Formabstimmung“ der Modelle zu lösen. Eine der schwierigsten Aufgaben für das Team war herauszufinden, wie man ein junges Mädchen zum Lächeln bringt.

Das Unity-Team hofft, dass die von ihnen entwickelte AR-Technologie die Grenzen dessen, was Entwickler mit Animationen machen können, durchbrechen und sie für Menschen unterschiedlichen Alters zugänglicher machen kann, auch wenn sie keine Entwickler sind, wie z.B. ein Kind, das ein Modell seiner Lieblings-Cartoon-Figur als Pupper sieht.

Vielen Dank für Ihren Besuch.