Kann das iPhone X ein schnelles, günstiges und einfaches Facial Capture System bieten? Innerhalb eines Tages testete Cory Strassburger eine Software auf seinem iPhone X, die mit seiner TrueDepth-Kamera und ARKit funktioniert. Er wollte sehen, ob es für ihr Spiel und für filmische Inhalte verwendet werden kann.

iPhone X mit Maya

Kite & Lightning war ein früher Innovator mit Oculus VR-Entwickler-Kits und baute bekannte Spiele wie Senza Peso auf, bei denen einige auffällige Menschenaufnahmen verwendet wurden. Jetzt bauen sie Bebylon Battle Royale. Das Spiel dreht sich um diese „Beby“-Charaktere, die eine gigantische Einstellung haben. Er wollte sehen, ob es möglich wäre, diesen Charakteren mit Hilfe von Gesichtsaufnahmen für das iPhone X schneller und billiger eine große Persönlichkeit zu geben. Zudem hat er einen Teil seiner Zeit am Wochenende damit verbracht.

„Ich denke, meine große Schlussfolgerung im Moment ist, dass die Erfassungsdaten, die vom iPhone X kommen, schockierend subtil, stabil und nicht übermäßig geglättet sind“, schrieb Straßburger in einer E-Mail.

„Es nimmt tatsächlich sehr subtile Bewegungen auf, sogar kleine Zuckungen und ist sauber genug (rauschfrei), um es direkt aus dem Smartphone heraus zu benutzen, natürlich abhängig von Ihren Standards.“

Seiner Meinung nach stellt es eine praktikable Methode zur relativ kostengünstigen Erfassung des Gesichts dar. Das System ist auch mobil, könnte die Einrichtung und den Einsatz erleichtern. Apple hat eine Firma mit dem Namen Faceshift übernommen, die einen Großteil dieser Funktionalität zu beherrschen scheint. Obwohl die Lösung von Faceshift laut Straßburger noch andere coole Funktionen hatte, konnte er mit dem, was Apple mit dem iPhone X herausgebracht hat, genug Ausdruckskraft herausholen, so dass es sich immer noch als nützlich für die VR-Produktion erweisen könnte.

For privacy reasons YouTube needs your permission to be loaded. For more details, please see our Datenschutzerklärung.

Capture Prozess.

Hier ist der von Strassburger skizzierte Capture-Prozess für die Aufnahme der Gesichtsdaten des iPhone X und deren Verwendung zur Animation der Mimik eines Charakters in Maya:

  • Mit Apples ARKit und Unity importierten wir einen in Arbeit befindlichen Bebylon-Charakter und fügten seine Mimikmischformen in die von ARKit ausgegebenen Facial Capture Daten ein. Dadurch konnten wir die Gesichtsanimation des Babys auf der Grundlage unserer eigenen Mimik steuern.
  • Wir mussten diese Daten für die Gesichtsausdrücke erfassen, um sie in Maya importieren zu können. Wir fügten eine Datensatzfunktion hinzu, um die Mimikdaten in eine Textdatei zu übertragen. Diese wird lokal auf dem iPhone gespeichert. Jeder Start- und Stop-Take wird zu einer separaten Textdatei und kann innerhalb der Capture-App benannt/umbenannt werden.
  • Wir kopieren die Textdateien vom iPhone X über USB auf den Desktop.
  • Die erfassten Daten müssen für den Import in Maya neu formatiert werden, also haben wir eine einfache Desktop-Applikation dafür geschrieben. Sie nimmt die ausgewählte(n) Textdateie(n) und konvertiert sie in Maya-.anim-Dateien.
  • Wir importieren die .anim-Datei in Maya und voila, Ihr Charakter ahmt das nach, was Sie während der Aufnahme auf dem iPhone gesehen haben.

Laut Straßburger hat er gesehen, dass ein paar kleinere Störungen in den Daten auftraten und denkt, dass sein Code wahrscheinlich dafür verantwortlich war. Obwohl die Aufnahme mit 60 Bildern pro Sekunde erfolgt, wird derzeit mit 30 Bildern pro Sekunde gerendert, so dass ein gewisser Qualitätsverlust erkennbar ist. Dies ist laut Strassburger vor allem im Abschnitt „Horse Lips“ bemerkenswert.

„Das wirklich Schöne an diesem System ist, dass es unglaublich schnell und einfach zu erfassen ist und anschließend in Maya oder direkt in die Game-Engine zu importieren“, schrieb Straßburger. „Es ist zu keinem Zeitpunkt eine echte Verarbeitung erforderlich und die Daten scheinen direkt aus dem Smartphone sauber genug zu sein, um sie unverändert zu verwenden.“

Nächste Schritte.

Strassburger hofft, dass iPhone X an einem Helm zu befestigen und anschließend mit einem Xsens-Anzug gleichzeitig Ganzkörperbewegungen und Face-Tracking durchzuführen.

„Ich bin ziemlich zuversichtlich, dass diese Nebenfigur durch die Einwahl der Blendshape-Skulpturen und das Hinzufügen von richtigen Wrinkle Maps, die die Haut verformen, wenn das Gesicht animiert wird, dramatisch verbessert werden könnte“, schrieb Straßburger. „Außerdem wird die Verwendung der erfassten Daten zur Steuerung der sekundären Mischformen dazu beitragen, dass sich die Ausdrücke dynamischer und lebendiger anfühlen.“

Vielen Dank für Ihren Besuch.