Wie Sie mit der iPhone X-Kamera Motion Capture-Aufnahmen machen können.

Neue Anwendungen und kreative Methoden von Drittanbietern ermöglichen es Ihnen, etwas zu schaffen, das weit von der Welt von Animoji & Memoji entfernt ist.

Es ist noch nicht einmal ein Jahr her, dass das iPhone X mit der Kamera und der Gesichtserkennungssoftware TrueDepth auf den Markt kam. Seit dem Debüt des Smartphones haben die Hersteller und Entwickler von Drittanbieter-Apps begonnen, die Möglichkeiten von TrueDepth auszuloten. Dies wird für alle Designer interessant sein, die sich fragen, ob Sie die Fähigkeiten ihres iPhone X für die Arbeit mit Motion-Capture-Aufnahmen freischalten und etwas Substantielleres als einen nickenden Kopf produzieren können, um es an ihre Freunde zu schicken.

Wer sich fragt, ob Body Capture mit dem iPhone X möglich ist, kann eine Technik ausprobieren, die von Cory Strassburger, Mitbegründer des in LA ansässigen filmischen VR-Studios Kite & Lightning, entwickelt wurde. Durch die Verwendung eines iPhone X in Verbindung mit der Xsens Inertial Motion Capture-Technologie zeigt Cory, dass man gleichzeitig Ganzkörper- und Gesichtsaufnahmen machen kann, wobei die endgültige animierte Figur per Live-Stream über IKINEMA LiveAction auf die Unreal Engine von Epic Games übertragen und gereinigt wird. Dies alles geschieht in Echtzeit, wie das folgenden Video zeigt:

Die Methode beruht auf einem selbstgebauten Mocap-Helm mit einem iPhone X, das auf das Gesicht des Benutzers gerichtet ist, einem Xsens MVN-System und IKINEMA LiveAction, um die Bewegung in Unreal Engine zu streamen und auf den Charakter Ihrer Wahl zu richten. Mit diesem Setup können die Benutzer eine Szene nachspielen, wo immer sie sich befinden, wie Cory auf der diesjährigen Siggraph demonstrieren wird – wo Digital Arts zu ihrer Information anwesend sein wird.

Diejenigen, die sich für die Arbeit mit Gesichtsaufnahmen interessieren, können es inzwischen mit Live Face versuchen, einer App, die kürzlich auf der Website Macworld vorgestellt wurde. Diese kostenlose App, die im Juni von Reallusion veröffentlicht wurde, speist Face-Tracking-Daten direkt in Echtzeit in einen Mac oder PC ein, wobei das iPhone X als Hotspot verwendet wird und eine Verbindung zu Ihrem Computer hergestellt wird, um Datenpunkte im Gesicht über Wi-Fi zu tracken.

Es ist jedoch zu beachten, dass die Enddaten von Reallusion`s Crazytalk Animator 3 Suite empfangen und verarbeitet werden. Die App ist derzeit nur mit dieser Software kompatibel, d.h. jeder, der nicht über diese Software verfügt, muss bei Interesse im App Store bis zu knapp 90 Dollar ausgeben.

Eine weitere Option für Gesichtsaufnahmen ist CV-AR von Maxon, eine ebenfalls im Juni veröffentlichte kostenlose App, die mit der Tribüne von Cinema 4D kompatibel ist. Die Software nimmt Ihre Gesichtsanimation auf und sendet sie an C4D, einschließlich Texturen und Ton, wobei die Daten lokal auf Ihrem iPhone in der App selbst gespeichert werden.

Die App wurde entwickelt, um die Erfassung und Übertragung von Gesichtsanimationen so nahtlos und mühelos wie möglich zu gestalten. Die Übertragung wird durch das Scannen eines QR-Codes ermöglicht, so dass es bei dieser App keine Hotspot- oder USB-Optionen gibt.

Eine eher zurückhaltende Version ist Face Cap von Solo-Entwickler Niels Jansson. Diese ist sehr intressant, da ihre Ausgabe nicht nur mit C4D, sondern auch mit Lightwave 3D, Autodesk Maya, Houdini und Blender funktionieren kann, was ihre Konkurrenten in den Schatten stellt.

Mit Face Cap können Sie 50 verschiedene Gesichtsausdrücke für eine Aufnahmedauer von bis zu 10 Minuten aufnehmen. Es exportiert generische Mesharbeiten, Mischformen und Animationen als Ascii-fbx und bietet eine native iOS-Freigabeschnittstelle, so dass Sie Ihre Aufnahmen per E-Mail oder Dropbox versenden können.

Zum Schluss wollen wir uns mit Animationen für iPhone X des französischen Unternehmens Polywink befassen.

Polywink ist eine neue Online-Plattform für 3D-Gesichtsanimation, die darauf abzielt, Studios und 3D-Profis durch die automatische Generierung von Mischformen und Rigs Zeit und Geld zu sparen. Mit anderen Worten, es handelt sich um einen Outsourcing-Service, bei dem Sie mit der iPhone X-Option ein neutrales 3D-Head-Modell hochladen können und animationsbereiten Charakter-Kopf erhalten.

Der Service generiert automatisch einen Satz von 51 Mischformen, die an die spezifische Topologie und Morphologie Ihres Charakters angepasst sind. Er lehnt sich eng an die ARKit-Dokumentation an, d.h. Sie können Ihr Modell an das ARKit Unity Plugin anschließen und das Face-Tracking des iPhones den Rest erledigen lassen. Es ist kein zusätzliches Rigging und Modellieren erforderlich. Der Service kostet Sie insgesamt 299 Dollar pro Kopf und verspricht eine Bearbeitungszeit von 24 Stunden.

Vielen Dank für Ihren Besuch.