Normalerweise sind teure Ausrüstung und Fachwissen erforderlich, um eine genaue 3D-Rekonstruktion des Gesichts einer Person zu erstellen, die realistisch wirkt. Vor Kurzem haben Forscher der Carnegie Mellon University dieses Kunststück mit Hilfe von Videos, die mit einem gewöhnlichen Smartphone aufgenommen wurden, vollbracht.

Smartphones 3D-Gesichtsrekonstruktionen

Wenn man mit einem Smartphone ein kontinuierliches Video von der Vorderseite und den Seiten des Gesichts aufnimmt, entsteht eine dichte Datencloud. Ein zweistufiges Verfahren, das vom Robotikinstitut der CMU entwickelt wurde, verwendet diese Daten mit Hilfe von Algorithmen für Deep Learning, um eine digitale Rekonstruktion des Gesichts zu erstellen. Die Experimente des Teams zeigen, dass ihre Methode eine Genauigkeit im Sub-Millimeter-Bereich erreichen kann und andere kamerabasierte Verfahren übertrifft.

Ein digitales Gesicht könnte zum Aufbau eines Avatars für Spiele oder für Virtual (VR) und Augmented Reality (AR) verwendet werden und es könnte auch in der Animation, der biometrischen Identifizierung und sogar in medizinischen Verfahren eingesetzt werden. Eine genaue 3D-Wiedergabe des Gesichts könnte auch bei der Erstellung von maßgeschneiderten chirurgischen Masken oder Atemschutzgeräten nützlich sein.

„Die Erstellung einer 3D-Rekonstruktion des Gesichts war bisher ein offenes Problem in der Computervision und -grafik, weil Menschen sehr empfindlich auf das Aussehen von Gesichtszügen reagieren„, sagte Simon Lucey, ein außerordentlicher Forschungsprofessor am Robotik-Institut. „Selbst kleine Anomalien in den Rekonstruktionen können das Endergebnis unrealistisch erscheinen lassen.“

Laserscanner, strukturiertes Licht und Mehrkamera-Studioeinrichtungen können hochpräzise Scans des Gesichts erzeugen, aber diese speziellen Sensoren sind für die meisten Anwendungen unerschwinglich teuer. Die neu entwickelte Methode von CMU erfordert jedoch nur ein Smartphone.

Die Methode, die Lucey zusammen mit den Master-Studenten Shubham Agrawal und Anuj Pahuja entwickelt hat, wurde Anfang März auf der IEEE-Winterkonferenz über Anwendungen von Computer Vision (WACV) in Snowmass, Colorado, vorgestellt. Es beginnt mit der Aufnahme von 15-20 Sekunden Video. In diesem Fall verwendeten die Forscher ein iPhone X in Zeitlupe.

„Die hohe Bildfrequenz der Zeitlupe ist einer der Schlüsselfaktoren für unsere Methode, weil sie eine dichte Punktwolke erzeugt„, sagte Lucey.

Die Forscher wenden anschließend eine häufig verwendete Technik an, die als visual simultaneous localization and mapping (SLAM) bezeichnet wird. Bei der visuellen SLAM werden Punkte auf einer Oberfläche trianguliert, um ihre Form zu berechnen, während diese Informationen gleichzeitig zur Bestimmung der Kameraposition verwendet werden. Dadurch wird eine anfängliche Geometrie des Gesichts erstellt, aber fehlende Daten hinterlassen Lücken im Modell.

Im zweiten Schritt dieses Prozesses arbeiten die Forscher daran, diese Lücken zu füllen, zunächst durch den Einsatz von Algorithmen für Deep Learning. Deep Learning wird jedoch nur begrenzt eingesetzt: Es identifiziert das Profil der Person und Orientierungspunkte wie Ohren, Augen und Nase. Dann werden klassische Computer-Sichttechniken eingesetzt, um die Lücken zu füllen.

„Deep Learning ist ein nützliches Werkzeug, das wir jeden Tag benutzen„, sagte Lucey. „Aber Deep Learning hat die Tendenz, sich Lösungen einzuprägen„, was den Bemühungen entgegensteht, unterscheidende Details des Gesichtes einzubeziehen. „Wenn man diese Algorithmen nur dazu benutzt, die Orientierungspunkte zu finden, kann man mit klassischen Methoden die Lücken viel leichter ausfüllen.“

Die Methode ist nicht unbedingt schnell. Es nimmt ca. 30-40 Minuten Bearbeitungszeit in Anspruch. Aber der gesamte Prozess kann auf einem Smartphone durchgeführt werden.

Zusätzlich zu den Gesichtsrekonstruktionen könnten die Methoden des CMU-Teams auch zur Erfassung der Geometrie fast aller Objekte eingesetzt werden, sagte Lucey. Digitale Rekonstruktionen dieser Objekte können dann in Animationen eingebunden werden oder vielleicht über das Internet auf Websites übertragen werden, auf denen die Objekte mit 3D-Druckern vervielfältigt werden könnten.

Vielen Dank für Ihren Besuch.