Ein Forscherteam von NetEase, einem chinesischen Gaminghersteller, hat ein System entwickelt, das automatisch Gesichter aus Fotos extrahieren und mit den Bilddaten Modelle im Spiel generieren kann. Die Ergebnisse des Papers mit dem Titel „Face-to-Parameter Translation for Game-Character Auto-Creation“ haben wir unten für Sie zusammengefasst.
Immer mehr Spieleentwickler entscheiden sich dafür, die KI zur Automatisierung zeitraubender Aufgaben zu nutzen. Beispielsweise verwenden Spieleentwickler KI-Algorithmen, um die Bewegungen von Charakteren und Objekten darzustellen. Eine weitere aktuelle Anwendung der KI durch Spieleentwickler ist die Entwicklung leistungsfähigerer Tools zur Charakteranpassung.
Die Charakteranpassung ist eine beliebte Funktion von Rollenspielen, die es Spielern des Spiels ermöglicht, ihre Spieler-Avatare auf vielfältige Weise anzupassen. Viele Spieler entscheiden sich dafür, Ihre Avatare wie Sie selber aussehen zu lassen, was mit zunehmender Komplexität der Charakteranpassungssysteme immer erreichbarer wird.
Immer mehr Spieleentwickler entscheiden sich dafür, die KI zur Automatisierung zeitraubender Aufgaben zu nutzen. Beispielsweise verwenden Spieleentwickler KI-Algorithmen, um die Bewegungen von Charakteren und Objekten darzustellen. Eine weitere aktuelle Anwendung der KI durch Spieleentwickler ist die Entwicklung leistungsfähigerer Tools zur Charakteranpassung.
Die Charakteranpassung ist eine beliebte Funktion von Rollenspielen, die es Spielern des Spiels ermöglicht, ihre Spieler-Avatare auf vielfältige Weise anzupassen. Viele Spieler entscheiden sich dafür, Ihre Avatare wie Sie selber aussehen zu lassen, was mit zunehmender Komplexität der Charakteranpassungssysteme immer erreichbarer wird. Mit zunehmender Komplexität dieser Charaktererstellungswerkzeuge werden sie jedoch auch viel komplexer. Die Erstellung eines Charakters, der sich selbst ähnelt, kann Stunden dauern, bis die Slider angepasst und die kryptischen Parameter geändert sind, indem es ein System entwickelt, das ein Foto des Spielers analysiert und ein Modell des Spielergesichts erzeugt.
Das automatische Zeichenerstellungswerkzeug besteht aus zwei Hälften: einem Imitationslernsystem und einem Parameterübersetzungssystem. Das Parameterübersetzungssystem extrahiert Merkmale aus dem Eingabebild und erstellt Parameter für das zu verwendende Lernsystem. Diese Parameter werden anschließend vom Imitationslernmodell verwendet, um die Darstellung der Eingabefläche iterativ zu erzeugen und zu verbessern.
Das imitierte Lernsystem hat eine Architektur, die die Art und Weise simuliert, wie die Game Engine Charaktermodelle mit einem konstanten Stil erstellt. Das Nachahmungsmodell wurde entwickelt, um die Wahrnehmung des Gesichts zu extrahieren, unter Berücksichtigung komplexer Variablen wie Bärte, Lippenstift, Augenbrauen und Frisur.
Die Gesichtsparameter werden durch den Prozess des Gradientenabfalls aktualisiert, verglichen mit der Eingabe. Der Unterschied zwischen den Eingabefeatures und dem generierten Modell wird ständig überprüft und es werden Optimierungen am Modell vorgenommen, bis das In-Game-Modell mit den Eingabefeatures übereinstimmt.
Nachdem das Imitationswerkzeug trainiert wurde, überprüft das Parameter-Übersetzungssystem die Ausgänge des Imitationsnetzwerks gegen die Merkmale des Eingangsbildes und entscheidet über einen Feature Space, der die Berechnung der optimalen Gesichtsparameter ermöglicht.
Die größte Herausforderung bestand darin, dass die 3D-Charaktermodelle Details und Erscheinungsbilder auf der Grundlage von Menschenfotos bewahren konnten. Dies ist ein domänenübergreifendes Problem, bei dem 3D- und 2D-Bilder von echten Menschen verglichen werden und die Kernfunktionen beider gleich sein müssen.
Die Forscher lösten dieses Problem mit zwei verschiedenen Techniken. Die erste Technik bestand darin, ihr Modelltraining in zwei verschiedenen Lernaufgaben aufzuteilen: eine Gesicht-Content-Aufgabe und eine diskriminierende Aufgabe. Die allgemeine Form und Struktur des Gesichts einer Person wird erkannt, indem die Differenz/der Verlust zwischen zwei globalen Erscheinungswerten minimiert wird, während diskriminierende/feine Details ausgefüllt werden, indem der Verlust zwischen Dingen wie Schatten in einer kleinen Region minimiert wird. Die beiden verschiedenen Lernaufgaben werden zu einer vollständigen Darstellung zusammengeführt.
Die zweite Technik zur Erzeugung von 3D-Modellen war ein 3D-Flächenkonstruktionssystem, das eine simulierte Skelettstruktur und Berücksichtigung der Knochenform verwendet. Dies ermöglichte es den Forschern, viel anspruchsvollere und genauere 3D-Bilder im Vergleich zu anderen 3D-Modellierungssystemen zu erstellen, die auf Gitter- oder Face-Meshes basieren.
Die Schaffung eines Systems, das realistische 3D-Modelle auf der Grundlage von 2D-Bildern erstellen kann, ist an sich schon beeindruckend genug, aber das automatische Generierungssystem arbeitet nicht nur mit 2D-Fotos. Das System kann auch Skizzen und Karikaturen von Gesichtern aufnehmen und als 3D-Modelle mit beeindruckender Genauigkeit darstellen. Das Forschungsteam vermutet, dass das System in der Lage ist, genaue Modelle auf der Grundlage von 2D zu generieren, da das System die Gesichtssemantik analysiert, anstatt Rohpixelwerte zu interpretieren.
Während der automatische Zeichengenerator verwendet werden kann, um Charaktere auf der Grundlage von Fotos zu erstellen, sagen die Forscher, dass der Benutzer diese auch als ergänzende Technik verwenden und den erzeugten Charakter nach seinen Präferenzen weiter bearbeiten kann.
Vielen Dank für Ihren Besuch.