Jedes Mal, wenn ein computergeneriertes (CG) Element in eine Live-Action-Sequenz eingefügt werden muss oder umgekehrt, ist ein Matchmove erforderlich. Aber was genau ist Matchmoving?

Einstieg Matchmoving

Matchmoving ist der Prozess des Zusammenfügens von CG-Elementen zu Live-Action-Aufnahmen. Folglich ist es ein entscheidender Teil vieler Aufnahmen mit visuellen Effekten. Trotz seiner Bedeutung ist es in der endgültigen Aufnahme völlig unsichtbar – wenn es richtig gemacht wird.

In diesem Beitrag werden wir die wichtigsten Schritte eines Matchmoves erklären. Zudem werden wir erläutern, wie ein Matchmover mit dem Rest des Visual-Effects-Team zusammenarbeitet. Wir haben auch ein Tutorial hinzugefügt, das Ihnen helfen soll, sich mit der Arbeit mit Kameras und der Perspektive vertraut zu machen.

Ein typischer Matchmove.

Um besser zu verstehen, was Matchmover genau macht, betrachten wir eine typische Aufnahme mit visuellen Effekten. Der Regisseur hat eine CG-Kreatur aufgefordert, aus dem Fenster eines Gebäudes zu stürzen und über die Straße und in eine Gasse zu rennen. Da das Monster mit dem Fenster interagieren muss, entscheidet der Supervisor für visuelle Effekte, dass zusätzlich zum Monster auch der Fensterzertrümmerungseffekt im Computer durchgeführt werden sollte.

Am Drehtag trifft der Regisseur die künstlerische Entscheidung, wie er die Szene drehen möchte und entscheidet schließlich über eine Kameraposition, die ihm gefällt. Es gibt eine Öffnung am Gebäude, wo das Fenster sein sollte, obwohl die Glasscheiben fehlen. Der Regisseur und Kameramann üben einige Male die Kamerabewegung und schauen sich die Videowiedergabe an, um zu sehen, wie sie aussieht. Beim Filmen bewegen sie die Kamera, als ob sie dem Monster folgt, das durch das Fenster kracht und über die Straße rennt, obwohl das Monster nicht anwesend ist. Statisten reagieren auf das imaginäre Ungeheuer und die Requisiten um das Fenster herum sind mit einer monofilen Schnur versehen, die auf Kommando heruntergezogen wird, als ob sie umgestoßen worden wären. Sobald der Regisseur mit der Aufnahme zufrieden ist, wird der Film zur Digitalisierung verschicht und anschließend den Designern für visuelle Effekte übergeben, damit sie das Monster hinzufügen.

Wenn das Studio für visuelle Effekte die digitalisierte Sequenz (bekannt als Platte) erhält, entscheidet es, dass es einen Animator benötigt, um die Kreatur zu animieren und eine technische Leiter (TD), um den Glaszertrümmerungseffekt zu erzielen. Zudem benötigen Sie natürlich auch einen Matchmover, um die Platte zu bewegen.

Das Ziel der Designer für visuelle Effekte ist es, ihre 3D-Elemente so realistisch wie die gefilmte Szene aussehen zu lassen. Der Animator muss die Kreatur dazu bringen, sich so zu bewegen, als ob sie wirklich durch ein Fenster stürzen würde und der TD muss das Fenster wie ein echtes Fenster zersplittern lassen. Der Matchmover muss herausfinden, wo sich die Kamera befand und wie sie sich bewegte, als die Szene gefilmt wurde.

Matchmover spielen in diesem Fall eine wichtige Rolle, weil damit die Kreatur und das Fenster realistisch mit der Szene übereinstimmen, müssen sie sicherstellen, dass die CG-Objekte mit Ihrer CG-Kamera auf dieselbe Weise „gefilmt“ werden, wie das reale Set mit der realen Kamera gefilmt wurde. Denken Sie an das Fenster, das zerbrechen muss – wenn die Perspektive des Fensters nicht mit der Perspektive in der Platte übereinstimmt, sieht es fehl am Platz aus. Wenn sich die echte Kamera nach links bewegt und das CG-Fenster an seinem Platz bleibt, weiß jeder, dass es sich um eine Fälschung handelt.

In unserem Beispiel für die Aufnahme von Effekten misst der für die visuellen Effekte zuständige Supervisor die wichtigsten Punkte am Set. Sie misst zum Beispiel die Größe der Fensteröffnung sowie die Höhe des Fensters über dem Boden. Sie misst die Entfernung über die Straße und die Größe der Öffnung zur Gasse. Sie zeichnet ein grobes Bild des Sets und macht sich Notizen über die Positionen bestimmter Requisiten und Lichter, die nützlich sein könnten, um sie zu erkennen. Sie misst auch, wie hoch die Kamera vom Boden entfernt ist, welches Objektiv verwendet wird und wie weit sie vom Fenster entfernt ist.

Normalerweise starten der Animator, der TD und der Matchmover alle gleichzeitig. Da es einige Messungen des Sets gibt, weiß der Animator, wie hoch das Wesen springen muss, um durch das Fenster zu gelangen und wie weit es über die Straße laufen muss. Der TD kennt die Größe des Fensters, das zerbrechen muss und weiß, wie hoch es vom Boden aus ist. Dies sind genügend Informationen, um mit dem Aufbau der Szenen zu beginnen.

Während sie das tun, untersucht der Matchmover zunächst das Filmmaterial, um sich ein Bild davon zu machen, wie die Kamera während der Aufnahme bewegt wurde. Er bringt das Filmmaterial in seine Matchmover-Software und beginnt, die 2D-Merkmale in der Szene zu tracken, während sie sich auf dem Bildschirm bewegen. Beim 2D-Tracken geht es normalerweise darum, Dinge in der Szene zu identifizieren, die sich nicht bewegen (z.B. die Ecke eines Gebäudes) und anschließend die Software diesem Merkmal beim Abspielen des Filmmaterials folgen zu lassen.

Nachdem der Matchmover eine Reihe von 2D-Spuren getrackt hat, analysiert die Software diese Spuren und berechnet die Position der Kamera im Verhältnis zu den Gegenständen in der Szene. Am Ende dieses Prozesses exportiert der Matchmover eine Szene in sein 3D-Animationsprojekt, das eine animierte Kamera und die 3D-Positionen für alle von ihm getrackten Merkmale enthält.

Sobald der Matchmover mit der von ihm erstellten Kamera zufrieden ist, geht er daran, diese Kamera in eine CG-Szene einzubauen, die dieselbe Größe hat wie die, die der Animator und TD verwenden. Wenn dieser fertig ist, kann er durch seine CG-Kamera auf das CG-Fenster und die Kreatur blicken und sie erscheinen in der richtigen Perspektive und im richtigen Maßstab im Vergleich zu den ursprünglichen Live-Action-Aufnahmen.

Schließlich speichert dieser die Szene mit einer Matchmove-Kamera darin. Sowohl der Animator als auch der TD verwenden diese Kamera, um ihre Animationen zu rendern. Wenn sie ihr Fenster und ihre Kreatur an der richtigen Stelle in der Umgebung platziert haben, brauchen sie sich keine Gedanken darüber zu machen, ob die Perspektive übereinstimmt oder ob die Bewegung der Kamera dieselbe ist. Solange sie es mit der Matchmove-Kamera gerendert haben, erscheint es im Filmmaterial angepasst.

Von 3D zu 2D und wieder zurück.

Keine Diskussion über Matchmoving wäre vollständig, ohne die Kameras zu diskutieren. Für Matchmover ist es wichtig zu verstehen, wie Kameras in der relaen Welt funktionieren und wie sie die Bilder, die wir auf dem Bildschirm sehen, erzeugen. Wir werden im Folgenden die grundlegenden Konzepte über Kameras in der realen Welt besprechen, bevor man richtig mit der Arbeit beginnen kann.

Wenn eine reale Kamera eine Szene filmt, tut sie im Grunde nur eines: die dreidimensionale Welt als zweidimensionales Bild einzufangen. Das heißt, sie sammelt Licht aus der 3D-Welt um uns herum und nimmt es in einer 2D-Form auf, wie z.B. ein Stück Film oder ein digitales Bild. Betrachten wir einen Moment lang genau, wie dies geschieht.

Das Licht aus der Szene geht durch das Kameraobjektiv und wird auf den Film fokussiert, der im Filmtor auf der Rückseite der Innenkammer der Kamera liegt. Der Verschluss schließt sich, der Film fährt vor, der Verschluss öffnet sich wieder und der Vorgang wiederholt sich. Bei Digitalkameras werden der Film und das Filmgitter durch ein CCD (Charg-Coupled Device) ersetzt, das die Lichtinformationen elektronisch erfasst und in einer Art Speichergerät speichert.

Die Kameras in einem 3D-Animationsprogramm basieren auf echten Kameras, werden aber etwas anders dargestellt. 3D-Animationskameras stellen ein mathematisch perfektes Modell der Optik und Konstruktion einer realen Kamera dar. Wie reale Kameras haben sie eine Brennweite und ein Filmrückteil (entspricht einem Filmtor). Aber anstatt Licht aus der realen Welt einzufangen, erfassen sie lediglich Informationen der synthetischen, computergenerierten Umgebung, in der sie aufgestellt wurden.

Unabhängig davon, ob es sich um belichteten Film oder ein 3D-Rendering handelt, das resultierende Bild ist eine Projektion. Das heißt, die dreidimensionale Szene wird zu einer zweidimensionalen Darstellung dieser Szene abgeflacht.Wir haben uns so sehr an diese angeflachten Bilder gewöhnt, dass wir sie kaum noch wahrnehmen, aber jedes Mal, wenn wir fernsehen oder einen Film ansehen, sehen wir eine flache Aufnahme einer dreidimensionalen Szene.

Der Matchmoving-Prozess.

Wenn also der Zweck einer Kamera darin besteht, die dreidimensionale Welt aufzunehmen und ein zweidimensionales Bild zu machen, ist die Aufgabe eines Matchmovers genau das Gegenteil. Ein Matchmover muss ein zweidimensionales Bild aufnehmen und eine dreidimensionale Welt schaffen. Das Portal zwischen diesen beiden Hälften ist die Kamera. Wenn die Informationen über die Kamera rekonstruiert werden können, wird es sehr hilfreich sein, um herauszufinden, wie die 3D-Umgebung zum Zeitpunkt der Dreharbeiten ausgesehen haben muss. Diese Informationen – die 3D-Umgebung und die Kamera – sind das, was ein Matchmover letztendlich den Animatoren liefert, um mit Ihnen zu arbeiten.

Der Arbeitsablauf eines Matchmovers folgt im Allgemeinen bei jeder Aufnahme dem gleichen Muster, obwohl es eine Vielzahl von Möglichkeiten gibt, jede Aufgabe zu erledigen. Im Folgenden möchten wir die Schritte einer typischen Matchmove-Pipeline etwas näher beschreiben.

Bewerten Sie das Filmmaterial.

Dies ist vielleicht der wichtigste Schritt im Matchmoving-Prozess, der leider oft übersehen wird. Es gibt viele Möglichkeiten, einen Matchmove zu lösen und eine sorgfältige Prüfung der Platte kann das helfen, das geeignete Werkzeug zu bestimmen, welche Fallen zu beachten sind und wie lange es in etwa dauern kann. Dieser letzte Punkt ist besonders wichtig, da Kunden und Vorgesetzte diesen oft ganz oben auf die Liste ihrer Fragen setzen.

Ein Grund dafür, dass der Bewertungsprozess so oft beschönigt wird, ist, dass viele der Dinge, die die Schwierigkeit von Matchmove bestimmen, eine gewisse Erfahrung zur Beurteilung erfordern. Einige typische Fragen, die während der Bewertung eines Shots gestellt werden, könnten sein:

  • Was scheint die Kamera zu machen? Bewegt sie sich und wenn ja, wie?
  • Ist sie blockiert oder schwenkt sie? Wie schnell bewegt sie sich?
  • Was ist in der Aufnahme sichtbar? Gibt es Tracking Marker? Blockiert irgendetwas die Marker?
  • Welches Format hat die Platte? Wurde sie auf Film aufgenommen?
  • DV? HD? Sind die Bilder übermäßig komprimiert, körnig oder verrauscht?
  • Was muss in die Aufnahme eingelegt werden? Wie genau muss die Aufnahme sein?
  • Wer wird den Matchmove verwenden und wie wird dieser verwendet?

Informationen anwenden.

Wie wir schon erwähnt hatten, kann das Lösen eines Matchmoves wie das Lösen eines Rätsels sein. Von daher sollte es umso einfacher sein, gute Ergebnisse zu erzielen, je mehr Informationen es gibt.

Die Menge der Informationen, die den Matchmovern gegeben wird, kann die ganze Skala durchlaufen. Vielleicht gibt es nur eine Bildsequenz und sonst nichts oder vielleicht wurde jemandem am Set erlaubt, alle Kamerainformationen aufzunehmen und Messungen vorzunehmen. Normalerweise liegt es irgendwo dazwischen. Aber die gute Nachricht ist, dass eine überraschend kleine Menge an Daten einen großen Beitrag zur Lösung des Matchmoves leisten kann.

Die folgenden Daten sind typische Daten, die ein Matchmover enthalten könnte:

  • Kamerainformationen wie Brennweite, Blende und Filmtyp.
  • Set-Messungen einschließlich Kamerahöhe, Fokusentfernung und Messungen verschiedener Elemente in der Aufnahme.
  • Vermessungsdaten: Dies ist eine sehr detaillierte Vermessung des Sets, die normalerweise von einem professionellen Vermesser durchgeführt wird.

Definieren Sie die Kamera.

Wie bereits erwähnt, ist es die Aufgabe des Matchmovers alle internen und externen Parameter der Kamera zu definieren und es gibt viele Möglichkeiten, dies zu tun. Sie wissen, welche Methode und unter welche Umständen anzuwenden ist, bringt Erfahrung mit sich, aber manchmal besteht der einzige Weg darin, den Matchmove zu lösen, das Experimentieren und zu sehen, was am besten funktioniert. Im Großen und Ganzen gibt es für die Kamera zwei Hauptlösungswege: manuell und automatisch.

Die manuellen Methoden gehen auf die Zeit zurück, bevor es Software gab, die Matchmover unterstützte. Zu dieser Kategorie gehören das perspektivische Matching (die Anpassung an die Perspektive eines einzelnen Hintergrundbildes statt einer Bildsequenz) und das altmodische Handtracking. Bei dieser Methode des Trackens einer Sequenz wird über die Position der Kamera spekuliert und anschließend über viele Iterationen verfeinert, bis ein Match erreicht ist. Das Tracken einer Kamera von Hand ist keine kleine Leistung. Es kann oft Wochen dauern, bis man wirklich herausfindet, was passiert, weil der Prozess ist nichts anderes als das Erstellen von fundierten Vermutungen und deren Verfeinerung, bis sie funktionieren.

In den letzten einigen Jahren ist eine Software entstanden, die es einem Matchmover ermöglicht, Kameras mit Hilfe einer ausgekügelten Technologie, der so genannten Photogrammetrie, einigermaßen automatisch zu tracken. Diese Softwarepakete haben in der Regel einen ähnlichen Arbeitsablauf wie sie. Zunächst werden Merkmale im Bild, wie z.B. Requisiten in der Szene oder Tape Marker getrackt während sie sich in 2D um das Bild herum bewegen. Dann führt die Software eine Kalibrierung für die Kamera durch, indem sie die Bewegungen der 3D-Tracking-Marker mathematisch analysiert. Diese Pakete erzeugen normalerweise eine animierte Kamera und 3D-Marker ohne Nullen, die die dreidimensionale Position von Merkmalen darstellen, die in 3D getrackt wurden. Matchmover verwendet diese Methode am häufigsten, da es der einfachste Weg ist, eine Lösung zu finden.

Einige Methoden basieren sowohl auf manuellen als auch auf automatischen Techniken. Hierbei handelt es sich dabei um maßgeschneiderte Lösungen, die sich um beide Arten von Arbeitsabläufen drehen. Zum Beispiel könnten die 2D-Trackinginformationen aus der Matchmoving-Software mit einem benutzerdefinierten Skript verwendet werden, das dem Matchmover die Lösung für Pan Shots ermöglicht.

Fitting einstellen.

Kameras sind von zentraler Bedeutung, wenn es um das Matchmoving geht. Matchmovers müssen nicht nur alle Fakten über die Kamera aufdecken, sondern auch die räumliche Anordnung der Umgebung auf der Live-Action-Platte rekonstruieren.

Diese Informationen sind sehr wichtig. Nehmen wir ein Beispiel von einem fotografierten Gebäude und betrachten dazu das entsprechende Bild. Folgende Konstellationen wären denkbar:

  • So könnte ein Bild z.B. eine falsche Kamera und ein falsches Gebäude, also ein wirres Durcheinander zeigen.
  • Das Bild könnte die richtige Kamera haben, aber das Gebäude könnte zu nah an der Kamera sein.
  • Das Gebäude befindet sich in der richtigen Position und Entfernung zur Kamera, aber da die Kamera nicht korrekt ist, stimmt das Gebäude immer noch nicht überein.
  • Das letzte Bild zeigt, wie es mit der richtigen Kamera und der korrekten Gebäudeplatzierung in Einklang gebracht werden sollte.

Die beschriebenen möglichen Konstellationen des Bildes veranschaulichen, dass es beim Matchmoving nicht nur darum geht, Kameras und nicht nur Umgebungen zu lösen, sondern auch darum, die Beziehung zwischen den beiden herauszufinden.

Wie viel von der Umgebung muss der Matchmover reproduzieren? Das hängt davon ab, was in das Filmmaterial eingefügt wird. Wenn es sich lediglich um eine vorbeigehende Figur handelt, benötigen die Animatoren und die TDs möglicherweise eine grobe Geometrie und eine punktgenaue Positionierung erfordern. Vor Beginn eines Matchmoves ist es wichtig, herauszufinden, welche Art von 3D-Objekt in die Szene kommt und wo genau es platziert wird.

3D-Umgebungen können aus verschiedenen Quellen stammen. Oftmals erstellen die Matchmover die grobe Geometrie selbst oder erhalten einen Satz, der in die Platte „passt“. Zudem kann in einigen Situationen der Matchmover einen groben Satz liefern, aus dem später ein detaillierter Satz von einem Modellierer konstruiert wird. Oftmals verwenden die Matchmover 3D-Marker, die sie während des Matchmovers berechnet haben, um Informationen über die räumlichen Beziehungen der Szene zu erhalten. Aber unabhängig davon, woher die Informationen stammen, ist es oft die Aufgabe des Matchmovers, die Umgebung zu bestimmen und die Szene so einzurichten, dass sich andere Designer weiter unten in der Produktionspipeline nicht darum kümmern müssen.

Den Matchmove testen.

Sobald der Matchmove gelöst ist, miss dieser auf seine Genauigkeit getestet werden. Ein schlechter Matchmove zeigt sich in der Regel als eine offensichtliche Trennung zwischen der Live-Action-Platte und den CG-Elementen. So scheint das CG-Element beispielsweise der Bewegung und Rotation der Live-Action-Szene zu folgen, aber anschließend springt das CG-Element plötzlich an einen anderen Ort oder entfernt sich allmählich von dem Feature, auf dem es eigentlich ruhen sollte. Das Testen des Matchmoves besteht darin, die 3D-Objekte über die Bildsequenz zusammenzusetzen und zu beobachten, wie sich die Sequenz bewegt, um zu sehen, ob es ungewöhnliche Pops, Drifts oder Jitter gibt.

Wir hoffen, dass wir Ihnen einen ersten kleinen Überblick über das Matchmoving geben konnten. Wenn Sie noch Fragen oder Anregungen haben sollten, hinterlassen Sie uns unten einen Kommentar.

Vielen Dank für Ihren Besuch.