MIDI als Konzeptionswerkzeug

8

Im Laufe des Kurses „filmmaking with gaming engines" haben wir uns zusammen mit Quirin Maier als Coder mit dem Thema auseinander gesetzt, wie die Filmproduktion durch gaming engines beeinflusst und erweitert werden kann.
Unsere Gruppe hat sich auf die Parametrisierung von Film konzentriert und eine Anwendung entwickelt, mit der man einige dieser Parameter mithilfe eines Midi-Controllers beeinflussen kann. Hiermit wollen wir die Konzeptionsphase von (Animations)filmen und Bühnenshows revolutionieren und das Anpassen der Szenen auf eine spielerische Art und Weise möglich machen.

HALLO!

HALLO!

HALLO!

In unserer Szene können die Anwender*innen die Materialen, Animationen, Lichter, Kamera, Schnitt, Post Processing und die Positionen der Assets beeinflussen. Außerdem ist es möglich die einzelnen Parameter zu Systemen zusammenzufügen und diese zu automatisieren.
Da die Implementierung der verschiedenen Bestandteile jedoch immer noch recht kompliziert ist, sind wir der Meinung, dass unsere Anwendung nur für bestimmte Projekte wirklich gut geeignet ist. Hierzu zählen hauptsächlich Animationsfilme und Bühnenbilder, die nur in einem begrenzten, nicht allzu großen Raum stattfinden. Mit diesen Vorgaben, funktioniert das Ganze aber sehr gut und ist ein erfrischend neuer und intuitiver Weg mit seinem Projekt und dessen Konzeptphase umzugehen.

HALLO!

HALLO!

HALLO!

HALLO!

Modern game engines have become very powerful, to a point where they are capable of producing imagery that is usable for films. Due to the trends in the gaming industry they are pushed more and more to achieve photo realism, especially the Unreal Engine 4. So most of the time, the movies produced with game engines have a photo realistic look and a "Hollywood" feel to it.

To show that game engines are also powerful tools for film creation outside of the photo-real spectrum, we developed a post process effect that abstracts the world through textures given by the artist that works with it.

Game Engineering Student:
Pirmin Pfeifer | pirmin.pfeifer@stud-mail.uni-wuerzburg.de

HALLO!

HALLO!

HALLO!

HALLO!

HALLO!

HALLO!

HALLO!

HALLO!

Virtual Set Window

1

Das Plugin ist im Rahmen des TPs in Zusammenarbeit mit Benedikt Walter (benedikt.walter1@stud-mail.uni-wuerzburg.de, Games Engineering, JMU Würzburg) entstanden.
Das Unreal Engine Plugin ermöglicht die Simulation eines Fensters, um aus der realen Welt in eine virtuelle zu filmen.

HALLO!

HALLO!

Wie funktioniert das Virtual Set Window Plugin?

Das PlugIn besteht aus 3 Hauptkomponenten:
A) Der Tracker:
Der Tracker wird an das reale tracking-Gerät geknüpft, welches alles von einem Smartphone bis zu einen Vive-Tracker sein kann. In Unreal wird es als Smartphone dargestellt.
B) Der Bildschirm:
Der Bildschirm repräsentiert den Monitor/Fernseher der realen Welt. Seine Position ist statisch und das Objekt muss die Hauptkamera der Szene sein.
C) Das Bild:
Das Bild ist eine Fläche mit einer Aufnahmefunktion. Diese speichert die Welt hinter der Bildfläche in ein Material, bei welchem die Position des Trackers mit einberechnet wird.

HALLO!

HALLO!

MF_Image_UVs: Dieser Blueprint verwandelt die Relative World Position der Kamera und die Position der Kamera in Screen UVs. UVs

HALLO!

HALLO!

Mat_Image: Dieser Blueprint nimmt die vorher erzeugten UV-Parameter und erzeugt daraus eine Textur.

HALLO!

HALLO!

RT_Image: Im Render Target wird die Aufnahme der Screen Capture Component des VSW_Image Blueprint gespeichert.

HALLO!

HALLO!

VSW_Image: Dieser Blueprint zeigt das nachher auf dem Bildschirm sichtbare Bild an. Dieses wird aus dem Mat_Image Blueprint generiert. Der Bildwinkel davon ist in der VSW_Settings Parameter Collection einstellbar.

HALLO!

HALLO!

VSW_Screen: Dieser Blueprint bildet die Brücke zwischen der realen und der virtuellen Welt. Er funktioniert wie ein Kamera und zeigt den Inhalt auf dem realten Bildschirm an. Das Seitenverhältnis kann über die VSW_Settings Parameter Collection eingestellt werden.

HALLO!

HALLO!

VSW_Tracker: Dieser Blueprint ist mit dem Objekt des realen Trackers verbunden und ruft bei jedem Frame dessen Position ab.

Echtzeit Musikvisualisierung

10

Wenn man Audiovisualisierung hört, hat man oft zappelnde Balken im Kopf. Wieso eigentlich?
Sound ist wie vieles andere doch nur ein Parameter, der viele Dinge bestimmen kann, nicht nur die Größe von ein paar leuchtenden Balken.
Dieser Gedanke war für uns der Start für eine Reihe von Experimenten mit Musik als Ausgangspunkt, um in einer Game Engine Film entstehen zu lassen.



Ein Projekt von Sarah Hofmann (Master Games Engineering) & Max Seeger.

HALLO!
HALLO!

Entstanden ist ein kurzer Musikclip als Proof of Concept, der mithilfe einer Custom FMOD-Integration Audioanalyse in Echtzeit durchführt. Alle Animationen des Clips werden von einzelnen Audiospuren des Musikstücks getriggert und jeder Akteur reagiert so auf ein anderes Instrument. Auch der Schnitt des Films ist mithilfe eines eigens programmierten Kamerasystems entstanden, das den Schnitt abhängig von den rhythmischen Elementen der Musik und einigen Zufallsparametern selbstständig anfertigt. Dabei können die einzelnen Objekte der Szene an verschiedenen Fokuspunkten im Bildausschnitt erscheinen und der Schnitt, kann sich danach richten, welches der Objekte gerade "das aktivste" ist und somit am stärksten vom Audiosignal beeinflusst wird. Der gesamte Clip wurde in Echtzeit generiert und gerendert, einige Zufallsparameter machen es möglich, dass bei jedem Betrachten des Films in der Game Engine ein etwas anderer Film und Schnitt entsteht.

HALLO!

HALLO!

HALLO!

HALLO!

HALLO!

Wir haben uns mit dem Thema Filmmaking in VR auseinandergesetzt. Als Ergebnis des Kurses ist eine Software entstanden, mit der Filme in VR einfach und intuitiv geplant und vor visualisiert werden können. Als visuelle Thematik des Programmes haben wir das Western Genre beispielhaft gewählt, da es viele wichtige Aspekte des klassischen Filmemachens vereint.

Dieser Kurs ist in Zusammenarbeit mit Henrik Tietjens aus dem Studiengang Games Engeneering der Universität Würzburg entstanden.

HALLO!

HALLO!
HALLO!

HALLO!

HALLO!

HALLO!

Im VR Programm findet man ein bereits aufgebautes Filmstudio vor, in dem man nach Belieben sein eigenes Set bauen und bearbeiten kann. Der Fokus dabei liegt auf dem Ausprobieren und intuitiven Lernen. Wichtig war es uns dabei, das Filmemachen so einfach wie möglich zu gestalten – dafür haben wir drei verschiedene Arbeitsschritte entworfen, die simultan genutzt werden können.

HALLO!

Startraum

HALLO!

HALLO!

HALLO!

HALLO!

HALLO!

HALLO!

Erste Film-Experimente in VR mit "Blocks"

HALLO!