In unserer Szene können die Anwender*innen die Materialen, Animationen, Lichter, Kamera, Schnitt, Post Processing und die Positionen der Assets beeinflussen. Außerdem ist es möglich die einzelnen Parameter zu Systemen zusammenzufügen und diese zu automatisieren.
Da die Implementierung der verschiedenen Bestandteile jedoch immer noch recht kompliziert ist, sind wir der Meinung, dass unsere Anwendung nur für bestimmte Projekte wirklich gut geeignet ist. Hierzu zählen hauptsächlich Animationsfilme und Bühnenbilder, die nur in einem begrenzten, nicht allzu großen Raum stattfinden. Mit diesen Vorgaben, funktioniert das Ganze aber sehr gut und ist ein erfrischend neuer und intuitiver Weg mit seinem Projekt und dessen Konzeptphase umzugehen.

Wie funktioniert das Virtual Set Window Plugin?

Das PlugIn besteht aus 3 Hauptkomponenten:
A) Der Tracker:
Der Tracker wird an das reale tracking-Gerät geknüpft, welches alles von einem Smartphone bis zu einen Vive-Tracker sein kann. In Unreal wird es als Smartphone dargestellt.
B) Der Bildschirm:
Der Bildschirm repräsentiert den Monitor/Fernseher der realen Welt. Seine Position ist statisch und das Objekt muss die Hauptkamera der Szene sein.
C) Das Bild:
Das Bild ist eine Fläche mit einer Aufnahmefunktion. Diese speichert die Welt hinter der Bildfläche in ein Material, bei welchem die Position des Trackers mit einberechnet wird.

MF_Image_UVs: Dieser Blueprint verwandelt die Relative World Position der Kamera und die Position der Kamera in Screen UVs. UVs

Mat_Image: Dieser Blueprint nimmt die vorher erzeugten UV-Parameter und erzeugt daraus eine Textur.

RT_Image: Im Render Target wird die Aufnahme der Screen Capture Component des VSW_Image Blueprint gespeichert.

VSW_Image: Dieser Blueprint zeigt das nachher auf dem Bildschirm sichtbare Bild an. Dieses wird aus dem Mat_Image Blueprint generiert. Der Bildwinkel davon ist in der VSW_Settings Parameter Collection einstellbar.

VSW_Screen: Dieser Blueprint bildet die Brücke zwischen der realen und der virtuellen Welt. Er funktioniert wie ein Kamera und zeigt den Inhalt auf dem realten Bildschirm an. Das Seitenverhältnis kann über die VSW_Settings Parameter Collection eingestellt werden.

VSW_Tracker: Dieser Blueprint ist mit dem Objekt des realen Trackers verbunden und ruft bei jedem Frame dessen Position ab.

Entstanden ist ein kurzer Musikclip als Proof of Concept, der mithilfe einer Custom FMOD-Integration Audioanalyse in Echtzeit durchführt. Alle Animationen des Clips werden von einzelnen Audiospuren des Musikstücks getriggert und jeder Akteur reagiert so auf ein anderes Instrument. Auch der Schnitt des Films ist mithilfe eines eigens programmierten Kamerasystems entstanden, das den Schnitt abhängig von den rhythmischen Elementen der Musik und einigen Zufallsparametern selbstständig anfertigt. Dabei können die einzelnen Objekte der Szene an verschiedenen Fokuspunkten im Bildausschnitt erscheinen und der Schnitt, kann sich danach richten, welches der Objekte gerade "das aktivste" ist und somit am stärksten vom Audiosignal beeinflusst wird. Der gesamte Clip wurde in Echtzeit generiert und gerendert, einige Zufallsparameter machen es möglich, dass bei jedem Betrachten des Films in der Game Engine ein etwas anderer Film und Schnitt entsteht.

Im VR Programm findet man ein bereits aufgebautes Filmstudio vor, in dem man nach Belieben sein eigenes Set bauen und bearbeiten kann. Der Fokus dabei liegt auf dem Ausprobieren und intuitiven Lernen. Wichtig war es uns dabei, das Filmemachen so einfach wie möglich zu gestalten – dafür haben wir drei verschiedene Arbeitsschritte entworfen, die simultan genutzt werden können.