Wenn man Audiovisualisierung hört, hat man oft zappelnde Balken im Kopf. Wieso eigentlich?
Sound ist wie vieles andere doch nur ein Parameter, der viele Dinge bestimmen kann, nicht nur die Größe von ein paar leuchtenden Balken.
Dieser Gedanke war für uns der Start für eine Reihe von Experimenten mit Musik als Ausgangspunkt, um in einer Game Engine Film entstehen zu lassen.
Ein Projekt von Sarah Hofmann (Master Games Engineering) & Max Seeger.
Entstanden ist ein kurzer Musikclip als Proof of Concept, der mithilfe einer Custom FMOD-Integration Audioanalyse in Echtzeit durchführt. Alle Animationen des Clips werden von einzelnen Audiospuren des Musikstücks getriggert und jeder Akteur reagiert so auf ein anderes Instrument. Auch der Schnitt des Films ist mithilfe eines eigens programmierten Kamerasystems entstanden, das den Schnitt abhängig von den rhythmischen Elementen der Musik und einigen Zufallsparametern selbstständig anfertigt. Dabei können die einzelnen Objekte der Szene an verschiedenen Fokuspunkten im Bildausschnitt erscheinen und der Schnitt, kann sich danach richten, welches der Objekte gerade "das aktivste" ist und somit am stärksten vom Audiosignal beeinflusst wird. Der gesamte Clip wurde in Echtzeit generiert und gerendert, einige Zufallsparameter machen es möglich, dass bei jedem Betrachten des Films in der Game Engine ein etwas anderer Film und Schnitt entsteht.
10 Kommentare
Marie Isemann
wie geil das aussieht! Bin sehr fasziniert und begeistert- auch von der Technik dahinter.
Jule-Sophia Joos
sau schön!
Richard
Heftigen Respekt dafür, ist wunderschön geworden
Charlotte Klug
WOW. Heftig!!!!!!!
Carolina Kühn
So so ästhetisch!
Juan Cruz Caamaño
tolles Projekt! sieht super ästhetisch aus 🙂
Leonie Geyer
Richtig gut!!
Lena Ziegler
richtig schöne Stimmung und Ästhetik!
DER UNREAL BOI
Unreal ist ne Bitch!
Ian Truong
Was kannst du NICHT, Max? Voll Gut einfach