Echtzeit Musikvisualisierung

10

Wenn man Audiovisualisierung hört, hat man oft zappelnde Balken im Kopf. Wieso eigentlich?
Sound ist wie vieles andere doch nur ein Parameter, der viele Dinge bestimmen kann, nicht nur die Größe von ein paar leuchtenden Balken.
Dieser Gedanke war für uns der Start für eine Reihe von Experimenten mit Musik als Ausgangspunkt, um in einer Game Engine Film entstehen zu lassen.



Ein Projekt von Sarah Hofmann (Master Games Engineering) & Max Seeger.

Entstanden ist ein kurzer Musikclip als Proof of Concept, der mithilfe einer Custom FMOD-Integration Audioanalyse in Echtzeit durchführt. Alle Animationen des Clips werden von einzelnen Audiospuren des Musikstücks getriggert und jeder Akteur reagiert so auf ein anderes Instrument. Auch der Schnitt des Films ist mithilfe eines eigens programmierten Kamerasystems entstanden, das den Schnitt abhängig von den rhythmischen Elementen der Musik und einigen Zufallsparametern selbstständig anfertigt. Dabei können die einzelnen Objekte der Szene an verschiedenen Fokuspunkten im Bildausschnitt erscheinen und der Schnitt, kann sich danach richten, welches der Objekte gerade "das aktivste" ist und somit am stärksten vom Audiosignal beeinflusst wird. Der gesamte Clip wurde in Echtzeit generiert und gerendert, einige Zufallsparameter machen es möglich, dass bei jedem Betrachten des Films in der Game Engine ein etwas anderer Film und Schnitt entsteht.

10 Kommentare

wie geil das aussieht! Bin sehr fasziniert und begeistert- auch von der Technik dahinter.

sau schön!

Heftigen Respekt dafür, ist wunderschön geworden

WOW. Heftig!!!!!!!

So so ästhetisch!

tolles Projekt! sieht super ästhetisch aus 🙂

Richtig gut!!

richtig schöne Stimmung und Ästhetik!

Unreal ist ne Bitch!

Was kannst du NICHT, Max? Voll Gut einfach

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.