Jewels Of The Sea

4

Digitale Narrative im Mikrokosmos

Für jeden vierten Atemzug, dürfen wir uns bei den Kieselalgen bedanken. Diese winzigen, Photosynthese betreibenden Einzeller produzieren nämlich ungefähr ein Viertel des globalen Sauerstoffs. Obwohl diese mikroskopischen Organismen so unfassbar wichtig für unseren Kohlenstoffkreislauf sind, sind sie außer Biolog:innen und Mikroskopiker:innen den wenigsten Menschen ein Begriff. Der Grund für ihre allgemeine Unbekanntheit liegt wahrscheinlich vor allem an ihrer Größe. Denn Kieselalgen sind zwischen 1 und 500 Mikrometer groß und werden erst unter dem Mikroskop sichtbar. Neben Biolog:innen, konnten sich aber in der Vergangenheit auch vereinzelt Künstler:innen für die vielfältigen, geometrischen Formen der gläsernen Einzeller begeistern. Diese Arbeit zeigt einen Ansatz, um digitale Kieselalgenmodelle generativ zu erzeugen auf Basis von echten Kieselalgen, die per Deep-Learning basierter Image Detection live unter einem Lichtmikroskop identifiziert werden. Alle digitalen Kieselalgen werden in Echtzeit in 4k generiert und gerendert.

Kieselalgen, oder Diatomeen wie sie auch genannt werden, zeigen eine außergewöhnliche Formen- und Speziesvielfalt. Dabei teilt man Diatomeen grundsätzlich in zwei große Gruppen: Zentrische Diatomeen mit radialer Symmetrie und pennate Diatomeen mit länglicher Form und bilateraler Symmetrie. Die generativen Diatomeenmodelle versuchen diese Formenvielfalt algorithmisch abzubilden.

Digitale zentrische Diatomeenmodelle - Speziesübersicht

Digitale pennate Diatomeenmodelle - Speziesübersicht

Die Frusteln, also die Hüllen, von Diatomeen bestehen aus Siliziumdioxid, der gleiche Grundstoff aus dem auch industriell gefertigte Trink- oder Fenstergläser bestehen, aber auch natürlich vorkommende Opale. Die Materialität von Kieselalgenfrusteln kann man sich in etwa wie eine Mischung aus der Transparenz von Glas und der irisierenden Fähigkeit von Opalen vorstellen. Da die komplexe Transparenz und Lichtbrechung der Frusteln nicht in Echtzeit visualisiert werden konnte, wurde bei der Materialität der digitalen Kieselalgen vor allem versucht die irisierende Fähigkeit der Frusteln darzustellen, ähnlich wie bei Opalen. Aufgrund dieser Fähigkeit werden Kieselalgen oft auch als "Living Opals" oder "Jewels of the Sea" bezeichnet. Die Betrachter:in hat außerdem die Möglichkeit die Frusteln auch in einer kontrastreichen schwarz-weiß Darstellung anzusehen, um die Oberflächenstruktur noch besser betrachten zu können.

„Welch ein Kontrast! Im 19. Jahrhundert arrangierte man Diatomeen zu ornamentalen Mustern unter dem Mikroskop. Im 21. Jahrhundert erkennt KI Diatomeen und Algorithmen erlauben das digitale Spiel mit ihnen interaktiv. Aber die unendliche Formenvielfalt von Diatomeen fasziniert die Menschen zu allen Zeiten." (Matthias Burba über diese Arbeit)

Kolonienbildung

Manche Diatomeenspezies formen Kolonien, die ebenfalls eine für die Spezies typische Formation einnehmen. Einige zentrische Diatomeen, sogenannte fadenbildende Diatomeen, hängen dabei in langen Ketten zusammen.

Diatomeen befinden sich in jedem Gewässer, egal ob Salz- oder Süßwasser, fließendes oder stehendes Gewässer, sogar in einer Pfütze oder Bodenfeuchtigkeit können sie vorkommen. Die folgenden Videos zeigen eigene mikroskopische Aufnahme von einigen der gesammelten Lebendproben unter dem Lichtmikroskop, sowohl im Dunkelfeld als auch im Hellfeld.

Die Superformel

Johann Gielis (2003) hat eine geometrische Formel aufgestellt, deren Besonderheit es ist, dass sich mit nur einer Hand voll Parameter eine unglaubliche Vielfalt natürlicher Formen berechnen lassen. Wie Gielis in späteren Publikationen bemerkt, lassen sich neben Schneckenhäusern, Muscheln, Blüten oder Blättern auch typische Kieselalgenfrusteln mit der Formel modellieren, sowohl in 2D als auch mit einer Abwandlung der Formel in 3D.
Für die Berechnung der räumlichen Form der digitalen Kieselalgen wurde deshalb in diesem Projekt auf Gielis sogenannte Superformel zurückgegriffen. Die Superformel wurde dafür in einem Shader implementiert um performant auf der Grafikkarte berechnet werden zu können. Alle Parameter sind dabei dynamisch und in Echtzeit beeinflussbar.

Superformula in 2D - Zufallsparameter

Superformula in 3D - Zufallsparameter

Oberflächenstruktur

Die feine Porenstruktur, sowie das Aussehen artenspezifischer Merkmale wie Spica, Raphe oder Striae machen meist erst die Unterscheidung verschiedener Arten unter dem Lichtmikroskop möglich. Dennoch sind diese Unterschiede zwischen verschiedenen Diatomeenspezies extrem klein und die Struktur und Mikrostruktur von Diatomeenfrusteln extrem detailiiert. Um die verschiedenen Merkmale der Porenstrutkur von Diatomeen modellhaft berechenbar und darstellbar machen zu können wurden vor allem zwei verschiedene Algorithmen genutzt. Zum einen klassiches Circle Packing, inspiriert von dem Ansatz Frei Ottos die Struktur von Diatomeen auf das engste Packing von Pneus bzw. vereinfacht von Kugeln darzustellen. Zweitens wurde um manche Diatomeenspezies darstellen zu können auch die Punktverteilung nach Vogel (1979) genutzt, die auf der Verteilung nach dem Winkel des Goldenen Schnitts aufbaut und eigentlich zur Berechnung der Verteilung von Sonnenblumenkernen aufgestellt wurde.

Experimente mit der Verteilung nach Vogel

Experimente mit Circle Packing

Generative Kieselalgen

Die generativen Kieselalgen in diesem Projekt wurden fast schon modular wie ein Bausatz aus verschiedenen Algorithmen zusammengesetzt. Die Superformel bestimmt die dreidimensionale äußere Form. Circle Packing oder Vogel Distribution Algorithmen werden auf die Oberfläche der Diatomeen gemapped und von der Oberfläche abgezogen, sodass die diatomeentypischen Porenstrukturen entstehen. Striae und Spica entstehen durch extrudieren der Symmetrieachsen, die die Superformel vorgibt. Insgesamt bestimmen knapp über 50 Parameter das Aussehen einer der digitalen Kieselalgen. Die Berechnung findet dabei komplett auf Basis von Shadern statt und die generativen Diatomeen werden mithilfe von Raymarching gerendert, um alle Details der feinen Struktur in Echtzeit darstellbar zu machen.

Modularer Aufbau der generativen Diatomeen

Deep-Learning basierte Kieselalgenerkennung

Die generativen Kieselalgen in diesem Projekt wurden auf Basis von echten, unter dem Mikroskop sichtbaren Kieselalgen erstellt. Dafür wurde eigens ein auf Deep-Learning basierendes Image Detection Model darauf trainiert, verschiedene Kieselalgen unter einem Lichtmikroskop in Echtzeit zu erkennen. Da die Differenzierung in alle verschiedenen Kieselalgenspezies (aktuelle Schätzungen gehen von um die 100.000 verschiedenen Spezies aus) im Rahmen dieser Arbeit unmöglich ist, wurde das YOLO Image Detection Model nur darauf trainiert Kieselalgen innerhalb einer mikroskopischen Probe zu erkennen und sie einer der übergeordneten taxonomischen Gruppen von Kieselalgen zuzuordnen. Der Bilddatensatz für das Training des Image Detection Models umfasste circa 6000 mikroskopische Bilder von Kieselalgen, sowohl aus Lebendproben als auch Präparaten, die eigens für dieses Projekt aufgenommen wurden. Dafür wurde ein Zeiss Standard 14 Lichtmikroskop mit einer adaptierten Smartphone Kamera und einer selbstgebauten Rasperry Pi Kamera genutzt.

Deep-Learning basierte Diatomeenerkennung

Sammeln von Kieselalgenproben

Die entstandene Installation besteht aus einem Mikroskopiertisch, in den vier Monitore eingelassen sind. Sowohl das Livebild des Mikroskops als auch die generativen Kieselalgen werden auf den Bildschirmen sichtbar. Die Betrachter:in kann selbst Präparate auflegen oder frisch aus verschiedenen Proben pipettieren. Die Diatomeenproben können direkt durch die Mechanik des Mikroskops bewegt werden, während die digitalen Kieselalgen über Handtracking durch eine Leap Motion gedreht und von allen Seiten betrachtet werden können.

Zum Abschluss noch ein paar generative Diatomeen und Close-Ups.

Vielen Dank an Matthias Burba für seine große Unterstützung bei allen taxonomischen Fragen innerhalb dieses Projekts, sowie Fragen der Mirkoskopie und Mikrofotografie. Ein großes Dankeschön auch an Dr. Michael Kloster für Einblicke in seine Forschung zur KI-basierten Diatomeenerkennung und an Jan Rosenboom für die Leihe seiner gelegten Diatomeenpräparate.

Erstprüfer: Prof. Erich Schöls
Zweitprüfer: Marcus Kaiser

4 Kommentare

Wieder einmal ein unfassbares Brett! 🔥 Großen Respekt und Glückwunsch zum Bachelor! 🤩👏🏼 Bin gespannt es real auszuprobieren!

Ich finds absolut faszinierend!

Total spannend Max! Super Arbeit!

magisch und informativ zugleich.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.