Thread by @bildoperationen

Ich hab darüber nachgedacht, was mich als aus bildwissenschaftlicher Sicht an #DallE 2 (und ebenso an #dallemini) interessiert. Es ist nicht die müßige Frage, ob das jetzt Kunst sei, sondern drei Aspekte, die mir bislang kaum diskutiert scheinen. Ein längerer Thread 1/21

Diese drei Aspekte wären, etwas kryptisch formuliert, 1. die spezifische Priorität der Sprache gegenüber dem Bild, 2. die Entkopplung von Stil und Ikonografie & 3. die Dominanz des Visuellen über das Optische. Was soll das heißen? 2/21

Erstens: Sprache und Bild. Text-to-Image-Generation basiert buchstäblich auf der Priorität der Sprache. Bildbeschreibungen werden zu magischen Kommandos, die scheinbar Bilder aus dem Nichts herbeirufen: Das Wort ward Bild. 3/21

Diese Priorität der Sprache ist bildhistorisch keineswegs neu: Man denke etwa an die barocke Emblematik oder die Bildprogramme der christlichen Ikonografie – beide beruhten auf vorgängiger Versprachlichung von Bildinhalten. 4/21

Ein produktiverer Vergleich scheint jedoch der zur Stock-Fotografie. Der Wert solcher Bilder auf Vorrat bemisst sich an ihrer Auffindbarkeit in Datenbanken, also ihrer vorgängigen Verschlagwortung: Die Bildsuche ist wesentlich sprachbasiert. 5/21

Auch Dall-E-Prompts lassen sich als Suchbefehle verstehen. Doch wo man im Angebot der Agenturen nur bereits Vorhandenes und Verschlagwortetes finden kann, dienen Prompts der Suche nach Noch-nicht-Vorhandenem und bislang Unbeschriebenem 6/21

Die infrastrukturelle Voraussetzung dafür ist das Vorhandensein riesiger bereits verschlagworteter Bildermengen, an denen solche KI-Modelle trainiert werden können – eine umfassende sprachliche Vorerschließung digitaler Bildwelten 7/21

Was nun aber Dall-E ermöglicht, ist die Formulierung von Suchbefehlen, denen kein vorgängiges Bild, nicht einmal in der Vorstellung entsprechen muss. Wörter lassen sich frei, auch kontrafaktisch oder gar sinnlos kombinieren 8/21

Das verbindet Dall-E mit dem historischen Surrealismus: Die »zufällige Begegnung von Nähmaschine und Regenschirm auf einem Seziertisch« kann man aufschreiben, ohne bereits ein Bild davon zu haben 9/21

Die Priorität der Sprache verortet manche der Bilder von Dall-E und Dall-E mini in einer unheimlichen Zone zwischen Surrealismus und Stock-Fotografie. Vielleicht realisiert sich hier, was Jameson von MTV behauptet hat: ein »Surrealismus ohne Unbewusstes« 10/21

Zweitens: Die Entkopplung von Stil und Ikonografie. Dall-E-Prompts enthalten meist nicht allein Angaben zu Motiven und Bildinhalten, sondern formulieren auch stilistische Vorgaben. Stil und Ikonographie operieren dabei als getrennte Parameter 11/21

https://twitter.com/OpenAI/status/1511714520590258184

Das heißt: Sie lassen sich beliebig kombinieren. Die Kunstgeschichte hat Stil und Ikonografie zwar meist als weitgehend isolierbar behandelt, de facto waren aber alle historischen Stile an ein begrenztes Spektrum von Bildmotiven geknüpft. 12/21

So erkennen wir etwa Monets spezifischen Stil – wissen aber auch, dass sein Repertoire an Motiven begrenzt war (und keine Helikopter einschloss). Dall-E dagegen erlaubt die Ablösung und Übertragung von Stilen, unabhängig von Motiven. 13/21

Zugleich wird der Stilbegriff entgrenzt und enthierarchisiert. Für das Modell scheinen der Pinselstrich Monets, Cartoon-Ästhetiken, der Look bestimmter Games-Engines und fotografischer Realismus bruchlos ineinander übersetzbar. 14/21

https://twitter.com/OpenAI/status/1511714525849919499?s=20&t=69kQpndH-hrEOKXsKtegUA

Statt als privilegierter Modus des dokumentarischen Weltzugriffs erscheint das Fotografische hier allein als ein möglicher Stil unter beliebigen anderen. Damit einher gehen die viel beschworenen Gefahren von Deep Fakes etc. 15/21

https://twitter.com/OpenAI/status/1511714545529614338?s=20&t=69kQpndH-hrEOKXsKtegUA

Aber vielleicht ist diese Entprivilegierung des Fotografischen nur ein Symptom dafür, dass die Grenzen zwischen Aufzeichnung, Optimierung und Generierung in digitalen Bildkulturen längst fließend geworden sind. 16/21

Drittens: Dominanz des Visuellen über das Optische. Was allerdings als Stil des fotografischen Realismus in den Bildern von Dall-E sichtbar wird, simuliert nur ganz spezifische, eher visuelle als optische Aspekte des Fotografischen. 17/21

Anders als etwa Games-Engines nutzt Dall-E kein dreidimensionales Modell einer physischen Wirklichkeit, die nach optischen Gesetzen und den Regeln der Perspektive berechenbar wäre. Vielmehr simuliert es fotografische Visualität. 18/21

Das wird insbesondere in Bildern wie diesem sichtbar, dessen räumliche Konstruktion auf den ersten Blick plausibel wirkt, bei genauerer Betrachtung jedoch vollkommen unmöglich und widersprüchlich erscheint. 19/21

https://twitter.com/OpenAI/status/1511714540785860611

Fotografische Anmutung ist hier kein Effekt der Simulation fotografischer Optik, sondern speist sich aus der statistischen Analyse der visuellen Anmutung unzähliger anderer als fotografisch beschriebener Bilder. 20/21

Wir haben es also mit berechneten Bildern zu tun, die nicht auf vorgängigen Welt- und Sehmodellen beruhen, sondern auf der Auswertung von Bildermengen: Es sind Bilder aus Bildern, Bilder über Bilder – und auch darin symptomatisch. 21/21

(mit Dank an alle, mit denen ich in den letzten Wochen über #dalle sprechen konnte, @databaseculture, @ideenfreiheit, @haltingproblem, @jbirken - wäre für Kommentare, Einwände, Korrekturen dankbar!)