,
11 tweets,
4 min read
Read on Twitter
Dieser neue Bot von @mkilg_ und @unfugluke generiert Tweets im Stil von F.J. Wagner, basierend auf einer Markovkette, die auf Texten aus der Bild-Zeitung trainiert wurde. Will jemand wissen, warum die Tweets des Bots so furchtbar klingen?
Markovketten sind so mittelgut im Generieren von Text, weil sie mit sprachlichen Fernabhängigkeiten nicht gut umgehen können: Es wird immer nur das nächste Wort bestimmt, eine Markovkette weiß aber z.B. nicht, dass noch ein Verb ans Ende des Satzes gehört.
Beim Wagner-Bot fallen die Probleme mit Markovketten besonders auf. Das liegt daran, dass auch die Originaltexte von Wagner oft Satzfragmente ohne Verben enthalten. Ich finde den Schreibstil auffallend assoziativ, das Wort "kohärent" wäre eher unpassend.
Allein im hier diskutierten Text (bildblog.de/111062/franz-j…) finden wir jede Menge Fragmente: "Und auch alle Muttis, die keine Gurken mit Plastikverpackungen kaufen." "Jeder." "Kerzen, kein elektrisches Licht, keine Autos, keine Mondfahrt, keine Herztransplantation."
Solche Fragmente machen isoliert kaum Sinn (ich finde sie auch im Kontext der jeweils vorherigen Sätze nicht besonders gut). Auch der Zusammenhang zwischen einem Satz und dem jeweils darauf folgenden ist in Original-Wagnertexten oft schwer zu erkennen.
Daher fällt es der Markovkette genauso schwer wie einem Menschen, Vorhersagen über den nächsten Satz zu machen. Die Sprache der Originaltexte ist so seltsam, dass die Statistik keine Chance hat, irgendwas verallgemeinerbares über Sprache daraus zu lernen.
Es gibt zwei Strategien, um markovgenerierte Texte besser zu machen. Erstens kann man die Menge der Trainingsdaten (der Texte, aus denen die Statistik gelernt wird) erhöhen - das ist hier eher keine Option. Die Texte von Wagner sind zu kurz und sicher nur in geringer Zahl online.
Die zweite Option für bessere Markovketten ist es, die Ordnung der Markovkette zu erhöhen. Das bedeutet, dass man für die Vorhersage des nächsten Elements mehr vorhergehende Elemente mit einbezieht. de.wikipedia.org/wiki/Markow-Ke…
Grundsätzlich sind generierte Texte auf Basis von Markovketten höherer Ordnung dem Vorbild (den Trainingsdaten) ähnlicher, weil längere Sequenzen aus den Trainingsdaten wortwörtlich wiederverwendet werden.
Aber weil Wagners Texte so zufällig strukturiert sind, würde es einer Markovkette höherer Ordnung schwer fallen, etwas anderes zu produzieren als die exakte Kopie eines bestehenden Texts. Insofern ist es sinnvoll, Markovketten niedrigerer Ordnung für den Bot zu verwenden.
Der Bot zeigt also sehr schön, dass die Texte von Wagner zu einem großen Teil aus assoziativen, schwer vorhersagbaren, statistisch beinahe zufällig verteilten, irren Fragmenten bestehen. Dass die Tweets des Bots alle doof klingen, ist meiner Meinung nach ein voller Erfolg.
