Thread by @Maurice_Conrad

Mit der #Chatkontrolle sollen alle Nachrichten und Fotos auf euerem Smartphone vom Gerät selbst nach illegalen Inhalten gescannt und im Zweifel Anzeige erstattet werden.

Das ist ein reales Vorhaben der EU und von Nancy Faeser. Warum das eine ganz ganz schlechte Idee ist? #Thread

Die EU möchte zur Bekämpfung von „kinderpornographischen Inhalten“ ein Gesetz verabschieden, das Betriebsysteme wie iOS oder Android zwingt, via KI eure privaten Nachrichten & Fotos zu scannen. Wenn die KI denkt, etwas könnte illegal sein - soll sie das an die Behörden melden. 2/

Die Idee dahinter ist das sogenannte “Neural Hashing”. Normalerweise gibt es in der Informatik Hash-Werte als eindeutige Fingerabdrücke einer Information.

Der Clue daran: Die geringste Änderung am Eingangswert (z.B. Bild) führt zu einem völlig anderen Hash. 3/

Das ist so gewollt. Nur so funktionieren moderne Verschlüsselungen überhaupt. Es ist außerdem nicht möglich, einen bestimmten Hash effizient zu erzeugen. Der einzige Weg das zu tun wäre, völlig zufällig Informationen zu erzeugen bis zufällig der gewünschte Hash rauskommt. 4/

Hashes erzeugen also einen Beweis über die Kenntnis des Inputs, ohne die Daten selbst zu enthalten. Das ist eine der wichtigsten Grundbausteine von modernerer Verschlüsselung.

So erzeugt das 1. Bild folgenden Hash: „a6e5759b2c5f2d7a“

Und das 2. den hier: „59bce753ec76fd5e“

5/

Theoretisch ließe sich der Hash eines Bildes in einer Datenbank speichern und überprüfen ob etwas genau diese Datei ist. Das Problem: In der Praxis ergibt das selbe Bild oder das selbe Video nicht den selben Hash-Wert weil es immer minimale Veränderungen an der Datei gibt. 6/

Hier kommt die Idee der „Neural Hashes“ ins Spiel. Sie funktionieren über KI-Analyse und haben das Ziel quasi den Inhalt eines Bildes oder Videos in einen Hash-Wert zu überführen. Der Unterschied: Ein ähnlicher Hash-Wert soll auf einen ähnlichen Inhalt hindeuten. 7/

Es soll aber ebenso weder möglich sein, einen bestimmten Neural Hash gezielt zu erzeugen egal was der Inhalt tatsächlich ist. Und es darf auf gar keinen Fall möglich sein, einen illegalen Inhalt so minimal zu verändern dass er einen völlig anderen Neural Hash erzeugt. 8/

Die KI soll nun auf allen Smartphones installiert und von selbst alle Inhalte überprüfen und mit einer Datenbank an illegalen Hashes abgleichen. Schlägt das System aus, werden die Daten selbstständig an die zuständigen Behörden übermittelt die dann gegen euch ermitteln können. 9/

So weit die Idee. In der Praxis ist das Verfahren mehr als fehleranfällig. So gibt es immer noch eine Fehlerquote von bis zu 80%. Das bedeutet: Es werden zwangsläufig völlig legale Inhalte auf dem Tisch des BKA landen. Was dann damit passiert? Liegt in der Hand der Behörde. 10/

Das ist ein massiver Eingriff in die Intimsphäre der Bürger*innen. Da der Fokus der Chatkontrolle zunächst auf illegaler Gewaltpornographie liegen wird, bedeutet das, dass vor allem Nacktbilder oder Strandbilder mit der Familie den falschen Alarm auslösen werden. 11/

Und dabei ist völlig klar, dass dieses Verfahren auch missbraucht wird. Es lag zufällig ein halbes Gramm Marijuana auf dem Nachtisch während ich mit meinem Freund Nacktbilder gemacht habe? Tja, jetzt wird wegen mich wegen Verstoß gegen das Betäubungsmittelgesetz ermittelt. 12/

Wer weiß, wie Ermittlungsbehörden arbeiten können weiß auch, dass so etwas passieren wird. Macht - besonders technologische - wird immer maximal ausgenutzt werden von Staat und Polizei. In diesem Fall dann halt direkt über die intimsten Fotos und Bilder von Menschen. 13/

Das 2. große Problem: Neben der Fehleranfälligkeit des Systems ist es auch manipulierbar. Eigentlich sollte es ja nicht möglich sein, einen Inhalt gezielt zu erzeugen damit er einen bestimmten „Neural Hash“ ergibt. Praktisch ist das Wissenschaftler*innen mehrfach geglückt. 14/

Es können also völlig harmlose Inhalte gezielt so minimal verändert werden, dass die KI sie als illegal einstuft. Und genau so geht andersherum. Es können illegale Inhalte gezielt minimal so verändert werden, dass sie als völlig unproblematisch klassifiziert werden. 15/

Obwohl der Koalitionsvertrag widerspricht, will Nancy Faeser die Chatkontrolle laut einem Positionspapier des BMI umsetzen. Sie untergräbt damit nicht nur die absolute Intimsphäre der Bürger*innen sondern auch die Grundprinzipien eines Rechtsstaats. Klingt krass? Ist aber so. 16/

Zum einen bedeutet es eine anlasslose und verdachtsunabhängige Überwachung. Das ist für einen Rechtsstaat - insbesondere bei einem solchen Eingriff in die Intimsphäre - eigentlich undenkbar. Andererseits bedeutet es eine faktische Privatisierung der Justiz. 17/

Denn die Algorithmen zur Überprüfung auf strafrechtliche Relevanz entwickeln private Unternehmen und nicht dass BKA. Ein erheblicher Teil der strafrechtlicher Bewertung wird in den Aufgabenbereich privater Software fallen. Das ist wider jeder rechtsstaatlicher Prinzipien. 18/

Dazu kommt die defacto Nutzlosigkeit gegenüber der organisierten Kriminalität. Es gibt bis heute keine belastbare Studie dazu, dass flächendeckende Überwachung am Ende Straftaten verhindert - weil auch Kriminalität sich dementsprechend anders verhält. 19/

Das Problem an der systematischen Abschaffung digitaler Freiheitsrechte geht aber weiter. Auch wenn die Systeme heute „nur“ zu vergleichsweise „krassen“ Zwecken genutzt werden, sind sie für immer da. Genau wie ihre Daten. 20/

Die Erbeutung der biometrischen Daten des US-Militärs durch die Taliban müsste doch allen klarmachen, worin das Problem besteht. Es gibt keine „sichere Daten“. Daten werden immer missbraucht werden, wenn der Zugang vorhanden ist. Es ist lediglich eine Frage der Zeit. 21/

Und vor allem verschiebt es die Grenze des Machbaren und damit auch die Grenze der Privatsphäre bis ins Unkenntliche. Wenn wir das heute für Kinderpornographie machen können, warum dann nicht irgendwann für andere Straftaten? Wo beginnt die Grenze? 22/

Es ist klar, dass auf einen Tabubruch die nächsten Tabubrüche folgen werden die heute noch vermeintlich zu weit gehen. Am Ende steht ein Überwachungsstaat der vielleicht mehr Gemeinsamkeiten als Unterschiede zu den Systemen Chinas und anderer autokratischer Systeme aufweist. 23/

Scheinbar leben viele Politiker*innen aber in einer Phantasiewelt in der das alles super unproblematisch ist und die Privatsphäre von Menschen zur Verhandlungsmasse gegenüber den trügerischen Versprechungen einer Überwachungsindustrie wird. 24/

Nur hängen jegliche Freiheiten in einer digitalen Welt letztlich von Privatsphäre ab. Und wer diese derart untergräbt, wacht nicht in einer idyllischen Welt ohne Kriminalität & Sorgen auf sondern in einer Welt, in der Demokratie & Rechtsstaat Geschichte sein werden.