Thread by @Maurice_Conrad

Auf EU Ebene wird jetzt die verpflichtende #Chatkontrolle vorbereitet: Hersteller müssen künftig auf euren Smartphones verdachtsunabhängig eure Nachrichten scannen. Erkennt die KI eine Straftat, wird eine eine Anzeige beim BKA gegen euch gestellt. Glaubt ihr nicht? #Thread

Der Hintergrund ist die EU Bekämpfung von „kinderpornographischen Inhalten“ sowie sexualisierter Gewalt. Das Problem ist dabei: Damit wird das Brecheisen an die gesamte Verschlüsselung digitaler Kommunikation und sämtliche Privatsphäre gelegt. 2/

Dem Vorhaben der EU Kommission nach sollen künftig Hoster und andere Anbieter von Plattformen und Apps dazu verpflichtet werden, sämtliche private Kommunikation automatisiert zu scannen VOR der Ende-zu-Ende-Verschlüsselung. 3/

Das ist nicht nur grundrechtswidrig sondern führt sämtliche digitale Verschlüsselung ad absurdum. Es sollen künftig KI‘s automatisiert auf euren Geräten Nachrichten scannen und dann selbstständig Strafanzeige gegen euch stellen. Das ist kein Witz. 4/

Gleichzeitig sind die KI‘s hochgradig fehleranfällig. Das dahinterstehende Konzept „Neural Hashes“ stammt ursprünglich von Apple und versucht sozusagen inhaltlich logische Fingerabdrücke von Inhalten zu ermitteln und diese dann mit strafbaren Inhalten zu vergleichen. 5/

In der Praxis ist es bereits mehrfach gelungen das System in beide Richtungen zu manipulieren. So konnten illegalen Inhalte minimal so manipuliert werden, dass die Software den Inhalt für unproblematisch hielt. Andersherum konnten auch bereits völlig legale Inhalte … 7/

so manipuliert werden, dass die KI dachte es handele sich dabei um strafbare Inhalte. Faktisch kommt dazu noch eine grundsätzliche Fehlerquote von 80% hinzu. Es landen also die Bilder aus eurem Strandurlaub auf dem Tisch des BKA weil euer Handy denkt, das ist Pornographie. 8/

Dem Missbrauch durch Sicherheitsbehörden sind damit alle Türen geöffnet. Bereits in der Vergangenheit haben Behörden nachweislich erhobene Daten missbraucht. So wurden während der Corona-Pandemie rechtswidrig Daten aus Restaurants durch die Polizei zweckentfremdet. 9/

Dass ich also am Ende wegen Gras aus dem Nachtisch verfolgt werde weil die KI auf meinem Handy die Nacktfotos von mir und meinem Freund für illegale Pornographie hielt? Denkbar.
Die Strandfotos meiner Kinder auf dem Tisch des BKA und Verdacht auf Kinderpornographie? Denkbar. 10/

Die EU untergräbt damit faktisch die Privatsphäre auch in der absoluten Intimsphäre. Das ist ein politischer Skandal und muss genau so behandelt werden. Gleichzeitig verabschiedet sie sich auch von den Grundprinzipien eines Rechtsstaates. Klingt krass, ist aber so. 11/

Einerseits ist die Überwachung anlasslos und verdachtsunabhängig. Für einen derart großen Eingriff in Grundrechte und die Intimsphäre für einen Rechtsstaat eigentlich undenkbar. Zweitens ist es eine faktische Privatisierung der Justiz. 12/

Denn die Algorithmen zur Überprüfung auf strafrechtliche Relevant entwickeln private Unternehmen und nicht dass BKA. Ein erheblicher Teil der strafrechtlicher Bewertung wird in den Aufgabenbereich privater Software fallen. Das ist wider jeder rechtsstaatlicher Prinzipien. 13/

Dazu kommt die defacto Nutzlosigkeit gegenüber der organisierten Kriminalität. Es gibt bis heute keine belastbare Studie dazu, dass flächendeckende Überwachung am Ende Straftaten verhindert - weil auch Kriminalität sich dementsprechend anders verhält. 14/

Das Problem an der systematischen Abschaffung digitaler Freiheitsrechte geht aber weiter. Auch wenn die Systeme heute „nur“ zu vergleichsweise „guten“ Zwecken genutzt werden, sind sie für immer da. Genau wie ihre Daten. 15/

Eigentlich sollte spätestens die Erbeutung der biometrischen Daten des US-Militärs durch die Taliban allen klarmachen, wo hier das Problem liegt. Es gibt niemals sichere Daten. Daten werden immer missbraucht werden, wenn der Zugang vorhanden ist. 16/

Und vor allem verschiebt es die Grenze des Machbaren und damit auch die Grenze der Privatsphäre bis ins Unkenntliche. Wenn wir das heute für Kinderpornographie machen können, warum dann nicht künftig für alle Straftaten? Es ist absurd anzunehmen, dass das einfach aufhört. 17/

In einigen Jahren werden Stück für Stück weitere Tabubrüche folgen von denen heute alle behaupten das nicht zu wollen. Am Ende steht ein Überwachungsstaat der vielleicht mehr Gemeinsamkeiten als Unterschiede zu den Systemen Chinas und anderer autokratischer Systeme aufweist. 18/

Scheinbar leben viele Politiker*innen aber in einer Phantasiewelt in der das alles super unproblematisch ist und die Privatsphäre von Menschen zur Verhandlungsmasse gegenüber den trügerischen Versprechungen einer Überwachungsindustrie wird. 19/

Am Ende hängen alle Freiheiten in einer digitalen Welt aber von Privatsphäre ab. Und wer diese derart durchlöchert, wacht nicht etwa in einer idyllischen Welt ohne Kriminalität und Sorgen auf sondern in einer Welt, in der Demokratie und Rechtsstaat nicht überleben werden.