Rebecca Ciesielski Profile picture
Algorithmic Accountability Reporting @BR_AILab | #Algorithms #AI #EarthObservation #DataEthics #AIEthics | Signal/PGP available.

Mar 29, 2023, 10 tweets

Müssen Unis auf KIs wie #ChatGPT und GPT-4 reagieren und Prüfungen anpassen? Das wollten wir mit einem Test herausfinden.

Ziel war es, in drei Tagen eine 40-seitige Bachelorarbeit zu schreiben – und damit an der Uni zu bestehen. Was funktioniert hat und was nicht: 🧵(1/10)

Die Textausgabe von ChatGPT ist begrenzt. Daher mussten wir die Aufgaben in Teilschritte unterteilen.

So konnten wir eine Gliederung erstellen lassen – und diese dann nach und nach mit Texten füllen. Dafür gibt es verschiedene Strategien. (2/10)

Eine Strategie nennt sich „sokratischer Dialog“. Der griechische Philosoph Sokrates soll Gespräche genutzt haben, um auf Ideen zu kommen.

Im Test antwortete ChatGPT auf „Bitte führ mit mir einen sokratischen Dialog zum Thema“ mit Ideen und Gegenfragen. (3/10)

Auf diese Weise erzeugte das Programm Fragen- und Antwortblöcke, die sich im Nachhinein automatisch umformulieren ließen.

Das klappte, indem wir #ChatGPT die Anweisung gaben, den Dialog in einen "akademischen Text" umzuschreiben. (4/10)

ChatGPT ist für den Umgang mit Texten optimiert. Für Tabellen oder Diagramme lohnt es sich aber, mit kommagetrennten Werten oder ASCII-Art zu experimentieren.

Im Test konnte ChatGPT eine Tabelle erzeugen und gegebenen Namen automatisch das richtige Geschlecht zuordnen. (5/10)

Ein großes Problem waren Literaturangaben. #ChatGPT dachte sich Publikationen aus, vermischte bspw. Verlage, Namen und Titel miteinander.

Und: Beim Versuch, Quellenangaben automatisch in der richtigen Schreibweise zu formatieren, schlichen sich viele Fehler ein. (6/10)

#Bing von @Microsoft war im Test besser als ChatGPT, denn die Suchmaschine fand echte Quellen im Internet.
Dabei handelte es sich allerdings meistens nicht um Fachpublikationen. Außerdem passten die Inhalte der Webseiten nicht immer zum Text. (7/10)

Den Versuch hat Prof. Markus Behmer von der @uni_bamberg_of begleitet. Sein Fazit: Nicht bestanden.
Die angegebene Literatur sei überwiegend irrelevant, teils existieren Bücher nicht, teils gab es logische Brüche. Trotzdem bereiten sich Unis auf massive Veränderungen vor (8/10)

"Wir erwarten, dass bereits mittelfristig viele der aktuell von Studierenden zu lösenden Problemstellungen gleichwertig oder besser durch eine Künstliche Intelligenz zu erledigen sein werden", so die @RWTH auf @BR_Presse-Anfrage. (9/10)

Share this Scrolly Tale with your friends.

A Scrolly Tale is a new way to read Twitter threads with a more visually immersive experience.
Discover more beautiful Scrolly Tales like this.

Keep scrolling