Thread by @dittrich_lars

Kritik am Wissenschaftsbetrieb: Bei #maithinkX haben wir gerade erläutert, warum Flaws im wissenschaftlichen Karrierepfad der Qualität der Wissenschaft schaden und u.a. dazu führen, dass nicht die Besten am Schluss auch die Professuren besetzen. Ergänzungs-🧵

In der Sendung haben wir uns auf Kritik am WissZeitVG konzentriert, dem deutschen Arbeitsrecht für Jobs in der Wissenschaft. Da gibt's viel zu verbessern, bei Interesse siehe Folge in Mediathek.
Aber: Ein Teil des Problems liegt in der wissenschaftlichen Community selbst

Damit meine ich sowohl die deutsche als auch die internationale.
Unabhängig vom nationalen Arbeitsrecht läuft wiissenschaftliche Karriere so, dass man ständig bewertet wird. Das wichtigste Maß ist die Anzahl der veröffentlichten Studien (papers).

Aber auch, wie angesehen die Zeitschriften sind, in denen veröffentlicht wurde. Und z.B. ob ich bei einem Chef gearbeitet habe, der selbst wiederum regelmäßig viele papers in angesehenen Zeitschriften hat.

Um solche Bewertungen greifbar zu machen, gibt es allerlei Zahlen, die sowas repräsentieren sollen. Z.B soll der Impact Factor numerisch angeben, wie angesehen eine Zeitschrift ist. Der Hirsch Index ist eine Kombination daraus, wie viel und wie aufsehenerregend du publizierst

All diese Zahlen haben eine innere Logik und sind irgendwie plausibel. Das Problem ist, dass Leute irgendwann auf diese Zahlen hinarbeiten, statt auf wissenschaftliche Erkenntnis.
Das ist Goodhart's law. Wenn ein Maß zu einem Ziel wird, ist es kein gutes Maß mehr.

Kennt man zB von technischen Geräten. Kunden schauen auf Eckdaten wie Auflösung in Pixeln. Hersteller pushen diese Eckdaten in Bereiche, die manchmal für das Gerät gar nicht sinnvoll sind. Dann ist der Monitor mit besten Eckdaten gar nicht der mit dem besten Bild

Wenn ich Karriere in Wissenschaft machen will, MUSS ich auf diese Eckdaten abzielen.
Dadurch gibt's immer noch eine Art von Qualitätsauslese. Schließlich kennt jeder diese Spielregeln, und manche pimpen die Zahlen eben erfolgreicher als andere.

Aber diese Auslese selektiert halt nicht unbedingt die fähigsten Wissenschaftler:innen und ermuntert Individuen auch nicht unbedingt zur bestmöglichen Forschungsarbeit.
Sehr schöne Illustration in diesem paper: royalsocietypublishing.org/doi/10.1098/rs…

Es zeigt zuerst auf, dass die statistische Power in den betrachteten Forschungsbereichen seit den 1960ern nicht besser geworden ist.
Hintergrund: Statistische Power sagt, mit welcher Wahrscheinlichkeit dein Experiment einen Effekt finden wird, wenn denn wirklich einer da ist.

Das haengt massgeblich von der Groesse deiner Stichprobe ab. Stell dir vor, du willst die Hypothese testen, dass Maenner im Schnitt groesser sind als Frauen. Wenn du dafuer nur wenige Leute misst, siehst du wahrscheinlich keinen Unterschied.

Oder du siehst einen, der aber wie Zufall aussieht. Weil die Schwankungen innerhalb der Geschlechter groesser sind als zwischen ihnen.
Wenn du dagegen sehr viele Leute misst (grosse statistische Power), kannst Du sehr klar erkennen, dass es im Mittel einen Unterschied gibt.

Studien in Psychologie und Biologie haben notorisch zu niedrige Power, weil zu wenige Teilnehmer/Versuchstiere. Das bedeutet, dass viele echte Effekte nicht gefunden werden. Die falsch-positiven Ergebnisse (einen Effekt "nachweisen", obwohl da keiner ist), haengen aber...

...von deinem Signifikanzniveau ab und bleiben damit bei grossen und kleinen Studien gleich haeufig. Ueblicherweise liefern 5% deiner Experimente ein falsch-positives Ergebnis.
Wenn du immer grosse Stichproben benutzt, findest du aber sehr viele echte Effekte.

Ein paar falsch-positive werfen dich da nicht aus der Bahn, solange du im Kopf behaeltst, dass du die ggf nochmal verifizieren musst.
Aber wenn du staendig zu kleine Stichproben (niedrige Power) hast, findest du sehr selten echte Effekte.

Fast alle deine Ergebnisse bestehen dann aus deinen 5% falsch-Positiven. Nichts von dem, was du "rausfindest", ist echt.
Zur Erinnerung: In Psychologie und Biologie haben sehr viele Studien eine zu niedrige Power.

Auf dieses Problem machen Statistiker seit den fucking 1960ern aufmerksam. Und zwar mit Rummel. Nicht nur in irgendwelchen Statistik-Zeitschriften, die kein anderer liest, sondern so, dass alle, die es angeht, es sehen koennen.
Hintergrund Ende.

In dem Paper zeigen sie also zuerst, dass die Power in den betrachteten Forschungsgebieten seit den 1960ern nicht besser geworden ist. Obwohl alle wissen (muessten), was das fuer die Forschungsergebnisse bedeutet.

Dann lassen sie ein mathematisches Modell laufen, das eine "Evolution" wissenschaftlicher Arbeitsgruppen betrachtet. Wer seine Ressourcen in grosse Stichproben steckt, findet haeufiger echte Effekte.

Er kann aber mit seinen Ressourcen nur wenige Experimente machen.
Wer hingegen bei kleinen Stichproben bleibt, findet selten was echtes. Kann dafuer aber sehr viele falsch-Positive sammeln, weil viele Exp. moeglich.
Positive Ergebnisse kann man veroeffentlichen.

Gruppen, die kleine Stichproben machen, publizieren daher mehr. Und "pflanzen sich fort" - entweder indem ihre Methoden uebernommen werden oder indem Post-Docs aus diesen Labs Professuren kriegen und eigene Labs gruenden.
Paper-Fazit: So selektiert man schlechte Wissenschaft.

Alle in der Wissenschaft wissen, wie unzureichend und z.T. schaedlich Bewertungszahlen wie der Hirschindex sind. Trotzdem nutzen sie alle. Weil die beste Art der Bewertung - Papers des Bewerbers lesen und Beitrag zum Feld ermessen - zeitlich nicht leistbar waere.

Nicht fuer Berufungskommissionen, nicht fuer Drittmittelgutachter.
Aber wir brauchen Loesungen. Adaequatere Leistungsbewertungen, Ueberwindung von "positive results publication bias", Schaffung eines Systems, dass Extraarbeit fuer solidere Forschung belohnt und nicht bestraft.

Bei aller berechtigter (!) Kritik an den arbeitsrechtlichen Regelungen duerfen wir nicht vergessen, dass diese Punkte nur aus der wissenschaftlichen Gemeinschaft heraus verbessert werden koennen.
Also: Nicht nur auf Politik zeigen, auch an eigene Nase fassen!
Lars out

Sehr schönes Video über das Thema (eng)

https://twitter.com/DennisEckmeier/status/1510898526208864256?t=lfpE_nmERzSz42ecwyrtsg&s=19

Und natürlich noch unsere Folge maithinkX zum Thema Arbeitsbedingungen auf dem Karriereweg Richtung Professur und wie dadurch Steuergeld verschwendet wird
zdf.de/show/mai-think…