Thread by @martinhoffmann

Es ist kompletter Wahnsinn, dass zahlreiche deutsche Medien heute einfach nahezu ohne kritische Einordnung die Ergebnisse einer angeblich repräsentativen Befragung zum Männlichkeitsbegriff in Deutschland abgebildet haben.

Die Ergebnisse widersprechen zahlreichen anderen, wissenschaftlich deutlich seriöseren Befragungen zu ähnlichen Themen. Ein paar Beispiele dafür finden sich unter diesem Thread von @OlafStorbeck.

https://twitter.com/olafstorbeck/status/1667866483039301632

Die Teilnehmer sollen u.a. bei einer ungestützten Abfrage Cristiano Ronaldo (noch irgendwie vorstellbar), Elon Musk (nun gut) und Andrew Tate (!!!) am häufigsten als prominente Vorbilder genannt haben. Klarer kann ein Hinweis auf einen Bias bei der Teilnehmer-Auswahl kaum sein.

Die Anmerkungen zur Methodik sind im PDF zur Befragung hinterlegt. Genutzt wurde ein Online-Panel von „Moweb“. Es bleibt unklar, wie genau das Panel rekrutiert wurde und ob es hier einen Bias gab - was bei derartigen Panels nicht ungewöhnlich wäre. plan.de/fileadmin/webs…

Die Ergebnisse beruhen auf den Antworten von 947 Männern, das sollte halbwegs okay sein. Den Wortlaut der gestellten Fragen sucht man im PDF aber natürlich vergeblich. So lässt sich überhaupt nicht nachvollziehen, ob die Fragen ggf. missverständlich formuliert waren.

Hier versucht eine Organisation über Medienberichte ihr Fundraising zu beflügeln. Dass eine möglichst steile These dabei hilft und man Pressemitteilungen dazu extrem gut verifizieren sollte, müsste klar sein - ist es in zahlreiche deutschen Redaktionen aber offensichtlich nicht.

Warum dieses Agendasetting heute so gut funktionieren konnte, hat @kathrinkuehnk hier zusammengefasst:

https://twitter.com/kathrinkuehnk/status/1667931400161435649

Wenn journalistische Kenntnisse und Tugenden schon bei derart offensichtlichen Dingen nicht mehr da sind - wie soll Journalismus dann bei deutlich komplexeren Themen wie der Klimakrise oder rechtem Populismus seiner Rolle gerecht werden?

Noch eine kleine Ergänzung: Ich vermute, das Tool, mit dem die Befragung durchgeführt wurde, ist dieses hier: myiyo.com Die Seite gehört laut Impressum zu "Moweb" und bei der Registrierung kann man (wie im PDF angegeben) zwischen m/w und divers wählen.

Es ist ein bezahltes Panel, das heißt die Teilnehmer:innen erhalten Geld für jede ausgefüllte Umfrage (was an sich nicht verwerflich ist!). Nutzer:innen werden über eine App oder per Mail benachrichtigt, wenn es eine neue Umfrage für sie gibt und können dann daran teilnehmen.

Die Motivation der Panelisten liegt bei derartigen Tool meist rein im Monetären. Das heißt: Es geht darum, möglichst schnell und einfach Geld (bzw. Punkte) zu verdienen. Das hat natürlich Auswirkungen auf die Antwortqualität, wenn man nicht entsprechend gegensteuert.

Bei Myiyo bekommt man zudem weiteres Geld, wenn man den Anmeldelink zum Tool mit seinen Freunden teilt. Dass das ggf. dazu führt, dass die Panel-Qualität leidet, weil sich sehr viele sehr ähnliche Nutzer:innen anmelden, liegt auf der Hand.

Offen ist zudem, ob man auch Direkt-Links zu einzelnen Umfragen mit seinen Freunden teilen kann. Falls ja, würde das natürlich die Wahrscheinlichkeit erhöhen, dass die Selektion der Umfrageteilnehmer:innen nicht zufällig erfolgt, sondern einen Bias aufweist.

Man kann von außen nicht beurteilen, wie gut die Panel-Qualität von "Myiyo" tatsächlich ist. Im PDF ist davon die Rede, dass "in Online-Panels" eher Menschen mit "einer gewissen Computer-Affinität und einer natürlichen Neugierde und Mitteilungsbereitschaft" sind.

(Sidenote: Wie man bei Computer-Affinität, Neugierde und Mitteilungsbereitschaft über den Schulabschluss gegensteuert, wie im PDF angegeben, muss mir auch nochmal ein:e Soziolog:in erklären.)

Wie man es auch dreht und wendet: Aus meiner Sicht spricht viel dafür, dass die Ergebnisse der Befragung nicht repräsentativ sind – sondern eher einen Einblick in eine sehr online-affine Zielgruppe liefern, deren z.T. toxische Haltung seit #GamerGate öffentlich diskutiert wird.

Und noch ein Linktipp zum Thema, gefunden bei @d4meyer: Warum man bei derartigen Online-Befragungen, die aus Kostengründen grad schwer in Mode sind, extrem vorsichtig sein muss – und warum gerade Medien hier eine besondere Verantwortung haben. degruyter.com/document/doi/1…