Thread by @Scheer_SpecEd

#Inklusion & #Sopaed: Aktuelles Paper zum Vergleich der Outcomes von eher inklusiven vs. eher separierten Settings (Cole et al., 2022 [1]). Kurzer Spoiler vorneweg: Es sieht nicht gut für die separierenden Settings aus. #twlz #fedilz
doi.org/10.1177/002246… 1/52

Die Ergebnisse bestätigen zwar im Wesentlichen die bekannte Studienlage - Die Arbeit ist aber aus vier Gründen trotzdem interessant: 2/52

(1) es ist zwar keine Längsschnittstudie, aber es werden Längsschnittdaten genutzt. 3/52

Mit einem Matching-Verfahren (siehe unten) wird dafür gesorgt, dass die Ausgangslage zwischen den verglichenen Gruppen vergleichbar ist - es werden also einige methodische Probleme „älterer“ Studien elegant gelöst. 4/52

(2) Nicht Inklusion wird als die Intervention betrachtet, die „sich beweisen“ muss, sondern die Herausnahme aus dem allgemeinen Klassenraum stellt die „Interventionsgruppe“ dar. 5/52

(3) Es wird eine Art von „Vollerhebung“ innerhalb des Bundesstaats durchgeführt, indem die Daten der staatsweiten Schülerassessments ausgewertet werden (entsprechend groß ist das Ausgangssample von 37.507 Schüler*innen mit sonderpädagogischem Unterstützungsbedarf [SUB]) -… 6/52

…also eine enorm große Stichprobe. 7/52

(4) Es ist die Fortsetzung für Klasse 8 bis 10 einer Analyse aus dem Jahr 2020, in der die Daten aus dem Verlauf von 3. bis 8. Klasse analysiert wurden und damit die Probe, ob sich Ergebnisse aus der Grundschulzeit auch auf die High School übertragen lassen. 8/52

Die Untersuchung vergleicht Schüler*innen mit sonderpädagogischen Unterstützungsbedarf in „inklusiveren“ Settings mit solchen in „weniger inklusiven“ Settings. 9/52

Da im amerikanischen Bundesstaat Indiana das Prinzip des Least Restrictive Environment (LRE) gilt (DRC, 2022 [2]; McLeskey et al., 2012 [3]), kann nicht, wie bei uns, strikt in Förderschule vs. allgemeine Schule gesplittet werden. 10/52

Daher wird zwischen General Education (Schüler*in verbringt mehr als 80% der Zeit in allgemeiner Klasse) und separierten Settings (<80% der Zeit) unterschieden. Was das für die Übertragbarkeit auf Deutschland bedeutet: Dazu später mehr. 11/52

Ein Problem von Studien, die inklusivere mit separierenden Settings vergleichen, ist, dass wir nicht von einer vergleichbaren Ausgangslage bei den Schülermerkmalen ausgehen können. Dieses Problem löst diese Studie hier durch „Propensity Score Matching“. Was ist das? 12/52

Kurz: Auf Basis bestimmter miterhobener Merkmale (z.B. 13/52

Geschlecht, Migrationshintergrund, frühere Schulleistungen o.ä.) wird für jede Person im Datensatz ein Wert zwischen 0 und 1 berechnet, der angibt, wie wahrscheinlich es ist, diese Person in der „Interventionsgruppe“ zu finden. 14/52

Mithilfe statistischer Methoden (in diesem Fall: „Nächster Nachbar“) werden nun Pärchen aus je einem Jugendlichen der Kontrollgruppe (Inklusion) und einem Jugendlichen der Interventionsgruppe (Separation) gebildet. 15/52

Damit wird sichergestellt, dass hinsichtlich der bekannten Schülermerkmale beide Gruppen vergleichbar sind. 16/52

Eine Besonderheit der vorliegenden Studie ist: Es werden Merkmale auf zwei Ebenen für das Matching genutzt. Nämlich auf Schülerebene und auf Schulebene. 17/52

Auf Schülerebene: (1) Art der Behinderung bzw. 18/52

des SUB, (2) Englisch- bzw Matheleistung in Klasse 8, (3) Anwesenheitstage in Klasse 8, (4) Geschlecht, (5) Ethnische Zugehörigkeit (nach US-amerikanischem Muster), (6) Eventuelle frühere Schulausschlüsse, (7) Englisch Language Learner Status (entspricht etwa DaZ/DaF in… 19/52

…Deutschland) und (8) ob die*der Schüler*in zu preisreduzierter/freier Verpflegung in der Schule berechtigt ist (das ist ein gängiger Indikator für niedriges Familieneinkommen). 20/52

Auf Schulebene: (1) Anteil an Schüler*innen mit Anspruch auf kostenreduzierte/freie Verpflegung und (2) Verteilung ethnischer Zugehörigkeit in der Schule. 21/52

Weil die Ergebnisse des Matching durch nicht erhobene Merkmale und andere Einflüsse verzerrt werden könnten, berechnen die Autoren sogenannte „Rosenbaumschranken“ (der Entwickler der Methode ist Paul R. Rosenbaum) als Maß für die Qualität des Matchings (wer sich… 22/52

…reinfuchsen möchte: Rosenbaum, 2005 [4]). Diese Schranke (ausgedrückt durch den griechischen Buchstaben Gamma) sagt uns, wie stark der Einfluss einer unbeobachteten Variable sein müsste, um die Ergebnisse zu verfälschen. 23/52

In diesem Beispiel hier haben wir Rosenbaumschranken zwischen 2 und 3 vorliegen, was heißt, dass jede nicht berücksichtigte Variable die Wahrscheinlichkeit, in ein separierendes Setting zu kommen schon 2x bis 3x erhöhen müsste- was sehr unwahrscheinlich ist. 24/52

Daher kann davon ausgegangen werden, dass die Ergebnisse dieser Studie sehr robust gegen Verzerrungen durch unbeobachtete Variablen sind. Und was kommt nun als Ergebnis raus? 25/52

Besonders relevant sind die Ergebnisse, wie stark sich Kontroll- und Interventionsgruppe in Klasse 10 unterscheiden, wenn die Leistungen aus Klasse 8 als Matching-Variable genutzt werden. 26/52

Und finden wir einen mittleren Unterschied von 24,3 Punkten in Englisch und 18,4 Punkten in Mathe zugunsten des inklusiven Settings. Dieser Unterschied sagt uns zunächst nichts, denn wir kennen weder die Skalierung, noch die absoluten Werte. 27/52

Aber die Autor*innen geben uns eine Teststatistik mit (Student t mit Angabe der Freiheitsgrade), aus der sich Cohens d als Effektstärke berechnen lässt (ja, das ist das Maß, das auch John Hattie benutzt). 28/52

Gute Hinweise zu häufigen Fehlinterpretationen dieser Effektstärke hat übrigens @wisniewski1005 in seinem #pfk_podcast zusammengefasst [5]. 29/52

Also, welche Effektstärke können wir abschätzen? Und warum nur abschätzen? 30/52

Wie gesagt, haben wir die Originaldaten nicht zur Berechnung vorliegen. Das heißt, wir müssen die tatsächliche Effektstärke grob schätzen. 31/52

Deshalb wird es jetzt etwas mathematisch: Die Freiheitsgrade in einem t-Test für zwei unabhängige Stcihproben ergeben sich aus df = n1 + n2 - 2. Für den Bereich Englisch haben wir df = 3.569, also ist (n1 + n2) = 3.571. 32/52

Wir gehen einfach einmal davon aus, dass durch das Matching beide Gruppen gleich groß sind (bzw. weisen die übrig bleibende Person einmal der einen und einmal der anderen Gruppe zu), also jeweils Gruppengrößen von 1.784 bzw. 1.785 Schüler*innen. 33/52

Mit dem Effektstärkenrechner von Psychometrica [6] können wir nun anhand des t-Werts (t = −17,93) eine Effektstärke von d = -0,6 für den Lernbereich Englisch berechnen. 34/52

Mit negativem Vorzeichen heißt das, dass die Gruppe in separierenden Settings um 0,6 Standardabweichungen schlechter abschneidet als die Gruppe in inklusiven Settings - also ein sehr deutlicher negativer Effekt der Separation trotz gematchter Ausgangslage. 35/52

Wenn wir dasselbe Spielchen für Mathe wiederholen, kommen wir auf d = -0,445, was ebenfalls sehr bedeutsam ist. Auch für das Erreichen von High School Abschlüssen findet die Studie nach dem Matching negative Auswirkungen des stärker separierenden Settings. 36/52

Aber wie gesagt: Die exakte Effektstärke muss aufgrund unserer groben Schätzung mit größter Vorsicht genossen werden!!! Was folgern die Autor*innen aus den Ergebnissen? 37/52

„The results of this study provide additional supporting research for inclusive placement for students with disabilities (…). 38/52

If being a part of a general education classroom results in better academic outcomes, then it is imperative that policies, practices, and resources are focused on how to not exclude them in the first place.” (Cole et al., 2022) 39/52

Können wir die Ergebnisse einfach auf Deutschland übertragen? Nein, natürlich nicht so ohne weiteres. 40/52

Während in dem untersuchten US-Bundesstaat das System nach dem LRE-Prinzip gestaffelt ist und hier Pullout-Service, Separate Class und Separate School in einem zusammengefasst waren (also alle Formen des Placements, die weniger als 80% der Zeit im allgemeinen Klassenraum… 41/52

…stattfinden), haben wir in Deutschland eine (scheinbare) Dichotomie von Förderschule vs. allgemeiner Schule. Und innerhalb der allgemeinen Schule haben wir quasi eine Blackbox bzgl. der Organisationsform. 42/52

Dennoch zeigt sich hier ein Grundprinzip, das sich zumindest als Hypothese auch für Untersuchungen in Deutschland annehmen lässt: Bei gleicher Ausgangslage reduziert die Platzierung einer*eines Schüler*in außerhalb der allgemeinen Klasse die Chancen auf eine optimale… 43/52

…Lernentwicklung. Und damit zeigt sich einmal mehr, dass die Überweisung auf eine Förderschule im Durchschnitt eher schädlich, auf keinen Fall jedoch hilfreich für den akademischen Lernfortschritt der Schüler*innen ist. 44/52

Und das nicht nur in der Grundschulzeit, sondern auch in der Sekundarstufe. 45/52

Referenzen:
[1] Cole, S. M., Murphy, H. R., Frisby, M. B., & Robinson, J. (2022). The Relationship Between Special Education Placement and High School Outcomes. The Journal of Special Education, 0(0). doi.org/10.1177/002246… 46/52

[2] Disability Rights California [DRC] (o.J.). What does least restrictive environment (LRE) mean? serr.disabilityrightsca.org/serr-manual/ch… 47/52

[3] McLeskey, J., Landers, E., Williamson, P., & Hoppey, D. (2012). Are We Moving Toward Educating Students With Disabilities in Less Restrictive Settings? The Journal of Special Education, 46(3), 131–140. doi.org/10.1177/002246… 48/52

[4] Rosenbaum, P. R. (2005). Sensitivity Analysis in Observational Studies. In B. S. Everitt & D. C. Howell (Eds.), Encyclopedia of Statistics in Behavioral Science (Vol. 4, pp. 1809-1814). Wiley & Sons. www-stat.wharton.upenn.edu/~rosenbap/BehS… 49/52

[5] Wisniewski, B. (2022). Hattie (2009) | Einflüsse auf Schülerinnen- und Schülerleistungen. Psychologie fürs Klassenzimmer (Podcast). anchor.fm/dr-benedikt-wi… 50/52

[6] Lenhard, W. & Lenhard, A. (2016). Berechnung von Effektstärken. psychometrica.de/effektstaerke.… 51/52

@threadreaderapp unroll 52/52