Im Zuge der aktuellen empirischen Wende in Bildungsforschung und Bildungspolitik steht Detlev H. Rosts Lehrbuch „Interpretation und Bewertung pädagogisch-psychologischer Studien“. Dass Rost nach so kurzer Zeit (Erstpublikation 2005) nun eine aktualisierte und (stark) erweiterte 2. Auflage vorlegt, mag als Beleg dafür gedeutet werden, dass sein Band im Kontext der evidenzbasierten Bildungsforschung drängende Fragen beantwortet: Welche Kriterien sind bei der Beurteilung empirischer Studien wichtig? Wie sind Forschungsfragen und Hypothesen angemessen formuliert und welche sind überhaupt relevant? Wie sollte das „ideale“ Forschungsdesign aussehen? Wie lassen sich die Ergebnisse kleiner und größerer pädagogisch-psychologischer Studien beurteilen? u.a.
Der Klappentext weckt große Erwartungen: „Sehr verständliche Interpretationshilfen für alle, die mit empirischen Daten umgehen müssen. Statt Kaffeesatzleserei bietet der Band konkretes Wissen: Er hilft, empirische Studien besser lesen, besser verstehen und besser bewerten zu können“ (!) Und um es gleich zu sagen: Der Band hält, was er verspricht. In einer anregenden Mischung aus dichter Information, unterhaltsamer Fallschilderung und didaktisch gelungener Aufbereitung legt der Autor hier einen Band vor, der, auch bedingt durch die Erweiterungen und Ergänzungen in der neuen Auflage, Freude an der Analyse fremder Forschungsbefunde vermittelt. Mehr noch: Studierende und Nachwuchswissenschaftler finden hier vielfältige Hilfestellungen für die Planung und Reflexion eigener Forschungsprojekte.
Die Struktur des Bandes orientiert sich an dem amerikanischen Publikationsstandard für empirische Studien „IMRAD“: Introduction, Methods/Material, Results and Discussion. In den einführenden Kapiteln (Kap. 1 und 2: Beurteilung empirischer Projekte und Problemstellung) geht der Autor auf die Grundkonstanten empirischer Forschung ein: Theorie und Praxis der Forschung werden erörtert, Klarheit und Präzision der Darstellung von Forschungsergebnissen angemahnt und wissenschaftliche Problemstellungen besprochen.
Anschließend (Kap. 3) wird der/die Leser/in in die grundlegenden Forschungsmethoden eingeführt. Hypothesenbildung, Strategien zur Kontrolle von Störvariablen, zum Forschungsdesign, zur Stichprobenwahl, zum Umgang mit Regressionseffekten, Skalen u.a. werden ausführlich erörtert und anhand von lebens-/forschungsnahen Beispielen dargestellt.
Das vierte Kapitel (Ergebnisse) widmet sich dem Problem fehlender Daten, statistischen Hilfsmitteln, Skalentypen, Analyseverfahren, Signifikanzen, Relevanzen und Teststärken (incl. power-Analyse). Hier werden besonders profunde statistische Kenntnisse vermittelt.
Die „Diskussion“ wird schließlich hinsichtlich ihrer Hauptresultate, des Bezugs zur Anfangshypothese, der Interpretation und Schlussfolgerungen durchleuchtet. Checklisten, Verfahrensregeln, Grundsätze im Umgang mit wissenschaftlichem Fehlverhalten, Tabellen mit Kontroversen in der Wissenschaft u.a. schließen den rund 300seitigen Band ab.
Von Beginn an werden die vermittelten Kenntnisse zur Forschungsmethodik und statistischen Auswertung direkt auf die Analyse und Bewertung pädagogisch-psychologischer Studien angewandt. Doch die Darstellung verweilt nicht bei langatmigen theoretischen Ausführungen: Didaktisch pointiert fasst Rost den Aufbau empirisch-experimenteller Arbeiten, weiterführende (kommentierte!) Literaturhinweise und grundlegende Definitionen in sinnfälligen Kästen zusammen – ein Prinzip, das sich durch den gesamten Band zieht. Dadurch kann der Band auch nach der Lektüre als grundlegendes Nachschlagewerk weiter genutzt werden. Unterstützt wird dies auch durch die im Laufe des Bandes formulierten „100 Fragen an empirische Studien“, die – soll eine Studie als solide gelten – in der Regel mit einem klaren „Ja“ beantwortet werden können sollten (z.B. „Wenn es sich um Auftragsforschung handelt: Spricht dies der Autor klar aus und thematisiert er eventuell damit einhergehende Einschränkungen?“, „Formuliert der Autor seine Fragestellung klar und eindeutig?“, „Ist das spezifische Forschungsgebiet gut erläutert, und sind seine Begrenzungen angegeben?“, „Diskutiert der Autor die Bedingungen, unter denen sich Zusammenhänge zwischen seinen Variablen bestätigen (Spezifikation), und die Bedingungen, unter denen sie verschwinden?“). Durch diese Fragen gibt Rost Standards für empirische pädagogisch-psychologische Forschungen vor, die ein (wenn auch idealtypisches) Raster für evaluative Analysen bilden.
Unterhaltsam sind die illustrierenden Beispiele: Das Vorgehen eines Entwicklungspsychologen („Fritz J. Murks“), der seit Jahren Essays über Hochbegabung und Hochbegabtenförderung schreibt, aber in seinen Publikationen konkurrierende Forschungsansätze seines Kollegen unterschlägt, wird ebenso thematisiert, wie die Untersuchung des Pygmalioneffekts („Die ursprüngliche Studie von Rosenthal und Jacobson ist methodisch so problematisch, dass sie vermutlich kaum als Diplomarbeit der Psychologie durchginge.“). Und auch aktuelle large-scale-Studien werden der kritischen Reflexion unterzogen: So argumentiert Rost, ausgehend von einer klaren Positionierung für experimentelle Designs, gegen den herrschenden Mainstream der Rezeption von PISA- und IGLU-Ergebnissen: Es dürfte klar sein, „dass internationale Schulleistungsstudien wie PISA und IGLU keinem experimentellen Versuchsplan folgen, es sind wegen der fehlenden Kontrolle praktisch aller Störvariablen besonders aussagearme ex post Bildungsstudien. Die große Aufmerksamkeit in den Medien, in der Bildungspolitik und in pädagogischen Fachzeitschriften steht ihnen unter wissenschaftlichen Gesichtspunkten nicht zu“ (Herv. M.B.).
Gegenüber der ersten Auflage finden sich zahlreiche – insgesamt über 70 Seiten umfassende – Erweiterungen:
● In den gesamten Text wurden sehr ausfĂĽhrlich kommentierte Hinweise auf einfĂĽhrende und weiterfĂĽhrende Literatur eingestellt (in grau unterlegten Kästen; viele Hinweise sind hoch aktuell).
● Völlig neu sind die Kapitel ĂĽber die Kontrolle von Störfaktoren oder die Kovarianzanalyse.
● Präzisierungen und Ergänzungen innerhalb der Kapitel durchziehen die gesamte Publikation. So wurde z. B. das Kapitel zur Forschungsethik um „Superskandale“ der Forschung erweitert, bei dem wichtigen Kapitel zu Effektstärken sind zahlreiche Ergänzungen eingefĂĽgt worden, ebenfalls erweitert sind die wichtigen Subkapitel zur alpha-Fehler-Kumulierung.
● Internetadressen, unter denen man kostenfrei vertiefend und verständlich nachlesen kann, durchziehen diese zweite Auflage.
Unprätentiös, inhaltlich dicht und oft erfrischend klar in der Positionierung handelt es sich bei Rosts Band um ein anregendes Lehrbuch, welches, nicht zuletzt durch die Aktualisierungen und Erweiterungen, insbesondere Studierenden, Nachwuchsforschern und Lehrerausbildern neben dem Unterhaltungswert starken Erkenntnisgewinn verspricht. Die unverblümten Urteile, aber auch die eingestreuten humoristischen und polemischen Kommentare sind – angesichts der vorgängigen Lektüre „knochentrockener“ Forschungslehrbücher – zunächst gewöhnungsbedürftig, bieten nach kurzer Einlesezeit jedoch gesteigertes Lesevergnügen.