Der pädagogische Nutzen von Bildungsstandards und zentralen Lernstandserhebungen hängt unter anderem davon ab, wie an Schulen mit Leistungsrückmeldungen weitergearbeitet wird. Bereits nach TIMSS und PISA wurde gefragt, ob und in welchem Maße eine Rezeption bei den Praktikern vor Ort stattfindet. Die flächendeckende Durchführung von Tests auf Länderebene sowie deren enge Kopplung an Curricula und Standards ermöglicht mittlerweile konkrete Formen der schul- und unterrichtsspezifischen Datenrückmeldung und führt somit zu Fragen der Rezeption, Akzeptanz und Nützlichkeit dieser Daten aus Sicht der Lehrkräfte. Diesem Forschungsinteresse widmen sich die sieben Beiträge in dem von Kuper und Schneewind herausgegebenen Band "Rückmeldung und Rezeption von Forschungsergebnissen". Forschungsergebnisse werden dabei von den Autoren durchaus als breiter Begriff verstanden. Es geht nicht nur um die viel diskutierten Rückmeldungen flächendeckender Leistungsstudien, sondern um die Rezeption bildungswissenschaftlichen Wissens an Schulen insgesamt. Diese erweiterte Perspektive birgt allerdings auch die Gefahr der Zersplitterung, denn Rückmeldungen von zentralen Vergleichsarbeiten können nur bedingt mit Rückmeldungen bei kleineren Interventionsstudien mit freiwilliger Teilnahme verglichen werden.
Die ersten drei Beiträge fokussieren Leistungsuntersuchungen auf Länderebene. Hier werden prominente Beispiele vorgestellt und erste Ergebnisse von Rezeptionsstudien im Hinblick auf eine Verbesserung der Rückmeldepraxis diskutiert. Die vier Beiträge des zweiten Teils sind überschrieben mit „Rezeption und Rückmeldung in der Mehrebenenstruktur des Bildungssystems“. Hier bekommt der Leser Einblicke in die Rückmeldestudien der Forschungsprojekte DESI, IBUS und BeLesen. In einem abschließenden Beitrag wird der Umgang mit Evaluationsergebnissen aus Sicht eines Vertreters der Bildungsadministration reflektiert. Eine Systematisierung und Verallgemeinerung des bisherigen Forschungsstandes ist noch nicht möglich und wird in diesem Band auch nicht vorgenommen.
In einem einleitenden Kapitel stellt Kuper die Forschungen zur Rezeption und Nutzbarmachung von Ergebnisrückmeldungen aus Leistungsstudien in den Kontext der erziehungswissenschaftlichen Theorie-Praxis-Problematik und fragt zunächst allgemein nach der Verwendung wissenschaftlichen Wissens in der pädagogischen Praxis. Seiner Ansicht nach kommt die theoretische Reflexion an dieser Stelle mit dem viel zitierten Dualismus zwischen Wissenschaft als Sozialtechnologie und Wissenschaft als Aufklärung nicht weiter. Vielmehr kann Professionalität als „dritte Instanz“ zwischen den Wissensformen moderieren: „Im Sinne einer strukturellen Analyse der Vermittlung zwischen wissenschaftlichem und praktischem Wissen bietet sich die Fokussierung auf Professionalität im Bildungssystem an" (9). Mit dieser strukturtheoretischen Sichtweise auf Professionalität als Scharnierstelle zwischen Wissenschaft und praktischen Handlungserfordernissen intendiert Kuper nicht nur eine Diskussion um die praktische Verwendung wissenschaftlicher Daten, vielmehr ist für ihn „die Einsicht der Professionellen in die theoretischen und methodischen Grundlagen der Bildungsforschung (10)" ein ausschlaggebender Aspekt.
Ein weiterer wichtiger Aspekt, der in dieser Einführung herausgearbeitet wird, ist die Rolle der Professionalität als dritte Instanz zwischen staatlichen und marktwirtschaftlichen Regelungsmechanismen. Dies ist von Bedeutung, weil die Rezeption von Leistungsrückmeldungen in die weiter gespannte Diskussion um ein neues Steuerungsparadigma eingebettet ist. Wer hat die Deutungshoheit über welche Daten? Wer soll bzw. kann mit welchen Daten bestimmte Handlungen initiieren bzw. legitimieren? Für Kuper sind dies ungeklärte Fragen, deren Beantwortung nur im professionellen Diskurs möglich ist: „Für eine professionelle Verwendung der Ergebnisse der Bildungsforschung ist Entscheidungsautonomie unerlässlich (...) Das erfordert allerdings eine starke Kultur der Auseinandersetzung mit Befunden der Bildungsforschung in einer professionsinternen Öffentlichkeit" (11). Diese einleitenden Überlegungen verweisen alle Forschungsaktivitäten im näheren und weiteren Umfeld von Schulleistungsstudien auf den zentralen Ort pädagogischen Handelns: Die Gestaltung von Unterricht durch autonome und professionelle Lehrkräfte. Eine sinnvolle Koppelung von Bildungsforschung und pädagogischer Praxis kann für Kuper nur bedeuten, dass die professionell Tätigen vor Ort in die Lage versetzt werden, selbständig die Ergebnisse von Leistungsstudien reflektieren und in Handlungen umsetzen zu können. Diese Maxime überzeugt und wird in den folgenden Beiträgen aufgegriffen.
Im ersten Beitrag stellen Groß Ophoff, Koch, Hosenfeld und Helmke die VERA-Rückmeldekonzeption vor und referieren erste Ergebnisse einer Lehrerbefragung. Die Ziele der VERA-Vergleichsarbeiten für die Grundschule sind vielfältig und ambitioniert und es ist nur recht und billig, wenn Anstrengungen unternommen werden, deren Erreichbarkeit auch zu überprüfen. Die Autoren betonen dabei vor allem die Verständlichkeit und Nützlichkeit der zurückgemeldeten Leistungsdaten als wichtiges Kriterien für die Brauchbarkeit von Vergleichsarbeiten: „Die Lehrkräfte sollen gewissermaßen als Experten für ihren eigenen Unterricht in die Ergebnisinterpretation und die Konsequenzen für den Unterricht einbezogen und so zur ergebnisorientierten Unterrichtsentwicklung angeregt werden" (22). Chance und Gefahr zugleich sind dabei die vielfältigen Vergleichsmöglichkeiten, die VERA den Grundschullehrkräften anbietet. Dies wird von den Autoren erkannt und herausgearbeitet.
Die empirische Basis der VERA-Evaluationsstudie ist eine internetbasierte Befragung von Lehrkräften aus der Zentralstichprobe. Die Lehrkräfte schätzen ihren Handlungsspielraum im Umgang mit den Leistungsdaten als relativ gering ein. Noch vergleichsweise hoch wird der Nutzen von Vergleichsarbeiten für die Ableitung von Fördermaßnahmen bzw. das Erkennen von Fehlerschwerpunkten gesehen. Dagegen möchte nur jede zehnte Grundschullehrerin aus den zurückgemeldeten Ergebnissen Maßnahmen für den eigenen Unterricht ableiten; an eine eventuelle Veränderung des Unterrichts denken gerade mal 5%. Es stellt sich die Frage, ob Groß Ophoff, Koch, Hosenfeld und Helmke hieraus die richtigen Konsequenzen ziehen. In einer weiteren systematischen Lehrerbefragung möchten sie lediglich die Verständlichkeit des Rückmeldeformats und die Veränderungswirkungen auf Unterrichtsebene noch genauer erfragen, um auf diese Weise das Leistungsfeedback optimieren zu können. Inwiefern wissenschaftlich ermittelte Leistungsdaten und handlungsleitende, subjektive Theorien der Lehrkräfte kompatibel sind, wird auch durch diese erweiterte Befragung nicht aufklären können.
Peek und Dobbelstein stellen das Rückmeldeformat für die Lernstandserhebungen in der Sekundarstufe I in Nordrhein-Westfalen dar. Die Wissenschaftler bieten den Schulen eine differenzierte Ergebnisaufbereitung an, die sich an den Bedürfnissen der Lehrkräfte vor Ort orientieren soll. Die Lehrkräfte können zum Beispiel die Vergleichsgruppen frei wählen. Die Autoren betonen ebenfalls die Dignität der schulinternen Verarbeitung von Evaluationsdaten. Beispielsweise sind die Schulen dazu verpflichtet worden, in der Schulkonferenz über die Ergebnisse, deren Interpretation und daraus gezogene Konsequenzen zu berichten. Erst danach erfolgt die Berichterstattung an die Schulaufsicht. Diese Vorgaben deuten darauf hin, dass auch in diesem Vergleichsarbeitenprojekt auf eine autonome Verarbeitung der Daten durch professionelle Lehrkräfte gesetzt wird.
Über die tatsächlich praktizierte Einbettung der Daten in Schul- und Unterrichtsentwicklungsprozesse können Peek und Dobbelstein allerdings nur spekulieren. Die Rückmeldung wurde nicht systematisch evaluiert und die bisher gemachten Erfahrungen basieren auf spontanen Lehreräußerungen. Der Tenor dieses explorativen Feedbacks: Die Akzeptanz der Tests, die Kompatibilität der aufbereiteten Leistungsdaten mit fachdidaktischen Vorstellungen und die kollegiale Kooperation sind wesentliche Bedingung für deren Nützlichkeit. Auch in diesem Beitrag bleiben am Ende mehr Forderungen und Fragen als Antworten.
Nachtigall und Kröhne diskutieren messtheoretische Anforderungen an Vergleichsarbeiten und erläutern in Bezug auf zentrale Leistungserhebungen die Vor- und Nachteile der probabilistischen gegenüber der klassischen Testtheorie. Im weiteren Verlauf des Beitrags steht die Problematik fairer Vergleiche bei Leistungsstudien im Vordergrund. An einfachen Beispielen und Modellen werden mögliche Fehlinterpretationen nicht justierter Daten veranschaulicht. Vor allem für die Akzeptanz von Tests und Leistungsrückmeldungen ist dieser Aspekt von immenser Bedeutung. Interessant und wichtig ist deshalb auch die Systematisierung unterschiedlicher Möglichkeiten zur Berechnung fairer Vergleichswerte. Den größten pädagogischen Nutzen sehen Nachtigall und Kröhne bei fairen Vergleiche zwischen Unterrichtsinhalten. Für die Lehrkräfte werden Stärken und Schwächen des Unterrichts sichtbar, die sich nicht auf Kontextmerkmale abwälzen lassen: „Aus unserer Sicht bilden solche Vergleiche den Erfolg versprechendsten Ansatz für Unterrichts- und Schulentwicklung" (70).
Trotz aller methodologischen Fortschritte machen die Autoren auf weitere praktische und theoretische Probleme aufmerksam, die sich auch in absehbarer Zeit nicht ausräumen lassen. Im Rahmen von Schulleistungsstudien können beispielsweise nie alle relevanten Kontextbedingungen vollständig erfasst werden. Die große Bedeutung des Vorwissens würde beispielsweise ein längsschnittliches Design implizieren. Die Unsicherheit lässt sich reduzieren, jedoch nicht aufheben und sollte von allen Beteiligten bei der Interpretation der Daten mit einberechnet werden. Völlig sicher sind sich Nachtigall und Kröhne jedoch in einem Punkt, der sich wie ein roter Faden durch den Band zieht: Auf jeden Fall sollten unfaire Vergleiche in der Öffentlichkeit vermieden werden. Die Presse ist an Rankings interessiert und nicht an Schulentwicklung.
Von der Gathen skizziert in seinem Beitrag die an DESI gekoppelte Rückmeldestudie und diskutiert forschungsleitende Fragen. Ergebnisse kann er noch nicht vorlegen. Die Leitfragen für die Fallstudien machen jedoch deutlich, dass auch hier die Einbindung der zurückgemeldeten Leistungsdaten in die schulinterne Qualitätsdiskussion untersucht werden soll. Man darf auf die Befunde gespannt sein. Ansonsten werden in diesem Beitrag einige ausgewählte und interessante Befunde der internationalen Rezeptionsforschung diskutiert. Die Fokussierung dieser Befunde auf die Fragestellung der vorgestellten DESI-Rückmeldestudie könnte schlüssiger sein.
Thiel und Ulber beschäftigen sich nicht mit der Rezeption zentraler Leistungsrückmeldungen, sondern mit einem an der FU Berlin entwickelten Instrumentarium zur Beurteilung von Unterricht und Schulen. Dies ist zunächst ein Bruch mit der Thematik der bisherigen Beiträge. Die theoretische Fundierung dieser Prozessevaluation lässt jedoch die Gemeinsamkeiten deutlich hervortreten und kann auf Rückmeldeeffekte von Produktevaluationen übertragen werden. Hierzu werden system- und organisationstheoretische Überlegungen aufgegriffen und gezielt auf die Evaluations- und Rückmeldeproblematik bezogen: „Die Konstruktion von Evaluationsinstrumenten mit dem Ziel der Generierung von Wissen für Qualitätssicherungsprozesse muss in besonderer Weise die Frage der Resonanzfähigkeit und Verwendbarkeit von Daten im jeweiligen Organisationskontext berücksichtigen" (96).
Das Inventar zur Beurteilung von Unterricht und Schulen (IBUS) wurde dann auch ganz auf die an Schulen vorfindbaren Entscheidungsprämissen abgestimmt. Gleichzeitig wird ein Schülerfragebogen mit Skalen zur Unterrichtsqualität eingesetzt, um die Multiperspektivität zu gewährleisten. Die Anbindung des Instrumentariums an die system- und organisationstheoretischen Vorgaben ist überzeugend und konsistent. Thiel und Ulber können zeigen, dass diese Basistheorien besonders ertragreich für die Modellierung der innerschulischen Verarbeitung von Ergebnissen aus Evaluationsstudien sein können. Das Rückmeldeformat der erhobenen Prozessdaten ist ebenfalls durchdacht und den antizipierten Bedürfnissen des Systems Schule so gut wie möglich angepasst worden. Wie die Lehrkräfte tatsächlich reagieren und welche konkreten Veränderungen durch die zurückgemeldeten Daten angestoßen werden, bleibt jedoch auch hier verborgen.
Auch Julia Schneewind befasst sich mit der Wirkung von Leistungsrückmeldungen eines auf wenige Schulen begrenzten Forschungsprojektes. Es handelt sich dabei um die an Berliner Grundschulen durchgeführte und längsschnittlich angelegte Lese-Interventionsstudie BeLesen. In den ersten beiden Schuljahren werden insgesamt sechs Lesetests durchgeführt und differenzierte Ergebnisse an die Schulen und Lehrkräfte zurückgemeldet. Mit der begleitenden Rezeptionsstudie wird das Ziel verfolgt, die Akzeptanz des Lesetests und die Nützlichkeit der Leistungsdaten zu erfassen. Die Ergebnisse entsprechen einer zu erwartenden Motivationslage von Lehrkräften, die freiwillig an einer Studie teilnehmen und werden von Schneewind als ermutigend bezeichnet. Es ist jedoch grundsätzlich fraglich, inwiefern mit diesen Einstellungsmessungen etwas über den pädagogischen Nutzen von Leistungsrückmeldungen gesagt werden kann. Ebenso ist es wohl kaum möglich aus der Rezeptionsstudie zu diesem Leseinterventionsprojekt Generalisierungen für die übergreifende Fragestellung nach der Wirkung von Leistungsrückmeldungen abzuleiten. Die Teilnahme an einem speziellen und begrenzten Forschungsprojekt hat für Lehrkräfte einen anderen Stellenwert als verpflichtende, landesweite Lernstandserhebungen.
Im abschließenden Beitrag beleuchtet Konstantin Bähr die Problematik des Umgangs mit Schulleistungsstudien und Leistungsrückmeldungen aus der Perspektive der Bildungsadministration. Unter Rückgriff auf akteur- und systemtheoretische Prämissen entwickelt er die zentrale These: „Beim Aufbau neuer und sinnvoller Strukturen für die Verwendung von Daten aus Schulleistungstests (...) muss letztlich die Beobachtung dieser Differenz, also die Beobachtung, dass sich die verschiedenen Akteursgruppen des Bildungswesens an unterschiedlichen Bezugssystemen orientieren, die Überlegungen leiten" (128). Diese These ist mit Sicherheit ein sinnvoller Ausgangspunkt für weiterführende Analysen und Handlungen, hätte aber eine fundierte systemtheoretische Begründung verdient, wenn dieses Theoriegebäude schon angesprochen wird. Thiel und Ulber konnten in ihrem Beitrag bereits die Verwendbarkeit systemtheoretischer Begrifflichkeiten für die Modellierung von Leistungsrückmeldungen unter Beweis stellen.
Nach einer aufschlussreichen Darstellung administrativer Ebenen des Schweizer Schulsystems am Beispiel des Kantons Zürich fragt Bähr nach den spezifischen Bezugssystemen und Codes, die den Akteuren auf den unterschiedlichen Ebenen als Orientierungspunkt dienen. Auch hier wäre eine genauere Analyse der strukturellen Koppelungen mit Sicherheit lohnenswert, zumal Bähr ja schon auf die grundlegende Problematik hinweist: „Wenn Bildungsadministrationen Beobachtungs- und Rückmeldesysteme planen, müssen sie davon ausgehen, dass in der Rezeption Sachfragen ... (Schule/Lehrer: Wie gelingt wirksamer Unterricht?) mit Machtfragen (Wer steuert?) verbunden werden“ (132). Auch die Verwendung unterschiedlicher Codes in der Bildungsverwaltung wird trefflich analysiert: „… die Verwendung der Bezeichnung Test wird bei Kommunikationen in Richtung Lehrerschaft tunlichst vermieden, so wie sie bei Kommunikationen Richtung Parlament und Öffentlichkeit gesucht wird..." (133).
Abschließend legt Bähr ein Ebenenmodell für die leistungsfördernde Verwendung von Lernstandserhebungen vor. Kernidee dieses Modell ist die gezielte Koppelung bzw. Nicht-Koppelung zwischen verschiedenen Subsystemen. Die zurückgemeldeten Leistungsinformationen sind dabei auf die Zuständigkeit und Handlungskompetenz der jeweiligen Akteursgruppe zugeschnitten. Von besonderer Bedeutung sind Begrenzungen, die bereits in anderen Beiträgen dieses Bandes thematisiert wurden und den roten Faden aufgreifen: Die Datenerhebung muss von einer unabhängigen wissenschaftlichen Institution durchgeführt werden und darf zu keiner vergleichenden Veröffentlichung führen.
Fazit: Dieser überschaubare und gut lesbare Band vermittelt einen Einblick in ausgewählte Studien, die sich mit der Problematik von Rückmeldungen im „System Schule“ beschäftigen. Leistungsvergleichsstudien sind mittlerweile in der bundesdeutschen Bildungslandschaft gut etabliert und werden mit großem finanziellen Aufwand und wissenschaftlicher Expertise auf allen Ebenen durchgeführt. Der pädagogische Nutzen zurückgemeldeter Leistungsdaten für Schulen und Lehrer ist jedoch noch weitgehend unklar und die Erforschung von Rezeption und Umgang mit Evaluationsergebnissen auf Schul- und Unterrichtsebene steckt noch in den Kinderschuhen. Aus diesem Grund sind die von Kuper und Schneewind zusammengestellten Beiträge von Bedeutung. Sie fassen aktuelle Befunde und theoretische sowie methodologische Überlegungen zusammen und können zur Weiterarbeit anregen. Zugleich wird auch eine gewisse Marginalisierung bisheriger Studien in diesem Bereich sichtbar, zumal Rezeptionsstudien in der Regel an die Leistungsstudien angehängt und nicht von unabhängigen Forschergruppen durchgeführt werden. Einen ebenso guten Einblick erhält man in die noch nicht ausgereiften theoretischen Modellierungen und die empirischen Vorgehensweisen, mit denen man sich zögerlich an den eigentlichen Kern herantastet, den Nachweis tatsächlicher Verbesserungsmaßnahmen aufgrund zurückgemeldeter Leistungs- bzw. Evaluationsdaten.
EWR 5 (2006), Nr. 4 (Juli/August 2006)
Rückmeldung und Rezeption von Forschungsergebnissen
New York, München, Berlin: Waxmann 2006
(146 S.; ISBN 3-8309-1640-X; 24,90 EUR)
Uwe Maier (Schwäbisch Gmünd)
Zur Zitierweise der Rezension:
Uwe Maier: Rezension von: Kuper, Harm / Schneewind, Julia (Hg.): Rückmeldung und Rezeption von Forschungsergebnissen. New York, München, Berlin: Waxmann 2006. In: EWR 5 (2006), Nr. 4 (Veröffentlicht am 27.07.2006), URL: http://klinkhardt.de/ewr/83091640.html
Uwe Maier: Rezension von: Kuper, Harm / Schneewind, Julia (Hg.): Rückmeldung und Rezeption von Forschungsergebnissen. New York, München, Berlin: Waxmann 2006. In: EWR 5 (2006), Nr. 4 (Veröffentlicht am 27.07.2006), URL: http://klinkhardt.de/ewr/83091640.html