EWR 5 (2006), Nr. 4 (Juli/August 2006)

Harm Kuper / Julia Schneewind (Hrsg.)
R√ľckmeldung und Rezeption von Forschungsergebnissen
New York, M√ľnchen, Berlin: Waxmann 2006
(146 S.; ISBN 3-8309-1640-X; 24,90 EUR)
R√ľckmeldung und Rezeption von Forschungsergebnissen Der p√§dagogische Nutzen von Bildungsstandards und zentralen Lernstandserhebungen h√§ngt unter anderem davon ab, wie an Schulen mit Leistungsr√ľckmeldungen weitergearbeitet wird. Bereits nach TIMSS und PISA wurde gefragt, ob und in welchem Ma√üe eine Rezeption bei den Praktikern vor Ort stattfindet. Die fl√§chendeckende Durchf√ľhrung von Tests auf L√§nderebene sowie deren enge Kopplung an Curricula und Standards erm√∂glicht mittlerweile konkrete Formen der schul- und unterrichtsspezifischen Datenr√ľckmeldung und f√ľhrt somit zu Fragen der Rezeption, Akzeptanz und N√ľtzlichkeit dieser Daten aus Sicht der Lehrkr√§fte. Diesem Forschungsinteresse widmen sich die sieben Beitr√§ge in dem von Kuper und Schneewind herausgegebenen Band "R√ľckmeldung und Rezeption von Forschungsergebnissen". Forschungsergebnisse werden dabei von den Autoren durchaus als breiter Begriff verstanden. Es geht nicht nur um die viel diskutierten R√ľckmeldungen fl√§chendeckender Leistungsstudien, sondern um die Rezeption bildungswissenschaftlichen Wissens an Schulen insgesamt. Diese erweiterte Perspektive birgt allerdings auch die Gefahr der Zersplitterung, denn R√ľckmeldungen von zentralen Vergleichsarbeiten k√∂nnen nur bedingt mit R√ľckmeldungen bei kleineren Interventionsstudien mit freiwilliger Teilnahme verglichen werden.

Die ersten drei Beitr√§ge fokussieren Leistungsuntersuchungen auf L√§nderebene. Hier werden prominente Beispiele vorgestellt und erste Ergebnisse von Rezeptionsstudien im Hinblick auf eine Verbesserung der R√ľckmeldepraxis diskutiert. Die vier Beitr√§ge des zweiten Teils sind √ľberschrieben mit ‚ÄěRezeption und R√ľckmeldung in der Mehrebenenstruktur des Bildungssystems‚Äú. Hier bekommt der Leser Einblicke in die R√ľckmeldestudien der Forschungsprojekte DESI, IBUS und BeLesen. In einem abschlie√üenden Beitrag wird der Umgang mit Evaluationsergebnissen aus Sicht eines Vertreters der Bildungsadministration reflektiert. Eine Systematisierung und Verallgemeinerung des bisherigen Forschungsstandes ist noch nicht m√∂glich und wird in diesem Band auch nicht vorgenommen.

In einem einleitenden Kapitel stellt Kuper die Forschungen zur Rezeption und Nutzbarmachung von Ergebnisr√ľckmeldungen aus Leistungsstudien in den Kontext der erziehungswissenschaftlichen Theorie-Praxis-Problematik und fragt zun√§chst allgemein nach der Verwendung wissenschaftlichen Wissens in der p√§dagogischen Praxis. Seiner Ansicht nach kommt die theoretische Reflexion an dieser Stelle mit dem viel zitierten Dualismus zwischen Wissenschaft als Sozialtechnologie und Wissenschaft als Aufkl√§rung nicht weiter. Vielmehr kann Professionalit√§t als ‚Äědritte Instanz‚Äú zwischen den Wissensformen moderieren: ‚ÄěIm Sinne einer strukturellen Analyse der Vermittlung zwischen wissenschaftlichem und praktischem Wissen bietet sich die Fokussierung auf Professionalit√§t im Bildungssystem an" (9). Mit dieser strukturtheoretischen Sichtweise auf Professionalit√§t als Scharnierstelle zwischen Wissenschaft und praktischen Handlungserfordernissen intendiert Kuper nicht nur eine Diskussion um die praktische Verwendung wissenschaftlicher Daten, vielmehr ist f√ľr ihn ‚Äědie Einsicht der Professionellen in die theoretischen und methodischen Grundlagen der Bildungsforschung (10)" ein ausschlaggebender Aspekt.

Ein weiterer wichtiger Aspekt, der in dieser Einf√ľhrung herausgearbeitet wird, ist die Rolle der Professionalit√§t als dritte Instanz zwischen staatlichen und marktwirtschaftlichen Regelungsmechanismen. Dies ist von Bedeutung, weil die Rezeption von Leistungsr√ľckmeldungen in die weiter gespannte Diskussion um ein neues Steuerungsparadigma eingebettet ist. Wer hat die Deutungshoheit √ľber welche Daten? Wer soll bzw. kann mit welchen Daten bestimmte Handlungen initiieren bzw. legitimieren? F√ľr Kuper sind dies ungekl√§rte Fragen, deren Beantwortung nur im professionellen Diskurs m√∂glich ist: ‚ÄěF√ľr eine professionelle Verwendung der Ergebnisse der Bildungsforschung ist Entscheidungsautonomie unerl√§sslich (...) Das erfordert allerdings eine starke Kultur der Auseinandersetzung mit Befunden der Bildungsforschung in einer professionsinternen √Ėffentlichkeit" (11). Diese einleitenden √úberlegungen verweisen alle Forschungsaktivit√§ten im n√§heren und weiteren Umfeld von Schulleistungsstudien auf den zentralen Ort p√§dagogischen Handelns: Die Gestaltung von Unterricht durch autonome und professionelle Lehrkr√§fte. Eine sinnvolle Koppelung von Bildungsforschung und p√§dagogischer Praxis kann f√ľr Kuper nur bedeuten, dass die professionell T√§tigen vor Ort in die Lage versetzt werden, selbst√§ndig die Ergebnisse von Leistungsstudien reflektieren und in Handlungen umsetzen zu k√∂nnen. Diese Maxime √ľberzeugt und wird in den folgenden Beitr√§gen aufgegriffen.

Im ersten Beitrag stellen Gro√ü Ophoff, Koch, Hosenfeld und Helmke die VERA-R√ľckmeldekonzeption vor und referieren erste Ergebnisse einer Lehrerbefragung. Die Ziele der VERA-Vergleichsarbeiten f√ľr die Grundschule sind vielf√§ltig und ambitioniert und es ist nur recht und billig, wenn Anstrengungen unternommen werden, deren Erreichbarkeit auch zu √ľberpr√ľfen. Die Autoren betonen dabei vor allem die Verst√§ndlichkeit und N√ľtzlichkeit der zur√ľckgemeldeten Leistungsdaten als wichtiges Kriterien f√ľr die Brauchbarkeit von Vergleichsarbeiten: ‚ÄěDie Lehrkr√§fte sollen gewisserma√üen als Experten f√ľr ihren eigenen Unterricht in die Ergebnisinterpretation und die Konsequenzen f√ľr den Unterricht einbezogen und so zur ergebnisorientierten Unterrichtsentwicklung angeregt werden" (22). Chance und Gefahr zugleich sind dabei die vielf√§ltigen Vergleichsm√∂glichkeiten, die VERA den Grundschullehrkr√§ften anbietet. Dies wird von den Autoren erkannt und herausgearbeitet.

Die empirische Basis der VERA-Evaluationsstudie ist eine internetbasierte Befragung von Lehrkr√§ften aus der Zentralstichprobe. Die Lehrkr√§fte sch√§tzen ihren Handlungsspielraum im Umgang mit den Leistungsdaten als relativ gering ein. Noch vergleichsweise hoch wird der Nutzen von Vergleichsarbeiten f√ľr die Ableitung von F√∂rderma√ünahmen bzw. das Erkennen von Fehlerschwerpunkten gesehen. Dagegen m√∂chte nur jede zehnte Grundschullehrerin aus den zur√ľckgemeldeten Ergebnissen Ma√ünahmen f√ľr den eigenen Unterricht ableiten; an eine eventuelle Ver√§nderung des Unterrichts denken gerade mal 5%. Es stellt sich die Frage, ob Gro√ü Ophoff, Koch, Hosenfeld und Helmke hieraus die richtigen Konsequenzen ziehen. In einer weiteren systematischen Lehrerbefragung m√∂chten sie lediglich die Verst√§ndlichkeit des R√ľckmeldeformats und die Ver√§nderungswirkungen auf Unterrichtsebene noch genauer erfragen, um auf diese Weise das Leistungsfeedback optimieren zu k√∂nnen. Inwiefern wissenschaftlich ermittelte Leistungsdaten und handlungsleitende, subjektive Theorien der Lehrkr√§fte kompatibel sind, wird auch durch diese erweiterte Befragung nicht aufkl√§ren k√∂nnen.

Peek und Dobbelstein stellen das R√ľckmeldeformat f√ľr die Lernstandserhebungen in der Sekundarstufe I in Nordrhein-Westfalen dar. Die Wissenschaftler bieten den Schulen eine differenzierte Ergebnisaufbereitung an, die sich an den Bed√ľrfnissen der Lehrkr√§fte vor Ort orientieren soll. Die Lehrkr√§fte k√∂nnen zum Beispiel die Vergleichsgruppen frei w√§hlen. Die Autoren betonen ebenfalls die Dignit√§t der schulinternen Verarbeitung von Evaluationsdaten. Beispielsweise sind die Schulen dazu verpflichtet worden, in der Schulkonferenz √ľber die Ergebnisse, deren Interpretation und daraus gezogene Konsequenzen zu berichten. Erst danach erfolgt die Berichterstattung an die Schulaufsicht. Diese Vorgaben deuten darauf hin, dass auch in diesem Vergleichsarbeitenprojekt auf eine autonome Verarbeitung der Daten durch professionelle Lehrkr√§fte gesetzt wird.

√úber die tats√§chlich praktizierte Einbettung der Daten in Schul- und Unterrichtsentwicklungsprozesse k√∂nnen Peek und Dobbelstein allerdings nur spekulieren. Die R√ľckmeldung wurde nicht systematisch evaluiert und die bisher gemachten Erfahrungen basieren auf spontanen Lehrer√§u√üerungen. Der Tenor dieses explorativen Feedbacks: Die Akzeptanz der Tests, die Kompatibilit√§t der aufbereiteten Leistungsdaten mit fachdidaktischen Vorstellungen und die kollegiale Kooperation sind wesentliche Bedingung f√ľr deren N√ľtzlichkeit. Auch in diesem Beitrag bleiben am Ende mehr Forderungen und Fragen als Antworten.

Nachtigall und Kr√∂hne diskutieren messtheoretische Anforderungen an Vergleichsarbeiten und erl√§utern in Bezug auf zentrale Leistungserhebungen die Vor- und Nachteile der probabilistischen gegen√ľber der klassischen Testtheorie. Im weiteren Verlauf des Beitrags steht die Problematik fairer Vergleiche bei Leistungsstudien im Vordergrund. An einfachen Beispielen und Modellen werden m√∂gliche Fehlinterpretationen nicht justierter Daten veranschaulicht. Vor allem f√ľr die Akzeptanz von Tests und Leistungsr√ľckmeldungen ist dieser Aspekt von immenser Bedeutung. Interessant und wichtig ist deshalb auch die Systematisierung unterschiedlicher M√∂glichkeiten zur Berechnung fairer Vergleichswerte. Den gr√∂√üten p√§dagogischen Nutzen sehen Nachtigall und Kr√∂hne bei fairen Vergleiche zwischen Unterrichtsinhalten. F√ľr die Lehrkr√§fte werden St√§rken und Schw√§chen des Unterrichts sichtbar, die sich nicht auf Kontextmerkmale abw√§lzen lassen: ‚ÄěAus unserer Sicht bilden solche Vergleiche den Erfolg versprechendsten Ansatz f√ľr Unterrichts- und Schulentwicklung" (70).

Trotz aller methodologischen Fortschritte machen die Autoren auf weitere praktische und theoretische Probleme aufmerksam, die sich auch in absehbarer Zeit nicht ausr√§umen lassen. Im Rahmen von Schulleistungsstudien k√∂nnen beispielsweise nie alle relevanten Kontextbedingungen vollst√§ndig erfasst werden. Die gro√üe Bedeutung des Vorwissens w√ľrde beispielsweise ein l√§ngsschnittliches Design implizieren. Die Unsicherheit l√§sst sich reduzieren, jedoch nicht aufheben und sollte von allen Beteiligten bei der Interpretation der Daten mit einberechnet werden. V√∂llig sicher sind sich Nachtigall und Kr√∂hne jedoch in einem Punkt, der sich wie ein roter Faden durch den Band zieht: Auf jeden Fall sollten unfaire Vergleiche in der √Ėffentlichkeit vermieden werden. Die Presse ist an Rankings interessiert und nicht an Schulentwicklung.

Von der Gathen skizziert in seinem Beitrag die an DESI gekoppelte R√ľckmeldestudie und diskutiert forschungsleitende Fragen. Ergebnisse kann er noch nicht vorlegen. Die Leitfragen f√ľr die Fallstudien machen jedoch deutlich, dass auch hier die Einbindung der zur√ľckgemeldeten Leistungsdaten in die schulinterne Qualit√§tsdiskussion untersucht werden soll. Man darf auf die Befunde gespannt sein. Ansonsten werden in diesem Beitrag einige ausgew√§hlte und interessante Befunde der internationalen Rezeptionsforschung diskutiert. Die Fokussierung dieser Befunde auf die Fragestellung der vorgestellten DESI-R√ľckmeldestudie k√∂nnte schl√ľssiger sein.

Thiel und Ulber besch√§ftigen sich nicht mit der Rezeption zentraler Leistungsr√ľckmeldungen, sondern mit einem an der FU Berlin entwickelten Instrumentarium zur Beurteilung von Unterricht und Schulen. Dies ist zun√§chst ein Bruch mit der Thematik der bisherigen Beitr√§ge. Die theoretische Fundierung dieser Prozessevaluation l√§sst jedoch die Gemeinsamkeiten deutlich hervortreten und kann auf R√ľckmeldeeffekte von Produktevaluationen √ľbertragen werden. Hierzu werden system- und organisationstheoretische √úberlegungen aufgegriffen und gezielt auf die Evaluations- und R√ľckmeldeproblematik bezogen: ‚ÄěDie Konstruktion von Evaluationsinstrumenten mit dem Ziel der Generierung von Wissen f√ľr Qualit√§tssicherungsprozesse muss in besonderer Weise die Frage der Resonanzf√§higkeit und Verwendbarkeit von Daten im jeweiligen Organisationskontext ber√ľcksichtigen" (96).

Das Inventar zur Beurteilung von Unterricht und Schulen (IBUS) wurde dann auch ganz auf die an Schulen vorfindbaren Entscheidungspr√§missen abgestimmt. Gleichzeitig wird ein Sch√ľlerfragebogen mit Skalen zur Unterrichtsqualit√§t eingesetzt, um die Multiperspektivit√§t zu gew√§hrleisten. Die Anbindung des Instrumentariums an die system- und organisationstheoretischen Vorgaben ist √ľberzeugend und konsistent. Thiel und Ulber k√∂nnen zeigen, dass diese Basistheorien besonders ertragreich f√ľr die Modellierung der innerschulischen Verarbeitung von Ergebnissen aus Evaluationsstudien sein k√∂nnen. Das R√ľckmeldeformat der erhobenen Prozessdaten ist ebenfalls durchdacht und den antizipierten Bed√ľrfnissen des Systems Schule so gut wie m√∂glich angepasst worden. Wie die Lehrkr√§fte tats√§chlich reagieren und welche konkreten Ver√§nderungen durch die zur√ľckgemeldeten Daten angesto√üen werden, bleibt jedoch auch hier verborgen.

Auch Julia Schneewind befasst sich mit der Wirkung von Leistungsr√ľckmeldungen eines auf wenige Schulen begrenzten Forschungsprojektes. Es handelt sich dabei um die an Berliner Grundschulen durchgef√ľhrte und l√§ngsschnittlich angelegte Lese-Interventionsstudie BeLesen. In den ersten beiden Schuljahren werden insgesamt sechs Lesetests durchgef√ľhrt und differenzierte Ergebnisse an die Schulen und Lehrkr√§fte zur√ľckgemeldet. Mit der begleitenden Rezeptionsstudie wird das Ziel verfolgt, die Akzeptanz des Lesetests und die N√ľtzlichkeit der Leistungsdaten zu erfassen. Die Ergebnisse entsprechen einer zu erwartenden Motivationslage von Lehrkr√§ften, die freiwillig an einer Studie teilnehmen und werden von Schneewind als ermutigend bezeichnet. Es ist jedoch grunds√§tzlich fraglich, inwiefern mit diesen Einstellungsmessungen etwas √ľber den p√§dagogischen Nutzen von Leistungsr√ľckmeldungen gesagt werden kann. Ebenso ist es wohl kaum m√∂glich aus der Rezeptionsstudie zu diesem Leseinterventionsprojekt Generalisierungen f√ľr die √ľbergreifende Fragestellung nach der Wirkung von Leistungsr√ľckmeldungen abzuleiten. Die Teilnahme an einem speziellen und begrenzten Forschungsprojekt hat f√ľr Lehrkr√§fte einen anderen Stellenwert als verpflichtende, landesweite Lernstandserhebungen.

Im abschlie√üenden Beitrag beleuchtet Konstantin B√§hr die Problematik des Umgangs mit Schulleistungsstudien und Leistungsr√ľckmeldungen aus der Perspektive der Bildungsadministration. Unter R√ľckgriff auf akteur- und systemtheoretische Pr√§missen entwickelt er die zentrale These: ‚ÄěBeim Aufbau neuer und sinnvoller Strukturen f√ľr die Verwendung von Daten aus Schulleistungstests (...) muss letztlich die Beobachtung dieser Differenz, also die Beobachtung, dass sich die verschiedenen Akteursgruppen des Bildungswesens an unterschiedlichen Bezugssystemen orientieren, die √úberlegungen leiten" (128). Diese These ist mit Sicherheit ein sinnvoller Ausgangspunkt f√ľr weiterf√ľhrende Analysen und Handlungen, h√§tte aber eine fundierte systemtheoretische Begr√ľndung verdient, wenn dieses Theoriegeb√§ude schon angesprochen wird. Thiel und Ulber konnten in ihrem Beitrag bereits die Verwendbarkeit systemtheoretischer Begrifflichkeiten f√ľr die Modellierung von Leistungsr√ľckmeldungen unter Beweis stellen.

Nach einer aufschlussreichen Darstellung administrativer Ebenen des Schweizer Schulsystems am Beispiel des Kantons Z√ľrich fragt B√§hr nach den spezifischen Bezugssystemen und Codes, die den Akteuren auf den unterschiedlichen Ebenen als Orientierungspunkt dienen. Auch hier w√§re eine genauere Analyse der strukturellen Koppelungen mit Sicherheit lohnenswert, zumal B√§hr ja schon auf die grundlegende Problematik hinweist: ‚ÄěWenn Bildungsadministrationen Beobachtungs- und R√ľckmeldesysteme planen, m√ľssen sie davon ausgehen, dass in der Rezeption Sachfragen ... (Schule/Lehrer: Wie gelingt wirksamer Unterricht?) mit Machtfragen (Wer steuert?) verbunden werden‚Äú (132). Auch die Verwendung unterschiedlicher Codes in der Bildungsverwaltung wird trefflich analysiert: ‚Äě‚Ķ die Verwendung der Bezeichnung Test wird bei Kommunikationen in Richtung Lehrerschaft tunlichst vermieden, so wie sie bei Kommunikationen Richtung Parlament und √Ėffentlichkeit gesucht wird..." (133).

Abschlie√üend legt B√§hr ein Ebenenmodell f√ľr die leistungsf√∂rdernde Verwendung von Lernstandserhebungen vor. Kernidee dieses Modell ist die gezielte Koppelung bzw. Nicht-Koppelung zwischen verschiedenen Subsystemen. Die zur√ľckgemeldeten Leistungsinformationen sind dabei auf die Zust√§ndigkeit und Handlungskompetenz der jeweiligen Akteursgruppe zugeschnitten. Von besonderer Bedeutung sind Begrenzungen, die bereits in anderen Beitr√§gen dieses Bandes thematisiert wurden und den roten Faden aufgreifen: Die Datenerhebung muss von einer unabh√§ngigen wissenschaftlichen Institution durchgef√ľhrt werden und darf zu keiner vergleichenden Ver√∂ffentlichung f√ľhren.

Fazit: Dieser √ľberschaubare und gut lesbare Band vermittelt einen Einblick in ausgew√§hlte Studien, die sich mit der Problematik von R√ľckmeldungen im ‚ÄěSystem Schule‚Äú besch√§ftigen. Leistungsvergleichsstudien sind mittlerweile in der bundesdeutschen Bildungslandschaft gut etabliert und werden mit gro√üem finanziellen Aufwand und wissenschaftlicher Expertise auf allen Ebenen durchgef√ľhrt. Der p√§dagogische Nutzen zur√ľckgemeldeter Leistungsdaten f√ľr Schulen und Lehrer ist jedoch noch weitgehend unklar und die Erforschung von Rezeption und Umgang mit Evaluationsergebnissen auf Schul- und Unterrichtsebene steckt noch in den Kinderschuhen. Aus diesem Grund sind die von Kuper und Schneewind zusammengestellten Beitr√§ge von Bedeutung. Sie fassen aktuelle Befunde und theoretische sowie methodologische √úberlegungen zusammen und k√∂nnen zur Weiterarbeit anregen. Zugleich wird auch eine gewisse Marginalisierung bisheriger Studien in diesem Bereich sichtbar, zumal Rezeptionsstudien in der Regel an die Leistungsstudien angeh√§ngt und nicht von unabh√§ngigen Forschergruppen durchgef√ľhrt werden. Einen ebenso guten Einblick erh√§lt man in die noch nicht ausgereiften theoretischen Modellierungen und die empirischen Vorgehensweisen, mit denen man sich z√∂gerlich an den eigentlichen Kern herantastet, den Nachweis tats√§chlicher Verbesserungsma√ünahmen aufgrund zur√ľckgemeldeter Leistungs- bzw. Evaluationsdaten.
Uwe Maier (Schw√§bisch Gm√ľnd)
Zur Zitierweise der Rezension:
Uwe Maier: Rezension von: Kuper, Harm / Schneewind, Julia (Hg.): R√ľckmeldung und Rezeption von Forschungsergebnissen. New York, M√ľnchen, Berlin: Waxmann 2006. In: EWR 5 (2006), Nr. 4 (Veröffentlicht am 27.07.2006), URL: http://klinkhardt.de/ewr/83091640.html