Im Zuge der neuen Steuerung im Bildungswesen erschienen in den letzten Jahren unzählige Publikationen zur Rechenschaftslegung in Schulen, Hochschulen, Sozialpädagogik und Erwachsenenbildung. Im Kontext dieser Umsteuerung steht auch der o.g. Band zur Evaluation an Schulen von Karl-Oswald Bauer. Ziel ist es, „dem schulischen Praktiker als auch Studierenden und Pädagoginnen und Pädagogen einen Überblick“ zu vermitteln und ihre „individuelle Evaluationskompetenz“ zu erweitern (Klappentext).

Es handelt sich demnach um einen Band, der, anders als die theorieorientierten Fachpublikationen, primär die evaluatorische Praxis in den Blick nehmen möchte. Dieses wird auch am Aufbau des Bandes deutlich: Nach einer Einführung in „Theorie und Methodologie der Evaluation an Schulen“ durch den Herausgeber, werden zentrale Aspekte schulbezogener Evaluation – primär anhand von Praxisberichten – thematisiert: Lernende (Claus G. Buhren/ Nicole Reitz), Lehrende (Karl-Oswald Bauer/Maren Heise), Schulentwicklung (Andreas Paschon) und Unterrichtsentwicklung (Felicitas Thiel/Daniela Ulber; Kathrin Fussangel/Renate Schulz-Zander/Karl-Oswald Bauer). Ein Kapitel mit „Empfehlungen und Tipps für Schulleiter, Moderatoren, Evaluatoren, Qualitätsberater“ schließt den 213 seitigen Band ab.

Eine Publikation, die sowohl schulischen Praktikern als auch Studierenden einen Überblick verschaffen will und Evaluationskompetenzen erweitern möchte (s.o.), müsste meines Erachtens grundständiges Wissen vermitteln und dieses anhand der Darstellung gelungener Evaluationsprojekte untermauern. Doch der Band wird diesen Anforderungen nicht in allen Beiträgen gerecht. So bleibt die Vermittlung grundständigen, theoretischen Wissens unvollständig: Unterscheidungskategorien wie formative, summative, interne, externe, Selbst- und Fremdevaluation werden im ersten Kapitel (Karl-Oswald Bauer) nur kursorisch erläutert, statt dessen geht der Autor von der Kenntnis basalen evaluationsbezogenen Wissens aus und erklärt ausführlich diffizile systemtheoretische und methodologische Probleme (Steuerungskonzepte, metaevaluatorische, varianzanalytische, kausale, teleologische und hermeneutische Zugänge u.a.). Darüber hinaus erläutert der Herausgeber, dass der Untertitel des Bandes („Beispiele gelungener Evaluationspraxis“) nicht im Sinne von „best practice“ zu verstehen sei, da alle vorgestellten Projekte „kleine oder auch größere Mängel und Schwächen“ haben; vielmehr bedeute „gute Praxis“, dass sich die Projektverantwortlichen an „verbindlichen Standards guter Evaluation orientieren“ und ihr methodisches Vorgehen offenlegen.

Und hier stellt sich bei der Lektüre erstmals die Frage, ob die Publikation nicht vielmehr auf die Zielgruppe der Evaluationsexperten als -laien ausgerichtet ist. Ist die Leserin/der Leser mit den Grundlagen der Evaluation und empirischen Sozialforschung bereits vertraut, so finden sich in den theoretischen und methodologischen Einlassungen Bauers zahlreiche interessante Impulse: Beispielsweise berichtet er von einer von ihm konstruierten qualitativen Forschungsmethode, bei der – um sozial erwünschtes Antwortverhalten zu vermeiden – von zu falsifizierenden Suggestionen ausgegangen wird („falsifikatorische Suggestion“). Die/der Versuchsleiter/in versucht dabei den Eindruck zu erzeugen, dass sie/er die zu evaluierende Intervention für wirkungslos hält, wobei die zu Grunde liegende Wirksamkeitsthese als verifiziert gilt, wenn die/der Interviewte den suggestiven, negativen Äußerungen des Versuchsleiters heftig widerspricht. Der Bruch mit den Standards sozialforschender Interviewtechniken (Neutralität) ist bemerkens- und bedenkenswert.

Die der Einleitung folgenden „Beispiele guter Praxis“ weisen eine große Bandbreite hinsichtlich ihrer forschungsmethodischen Designs auf. Um dieses zu verdeutlichen sollen im Folgenden zwei Beispiele näher beleuchtet werden: die „Schülerselbstbeobachtung“ zur Steigerung von Selbstständigkeit und Selbstwirksamkeit im Unterricht (Claus G. Buhren/Nicole Reitz) und die „Schulentwicklung mit dem Modulansatz zur Selbstevaluation“ (Andreas Paschon).

Buhren/Reitz stellen ein Teilprojekt des BLK-Modellversuchs QUISS (Qualitätsentwicklung in Schulen und Schulsystem, 1999-2004) vor, in welchem intendiert wurde, die Reflexionsfähigkeit der Schüler/innen hinsichtlich ihrer individuellen Lernprozesse mit Hilfe von Selbstreflexionsinstrumenten wie z.B. Lerntagebüchern, Selbstbeobachtungsprotokollen und Selbstbewertungsbögen zu steigern. Die Autoren führen aus, dass das „Lern- und Arbeitsverhalten der Schüler“ hierbei „im Zentrum der Beobachtung und Bewertung“ stehe. Die Wirkungen der Intervention werden allerdings nicht anhand eines (randomisierten) Kontrollgruppendesigns gemessen, sondern lediglich anhand von Schüler- und Lehrereinschätzungen der Interventionsgruppe erhoben – und dieses bezieht sich sowohl auf die Akzeptanz des Programms als auch auf die Effekte der Intervention selbst („Lernen fällt leichter“; „Erfahrung Lernstärke“; „Zutrauen“; „Selbstständigkeit“; „Planung von Lernprozessen“ u.a.).

Im Gegensatz zu diesem relativ einfachen Evaluationsansatz stellt Andreas Paschon ein Evaluationsverfahren vor, dass äußerst differenziert auf die Gesamtheit schulischer Evaluationsbedürfnisse antworten möchte: die „Schulentwicklung mit dem Modulansatz zur Selbstevaluation“ (Andreas Paschon). Das an der Universität Salzburg entwickelte System ist ein Modulpool, „aus dem die Schule einzelne relevante Module situationsangemessen auswählen kann, um genau jene Themen zu beleuchten, die den Personengruppen (Lehrer, Schüler, Eltern) der jeweiligen Schule zu einem bestimmten Zeitpunkt als besonders wichtig erscheinen“ (119). Bisher wurden ca. 150 Module mit einem Itempool von etwa 4.000 Fragen erarbeitet. Diese beziehen sich beispielsweise auf das Schul- und Klassenklima, Bildungsziele, Selbstwirksamkeitsüberzeugungen, Aggressivität, Steuerung durch die Schulleitung, die Arbeit des Elternvereins u.a. Nach Auswahl der erwünschten Module erfolgt i.d.R. eine Vollerhebung an der Schule, in die auch die Eltern- und Lehrervertreter einbezogen werden, so dass 360-Grad-Feedbacks abgefragt werden. Nach der Erhebung werden die Daten durch das wissenschaftliche Expertenteam ausgewertet und interpretiert. Präsentationen vor den Stakeholder-Gruppen, Zielplanungen und ein Posttest im zeitlichen Abstand schließen den Schulentwicklungszyklus ab. Paschon präsentiert hier einen diffizilen und – zumindest der Lektüre nach auch nachhaltig wirkenden – Evaluationsansatz.

Insgesamt hinterlässt der Band einen zwiespältigen Eindruck: Er richtet sich an „schulische Praktiker“, setzt aber grundlegendes Wissen bezüglich der sozialwissenschaftlichen empirischen Forschung voraus; er will die Evaluationskompetenz der/des Leser/s/in stärken, verweist aber durchgehend auf die Wichtigkeit externer Experten. Was nun ist die ernüchternde Botschaft für den lesenden „schulischen Praktiker“? Bauer fasst es in seiner Einleitung zusammen: „Orientiert man sich an den Standards der Evaluation, ist die Mitwirkung fachlich kompetenter Personen und Organisationen unerlässlich […]. Lehrerinnen und Lehrer werden die mit Evaluation verbundenen Aufgaben nur meistern können, wenn sie bei der Durchführung sowohl durch geeignete Technologien und Messverfahren als auch durch kompetente Personen unterstützt werden“ (48 f.). Diese Publikation gibt m.E. eher den „kompetenten Personen“ als den evaluierenden Lehrer/innen Impulse für den Umgang mit evaluationsgestützter Rechenschaftslegung in Schulen.