Schulen und Lehrkräfte müssen sich aufgrund neuer bildungspolitischer Vorgaben verstärkt mit Qualitätssicherung und Selbstevaluation auseinandersetzen. In vielen Bundesländern wurde die Verpflichtung zur Selbstevaluation gesetzlich geregelt und mit einer erhöhten Gestaltungsautonomie der Einzelschule gekoppelt. Dieser bildungspolitische Trend führt zu einem wachsenden Interesse von Schulpraktikern an Evaluations- und Organisationsentwicklungskonzepten. Dabei stellt sich die Frage, inwiefern diese Konzepte mit der Institution kompatibel sind und ob Lehrkräfte den damit verbundenen zeitlichen aber auch psychischen Aufwand in Kauf nehmen werden. Eine kritische Stelle im Evaluationszyklus ist die Erhebung zuverlässiger und aussagekräftiger Daten, die für weitere Entwicklungsschritte anschlussfähig sind. Genau hier setzt das Buch von Daniela Ulber an. Sie möchte Schulen eine "globale" Organisationsdiagnostik als effizienten Einstieg in Schulentwicklungsmaßnahmen anbieten. Ihre Arbeit begründet sie mit einem gravierenden Forschungsdefizit in diesem Bereich: "Bislang existiert kein Instrument mit dieser Zielsetzung, das zudem theoretisch fundiert ist und dessen Güte systematisch überprüft wurde" (193).
Selbstverständlich gibt es im Bereich schulischer Evaluation bereits eine breite Palette an unterschiedlich geeigneten Verfahren und Erhebungsinstrumenten. Besteht nun wirklich ein Forschungsdefizit oder erweitert Ulber lediglich das vorhandene Repertoire um einen weiteren Fragebogen? Das Forschungsdefizit an Diagnoseinstrumenten im Bereich der schulischen Selbstevaluation wird dann nachvollziehbar, wenn man die spezifischen Anforderungen an das zu entwickelnde Instrument betrachtet:
- Es soll den an Schulentwicklungsprozessen beteiligten Personen einen umfassenden und schnellen Überblick über die aktuelle Situation in der Schule geben;
- Die Perspektiven aller Beteiligten (Eltern, Schüler, Lehrer) sollen systematisch erfasst und kontrastiert werden;
- Das Instrument soll theoretisch fundiert und der Komplexität der Organisation Schule angemessen sein und
- den sozialwissenschaftlichen Testgütekriterien standhalten können.
Das Buch ist insgesamt sehr übersichtlich gegliedert, gut lesbar und bietet auf ca. 200 Seiten eine einschlägige und informative theoretische Diskussion bisheriger Schul- und Organisationsentwicklungsansätze sowie die detaillierte Beschreibung der Entwicklung und methodischen Überprüfung des Instrumentariums zur Organisationsdiagnose. Im ca. 50 Seiten starken Anhang findet der Leser die kompletten Fragebögen und zusätzliche item- und faktorenanalytische Auswertungen. Besonders überzeugend ist die konsequent theorieorientierte Herleitung der Anforderungen an Organisationsdiagnose im schulischen Bereich. Basismodelle der Organisationsentwicklung und praktizierte Formen der Survey-Feedback Methode werden vor dem Hintergrund der spezifischen Merkmale der Organisation Schule ausführlich diskutiert und entsprechend adaptiert. Ulber versteht dabei die Arbeit mit einem derartigen Instrument als eine spezielle Form der Aktionsforschung, bei der Datensammlung, Weitergabe an alle Beteiligten und Interpretation in gemeinsamen Workshops eine wichtige Rolle spielen. Ihr gelingt es, ein Konzept von Organisationsdiagnose zu entwickeln, das theoretisch fundiert ist und zugleich die praktische Anwendung an Schulen mit berücksichtigt.
Auch die Herleitung der einzelnen Analysevariablen basiert auf theoretischen Überlegungen. Ulber beginnt mit einer Analyse der Organisation Schule und einer darauf bezogenen Diskussion von Gelingensbedingungen für schulische Organisationsentwicklungsmaßnahmen. Sie bezieht sich auf gängige Modelle für Schule als Organisation und begründet Organisationsdiagnose als eine Form der evaluativen Analyse, die in einer Expertenorganisation mit bürokratischen, dezentralisierten Strukturen und flachen Hierarchien zu einer adäquaten Diskussionsgrundlage von Veränderungsprozessen werden kann.
Organisationsentwicklungskonzepte für den schulischen Bereich werden allerdings immer wieder mit dem Vorwurf konfrontiert, die operationale Ebene des Unterrichtens auszublenden und die nur indirekt relevanten Organisationsmerkmale eines ohnehin sehr lose gekoppelten Systems übermäßig zu betonen. Ulber setzt sich mit dieser Kritik auseinander und stellt die Verwobenheit von unterrichtlichen und institutionellen Prozessen dar. In ihrem Organisationsdiagnoseinstrument soll dann auch die Unterrichtsebene nicht isoliert von der Einzelschule als Organisation gesehen werden. Die Entscheidung, welche Ebene als Ausgangspunkt für die Problemanalyse herangezogen wird, bleibt dann im Ermessen der Einzelschule: "Insgesamt gesehen können sowohl die Fokussierung der Schulorganisation als auch die Konzentration auf den Unterricht ... nutzbringende Ansätze darstellen. Auf welcher Ebene angesetzt wird, sollte auf Einzelschulebene, entsprechend den Bedingungen und Interessenlagen vor Ort, entschieden werden" (14). Damit bezieht Ulber Schulautonomie auch auf innerschulische Evaluationsprozesse. Es stellt sich dennoch die Frage, auf welche Weise das von Ulber entwickelte Diagnoseinstrument Organisationsaspekte und Unterrichtsebene verbindet. Hier wird dann auch bei ihr die Dominanz der organisationstheoretischen Herangehensweise deutlich. Methodische und fachdidaktische Fragen der Unterrichtsentwicklung werden im Organisations-Screening ausgeblendet, bzw. an den nachgeschalteten Schulentwicklungsprozess delegiert.
Natürlich kann ein Survey-Instrument, das zur Diskussion in Schulen anregen und den an Selbstevaluation Beteiligten ein Überblickswissen zur Verfügung stellen möchte, nicht alle relevanten Bereiche des schulischen Lebens detailliert abbilden. Dennoch sollte kritisch nachgefragt werden, ob die Unterrichtsebene mit einer Variablenauswahl aus der Schulklimaforschung adäquat repräsentiert wird (Zufriedenheit mit dem Unterricht; Flexibilität der Unterrichtsmethoden; Stimulation von Interesse etc.). Ulber begründet diese Wahl mit einer etwas zu harschen Kritik an sog. "reduktionistischen" Merkmalskatalogen der amerikanischen effective-school Studien. Des Weiteren beruft sie sich auf die Münchner Hauptschulstudie und behauptet, dass "für die Leistungsentwicklung förderliche Unterrichtsmerkmale (u.a. Klarheit, intensive Nutzung der Unterrichtszeit für den Stoff) Risikofaktoren für die Entwicklung einer positiven affektiven Einstellung zum Lernen darstellen" (78). Dies widerspricht der Befundlage in der Lehr-Lern-Forschung. Man kann heute durchaus von einem Set an Unterrichtsqualitätsmerkmalen ausgehen, die für den kognitiven als auch affektiven Zielbereich förderlich sind.
Die empirische Erprobung des Organisationsdiagnoseinstruments wird ausführlich dokumentiert und orientiert sich an der Forschungsmethodologie von Survey-Feedback-Prozessen: "Survey-Feedback lässt sich als extern unterstütztes Organisationsentwicklungsverfahren kennzeichnen, das die systematische Sammlung organisationsbezogener Daten bei den Organisationsmitgliedern mit einer Rückmeldung verbindet" (98). Die organische Einbettung der Datenerhebung und -rückmeldung in die jeweilige Struktur der Einzelschule wird durch eine intensive Vorbesprechung der Fragebögen mit den beteiligten Personengruppen und einer anschließenden Adaption auf die spezifische Schulsituation erreicht. Auch der Feedback-Prozess wird vom Forscherteam zusammen mit der Schulleitung bzw. der Steuergruppe gestaltet, um die Akzeptanz zu gewährleisten. Ein zentrales Element des Survey-Feedback ist die Kontrastierung der Perspektiven unterschiedlicher Personengruppen an Schulen. Dies wird durch eine weitgehende Parallelisierung der Fragebögen für Lehrer, Schüler und Eltern erreicht. Die meisten Items kommen mit entsprechenden Anpassungen in allen drei Fragebögen vor.
Ulber testete das Organisationsscreening an 14 Schulen in Hessen, Niedersachsen und Bayern. Das Spektrum der beteiligten Schulen reicht von der Grundschule über Hauptschule, Realschule, Gymnasium bis hin zu einer Berufsschule. Die Stichprobe repräsentiert somit die ganze Bandbreite unterschiedlicher Schulformen und -stufen. Andererseits ist es damit nicht möglich, spezifische Reaktionsweisen oder Umgangsformen in Abhängigkeit der Schulformen oder Schulstufen zu beschreiben. Auch die Stichprobenziehung für die Befragungen innerhalb der Schulen ist nicht standardisiert und wurde mit den Verantwortlichen individuell besprochen und geplant. Dies trägt zwar zu einer Erhöhung der Akzeptanz bei und lässt sich mit dem theoretischen Ansatz gut begründen. Andererseits sind damit die nachfolgenden Erfahrungsberichte über den Einsatz und die Folgen des Surveys kaum vergleichbar und spiegeln eher die Reformfreudigkeit der Einzelinstitution wider als den Effekt der organisationsdiagnostischen Intervention.
Ein besonderes Augenmerk legt Ulber auf die Einhaltung von Testgütekriterien bei der Auswertung und Datenrückmeldung an die Schulen. Mit konfirmatorischen Faktorenanalysen konnte sie zeigen, dass die Fragebogenitems für alle drei befragten Gruppen (Eltern, Lehrer, Schüler) eine gleiche Faktorenstruktur aufweisen. MTMM-Analysen wurden genutzt, um die konvergente Validität der Instrumente zu untersuchen. Dabei kommt Ulber zu dem Ergebnis, dass die Perspektiven der Beteiligten in der Regel nicht konvergieren und nur geringe Zusammenhänge zwischen Lehrern und Schülern vorliegen. Dieses wichtige, jedoch nicht ganz neue Ergebnis wird dann von Ulber folgerichtig als zentrale Begründung für die Kontrastierung der Perspektiven im Schulentwicklungsprozess interpretiert: "Für den vorliegenden Ansatz heißt dies, dass die unterschiedlichen Perspektiven für ein vollständiges Bild unbedingt erforderlich sind und die Einschätzungen nur einer Gruppe hier nicht ausreichen würden. Entsprechend würden Schulentwicklungsmaßnahmen, die nur auf den Einschätzungen der Lehrkräfte beruhen, an den Vorstellungen von Schülern und Eltern mit großer Wahrscheinlichkeit vorbeigehen" (191).
Neben den klassischen Gütekriterien wurde vor allem auf Nützlichkeit und Ökonomie der Datenerfassung und -rückmeldung geachtet. Gerade diese Nebengütekriterien von Messinstrumenten sind oft entscheidend für die Akzeptanz in der Praxis. Die Evaluation der Feedbackveranstaltungen an den Schulen wurde allerdings nur mit unsystematischen Protokollen, die von der Autorin im Anschluss an die Feedbackveranstaltungen geschrieben wurden, erfasst.
Insgesamt acht der 14 beteiligten Schulen haben an einer qualitativen Nachbefragung zur Abschätzung der Auswirkungen der Organisationsdiagnose teilgenommen. Bei der Beschreibung von Entwicklungsschritten im Anschluss an das Organisationsscreening lassen sich allerdings Ursache und Wirkung nur schwer auseinander halten. Beispielsweise haben sechs der acht befragten Schulen im Anschluss an das Feedback ein Schulprogramm entwickelt. Es bleibt unklar, ob die Organisationsdiagnostik zu diesem Schritt führte oder ob bereits Entwicklungen im Gang waren, die die Teilnahme an einer wissenschaftlichen Studie als auch die nachfolgende Entwicklung eines Schulprogramms erklären würden. Nichtsdestotrotz deuten die Ergebnisse der Nachbefragung auf ein insgesamt breites Spektrum an Veränderungen hin. Als besonders hilfreich wurde von den Schulleitern und Schulentwicklungsgruppen die Eltern- und Schülerperspektive gesehen. Die kontrastive Gegenüberstellung dieser Perspektiven mit vergleichbaren Fragebogendimensionen scheint gelungen zu sein.
Im abschließenden Kapitel werden erste Belege für die praktische Relevanz des Instrumentariums aufgeführt und weitergehende Entwicklungsfragen diskutiert. Das von Ulber entwickelte Organisations-Screening wird bereits in einigen Bundesländern von Schulverwaltungen eingesetzt bzw. als Instrument für die schulische Selbstevaluation angeboten. Schulen können mit diesem Verfahren eine eigenständige Organisationsdiagnose durchführen und damit erste Schritte in Richtung Selbstevaluation und Schulentwicklung gehen. Noch zu klären bleibt die Frage, ob die Datenrückmeldung auf unterschiedlichen Ebenen innerhalb der Einzelschule erfolgen soll. Eine Globaldiagnose auf institutioneller Ebene könnte in vielen Schulen folgenlos bleiben, solange keine gesonderten Rückmeldungen an einzelne Lehrkräfte gegeben werden. Andererseits könnte dies wiederum die Akzeptanz des Instrumentariums negativ beeinträchtigen. Ebenfalls unklar, jedoch von zentraler Bedeutung ist die Frage nach dem Verlauf von Schulentwicklungsprozessen nach der Ergebnisrückmeldung. Auch hier entwickelt Ulber Ideen für weiterführende Forschungsprojekte. Gerade wenn Schulentwicklungsprozesse oft an mangelnder Systematik und Persistenz scheitern, müsste man sich die Frage stellen, ob ein systematisches Diagnoseinstrument zu strukturierten und dauerhaften Schulentwicklungsprozessen beitragen kann.
Als Resümee kann festgehalten werden, dass Ulber ein Survey-Feedback Verfahren für den schulischen Bereich entwickelt hat, das die selbst gesetzten Standards erfüllt. Die drei weitgehend parallelisierten Fragebögen für Eltern, Lehrer und Schüler bieten einen ökonomischen und für alle Beteiligten akzeptablen Einstieg in einen kommunikativ orientierten Schulentwicklungsprozess. Dabei steht die Gewinnung von perspektivischem Überblickswissen zur eigenen Organisation im Vordergrund. Besonders hervorzuheben ist die konsequente Orientierung an sozialwissenschaftlichen Testgütekriterien. Dies gilt sowohl für die Entwicklung des Instruments als auch für die Gestaltung der Datenrückmeldung und -interpretation an den Schulen. Gerade wenn Selbstevaluation nicht nur eine weitere verordnete Pflichtübung sein soll, sondern in den Schulen zu einem produktiven pädagogischen Diskurs beitragen möchte, muss die dafür notwendige Datengrundlage zuverlässig und einschlägig sein. Die Arbeit von Daniela Ulber kann in diesem Zusammenhang als wichtiger Beitrag angesehen werden.