Die systematische Qualitätssicherung im europäischen Hochschulraum ist ein hochaktuelles politisch initiiertes Thema. So weist Sandra Mittag zu Recht darauf hin, dass im Rahmen des Bologna-Prozesses die Etablierung und der Nachweis von Mindeststandards wichtige Aufgaben der Hochschulen sind. Innerhalb von Deutschland betont die Hochschulrektoren-Konferenz die Bedeutung der Qualitätssicherung. So sind alle Hochschulen aufgefordert, entsprechende Maßnahmen einzuführen. Kritiker äußern oftmals, dass Evaluationen nicht zur Verbesserung von Studium und Lehre beitrügen, sondern vielmehr weitere, zeitintensive Verwaltungsaufgaben mit sich brächten. Das Ziel der nachhaltigen Optimierung von Studium und Lehre stehe dabei im Hintergrund. Die Frage, in welchem Ausmaß Verfahren der Qualitätssicherung zu positiven langfristigen Verbesserungen führen, blieb bislang unbeantwortet. Sandra Mittag nimmt sich dieser Frage in ihrer Dissertation an und untersucht empirisch, in welchem Umfang ausgesprochene Empfehlungen aus gutachterlichen Stellungnahmen an Universitäten realisiert wurden.
Mittags Ansatz zeichnet sich durch eine starke Anwendungsforschung aus. Das Buch ist in zehn Kapitel unterteilt. In den fünf Anfangskapiteln wird, neben der Darstellung der politischen Veränderungen im europäischen Hochschulraum, eine kurze theoretische Einbindung an die Bildungssoziologie vorgenommen. Daraufhin werden internationale empirische Studien zu Evaluationsverfahren vorgestellt. Anschließend werden die Verfahren zweier Evaluationsinstitute dargestellt, auf dessen umfangreiche Daten Mittag zurückgreift. Es folgen ein Methoden- und ein explorativ geprägter Auswertungsteil. Die letzten drei Kapitel fassen die Ergebnisse zusammen und es werden Optimierungsvorschläge für die Evaluationspraxis gegeben. Der Aufbau und die wichtigsten Erkenntnisse werden im Folgenden skizziert.
Mittag fasst zunächst die Eckdaten der aktuellen Hochschulreform und damit einhergehende Qualitätssicherungsmaßnahmen zusammen. Es gilt, einen europäisch vergleichbaren Hochschulraum zu schaffen. Qualitätssicherung gilt als zentrale Maßnahme, um Standards gewährleisten zu können. Dabei unterscheidet Mittag zwischen Evaluationen, die der kontinuierlichen Verbesserung von Studium und Lehre dienen, und Akkreditierung, die eine Sicherung von Mindeststandards gewährleisten sollen.
In der Literatur wird Kritik an den Maßnahmen dahingehend geäußert, dass Evaluation der staatlichen Kontrolle diene und der Autonomie der Hochschulen abträglich sei [1]. Als weiterer Kritikpunkt werden die nicht adäquaten finanziellen und zeitlichen Kosten genannt [2]. Gerade die positiven Folgen von Evaluationen werden angezweifelt. Dies liegt nach Mittag mit an der defizitären Forschungslage zur Wirkung von Evaluationen. Eine höhere Akzeptanz von Evaluationen könnte insbesondere dann erreicht werden, wenn das Ergebnis und die Wirkung von Evaluationen bekannt seien.
Im zweiten Kapitel wird das mehrstufige Verfahren vorgestellt, mit der internen und externen Evaluation. Mittlerweile haben sich verschiedene Evaluationsinstitute etabliert, die entsprechend den Vorschlägen der Hochschulrektoren-Konferenz ein mehrstufiges Verfahren anwenden.
Im dritten Kapitel nimmt Mittag wissenschaftliche Konzepte auf, die auf Besonderheiten der Organisation „Hochschule“ eingehen und den Nutzen und die Akzeptanz von Evaluationen beeinflussen können. Innerhalb von vier Buchseiten wird auf verschiedene Autorinnen und Autoren verweisend [3] die Hochschule als lernende Organisation beschrieben. Es werden hierbei zwei Lernebenen unterschieden [4]: Zum einen das „single loop learning“, das eine einfache Verhaltensveränderung mit sich bringt, und zum anderen das „double loop learning“, das auf die langfristige Veränderung von Werten abzielt. Im anschließenden Abschnitt wird Hochschule als „lose Disziplinenverkopplung“ mit „starken dezentralen Einheiten“ verstanden, in der Hochschullehrerinnen ein hohes Maß an Autonomie besitzen (17). Entsprechend lehnen Wissenschaftler eher externe Kontrolle ab. Um Reformmaßnahmen in einer solchen Organisation umsetzen zu können, werden Managementsysteme implementiert. Evaluationen können hierbei eine „vermittelnde Funktion“ einnehmen, die das Lernen unterstützt (19). Warum Hochschule als eine „lernende Organisation“ bezeichnet wird, wird in der Argumentation nicht ganz deutlich. Hochschulen erscheinen mir eher autonom und „dezentral“ organisiert – wie Mittag selbst bemerkt – und somit vielmehr als ‚lernresistent’.
Im vierten Kapitel werden Studien aus mehreren europäischen Ländern vorgestellt, die teilweise international und teilweise national ausgerichtet waren. Mittag fasst die Ergebnisse zusammen: Die ausschließliche Erstellung eines Gutachtens hat in der Regel lediglich eine „Belohnung“ (48) von einzelnen Aspekten zur Folge; die Veränderung von Strukturen erfolgt erst bei einer konzeptionellen Einbindung in ein Qualitätsmanagement. Es ließ sich in einigen Fällen eine gestiegene Akzeptanz gegenüber Evaluationen nachweisen, wenn ein Qualitätskonzept vorhanden war. Eine weitere Erkenntnis aus den Studien ist, dass eine Einbindung der Betroffenen in das Verfahren einen höheren Abbau von aufgezeigten Schwächen nach sich zieht.
Mittag hat den Anspruch, erstmalig für Deutschland den Anteil an Umsetzungen von geforderten Maßnahmen zu bestimmen. Dazu greift sie auf die Daten der zwei ältesten Evaluationseinrichtungen (Zentrale Evaluations- und Akkreditierungsagentur Hannover; Verbund Norddeutscher Universitäten) zurück. Beide Einrichtungen verwenden vergleichbare Leitfäden: Dabei werden vielfältige Punkte der Organisation, Ausstattung sowie Profil von Studium und Lehre erhoben. Aber auch weitergehende Aspekte, wie Förderung des wissenschaftlichen Nachwuchses und der Absolventenverbleib sollen im Selbstreport geschildert werden.
Im Methodenteil werden nachvollziehbar die verwendeten quantitativen Verfahren und qualitativen Auswertungen erläutert. Das aufwendige, detaillierte Vorgehen wird deutlich: Zwei Kodierer analysierten sämtliche Gutachten (bis zum Jahr 2003) der Evaluationseinrichtungen und die dazugehörige Stellungnahme der Hochschulen (117 Gutachten). Somit kann eine Gegenüberstellung von Forderungen der GutachterInnen mit den Umsetzungs- und Realisierungsmaßnahmen der Universität vorgenommen werden. Zudem wurden Beteiligte zur Zufriedenheit mit dem Vorgehen bei der Evaluation sowohl schriftlich (492 Personen) als auch in Interviews (33 Personen) befragt. Um Fachgebiete vergleichen zu können, werden die Disziplinen in fünf Kategorien geordnet. Mittag wählt differenziert je nach Datenlage entsprechende quantitative statistische Methoden aus und berichtet neben Signifikanzen auch immer über Effektstärken. Das Berichten von Effektstärken ist besonders positiv hervorzuheben, da dies immer wieder gefordert, aber kaum umgesetzt wird [5]. Da alle vorhandenen Evaluationsverfahren berücksichtigt wurden, kann von einer Vollerhebung ausgegangen werden – genau genommen wären keine Signifikanzprüfungen notwendig.
Zu Beginn des siebten Kapitels formuliert Mittag explorative Untersuchungsfragen. Die Autorin will der Frage nachgehen, in welchem Ausmaß Empfehlungen, die von Gutachtern ausgesprochen wurden, umgesetzt werden. Zudem ist von Interesse, ob weitergehende qualitätssichernde Maßnahmen, die nicht im Gutachten festgehalten werden, durch den Evaluationsprozess ausgelöst wurden und ob bestimmte Kritikpunkte häufiger umgesetzt werden als andere. Weiterhin werden Gründe für Erfolg und Misserfolg der Umsetzung diskutiert. Eine dritte Hauptfrage beschäftigt sich mit den Optimierungsmöglichkeiten von Evaluation. All diese auswertungsleitenden Fragen weisen keine Richtung oder konkreten Hypothesen auf.
Die Ergebnisse zeigen, dass 56% aller Optimierungsmöglichkeiten, die in den Gutachten festgestellt wurden, umgesetzt oder in Bearbeitung sind. Dagegen wurden bei 29% der gutachterlichen Hinweise ohne weitere Angaben keinerlei Maßnahmen eingeleitet. Eine Erklärung, warum einige Aspekte nicht umgesetzt wurden, wird bei 15% der Fälle genannt. Neben den von den EvaluatorInnen genannten Punkten, wurden in einigen Fällen eigene Verbesserungswünsche von Universitätsangehörigen festgehalten. Von diesen selbstentwickelten Zielen wurden 80% umgesetzt.
Der Fachgruppenvergleich zeigt, dass der Umsetzungsumfang in den Ingenieurwissenschaften (62%) sowie in den Rechts-, Wirtschafts- und Sozialwissenschaften (61%) am höchsten ist, während er bei den Sprach- und Kulturwissenschaften (49%) am geringsten ausfällt. Untersuchungen aus Großbritannien (Brennan et al.) zeigen abweichende Ergebnisse: Dort wurden besonders viele Maßnahmen im Fachgebiet Informatik, und besonders wenig im Studiengang Geowissenschaften umgesetzt. Brennan et al. kategorisiert die Fachrichtungen nicht. Fraglich ist der Gewinn dieses Fachvergleichs. Die Kategorisierung von Fachrichtungen nimmt Mittag gemäß statistischem Bundesamt vor. Für Forschungszwecke erscheint mir das Vorgehen weniger überzeugend. Die Gruppen dürften zu heterogen sein und infolgedessen empirische Unterschiede kaum inhaltlich interpretierbar sein. Mittag stellt selbst keine Hypothesen zu den Unterschieden in den Fachgruppen auf, die die gefundenen Ergebnisse erläutern würden. In der späteren Diskussion wird lediglich auf die geringeren finanziellen Möglichkeiten der Geisteswissenschaften hingewiesen.
Als weiteres Ergebnis wird ein generelles Defizit an Hochschulen festgestellt: Es liegt eine unzureichende Förderung des wissenschaftlichen Nachwuchses vor. Im Bereich der Nachwuchsförderung werden lediglich 42% der in Gutachten genannten Forderungen umgesetzt.
Interessante Anhaltspunkte liefern die Interviews mit Universitätsangehörigen, warum Maßnahmen nicht umgesetzt werden. Neben dem bekannten und zu erwartenden Argument der finanziellen Engpässe konnte eine kritische Haltung gegenüber Evaluationen sowie mangelndes Engagement als Hindernis für Veränderungen identifiziert werden. So hält Mittag fest, dass eine Evaluation nur dann zur Qualitätsentwicklung an einer Universität beitragen kann, wenn das Professorium untereinander produktiv kommunizieren kann und ein Interesse an der Optimierung von Studium und Lehre aufweist.
Ein weiterer meines Erachtens wichtiger Vergleich ist der zwischen dem Anteil umgesetzter Maßnahmen, festgestellt durch die Inhaltsanalyse der Autorin auf der einen Seite, und der subjektiven Einschätzung des Verfahrens durch die schriftliche Befragung von Universitätsangehörigen auf der anderen Seite. Es zeigt sich durchgehend, dass in Hochschulen, in denen das Verhältnis von Aufwand und Nutzen als angebracht bezeichnet, sowie die Qualitätssicherung als wichtig erachtet wird, deutlich mehr Umsetzungsaktivitäten vorzufinden sind. In Gutachten festgestellte Schwächen werden folglich an Universitäten häufiger verbessert, an denen eine positive Einstellung gegenüber Evaluationen herrscht. Die Autorin verweist zu Recht auf die nicht eindeutige Wirkrichtung, allerdings ist der reine Zusammenhang an sich berichtenswert.
In der Diskussion nimmt Mittag die eingeführten Konzepte des „single“ und „double loop learnings“ wieder auf. Sie resümiert ihre Ergebnisse dahingehend, dass „vor allem ein single loop learning stattgefunden“ hat, da die Gesichtspunkte der Gutachten „in konkrete Maßnahmen gemündet“ sind (127). Konkrete Veränderungen sind einfacher nachweisbar als Werteveränderungen, gerade bei dem gewählten Verfahren der Autorin. Mittag wertete die Gutachten dahingehend aus, wie viele der in Evaluationsgutachten genannten Schwächen bearbeitet werden. Entsprechend sind vorgenommene Veränderungen Ergebnis einer solchen Untersuchung. Allerdings weist die Arbeit nicht nur eine instrumentelle Verwendung der Evaluation (single loop), sondern auch eine konzeptionelle Veränderung der „Qualitätskultur“ (133) nach. Insbesondere die Interviews zeigen die Steigerung der Kommunikation an Hochschulen: „Es wird versucht, anhand […] der Gutachten […] ins Gespräch zu kommen“ (111). Das „double loop learning“ ist allerdings deutlich schwieriger festzustellen und nicht Ziel der vorliegenden Auswertungen gewesen.
Mittag schließt ihre Dissertationsschrift mit Vorschlägen zur Weiterentwicklung von mehrstufigen Evaluationsverfahren ab. In Zukunft sollten vermehrt sowohl von Gutachterseite als auch von Hochschulangehörigen auf die Nachwuchsförderung geachtet werden. Die Wichtigkeit dieses Standpunktes wird mit dem Hinweis auf die aktuelle Exzellenzinitiative unterstrichen, da dort die Bildung von Doktoranden-Colloquia in Deutschland forciert wird. Zudem sollten insbesondere in den Inhaltsbereichen, in denen weniger Optimierungen vorgenommen wurden, konkretere Handlungsvorschläge in den Gutachten formuliert werden. Ein weiterführender Gedanke ist die Idee, den Hochschulangehörigen einen Austausch mit den Gutachtern zu ermöglichen. Manche Hochschulangehörige bemängelten, keine Erklärung zu aufgezeigten ‚Schwächen’ geben zu können.
Der Gedanke, dass Evaluationen mit einer Kultur der Qualitätssicherung zu verbinden seien, um langfristige und anhaltende Verbesserungen zu erzielen, kann sicherlich nur von allen Wissenschaftlerinnen in diesem Forschungsbereich unterstützt werden. Sandra Mittag legt mit ihrer Dissertation erste wichtige Einblicke in die Umsetzungsrealität von Evaluationsergebnissen vor. Das Buch zeichnet sich durch multimethodale Vielfalt aus und verbindet quantitative mit qualitativen Daten in einer sinnvollen und sich ergänzenden Weise. Die Ergebnisse sind gerade für Hochschulangehörige interessant, die mit Evaluationen betraut sind. Der Ablauf von Evaluationen wird erläutert. Die Erwartung, was das Ergebnis von Evaluationen sein kann, sollte sich an den dargestellten Zielen orientieren. Was mit Evaluationen an Hochschulen realistischerweise bewirkt werden kann, wird von Mittag erstmalig systematisch aufgezeigt. Mehrstufige Evaluationen bewirken eine ganze Reihe von Verbesserungen von Studium und Lehre; denn es werden immerhin 56% aller im Evaluationsbericht vorgeschlagener Optimierungshinweise bearbeitet. Die Kenntnis dieses Ergebnisses führt hoffentlich bei Hochschulangehörigen zu einer höheren Akzeptanz von Evaluationen, und die Befürchtung, es sei nur ein zeitlicher Aufwand damit verbunden, kann als widerlegt gelten.
Für die science community entstehen Anhaltspunkte darüber, wie viel von mehrstufigen Evaluationsverfahren umgesetzt wird, und dass erwartungsgemäß die Akzeptanz von Evaluationen einen großen Einfluss auf das Verfahren nimmt. Einzelne Forschungsfragen, beispielsweise warum bestimmte Aspekte eher umgesetzt werden als andere, entstehen durch die Lektüre des Buches. Ich bin mir sicher, dass Mittag selbst einige weitere Forschungsfragen beantworten wird.
[1] Altrichter, H., Schratz, M. & Pechar, H. (1997): Hochschulen auf dem Prüfstand. Was bringt Evaluation für die Entwicklung von Universitäten und Fachhochschulen? (Studien zu Bildungsforschung & Bildungspolitik, 16). Innsbruck: Studien-Verlag.
Harvey, L. & Askling, B. (2003): Qualitity in Higher Education. In: R. Begg (Hrsg.): The Dialogue Between Higher Education Research and Practice. Dordrecht: Kluwer, 69-83.
[2] Webler, W. D. (1996): Qualitätssicherung in Fachbereichen – ein erster Modellvergleich. In: Das Hochschulwesen, 44, 16-27.
Schimank, U. (2005): Politikberatung als Verrat. Leistungsbeurteilung von Kollegen am Beispiel von Evaluationen im Hochschulsystem. In: Forschung & Lehre, 2, 76-79.
[3] Boyce, M. E. (2003): Organizational Learning Is Essential to Achieving and Sustaining Change in Higher Education. In: Innovative Higher Education, 28, 119-136.
Harvey, L. & Askling, B. (2003): Qualitity in Higher Education. In: R. Begg (Hrsg.): The Dialogue Between Higher Education Research and Practice. Dordrecht: Kluwer, 69-83.
Pellert, A. (1999): Die Universität als Organisation. Die Kunst, Experten zu managen (Studien zu Politik und Verwaltung, 67). Wien: Böhlau.
[4] Argyris, C. & Schön, D. A. (2002): Die lernende Organisation. Grundlagen, Methoden, Praxis. Stuttgart: Klett-Cotta.
[5] Cohen, J. (1994): The earth is round. (p<.05). In: American Psychologist, 49, 997-1003.