Home: www.vep-landau.de

Empirische Pädagogik

Zeitschrift zu Theorie und Praxis erziehungswissenschaftlicher Forschung

Zusammenfassung des Artikels: 2007, 21(4), 352-367

Ingmar Hosenfeld & Jana Groß Ophoff

Nutzung und Nutzen von Evaluationsstudien in Schule und Unterricht

In diesem Heft geht es um die Nutzung und den Nutzen von Evaluationsstudien in Schule und Unterricht, wobei der Fokus auf den beiden Aspekten des wahr­ge­nommenen Nutzens und der tatsächlichen Nutzung von Rückmeldungen an Schu­len liegt. Es geht hier also weniger um Varianten der schulinternen Evalua­tion als vielmehr um Verfahren mit mindestens externen Anteilen. Die beiden fo­kussier­ten Begriffe stehen in einem komplexen Verhältnis zueinander, bei dem idealer­weise eine hohe wahrgenommene Nützlichkeit zu einer intensiven Nut­zung führt. Im Allgemeinen wird also der wahrgenommene Nutzen als Voraus­setzung für die Nutzung aufzufassen sein, auch wenn es spezifische Konstellationen geben kann, in denen es trotz fehlendem wahr­ge­nom­me­nen Nutzen zu einer in­tensiven Nut­zung kommt – entweder im Sinne eines Missbrauchs oder weil spezi­fische Ver­wen­dun­gen angeordnet wurden. Nehmen die Adressaten von Rückmel­dungen also idea­lerweise einen Nutzen wahr, so hängt es von einer ganzen Reihe weiterer Fakto­ren ab, ob, wie und in welchem Umfang die zur Verfügung ge­stellten In­formatio­nen verwendet werden.

In diesem Sinne wird im Rahmen des wissenschaftlichen Diskurses über daten­gestützte Qualitätsentwicklung von Schule und Unterricht immer wieder betont, dass die Rückmeldung von extern ermittelten Ergebnissen nicht automatisch zu den gewünschten Veränderungsprozessen führt  (u. a. Kohler & Schrader, 2004; Rolff, 2002; Visscher, 2002; Weiss, 1998). Das komplexe Geflecht aus Voraus­set­zungen, Einflussfaktoren und Folgen wird mit unterschiedlichem Fokus von ei­ner Reihe von Autoren anhand unterschiedlicher Modelle theoretisch gegliedert. Im Folgenden stellen wir einige Ansätze dar, die uns geeignet erscheinen zentrale Mechanismen zu erläutern und so eine Hintergrund-Folie bilden, mit der die in diesem Heft ge­sammel­ten Beiträge eingeordnet und interpretiert werden können.

Kluger und DeNisi betonen  (1996, 1998), dass Feedback durch den Lernenden akzeptiert, modifiziert oder zurück­ge­wiesen werden und somit unterschiedlich auf die nachfolgende Aufgabenausführung wirken kann. Auf Basis von Meta-Analysen stellen die Autoren fest, dass in einem Drittel der berücksichtigten Stu­dien negative Performanz-Effekte berichtet wurden, auch wenn über alle Studien hinweg ein moderat positiver Effekt von Feedback-Interventionen nachgewiesen werden konnte. Sie leiten aus den verschiedenen Befun­den ein theoretisches Mo­dell der Wirkung von Feedback-Interventionen (1996) ab. Grundlegende Annah­men sind, dass über den Vergleich von Feedback mit hierarchisch organisierten Zielen und den darauf bezogenen Prozessen das Verhalten reguliert wird. Da je­doch die Aufmerksamkeit limitiert ist, spielen nur die in diesem Vergleich be­wusst wahrgenommenen Diskrepanzen eine Rolle für die Regulation des Verhal­tens. Indem Feedback-Interventionen den Aufmerksamkeitsfokus ver­än­dern, kön­nen sie das Verhalten beeinflussen. Das „Auflösungsniveau“ der Aus­ein­an­derset­zung mit dem Feedback wird letztlich durch den Auto­ma­ti­sierungs­grad der zu be­wältigenden Aufgabe beeinflusst: In der Auseinandersetzung mit bewusst wahr­genommenen Diskrepanzen wird die Aufmerksamkeit i. d. R. zunächst auf die mittlere Prozessebene gelenkt, auf der die eigentliche Auf­gaben­be­ar­bei­tung ins­besondere in motivationaler Hinsicht reguliert wird. Ein motivierter Han­deln­der würde in diesem Fall zunächst auf bewährte, stark automatisierte Stra­te­gien zu­rückgreifen (u. a. mehr Anstrengung) und schließlich – falls die gewählte Stra­te­gie „versagt“ – aufgabenspezifische Strategien einsetzen. Falls die wahr­ge­nom­mene Diskrepanz auf diesem Wege nicht beseitigt werden kann, wird die Auf­merksamkeit auf andere, kognitiv aufwändigere Prozessebenen gelenkt: entwe­der auf die niedrigere Ebene der Aufgabenausführung (Lernen) oder auf die Ebe­ne des Selbst, was beides zu sowohl vor- als auch nachteiligen Effekten für die Auf­gabenbearbeitung führen kann. Die Wirkung von Feedback wird also da­von be­einflusst, auf welche Verarbeitungsebene sich die Informationen be­ziehen. So konnten Kluger und DeNisi (1996) basierend auf Moderator-Analysen zeigen, dass insbesondere solche Rückmeldungen positive Effekte auf die Per­for­manz nach sich ziehen, die für bekannte (automatisierte) Aufgaben gegeben werden, lernförderliche Hinweise enthalten, Hinweise zur unmittelbaren Auf­ga­ben­bear­beitung und zur Zielsetzung derselben vermitteln sowie zugleich Hinweise ver­meiden, die auf die Ebene des Selbst lenken.

Während Kluger und DeNisi in ihrem Modell von drei Verarbeitungsebenen ausgehen, unterscheiden Hattie und Timperley (2007) mit Blick auf Schule und Unterricht vier Ebenen, auf die sich Feedback beziehen kann.

1.        (Ausführung der) Aufgaben-Ebene

2.        Prozess-Ebene (Verstehen/Strategien)

3.        regulatorische (metakognitive) Ebene

4.        persönliche Ebene

Diese Verarbeitungsebenen entsprechen im Kern dem Modell von Kluger und DeNisi, wobei Hattie und Timperley die mittlere Prozessebene der Auf­ga­ben­be­ar­beitung zusätzlich unterteilen in kognitive und metakognitive Prozesse. Feedback, das sich auf diese beiden Ebenen bezieht, bezeichnen die Autoren als besonders wirksam. Eine elaborierte Auseinandersetzung und Aufgabenbeherrschung wird dabei erreicht, indem Feedback auf der Prozess-Ebene (2) Hinweise darauf gibt, wie die Aufgabe bearbeitet werden kann, und Feedback auf Ebene der Selbst­re­gu­la­tion (3) sich darauf bezieht, wie der Lernende seine Aktivitäten auf dem Weg zum Lernziel überwacht, steuert und reguliert. Feedback, das sich auf die Auf­ga­ben-Ebene (1) bezieht, informiert demgegenüber in erster Linie über die Korrekt­heit der Ausführung und ist nur wirksam, wenn die Informationen genutzt werden können, um kognitive und metakognitive Prozesse zu optimieren bzw. zu ent­wi­ckeln. In diesem Sinne sollte Feedback idealerweise die Lernenden von der Ebene der Aufgabe auf die Ebene von Verstehensprozessen und schließlich auf die Ebene der Selbstregulation begleiten. Feedback über das Selbst (4) ist nach Hattie und Timperley wenig effektiv, da es i. d. R. keinen unmittelbaren Bezug zur Hand­lung herstellt (z. B. „Du bist ein begabter Schüler.“). Die Autoren betonen, dass Feedback die Funktion hat, Diskrepanzen zwischen dem Gelernten und dem, was gelernt werden soll, zu reduzieren. Effektives Unterrichten beinhaltet dabei nicht nur die Vermittlung von Informationen und Verständnis, sondern bedeutet auch die Beurteilung und Bewertung des Verständnisses dieser Informationen, damit der nächste Lehr-Schritt daran angepasst werden kann. Vor diesem Hinter­grund sollte effektives Feedback drei Fragen beantworten können.

1.        Was sind die Ziele?

2.        Welcher Fortschritt wird in Richtung Ziel gemacht?

3.        Welche Aktivitäten müssen unternommen werden, um im Lern­prozess fort­zu­schreiten?

Die erste Frage bezeichnen die Autoren als „feed up“-Aspekt, wonach es grundlegend ist, dass Feedback darüber informiert, was „Erfolgskriterien“ sind und inwiefern bestimmte Lernziele im Rahmen der Aufgabenbearbeitung oder Performanz erreicht wurden. Solange das (Lern-)Ziel mangelhaft definiert ist, kann die Lücke zwischen dem tat­säch­li­chen und dem gewünschten Lernprozess von den Lernenden weder identifiziert noch angemessen beseitigt werden. Die Ziele sollten außerdem verbindlich und heraus­fordernd formuliert sein, um eine Orientierung an Erfolgskriterien zu er­mög­lichen. So kann der Lernende die ei­gene Leistung mit Blick auf das Ziel nach­vollziehen und bei Bedarf Anstrengung, Handlungsrichtung oder Bearbei­tungs­strategie anpassen. Sobald die Aufgabe er­füllt ist, können darauf aufbauend neue, moderat fordernde Ziele formuliert wer­den, was wiederum die Bedin­gun­gen für einen fortlaufenden Lernprozess schafft. Da jedoch nicht vorausgesetzt werden kann, dass die Lernenden diese Ziele von selbst verbindlich teilen, sollte ein entsprechendes „commitment“ gezielt geför­dert und aufgebaut werden. Die zweite Frage informiert darüber, welche Fort­schritte in Richtung Ziel gemacht werden („feed back“-Aspekt) – und zwar i. d. R. mit Blick auf einen bestimmten Standard, frühere Leistungen oder den (Miss-)Erfolg bei Teilaspekten der Tätig­keit. Demnach zeichnet sich effektives Feedback aus durch Informationen zum Pro­zess und/oder wie weiter zu verfahren ist. Die dritte Frage schließlich gibt Aus­kunft über „feed forward“-Aspekte, also darüber, welche Aktivitäten für den wei­teren Lernfortschritt zu unternehmen sind (z. B. verstärkte Selbstregulation, höhe­re Automatisierung der Ausführung, wei­tere Bearbeitungsstrategien oder -pro­zesse, usw.). Ein wesentliches Ziel ist es vor diesem Hintergrund, dass Lücken zwischen dem Gelernten und zu Lernendem identifiziert werden, indem der (Lern-)Fortschritt ins Verhältnis zu den (Lern-)
Zielen gesetzt wird und unter­stützend alternative bzw. folgende Schritte angebo­ten werden, ohne dass die Aufmerksamkeit auf das Selbst gelenkt wird.

Mit Blick auf Leistungsmessungen stellen Hattie und Timperley (2007) fest, dass die Resultate selten genutzt werden, um die genannten drei Feedback-Fragen nach Zielen, Fortschritten und Folgeschritten zu beantworten. Insbesondere Lehr­kräfte scheinen die Ergebnisse aus Leistungstests eher als Feedback über die Leis­tung der Schüler zu interpretieren als über die Effektivität ihres eigenen Un­ter­richts (siehe auch Timperley, Phillips & Wiseman, 2003; Schneewind in die­sem Band). Dabei sollte in der Auseinandersetzung mit Feedback aus Leis­tungs­tests im Vordergrund stehen, wie die Lücke zwischen dem Gelernten und zu Ler­nen­dem geschlossen werden kann.

Auch Ditton und Arnold (2004) greifen auf den Ansatz von Kluger und DeNisi zurück und integrieren diesen in ein Modell ergebnisorientierter Qualitäts­sicherung von Schule und Unterricht, in welchem die Handlungsausführung so­wie internes und externes Feedback im Mittelpunkt stehen. Demnach stellen ex­tern durchgeführte Evaluationen und die daraus resultierenden Rückmeldungen eine Ergänzung oder ggf. Korrektur der alltäglichen, durch die Lehrkräfte selbst er­fahrenen Rückmeldungen dar. Die verschiedenen Feedback-Informationen werden im Prozess schulischer Qualitätssicherung integriert, mit den Bil­dungs­zielen verglichen und daraus ggf. Maßnahmen zur Bewältigung von Dis­kre­pan­zen abgeleitet. Die Wirkung der implementierten Maßnahmen auf die schulische bzw. unter­richt­liche Qualität kann wiederum als Rückmeldung bezüglich der er­reichten Ziele genutzt werden und wird nach Ditton (u. a. 2002) zusätzlich beein­flusst durch strukturelle, finanzielle, materielle und personelle Bedingungen.

Ein weiteres Modell der Nutzung von Feedback in Schule und Unterricht geht zurück auf Visscher und Coe (2002). Die beiden Autoren entwerfen auf Basis in­tensiver Literaturrecherchen ein Rahmenmodell, das verdeutlichen soll, welche Faktoren die innerschulische Nutzung und weitere Effekte von „School Perfor­mance Feedback Systems“ maß­geblich beeinflussen. Diese Feedback-Systeme zeichnen sich dadurch aus, dass regel­mäßig Lernstände sowie zugehörige Hinter­grundvariablen erfasst und zurück­gemeldet werden, die von den Schulen und Lehrkräften zur Schul- und Unterrichtsentwicklung genutzt werden sollen (vgl. auch Bonsen & von der Gathen, 2004). Nach Visscher und Coe wird die Intensi­tät und Art der Nutzung von Feedback durch Anlage und Inhalt der Rückmeldun­gen sowie durch schulische Bedingungen beeinflusst. Ausgangspunkt des Mo­dells ist die Anlage des Feedback-Systems: Darunter fallen u. a. Aspekte wie die Zielsetzung des Feedbacks (z. B. Qualitätsentwicklung, Rechenschaftslegung), die strategische Ausrichtung (z. B. Adressaten, Zeitpunkt und Inhalt der Rück­meldung) sowie die Entscheidung, wie standardisiert bzw. wie flexibel angepasst an die spezifischen Interessen der Teilnehmer Informationen zurückgemeldet werden sollen. Die entsprechenden Entscheidungen beeinflussen wie­derum den konkreten Inhalt der Rückmeldungen. Dabei ist für die resultierende Nutzung maßgeblich, wie die Adressaten das Feedback-System in Hinsicht auf die Daten­qualität, die Anwendbarkeit im schulischen Alltag und die Nützlichkeit beurtei­len. Auch der Prozess der Implementierung beeinflusst die Nutzung von Feed­back. Dabei regt die alleinige Ausübung von Druck oder das Angebot von Unter­stützung nicht zwangsläufig zu entsprechenden Veränderungsprozessen an. We­sent­lich ist vielmehr eine Kombination dieser Strategien z. B. in Form eines um­fassenden Un­ter­stützungssystems und der Verpflichtung, aus den Ergebnissen Ver­änderungs­maß­nah­men abzuleiten. Auch mit Blick auf Schulmerkmale füh­ren Visscher und Coe Aspekte an, die sich u. a. auf den Leis­tungs­stand der Schule, die schulische Bereitschaft und Kapazität für Inno­va­tio­nen, Kooperation im Kol­legium sowie Kompetenzen in der Analyse der zurück­ge­meldeten Ergebnisse be­ziehen. In Anlehnung an Rossi, Lipsey und Freeman (1999) unterscheiden Viss­cher und Coe drei Formen der Nutzung, nämlich die instrumentelle, konzeptuelle und symbolische Nutzung. Instrumentelle Nutzung ist definiert als die direkte Ver­wendung von Evaluationsergebnissen: Die Ergebnisse werden analysiert und daraus Entscheidungen und Maßnahmen/Aktivitäten abgeleitet. Als konzeptuelle Nutzung wird dagegen die indirekte Verwendung von Ergebnissen bezeichnet, wodurch bestimmte Einstellungen oder Haltungen beeinflusst werden und darü­ber auf die abgeleiteten Aktivitäten wirken. In der symbolischen Nutzung wer­den Informationen als Unterstützung des eigenen Stand­punktes in Diskussionen he­rangezogen oder selektiv eingesetzt, um schon vor­handene Einstellungen oder getroffene Entscheidungen zu legitimieren. Visscher (2002, S. 57ff) ergänzt diese drei Nutzungsformen um strategische Nutzung, wonach Testergebnisse eher missbräuchlich verwendet werden, um strategische Ziele zu erreichen. Die Nut­zung der Rückmeldungen mündet schließlich in beabsichtigte (wie z. B. er­geb­nisorientierte Unter­richts­ent­wicklung) und unbeabsichtigte Effekte (z. B. tea­ching to the test, Ausschluss „un­er­wünschter“ Schüler). Dabei entscheidet die einzelne Schule darüber, wie die Rückmeldungen verarbeitet werden (vgl. Bon­sen & von der Gathen, 2004; Rolff, 2002).

Die verschiedenen berichteten Modelle weisen zwar z. T. erhebliche Überlap­pungen auf, setzen jedoch jeweils unterschiedliche Schwerpunkte. So konzentrie­ren sich z. B. die Modelle von Kluger und DeNisi (1996, 1998) und von Hattie und Timperley (2007) insbesondere auf den individuellen kognitiven Verarbei­tungsprozess von Ergebnisrückmeldungen und berücksichtigen v. a. Erkenntnisse zu der Wirkung von Merkmalen bzw. Inhalten von Feedback. Die Modelle von Ditton und Arnoldt (2004) und von Visscher und Coe (2002) beschreiben demge­genüber interne und externe (organisatorische) Bedingungen, die auf den Prozess der Auseinandersetzung mit Ergebnisrückmeldungen wirken. Natürlich gibt es weitere Modelle, die einen Teilaspekt der Nutzung von Ergebnisrückmeldungen beleuchten können, wie z. B. Hall und Hord (u. a. 2001), die ein Entwick­lungs­mo­dell der Nutzung von Innovationen vorschlagen.

Das von Helmke entwickelte Modell Von der Evaluation zur Innovation (vgl. Helmke & Hosenfeld, 2005) integriert sowohl prozessuale Komponenten als auch verschiedene Bedingungen auf Personen- und Organisationsebene. Daher soll dieses umfassende, wenn auch eher deskriptive Modell den Überblick über ver­schiedene theoretische Zugangsweisen zu Nutzen und Nutzung von (externen) Evaluationen im Bildungswesen abschließen und zugleich als Gliederung für die­ses Themenheft dienen. Ein idealer Rezeptionsprozess wird als Abfolge verschie­dener Schritte dargestellt (Abbildung 1).

Abbildung 1: Zyklenmodell von der Rückmeldung zur Innovation (vgl. Hosen­feld, 2005, S. 113)

Ausgehend von der Rückmeldung (ganz links) kommt es im Idealfall zunächst zur Rezeption der angebotenen Informationen und im Anschluss daran zu einer Reflexion über mögliche Erklärungen. Es folgt die Phase der Aktion, in der ent­sprechend der an­genommenen Erklärungen spezifische Maßnahmen zur Optimie­rung durch­ge­führt werden. Diese sollten im Weiteren hinsichtlich ihrer Wirk­sam­keit evaluiert werden, wobei das Ergebnis der Evaluation wiederum als Rückmel­dung und somit Startpunkt des Zyklus verstanden wird. Dabei gilt, dass jeder Schritt als Voraussetzung für den jeweils folgenden gedacht ist, diese idealtypi­sche Verarbeitungskette also an jeder Stelle unter­brochen sein kann. Ob bzw. in welcher Qualität diese Schrittfolge abläuft, hängt zum einen von indi­vi­du­el­len Bedingungen der Lehrkräfte und zum andern von schulischen und von externen Bedin­gun­gen ab.

Der Wert dieses Modells (ausführlicher siehe Helmke & Hosenfeld, 2005) liegt in seiner heuristischen Kraft, die verdeutlicht, dass eine Rückmeldung alleine kei­neswegs ausreicht, sondern spezifische Bedingungen des Gelingens erfüllt sein müssen um (insbesondere auch kontinuierlich) Veränderungen zu bewirken. Die in diesem Themenheft gesammelten Beiträge können den einzelnen Komponen­ten des Modells von Helmke zugeordnet werden, da sie sich den Fragen des Nut­zens und der Nutzung von Evaluationen aus unterschiedlichen Perspektiven wid­men.

Im ersten Beitrag dieses Themenhefts erweitert Schneewind das Modell von Helmke um Aspekte, die der Rückmeldung von Ergebnissen vorausgehen und insbesondere deren Gestaltung prägen. Sie leitet daraus ab, wie Rückmeldungen gestaltet sein sollten, um Lehrkräften optimale Nutzungsmöglichkeiten zu eröff­nen. Ausgehend von schriftlichen und mündlichen Befragungen von Lehrkräften, die im Kontext des Projektes BeLesen in Berlin durchgeführt wurden, analysiert die Autorin, welche Einstellungen in Bezug auf die Rück­mel­dun­gen geäußert werden, wie diese im Einzelnen genutzt und welche Schwierig­keiten im Um­gang berichtet werden. Diese aus der „Innenperspektive“ des Projektes gewonnenen In­for­ma­tio­nen ver­dichtet die Autorin vor dem Hintergrund von (in diesem Band nicht dargestellten) Ana­ly­sen dreier Schweizer Rückmeldesysteme und gelangt so zu allgemeinen Ergebnissen, sowohl mit Blick auf Prinzipien der Rück­mel­dungs­gestaltung als auch in Bezug auf die Deskription relevanter Einstellungen und Vorstellungen von Lehrkräften. Als zentral erweist sich dabei nach Schneewind, dass die Rezi­pienten von Anfang an Kenntnisse hinsichtlich der Ziele und damit auch bzgl. der Möglichkeiten und Grenzen eines Verfahrens besitzen. Dabei sollten Rückmel­dungen so gestaltet werden, dass die verfolgten Ziele sich auch in der Auswahl und Aufbereitung der dargestellten Informationen wiederfinden. Andernfalls stellt Schneewind grundsätzlich in Frage, ob sich der Aufwand für die Rückmeldung von Ergebnissen überhaupt lohnt.

Der zweite Beitrag des Hefts von Breiter und Stauke widmet sich dem Me­dium, mit welchem die vielfältigen Informationen zur Qualitätssicherung an Schulen ausgewertet, zurückgemeldet und verwaltet werden können. In einer Analyse der aktuellen Situation in Deutschland aus informationstheoretischer Sicht verdeutlichen sie zunächst, dass internetgestützte Leistungsrückmeldungen an Schulen als ein spezieller Fall von Schulinformationssystemen aufgefasst wer­den können. Dabei wird ersichtlich, dass vor dem Hintergrund der beteiligten In­teressengruppen (z. B. Lehrkräfte, Schulleitung, Schulaufsicht, Ministerium) Ty­pen von Informations­systemen nach funktionalen Gesichtspunkten zu unterschei­den sind. Im Fokus stehen hier die elektronischen Rückmeldesysteme, die im Kontext regelmäßig durchgeführter und umfangreicher Evaluationsstudien unum­gänglich sind, die aber im schulischen Kon­text bislang noch wenig erforscht wur­den. Abgeleitet aus den Erkenntnissen der Forschung zu Managementinformati­onssystemen weisen die Autoren auf die Notwendigkeit syste­ma­ti­scher Anforde­rungsanalysen hin und liefern ein theo­re­tisches Modell des Informationsbedarfs der verschiedenen be­teilig­ten Gruppen. Darauf aufbauend entwickeln sie eine Übersicht zentra­ler An­for­derungen an elektronische Rückmeldesysteme, die sich empirisch auf Be­fra­gungen von Bremer Lehrkräften und Schulaufsichtsbeamten stützt. Dabei wird deutlich, dass die bisher in Deutschland eingesetzten Systeme sowohl im Bereich der funktionalen als auch im Bereich der technischen Anfor­derungen noch erheb­liches Entwicklungspotenzial besitzen. Damit umfassende Daten­sammlungen und Rückmeldungssysteme zur schulischen und unterrichtli­chen Qualitätsentwicklung genutzt werden können, halten die beiden Autoren flankie­rende Maßnahmen (u. a. verbesserte technische Infrastruktur, dauerhafte Unter­stützung in technischer und schulpraktischer Hinsicht) für erforderlich.

Die folgenden drei Beiträge konzentrieren sich verstärkt auf den Kern des Mo­dells von Helmke, also auf den Prozess der Rezeption und Reflexion von Ergeb­nisrückmeldungen sowie daraus abgeleitete Aktionen. Dass die Beiträge den Kontexten zentraler Lernstandserhebungen entstammen, ist dabei kein Zufall. Da diese Verfahren zum einen für alle Beteiligten verpflichtend sind und zum ande­ren mit dem Ziel durchgeführt werden, zur Unterrichts­ent­wicklung anzuregen, stellen sie für diesen Aspekt ideale Forschungskontexte dar.

So berichten Nachtigall und Jantowski im dritten Beitrag dieses Heftes über Er­fahrungen aus den Thüringer Kompetenztests, den landesspezifischen Lernstands­erhebungen in den Klassenstufen 3 und 6. Dabei greifen sie auf standardisierte, internet­gestützte Befra­gun­gen von Lehrkräften und Schulleitungen über mehrere Jahre zurück, die durchgeführt wurden, um Wirkungen und Potenziale der Tests und der Rückmeldungen auf die Beteiligten zu untersuchen, u. a. auch mit Blick auf die Rezeption und den wahrgenommenen Nutzen. Die Autoren stellen fest, dass die Kompetenztests bei den Lehrkräften insgesamt eine sehr hohe Akzeptanz besitzen, die bei den Schulleitungen sogar noch etwas höher ausfällt. Zugleich wird jedoch auch deutlich, dass nicht alle Rückmel­dungs­elemente die gleiche Aufmerksamkeit erfahren oder als gleichermaßen nützlich wahr­genommen wer­den. Je geringer z. B. das Aggregationsniveau der Ergebnisrückmeldungen, desto höher ist die wahr­ge­nom­mene Nützlichkeit. Weiter stellen die Autoren fest, dass die Kompetenz­tests bislang primär schulintern diskutiert werden und hier er­hebli­chen Einfluss auf ver­schie­dene Aspekte des Unterrichts ausüben. Besonde­ren Handlungsbedarf machen sie jedoch im Bereich der Eltern­arbeit aus. Insge­samt nehmen nach Einschätzung der Autoren die Schulleiter eine zentrale Rolle ein, da sie nachweislich das innerschulische Evaluations- und Kooperationsklima beein­flussen. Damit Lernstandserhebungen nicht als normative Rechenschaftsle­gung wahrgenommen werden, betonen Nachtigall und Jantowski, dass die zu­rückge­meldeten Daten die Ebene der Schule nur in aggregierter Form verlassen dürfen.

Groß Ophoff, Hosenfeld und Koch untersuchen im vierten Beitrag dieses Hefts die Rezeption und Nutzung der Ergebnis­rückmeldungen des Projektes VERA, ei­ner Lern­stands­erhebung in der Grundschule. Dabei wählen sie einen differen­ziellen Ansatz und identifizieren auf der Grundlage einer internet­gestützten Be­fragung zunächst verschiedene Typen von Lehrkräften, die sich hinsichtlich der Ver­ständ­lichkeit, der Intensität der Auseinandersetzung und der wahrgenomme­nen Nützlich­keit be­züg­lich der erhaltenen Rückmeldungen unterscheiden. Im Weiteren belegen die Autoren, dass diese unterschiedlichen Verarbeitungspro­zesse auch mit Unter­schieden im folgen­den Handlungsschritt kovariieren. Die identifizierten Typen unterscheiden sich gemäß Helmkes Modell nicht nur in der Phase der Rezeption und Reflexion, sondern auch in der Wahl der Aktionen, wo­bei sowohl Unter­schiede in der Anzahl der ergriffenen Maßnahmen als auch Dif­ferenzen in den Schwerpunktsetzungen der Veränderungen deutlich werden. Dement­spre­chend könnte es lohnend sein, sowohl die im Rahmen des Projektes angebotenen Rück­­mel­dungen als auch die Fortbildungsangebote typspezifisch zu differen­zieren und so passgenauer auf die Bedürfnisse der Nutzer zuzuschneiden.

Im fünften Beitrag dieses Hefts berichten Kühle und Peek aus den nordrhein-westfälischen Lernstandser­he­bungen der 9. bzw. 8. Jahrgangsstufe. Grundlage ih­rer Darstellung sind drei internet­gestütz­te Befragungen von Lehrkräften, Schul­lei­tern, schul­internen Koordinatoren und Fachkon­ferenz­leitern. Es wird zunächst deutlich, dass die verschiedenen angesprochenen Gruppen (Schulleitung, Lehrer­kon­fe­renz, Schulkonferenz, Fachkonferenz, unterrichtende Lehrkräfte) die Rück­meldungen in unterschiedlichem Umfang und mit anderen Schwerpunkten rezi­pieren. Dabei werden die Rückmeldungen im Großen und Ganzen als ver­ständ­lich und nützlich an­ge­sehen. Die wahrgenommene Nützlichkeit hängt zum einen deutlich von der Akzeptanz von Lern­stands­er­he­bungen ab, zum anderen er­geben sich interessanterweise keine Zusammenhänge mit dem erzielten Testergebnis der Klasse bzw. Schule. Im Weiteren benennen die Autoren verschiedene Strate­gien der inner­schulischen Aus­ein­ander­set­zungen mit den Ergebnissen, die mit unter­schied­li­chen Schwerpunktsetzungen korrespon­dieren. Sie kommen zu dem Schluss, dass die Lern­stands­er­he­bungen tendenziell an solchen Schu­len positiver wahr­genommen werden, an denen die Ergebnisse fächerübergreifend ge­meinsam diskutiert werden, wobei an diesen Schulen oft bereits eine gute Kooperations­pra­xis existiert. Abschließend nennen Kühle und Peek als künftige Herausforde­rung u. a., dass Ziele, Potenziale und Grenzen von Lernstandserhebungen transpa­rent gemacht werden.

Im abschließenden Beitrag leistet Arnold einen kritischen Kommentar mit Blick auf den gesamten Prozess Von der Evaluation zur Innovation. Dabei ana­ly­siert er zunächst die institutionellen und politischen Bedingungen in der Bun­des­republik und reflektiert sie vor dem Hintergrund der internationalen Erfahrun­gen im Kontext von Leistungsmessungen, die im Auftrag der Bildungspolitik durch­geführt werden. Es wird deutlich, dass wissenschaftlicher Erkenntnisgewinn und bildungspolitisch verwertbare Evaluationen nicht immer in Übereinstimmung zu bringen sind. In einem zweiten Schritt untersucht Arnold das Verhältnis von dia­gnostischem und didaktischem Wert der Leistungs­messungen. Dabei wird deut­lich, dass Lernstandserhebungen zwar unter Um­ständen interessante und re­le­vante diagnostische Zusatzinformationen liefern können. Dies geht jedoch auf­grund der durch die Anlage bedingten Fokussierung auf wenige Ausschnitte des Fachs zum einen mit deutlichen Beschränkungen der Validität und damit des di­daktischen Nutzens einher. Zum anderen werden hohe Anforderungen an die dia­gnostische Expertise der Rezipienten gestellt. Ist diese nicht vorhanden, besteht die Gefahr einer Überschätzung des diagnostischen Wertes solcher Verfahren.

Im Versuch, die hier vorgestellten Modelle zu synthetisieren sowie Kernaussa­gen der Beiträge dieses Bandes zusammenzufassen, lassen sich u. E. vier zentrale Schlussfolgerungen ziehen.

1.       Zielklarheit ist eine elementare Voraussetzung.

Praktisch alle Autoren dieses Heftes weisen darauf hin, dass Rückmeldever­fahren nur unter Bedingung klarer Zielvorstellungen eine Chance haben, im intendierten Sinne genutzt zu werden („feed up“-Aspekt, vgl. Modell von Hat­tie & Timperley, 2007). Dieser hohe Grad an Einigkeit unter Wissen­schaft­lern korrespondiert jedoch nicht mit den Wahrnehmungen der Adres­sa­ten der Verfahren. Im Spannungsfeld von bildungspolitischen Auf­trag­ge­bern und wissenschaftlichen Auftragnehmern führen knappe Ressour­cen leicht zu einer „Anreicherung“ von Zielen, die nur partiell vereinbar sind, was zur be­reits erwähnten Intransparenz auf Seiten der Lehrkräfte und Schulen führt. Dass dadurch ansonsten „funktionstüchtige“ Verfahren gefährdet werden, wird leider sehr leicht übersehen.

2.       Klarheit bezüglich der Grenzen beugt unrealistischen Erwartungen vor.

      Eine klare Kommunikation der Grenzen eines Verfahrens erhöht die Chance, dass Missverständnisse und missbräuchliche Nutzungen reduziert oder elimi­niert werden können. Dies ist auch mit Blick auf die motivationalen Folgen von Ergebnisrückmeldungen bedeutsam – sowohl im Falle erfreulicher als auch unerfreulicher Resultate. Ein realistisches Ver­ständnis des Bedeutungs­gehaltes solcher Rückmeldungen in Relation zu Infor­mationen aus anderen Quellen kann dazu beitragen, sowohl unange­mes­sene Euphorie als auch in­adäquate Resignation zu verhindern. Auch hier gilt: Je klarer die Ziele sind, desto deutlicher können Grenzen identifiziert und kommuniziert werden.

3.       Die angelegten Möglichkeiten sind nicht selbsterklärend.

      Ähnlich wie im Falle der Zielklarheit herrscht weitgehende Einigkeit, dass aus einer Rückmeldung nicht automatisch Veränderung erwächst. Neben der Bereitstellung allgemein guter Rahmenbedingungen geht es u. E. darum, die Kompetenzen der Lehrkräfte in verschiedenen Bereichen zu erweitern. Ne­ben den oft erwähnten allgemeinen Fähigkeiten im Umgang mit empi­ri­schen Daten und dem vertieften Verständnis einer tragfähigen Diagnos­tik sind hier auch kommunikative Kompetenzen als Voraussetzung von Ko­opera­tionen und die möglichst vollständige Kenntnis der denkbaren (inten­dier­ten) Nut­zungsvarianten gefordert. Daneben gilt es, die Verfahren so weiter zu entwi­ckeln, dass sie nicht nur den „feed back“-Aspekt (vgl. Hattie & Timperley, 2007), sondern stärker als bisher auch den „feed forward“ Aspekt bedienen. Ein erster Schritt in diese Richtung könnte in einer Differenzierung des Feedbacks i. S. von individualisierten und auf die Interessen der Lehrkraft zugeschnittenen Rückmeldungen bestehen.

4.       Weitere Erkenntnisse über das komplexe Zusammenwirken der unterschiedli­chen Faktoren sind notwendig.

      Die verschiedenen hier skizzierten Modelle verdeutlichen zwar einerseits, dass bereits eine Fülle relevanter Erkenntnisse existiert, zugleich wird jedoch deutlich, dass die Komplexität der Materie – nicht zuletzt aufgrund der Viel­zahl beteiligter Akteure in Schule und Unterricht – weitere, systematische Forschung erforderlich macht. Dabei ergibt sich auch hier nicht selten ein Spannungsverhältnis zwischen Politik und Wissenschaft hinsichtlich des Stellenwertes beglei­ten­der Untersuchungen. Das Interesse des Auftraggebers an der komplexeren Erzeugung von Grundlagenwissen ist (naturgemäß) deutlich geringer als an der Erhebung eher deskriptiv orientierter Evaluati­onsdaten, die eine einfache Legitimation des gewählten Ansatzes erlauben. Eine weitere Schwierigkeit ergibt sich aus dem Spannungsfeld zwischen Wissenschaft und Schulpraxis. Denn insbesondere diejenigen Lehrkräfte, die im Sinne Deci und Ryans (1985) die Verfahren als kontrollierend oder gar amotivierend wahrnehmen, sind zum einen besonders relevant für die For­schung, zum anderen aber auch besonders schwer für entsprechende Unter­suchungen zu gewinnen.

Mit Sicherheit gibt es eine Vielzahl weiterer relevanter Aspekte, die in den hier dargestellten Modellen und den Beiträgen dieses Themen­hefts gar nicht oder nur am Rande behandelt werden. Auf einen dieser Aspekte, nämlich die Frage der Motivation (für Überblicke s. z. B. Schiefele & Köller, 2001; Rheinberg, 2004), möchten wir abschließend noch ein­gehen, da er unseres Erachtens zentral für den Nutzen und die Nutzung von externen Leistungsrückmeldungen im schulischen Kontext ist. Als be­son­ders ergie­big erweist sich dabei u. E. die Selbstbestim­mungstheorie von Deci und Ryan (1985), in der zunächst grundlegende menschli­che Be­dürf­nisse nach der Erfah­rung von Kompetenz und Selbstbestimmung (Au­to­no­mie) so­wie nach sozialer Eingebundenheit postuliert werden. Das Aus­maß, in dem diese ver­schie­de­nen Bedürfnisse befriedigt werden, bestimmt dabei, welche Form der Motivation vorliegt. Die Autoren unterscheiden neben der in­trinsischen Motivation und dem Zustand der Motivationslosigkeit verschiedene Formen der extrin­si­schen Moti­va­tion, von external regulierten oder kontrollierten Formen zu stär­ker inter­nali­sierten oder autonomen Formen. Diese Stufen können im Sinne eines Ent­wick­lungs- oder Prozessmodells in Richtung intrinsischer Mo­tivation bzw. Selbst­bestim­mung durch­laufen werden, wobei nicht jede Stufe durchlaufen werden muss (ausführlicher z. B. Ryan & Deci, 2000). Damit lassen sich aus dem Modell Empfehlungen ableiten, wie sich intrinsische Anteile der Motivation er­höhen lassen. Externe Einflüsse, wie z. B. Rückmeldungen aus Lernstandserhe­bungen, Belohnung, Strafe, wirken nach Deci & Ryan (2000) über ihre funk­tio­nel­le Bedeutung, wobei informationale, kontrollierende und amotivie­rende Be­deutungen unterschieden werden (Ryan & Sapp, 2005). Ein Ereignis be­sitzt infor­mationale Be­deu­tung, wenn es eine Rück­meldung enthält, die zur Stei­gerung der Kom­pe­tenz ge­nutzt werden kann, ohne das Gefühl der Selbstbestim­mung zu be­einträchtigen. Solche Situationen führen demnach zu Kompetenzerle­ben und in der Folge zu eher internalisierten Formen der Motivation. Kon­trollie­rende Bedeu­tung wird Situationen zu­ge­schrie­ben, in denen man Druck wahr­nimmt, bestimmte Ergebnisse oder Ver­haltens­wei­sen zu zeigen, d. h. das Bedürf­nis nach Autonomie wird nicht befriedigt und es ent­stehen eher external regu­lierte Formen der Moti­vation. Situationen werden schließ­lich als amotivierend empfunden, wenn sie feh­lende Kompetenz indi­zie­ren, so dass die Gefahr der Motivationslosigkeit besteht, d. h. es werden gar keine An­strengungen mehr un­ternommen. Hier liegt der Be­zug zum Thema dieses Bandes auf der Hand: Damit die zur Verfügung gestellten Rückmeldungen im Kontext von externen Evaluati­onen von den beteiligten Lehr­kräften als nützlich erlebt und wie intendiert zur Qualitätsentwicklung genutzt wer­den, sollten diese idealerweise als informational wahrgenommen werden. In­trinsische Motivation wiederum ist nach Van-Dijk und Kluger (2004) u. a. ver­bun­den mit aktiven Bearbeitungsstrategien und der Be­schäf­tigung mit Auslas­sungsfehlern (z. B. Welche Unterrichtsmethode wurde noch nicht versucht?). Wird das Feedback als kontrollierend wahrgenommen, re­sultieren eher Vermei­dungs­strategien und eine Konzentration auf Handlungsfeh­ler (z. B. Welcher In­halt wur­de falsch vermittelt?). Ryan und Sapp (2005) analysie­ren aus motivationa­ler Per­spektive die Wir­kun­gen testbasierter Reformen und belegen, dass der Einsatz von Anreizen und/oder Strafen, die in Abhängigkeit der Test­er­geb­nisse vergeben wer­den, eine Reihe von nicht intendierten Nebenwir­kun­gen hat. Sie argumentie­ren, dass nicht der Testeinsatz per se problematisch ist, son­dern die Verwendung der Ergebnisse über die diagnostischen Zwecke hinaus. Damit wird deutlich, dass bei der Entscheidung darüber, wie die Ergebnisse aus z. B. Lernstandserhebungen verwendet werden sollen (Qualitätsentwicklung vs. Rechenschaftslegung), auch oder gerade die motivationalen Wirkungen bedacht werden müssen.

Wir hoffen in diesem Sinne, dass dieses Themenheft zu einer noch deutlicheren Lernorientierung von Bildungsforschung und Bildungspolitik beitragen kann, um den Nutzen und die Nutzung von Feedback aus Schulleistungsstudien im Sinne des Entwicklungsmodells von Hall und Hord (2001) konstruktiv weiter entwi­ckeln zu können.

Literatur

Bonsen, M. & von der Gathen, J. (2004). Schulentwicklung und Testdaten. Die innerschulische Verarbeitung von Leistungsrückmeldungen. In H. G. Holtap­pels, K. Klemm & H. Pfeiffer (Hrsg.), Jahrbuch der Schulentwicklung, Band 13 (S. 225-252). Weinheim: Juventa.

Deci, E. L. & Ryan, R. M. (1985). Intrinsic motivation and self-determination in human behavior. New York: Plenum Publishing Co.

Deci, E. L. & Ryan, R. M. (2000). The “what” and “why” of goal pursuits: Hu­man needs and the self-determination of behavior. Psychological Inquiry, 11, 227-268.

Ditton, H. (2002). Evaluation und Qualitätssicherung. In R. Tippelt (Hrsg.), Handbuch Bildungsforschung (1. Auflage, S. 775-790). Opladen: Leske + Budrich.

Ditton, H. & Arnoldt, B. (2004). Schülerbefragungen zum Fachunterricht – Feed­back an Lehrkräfte. Empirische Pädagogik, 18, 115-139.

Hall, G. E. & Hord, S. M. (2001). Implementing change. Patterns, principles, and potholes (2^nd ed.). Boston: Allyn and Bacon.

Hattie, J. & Timperley, H. S. (2007). The power of feedback. Review of Educa­tional Research, 77, 81-112.

Helmke, A. & Hosenfeld, I. (2005). Ergebnisorientierte Unterrichtsevaluation. In Interkantonale Arbeitsgemeinschaft Externe Evaluation von Schulen (Hrsg.), Schlüsselfragen zur externen Schulevaluation (S. 127-151). Bern: h.e.p.-Ver­lag.

Hosenfeld, I. (2005). Rezeption – Reflexion – Aktion. Wie lassen sich Lern­standserhebungen und Vergleichsarbeiten pädagogisch nutzen? In G. Becker, A. Bremerich-Vos, M. Demmer, K. Maag Merki, B. Priebe, K. Schwippert, L. Stäudel & K. J. Tillmann (Hrsg.), Standards. Unterrichten zwischen Kompe­tenzen, zentralen Prüfungen und Vergleichsarbeiten. Friedrich Jahresheft XXIII 2005, 112-114. Seelze: Erhard Friedrich GmbH.

Kluger, A. N. & DeNisi, A. (1996). Effects of feedback intervention on perfor­m­ance: A historical review, a meta-analysis, and a preliminary feedback inter­vention theory. Psychological Bulletin, 119, 254-284.

Kluger, A. N. & DeNisi, A. (1998). Feedback Interventions: Towards the under­standing of a double-edged sword. Current directions in psychological science, 7, 67-72.

Kohler, B. & Schrader, F.-W. (2004). Ergebnisrückmeldung und Rezeption: Von der externen Evaluation zur Entwicklung von Schule und Unterricht. In B. Kohler & F.-W. Schrader (Hrsg.), Empirische Pädagogik, 18, 3-17. Lan­dau: Verlag Empirische Pädagogik.

Rheinberg, F. (2004). Motivation (5. Auflage). Stuttgart: Kohlhammer.

Rolff, H.-G. (2002). Rückmeldung und Nutzen der Ergebnisse von großflächigen Leistungsuntersuchungen. In H.-G. Rolff, H. G. Holtappels, K. Klemm, H. Pfeiffer & R. Schulz-Zander (Hrsg.), Jahrbuch der Schulentwicklung. Daten, Beispiele und Perspektiven, Band 12 (S. 75-98). Weinheim: Ju­venta.

Rossi, P. H., Lipsey, M. W. & Freeman, H. E. (1999). Evaluation. A systematic approach (7^th ed.). Thousand Oaks: Sage.

Ryan, R. M. & Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American Psy­chologist, 55, 68-78.

Ryan, R. M. & Sapp, A. (2005). Zum Einfluss testbasierter Reformen: High Stakes Testing (Considering the Impact of Test-Based Reforms). Motivation und Leistung aus der Sicht der Selbstbestimmungstheorie. Unterrichtswissen­schaft, 2, 143-159.

Schiefele, U. & Köller, O. (2001). Extrinsische und intrinsische Motivation. In D. H. Rost (Hrsg.), Handwörterbuch Pädagogische Psychologie (S. 304-310). Weinheim: Beltz.

Timperley, H. S., Phillips, G. & Wiseman, J. (2003). Changing and sustaining tea­chers’ ex­pectations through professional development in literacy (The sus­tainability of pro­fes­sional development in literacy, part 1). New Zealand: Ministry of Edu­cation.

Van-Dijk, D. & Kluger, A. N. (2004). Feedback sign effect on motivation: Is it moderated by regulatory focus? Applied Psychology, 53, 113-135.

Visscher, A. J. (2002). A framework for studying school performance feedback systems. In A. J. Visscher & R. Coe (Eds.), School improvement through per­formance feedback (pp. 41-72). Lisse: Swets & Zeitlinger.

Visscher, A. J. & Coe, R. (Eds.). (2002). School improvement through perfor­m­ance feedback (Contexts of learning. Classrooms, schools and society). Lisse: Swets & Zeitlinger.

Weiss, C. H. (1998). Improving the use of evaluations: Whose job is it anyway? In A. J. Reynolds & H. J. Walberg (Eds.), Advances in educational producti­vity. Evaluation research for educational productivity, 7 (pp. 263-276). Lon­don: JAI Press.

Anschrift der Autoren:

Jun.-Prof. Dr. Ingmar Hosenfeld, Empirische Bildungsforschung, Unterrichts­forschung, Leitung Projekt VERA, Universität Koblenz-Landau, Campus Lan­dau, E-Mail: hosenfeld@uni-landau.de,  
http://www.uni-landau.de/hosenfeld/

Dipl.-Psych. Jana Groß Ophoff, Lehr-/Lernpsychologie, Empirische Bildungs­forschung, wissenschaftliche Mitarbeiterin im Projekt VERA, Universität Kob­lenz-Landau, Campus Landau, E-Mail: ophoff@uni-landau.de,

http://www.uni-landau.de/grossophoff/

Stand: 31.1.2008