Home: www.vep-landau.de
Empirische Pädagogik
Zeitschrift zu Theorie und Praxis erziehungswissenschaftlicher Forschung
Zusammenfassung des Artikels: 2006, 20(3), 286-296
Astrid Neumann
Stabilität von Raterurteilen über die Zeit – Anpassung an vorhandene Schülerleistungen. Auswertung zweier Replikationsstudien zu den Urteilen in „DESI-Textproduktion“
Zusammenfassung: Im folgenden Artikel werden die Bewertungen von Ratern, die von Oktober 2003 bis einschließlich März 2005 in verschiedenen Phasen die Schülertexte aus der DESI-Untersuchung (Deutsch-Englisch-Schülerleistungen International) eingeschätzt haben, hinsichtlich ihrer Stabilität untersucht. Dabei wird mit Hilfe zweier Replikationsstudien eine Anpassung der Bewertung an das vorhandene (schwächere) Leistungsniveau der Probanden, also eine zunehmend moderate Bewertung, für diejenigen Kategorien nachgewiesen, die sich in einem Rahmen von mehr oder weniger starker Angepasstheit an textsortenspezifische Normen bewegen, wohingegen eine Tendenz zu stärkerer Differenziertheit, also eine tendenziell strengere Bewertung, für diejenigen Kategorien zu beobachten ist, die den Ansprüchen von exakter Normerfüllung im Rechtschreib- und Grammatikbereich genügen müssen.
Schlagwörter: Aufsatz – Beurteilung – Ratingskalen – Sprachtest
Stability of raters’ judgment over time – adjustment to pupils’ achievement. Analysis of two replication studies about rater judgements in „DESI written composition tests”
Summary: The following article analyses decisions of raters who judged pupils’ texts of the writing assessment study from October 2003 until March 2005 in several phases in order to determine changes in stability. It can be shown in two replication studies that raters adjust their decisions to the existing (weak) level of pupils’ writing abilities, that means they mark more moderately in those categories that lie on a continuum between less or more appropriateness to text mode specific norms. On the other side a tendency to more distinguish marking can be shown in those categories that have to fulfil exact norms in spelling and grammar. They are judged a little bit harsher.
Key words: language testing – rater judgement – rating scale – written composition test
Stand: 04.10.06