ZPRÁVA O VÝSLEDKU ZPĚTNÉ KONTROLY VALIDITY ÚLOH DIDAKTICKÝCH TESTŮ A NÁSLEDNÉM OVĚŘENÍ ZPŮSOBILOSTI TESTŮ (určeno vedoucím pracovníkům a učitelům středních škol) Zpětná kontrola validity úloh a způsobilosti didaktického testu je standardní součástí vyhodnocení výsledků testů. Jejím cílem je ověřit, zda některá z použitých úloh, případně celý test nevykazují konstrukční defekt, kterým by byli testování žáci při hodnocení svého výsledku poškozeni a který by narušil objektivitu hodnocení. Nejde o specifikum české maturity, ale běžnou proceduru korektně fungujících systémů objektivizovaného hodnocení žáků, postavených na bázi didaktických testů. Stejně jako běžná kontrola, je i běžný výsledek - totiž, že některá z úloh se ukáže být defektní a musí být ze zpracování a hodnocení výsledků příslušného testu ex post vyřazena. Základní zásadou ovšem je, že vyřazení takové úlohy musí být provedeno způsobem, který žádného testovaného žáka nepoškodí. Vyřazení defektní úlohy ze zpracování může mít trojí podobu: a) všem žákům, kteří úlohu řešili, je započítán maximální dosažitelný počet bodů pro danou defektní úlohu; b) všem žákům, kteří úlohu řešili, je dosažený počet bodů anulován; o hodnotu maximálního dosažitelného počtu bodů dané defektní úlohy je snížena hodnota maximálního dosažitelného počtu bodů při zachování procentní bodové hodnoty hranice úspěšnosti testu; c) všem žákům, kteří úlohu řešili, je uznáno za správné více než jedno z nabízených řešení úlohy. Zpětná kontrola jednotlivých úloh vychází z tzv. položkové analýzy, zpracované na základě ostrých výsledků žáků. Analýzou jsou změřeny klíčové parametry každé úlohy, které naznačí případný defekt některé z úloh. VÝSLEDKY ZPĚTNÉ KONTROLY Od 1. do 10. června 2011 proběhla zpětná kontrola všech úloh ve všech didaktických testech použitých v jarním termínu maturitní zkoušky. Odborná komise, složená z analytiků a předmětových metodiků, označila ve 43 použitých testech celkem 4 použité úlohy za defektní. Ředitel Centra na základě stanoviska komise rozhodl následujícím způsobem: 1. všechny testy použité pro maturitní zkoušky v jarním zkušebním termínu roku 2011 jsou plně způsobilé; 2. čtyři následující testové úlohy vykazují defekt, který vyžaduje odlišný zápočet výsledků žáka, a to z následujících příčin: a) TEST: RUSKÝ JAZYK ZÁKLADNÍ ÚROVEŇ OBTÍŽNOSTI (pro běžné žáky) KÓD TESTU: RJMZD11C0T01 POČET ŽÁKŮ, KTEŘÍ KONALI TUTO ZKOUŠKU: 988 ÚLOHA Č. 12 (poslechový subtest) ZDŮVODNĚNÍ: konstrukční chyba dichotomické úlohy poslechového subtestu ZPŮSOB ZÁPOČTU VÝSLEDKU ÚLOHY: všem žákům bude uznán plný počet bodů za řešení úlohy Podrobněji viz příloha 1 b) TEST: ČESKÝ JAZYK A LITERATURA ZÁKLADNÍ ÚROVEŇ OBTÍŽNOSTI (pro žáky s PUP) KÓD TESTU: CJMZD11C0T02 POČET ŽÁKŮ, KTEŘÍ KONALI TUTO ZKOUŠKU: 2.310 ÚLOHA Č. 12 ZDŮVODNĚNÍ: konstrukční chyba úlohy s výběrem odpovědi s důsledkem nejednoznačnosti řešení ZPŮSOB ZÁPOČTU VÝSLEDKU ÚLOHY: žákům bude uznána jako správné řešení volba alternativ A i D 1
Podrobněji viz příloha 2 c) TEST: NĚMECKÝ JAZYK ZÁKLADNÍ ÚROVEŇ OBTÍŽNOSTI (pro žáky s PUP) KÓD TESTU: NJMZD11C0T02 POČET ŽÁKŮ, KTEŘÍ KONALI TUTO ZKOUŠKU: 5 ÚLOHA Č. 47 (8. ČÁST) ZDŮVODNĚNÍ: konstrukční chyba přiřazovací úlohy s důsledkem nejednoznačnosti řešení ZPŮSOB ZÁPOČTU VÝSLEDKU ÚLOHY: žákům bude uznána jako správné řešení volba alternativ E i C Podrobněji viz příloha 3 d) TEST: ZEMĚPIS (pro žáky s PUP) KÓD TESTU: ZEMZD11C0T02 POČET ŽÁKŮ, KTEŘÍ KONALI TUTO ZKOUŠKU: 8 ÚLOHA Č. 40 ZDŮVODNĚNÍ: technická grafická chyba úlohy s důsledkem nejednoznačnosti řešení ZPŮSOB ZÁPOČTU VÝSLEDKU ÚLOHY: žákům bude uznán plný počet bodů za řešení úlohy Podrobněji viz příloha 4 PROVEDENÁ OPATŘENÍ Výsledky všech žáků z výše uvedených didaktických testů byly přepočítány ve smyslu schváleného způsobu zápočtu výsledku úloh. V klíčích správných řešení, které mají školy k dispozici, jsou předmětné úlohy označeny a opatřeny vysvětlivkou. 2
PŘÍLOHA 1 RUSKÝ JAZYK základní úroveň obtížnosti (sada A) Kód testu: RJMZD11C0T01 Úloha 12 dichotomická (pravda/nepravda) 12 Женщина думает, что её майонез лучше всех. N Žena si myslí, že její majonéza je nejlepší. Přepis nahrávky: Все говорят, что мой майонез самый вкусный. (V textu se mluví o tom, že všichni chválí její majonézu, nikoliv mluvčí sama. Očekávaná odpověď tedy byla Nepravda) Úloha je zaměřena na porozumění podrobnosti a vztahuje se k jednomu místu v textu. Tématem celého textu je ale historie majonézy a její příprava. Mluvčí vystupuje jako autorka kvalitní majonézy. Žáci proto mohli odpovídat na úlohu nikoliv podle informace v dílčí části textu, ale na základě vyznění celého textu. Formulace úlohy, kdy informace, na kterou se ptáme, je na začátku souvětí, mohla navádět k tomu, že žáci posuzovali spíše druhou část tvrzení, (tedy to, že její majonéza je nejlepší), nikoliv to, kdo je autorem daného tvrzení. Rozhodnutí ředitele Centra: Všem žákům, kteří úlohu řešili, bude započítán maximální dosažitelný počet bodů. 3
PŘÍLOHA 2 ČESKÝ JAZYK A LITERATURA základní úroveň obtížnosti (sada PUP) Kód testu: CJMZD11C0T02 Úloha 12 multiple-choice (úloha s výběrem odpovědi) VÝCHOZÍ TEXT K ÚLOZE 12 V peřinách je teploučko a já si myslím, že jsem zvíře v doupěti, krtek, jezevec nebo co, mám pod zemí klikaté chodby, a když přijde myslivec, tak uprchnu druhým východem, tak jsme se to učili v hodině živočichopisu. Ten myslivec, to je Kristýna, ta mne tahá z postele, vstávej, lenochu, je čas do školy. Já s ní zápasím a křičím: Nech mne, ty Rampušando!, neboť ona pochází ze vsi Rampuše, která jest položena vysoko v horách. A umí česky jako německy, se svými příbuznými mluví po haťalácku jako ti mužové, co přivážejí dříví z hor. (K. Poláček, Bylo nás pět) 12 Který z následujících úseků výchozího textu je čtenáři předkládán jako projev postavy, ale ve skutečnosti spadá do pásma vypravěče? A) vstávej, lenochu B) že jsem zvíře v doupěti C) V peřinách je teploučko D) Nech mne, ty Rampušando 2 body Úloha ověřuje, zda žák rozezná přímou, nepřímou, polopřímou řeč. Protože jsme na Z úrovni nechtěli přímo zkoušet termíny, zvolili jsme opis (polopřímá řeč vstávej, lenochu spadá do pásma vypravěče). Správná odpověď je A. Nicméně otázka je postavena tak, že pro žáka, který přemýšlí více, připadá v úvahu jako správná odpověď také přímá řeč (nech mne, ty Rampušando), protože postava, která pronáší přímou řeč, je současně vypravěčem jsme tedy opět v pásmu vypravěče. Proto je třeba uznat i odpověď D. Rozhodnutí ředitele Centra: Budou započítána dvě správná řešení alternativy A a D. 4
PŘÍLOHA 3 NĚMECKÝ JAZYK základní úroveň obtížnosti (sada PUP) Kód testu: NJMZD11C0T02 Úloha 47 (8. část) přiřazovací úloha Jde o přiřazovací úlohu, ve které jsou proti sobě postaveny požadavky 5 lidí na bydlení a k tomu 7 nabídek na možné ubytování. Cílem úlohy je na základě požadavků jednotlivých lidí vybrat jeden správný inzerát ke každé osobě. Znění zadání z testu: Přečtěte si pět požadavků na bydlení a inzeráty, ve kterých se nabízejí byty a domy. Na základě informací v textech přiřaďte k úlohám 44 48 vždy jeden inzerát z nabídky A G. Dva inzeráty jsou navíc a nebudou použity. 47 Herbert Geschäftsmann sucht mindestens 2-Zimmer-Mietwohnung im Stadtzentrum oder in verkehrsgünstiger Lage, in einem repräsentativen Mehrfamilienhaus. Obchodník hledá minimálně 2pokojový byt k pronájmu v centru města nebo v místě s dobrou dopravní obslužností. V reprezentativním domě s více bytovými jednotkami. E) správná podle klíče jednoznačná odpověď secesní vila, velikost bytu 78 m 2, centrum v dosahu za 10 minut. Městský park v blízkosti domu. Vermiete ab sofort zwei freie Wohnungen in Jugendstilvilla aus dem Jahr 1910. 78 m 2, Bad, Küche, Schlafzimmer, Wohnzimmer. Eigener Hauseingang. Garage. Kein eigener Garten, aber Gartenbenutzung möglich. Keine Familien mit Kindern. Zentrum in 10 Minuten zu erreichen, Stadtpark in der Nähe. Einkaufsmöglichkeiten im Wohnviertel. Mietpreis auf Anfrage. Interessenten melden sich bitte bei Fam. Weber. (CERMAT) C) také uznaná odpověď atraktivní dům s více bytovými jednotkami v blízkosti městského parku. Klidná lokalita. Velikost bytu 105 m 2. Z informací, které alternativa nabízí, nelze jednoznačně vyloučit, že se byt nenachází v centru města. Tím pádem může vyhovovat představám obchodníka. Suche neue Mieter für eine freie Wohnung in attraktivem Mehrfamilienhaus in Stadtparknähe. Kein Verkehr! Wohnfläche 105 m 2, zwei Schlafzimmer, große, offene Wohnküche. Gemeinsamer Garten, Kindergarten und Schule in der Umgebung. Eilt! Bei schneller Antwort Miete nur achthundert Euro einschließlich Wasser, Heizung und Gas. Při kontrolních analýzách uznala komise i odpověď C (původně distraktor), přestože jednoznačně nejlepším řešením úlohy 47 je alternativa E, kde jsou informace přesně odpovídající úloze (požadavkům). Řešení C bylo uznáno spíše proto, že úloha 47 ani alternativa C neobsahují informace, které by se vzájemně vylučovaly. 5
Rozhodnutí ředitele Centra: Budou započítána dvě správná řešení alternativy E a C. PŘÍLOHA 4 ZEMĚPIS (sada PUP) Kód testu: ZEM0D11C0T02 Úloha 40 úloha multiple-choice (s výběrem odpovědi) 40 Která z následujících hodnot odpovídá vzdálenosti mezi centrem Vlašimi a centrem Zdislavic? A) 5,5 km B) 7,0 km C) 8,5 km D) 9,0 km Chyba v technickém zpracování výchozí mapy V mapě je uvedeno jak číselné (1 : 50 000), tak také grafické měřítko. Při usazení mapy na stránku došlo ke zmenšení mapy po úhlopříčce, čímž se změnilo také měřítko celé mapy. Zatímco grafické měřítko, které se zmenšilo i s mapou, je stále platné, tak číselné měřítko již neodpovídá správnému poměru skutečnosti a mapy. Pokud se žák držel grafického měřítka, pak volil správnou odpověď, pokud žák postupoval správně a přepočet provedl na základě číselného měřítka, pak došel k výsledku uvedenému v nesprávné alternativě. Rozhodnutí ředitele Centra: Všem žákům, kteří úlohu řešili, bude započítán maximální dosažitelný počet bodů. 6