TESTOVÁNÍ 8. A 9. ROČNÍKŮ 2012/2013 PRŮŘEZOVÁ TÉMATA SOUHRNNÁ ZPRÁVA Ve zprávě komentujeme výsledky testování 8. a 9. ročníků základních škol a odpovídajících ročníků víceletých gymnázií. Toto testování proběhlo v rámci projektu Podpora využití ICT ve výuce průřezových témat na základních školách, do kterého jsou zapojeny školy z celé ČR kromě hl. m. Prahy. Zúčastněné školy testovaly své žáky od 18. února do 8. března 2013.
Percentil II. Základní pojmy Vyjadřuje v rámci daného ročníku pořadí účastníka testu přepočtené na stupnici 0 až 100 (0 = nejhorší, 100 = nejlepší). Percentil lze též interpretovat jako procento ostatních žáků ve stejném ročníku, které účastník předstihl. Jde o základní hodnotu, kterou ve zprávě používáme pro vyjádření výsledků. Průměrný percentil je vždy 50, proto někde používáme pro přesnější určení výsledků i celkový průměrný percentil a skupinový percentil. Pokud se např. testu zúčastnilo 500 žáků, pak účastník s percentilem 80 předstihl 80 %, tj. 400 ostatních a umístil se na 100. místě. Pokud je percentil třídy 8.A 40 a percentil třídy 8.B 50, je rozdíl jejich výsledků 10 percentilových bodů (10 pcb). Průměrný percentil Vysvětluje, jaký je průměrný percentil určité skupiny žáků (např. jedné třídy, určitého typu školy atd.). Počítá se jako průměr z celkového percentilu všech žáků dané skupiny. V tomto testování jsou počítány percentily zvlášť pro osmé ročníky a zvlášť pro deváté ročníky. Hrubá úspěšnost Vyjadřuje poměr (v procentech) mezi počtem správných odpovědí a počtem všech úloh. Hrubá úspěšnost není nikdy menší než čistá a nemůže nabývat záporných hodnot. Hrubou úspěšnost používáme jen v grafu analýzy po úlohách. Čistá úspěšnost (úspěšnost) Vyjadřuje poměr mezi skóre dosaženým v celém testu a maximálním možným počtem bodů, kterého lze v testu dosáhnout (odpovídá počtu úloh v testu). Čistá úspěšnost může nabývat i záporných hodnot, pokud je dosaženo záporného skóre (při velkém počtu chybných odpovědí). Čistá úspěšnost je zpravidla nižší než hrubá. V rámci zprávy používáme hodnoty čisté úspěšnosti. Skóre Je dáno součtem bodů za test. Za každou správně vyřešenou úlohu žák získává 1 bod, za nesprávně vyřešenou úlohu se odečítá bod nebo část bodu: u úloh se čtyřmi možnostmi (A) až (D) jedna třetina bodu. Pokud žák úlohu vynechá, nic se nepřičítá ani neodečítá. Důvodem tohoto výpočtu je eliminace vlivu tipování. Penalizace za nesprávnou odpověď je stanovena tak, aby náhodně tipující žák získal v průměru za test 0 bodů; pokud však dokáže v úloze vyloučit některé možnosti jako nesprávné, již v průměru část bodu získá. Strana 2 (celkem 7)
ZÚČASTNĚNÉ ŠKOLY K porovnání výsledků jsme použili data všech zapojených škol z celé České republiky. Celkově se testování zúčastnilo 18 901 žáků z 363 škol. Testy byly k dispozici pouze v online formě. Celkové počty zúčastněných (včetně rozložení na školy, třídy a žáky) najdete na posledním řádku následující tabulky. Testování bylo součástí projektu určeného pro všechny kraje ČR s výjimkou hl. města Prahy, z tohoto důvodu nejsou mezi zapojenými školami žádné školy z Prahy. Počet žáků, tříd a škol podle zastoupení v jednotlivých krajích Školy Třídy Žáci Jihočeský kraj 17 40 682 Jihomoravský kraj 49 142 2 560 Karlovarský kraj 6 17 331 Královéhradecký kraj 21 61 1 190 Liberecký kraj 23 59 1 053 Moravskoslezský kraj 58 180 3 369 Olomoucký kraj 27 68 1 186 Pardubický kraj 17 49 933 Plzeňský kraj 22 57 964 Středočeský kraj 44 124 2 379 Ústecký kraj 35 115 2 091 Vysočina 16 47 888 Zlínský kraj 28 76 1 275 Celkem 363 1 035 18 901 Strana 3 (celkem 7)
Procentuální zastoupení žáků v projektu podle krajů Ústecký kraj 11 % Vysočina 5 % Zlínský kraj 7 % Jihočeský kraj 4 % Jihomoravský kraj 14 % Karlovarský kraj 2 % Královéhradecký kraj 6 % Středočeský kraj 13 % Plzeňský kraj 5 % Pardubický kraj 5 % Olomoucký kraj 6 % Moravskoslezský kraj 18 % Liberecký kraj 6 % VÝSLEDKY TESTOVÁNÍ V následující části vám nabídneme odpovědi na otázky: Jak byly testy spolehlivé? Jak byly náročné? A jak v nich žáci dopadli? Reliabilita Počet úloh Počet testovaných Průřezová témata 0,805 42 18 901 Test vykazuje dobré psychometrické parametry reliabilitu. Tato hodnota slouží k měření přesnosti testování. Reliabilita je teoreticky číslo mezi minus nekonečnem a 1, v praxi bývá mezi 0 a 1. Čím je reliabilita vyšší, tím menší vliv na výsledek má náhoda. Při reliabilitě 0 by šlo o výsledky zcela náhodné, při reliabilitě 1 by byly výsledky zcela přesné. Protože měříme intelektuální dovednosti, přesnosti 1 a ani jí blízké se nikdy nedosahuje. Zpravidla se reliabilita pohybuje mezi 0,5 a 0,95. Strana 4 (celkem 7)
CELKOVÉ VÝSLEDKY TESTU Testování průřezových témat zahrnovalo jeden test se 42 úlohami, rozdělených do šesti tematických částí globální, osobnostní a sociální, mediální, demokratického občana, multikulturní a environmentální. Následující tabulky charakterizují především samotný test jeho průměrnou čistou a hrubou úspěšnost. Zajímavý je údaj o počtu vynechaných a neřešených úloh (ty, které žáci pravděpodobně nestihli řešit nacházejí se za poslední zodpovězenou otázkou). Počet testovaných Průměrné skore Průměrná hrubá úspěšnost Průměrná čistá úspěšnost Maximální dosažené skore Minimální dosažené skore 8. ročník VG 641 23,3 65,7 55,5 40,7-2,0 8. ročník ZŠ 9323 14,0 49,2 33,4 42,0-7,3 9. ročník VG 634 26,9 72,5 64,1 42,0 4,7 9. ročník ZŠ 8303 17,6 55,5 41,8 42,0-6,0 Správně Špatně Vynechal Nečetl 8. ročník VG 27,6 13 1,5 0,1 8. ročník ZŠ 20,6 20 1,3 0,2 9. ročník VG 30,4 11 1,0 0,0 9. ročník ZŠ 23,3 17 1,3 0,1 Celkovou náročnost testu se snažíme nastavit tak, aby průměrný žák ze skupiny, pro kterou je test určen, vyřešil správně přibližně polovinu úloh (tj. průměrná hrubá úspěšnost je 50 %). Z tohoto pohledu je zřejmé, že byl test dobře připraven pro žáky základních škol, studenti víceletých gymnázií si s ním poradili výrazně lépe. Pokud bychom neodečítali části bodů za nesprávné odpovědi, čistá úspěšnost vyřešení testů by byla vyšší. Rozdíl mezi hrubou a čistou úspěšností nám říká, jak moc žáci chybovali, případně chybně tipovali správnou odpověď. Pouze tři žáci ze všech téměř 19 tisíc zúčastněných žáků odpověděli na všechny otázky správně a dosáhli tak maximálního možného skóre. Kromě 8. ročníků víceletých gymnázií, kde se to nepovedlo nikomu, byl v každé další sledované skupině jeden takový žák. Strana 5 (celkem 7)
Žáci úlohy příliš nevynechávali, špatných odpovědí je na základních školách v obou ročnících jen o něco méně než těch správných, na gymnáziích je špatných odpovědí výrazně méně. Při hodnocení jednotlivých témat zastoupených v testu je vidět, že nejlépe se dětem dařilo v úlohách zaměřených na multikulturní výchovu a výchovu demokratického občana, nejhůře dopadly části zaměřené na globální a environmentální výchovu. Čistá úspěšnost podle částí testu - průřezová témata 100 % 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % 33% 27 % 47% 43% 35 % 37 % globální osobnostní a sociální mediální 52% 54% 44 % 44 % demokratického občana multikulturní 31% 21 % environmentální 8. ročník 9. ročník Např. pouze 21 % žáků dokázalo odpovědět na otázku -Která instituce/stát neratifikoval/a Kjótský protokol? (tj. neschválil/a a nepotvrdil/a jeho platnost). Na druhou stranu 86 % žáků dokázalo správně z nabízených obrázků vybrat ten, který nezobrazuje oficiální symbol České republiky. Z hodnot, které lze odečíst z následujícího grafu, je zřejmé, že žáci z devátých ročníků jsou ve svých odpovědích úspěšnější než jejich mladší spolužáci, i když se najdou i nějaké výjimky. Např. v úloze 3 byla mírně vyšší průměrná hrubá úspěšnost osmáků než deváťáků, a v úloze 26 byla úplně stejná. Strana 6 (celkem 7)
Náhled celého testu mají školy k dispozici v testovací aplikaci. Úspěšnost po úlohách - průřezová témata 100 % 90 % 80 % 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 8. ročník 9. ročník Strana 7 (celkem 7)