Analýza testování v 5. a 9. ročnících základních škol a odpovídajících ročnících nižších stupňů víceletých gymnázií Praha, leden 2012 Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 1/13
Obsah Obsah... 2 Úvod... 3 Vývoj systému a podpory, příprava pilotního ověření... 3 Příprava úloh pro pilotní ověření... 6 Průběh pilotního ověření... 7 Výsledky pilotního ověření vyhodnocení z pohledu technologického a logistického... 9 Výsledky pilotního ověření vyhodnocení dat... 9 Příprava celoplošné generální zkoušky... 11 1. Testy a testové úlohy... 11 2. Technologické prvky systému... 12 3. Logistický model... 13 Přílohy 1. Seznam vybraných škol k pilotu testování NIQES 2. Klíčové informace pro realizaci pilotního testování v 5. a 9. třídách 3. NIQES Instalační příručka školní testovací aplikace 4. NIQES Uživatelská příručka školní testovací aplikace 5. Zadání testu anglický jazyk 5. třída 6. Zadání testu anglický jazyk 9. třída 7. Zadání testu český jazyk 5. třída 8. Zadání testu český jazyk 9. třída 9. Zadání testu matematika 5. třída 10. Zadání testu matematika 9. třída 11. Tisková zpráva 14. 12. 2011 12. Výsledky Pilotní zkoušky Ukázka výstupů pro školu - Rozdělení škol podle úspěšnosti v testech z jednotlivých předmětů 13. Výsledky Pilotní zkoušky Ukázka výstupů pro školu - Úspěšnost školy v testech podle kategorií 14. Výsledky Pilotní zkoušky Ukázka výstupů pro školu - Úspěšnost úloh 15. Výsledky Pilotní zkoušky Ukázka výstupů pro školu - Souhrn za žáky školy 16. Výsledky Pilotní zkoušky Sumární výstup pro žáka po kategoriích úloh testů 17. Výsledky Pilotní zkoušky Sumární výstup pro žáka po úlohách testu Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 2/13
Úvod Pilotní ověření testování v 5. a 9. ročnících základních škol a odpovídajících ročnících nižších stupňů víceletých gymnázií proběhlo v období 13. - 14. 12. 2011 a bylo završením první etapy vývoje komplexního informačního systému národního šetření výsledků v počátečním vzdělávání v rámci čtvrté klíčové aktivity ESF projektu Národní systém inspekčního hodnocení vzdělávací soustavy v České republice (NIQES), jehož nositelem je (dále ČŠI ). Tato zpráva shrnuje výsledky celého ověření, jehož cílem bylo zejména otestovat technologický základ systému a elementární logistické procesy spojené s realizací elektronického plošného testování v českých školách poskytujících základní vzdělávání. Přestože použité testové úlohy doposud neměly ambice validně ověřovat skutečné výsledky vzdělávání v klíčových uzlech studia, součástí této zprávy je i kapitola detailních analytických výstupů z výsledků těchto úloh a zejména porovnání výsledků elektronického testování vůči klasickému testování na papír. Tato část zprávy je hlavně ukázkou vyhodnocení pro další etapy použití systému. Vývoj systému a podpory, příprava pilotního ověření Přípravné práce a vývoj systému započal bezprostředně po uzavření smlouvy s vítězem výběrového řízení dodavatelem technologické části systému a služeb, firmou SAPCON, a. s. Řídící a projektový tým společně formuloval základní vlastnosti systému a logistické procesy realizace plošného testování včetně potenciálních rizik provozu systému. Níže jsou popsány vybrané klíčové etapy vývoje. červenec 3. 11. 2011 Vývoj testových úloh a anketních otázek Tato část byla vypracována ze strany ČŠI. Testové úlohy pokrývaly předměty český jazyk, anglický jazyk a matematika pro 5. a 9. ročníky základních škol a odpovídající ročníky víceletých gymnázií. 3. 11. 11. 11. 2011 Výběr škol pro pilotní ověření Již od počátku vývoje se Ministerstvo školství, mládeže a tělovýchovy (dále MŠMT ) a ČŠI setkaly s velkým zájmem škol o účast v pilotním ověření. Seznam škol pro počáteční ověření technických podmínek škol se dále rozrostl o další školy vytipované ČŠI s cílem o co nejvyváženější pokrytí jak regionální tak typové. Ve vzorku se díky tomu nacházely všechny typy škol poskytující základní vzdělávání větší městské školy, malé venkovské školy (i neúplné pouze 5. ročník), víceletá gymnázia (pouze 9. ročník) a další. Nad širším výběrem těchto škol bylo provedeno elektronické rychlé šetření, které zjistilo základní parametry pro další selekci těchto škol do finálního seznamu pro pilotní ověření. Jednalo se o údaje o počtech žáků a tříd v dotčených ročnících, zejména ale o počtech vhodných PC v použitelných Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 3/13
počítačových učebnách. Na základě těchto dat byl stanoven konečný seznam škol, který byl publikován na webu ČŠI a je také přílohou této zprávy. S vybranými školami byla následně zahájena intenzivní spolupráce na přípravě realizace pilotního ověření. Pro každou školu ve vzorku byl určen minimálně jeden zaměstnanec ČŠI jako koordinátor. Vybrané školy poskytly bezproblémovou součinnost s výjimkou jedné základní školy v Chrudimi, kde si rodiče některých žáků vymínily nezapojení těchto žáků do pilotního testování. Situace se však vyřešila důkladným vysvětlením situace ze strany ČŠI a zejména ujištěním, že výstupem analýz výsledků nebudou žebříčky škol a žáků. V této škole se testování nakonec zúčastnili všichni žáci. 3. 11. 1. 12. 2011 Vývoj klientské (školní) aplikace a serverové části systému V rámci zadání již na úrovni veřejné zakázky byl požadován vývoj klientské aplikace ve formě tlustého klienta. Tato idea vznikající architektury se ukázala jako nezbytná pro bezpečný provoz systému v obrovském prostředí všech základních škol, víceletých gymnázií a konzervatoří v ČR, které je charakterem velmi různorodé, zejména však velmi zastaralé. Volba této architektury dále umožnila minimalizovat technické nároky na straně škol tak, že se nejeví zásadní potřeba renovace a doplnění technologického zázemí škol. Minimální konfigurace pro realizaci el. testů umožňuje využít PC s operačním systémem Microsoft již od verze Windows XP. S předchozích detailních šetření ČŠI vyplývá, že 99,5 % PC ve školách užívá operační systémy Microsoft. Dalším omezujícím rysem prostředí ve školách je nedostatečné nebo nespolehlivé připojení k internetu a jeho dostupnost v objektech škol. I pro toto riziko je vhodným řešením užití tlustého klienta a dalších definovaných vlastností systému, které společně dovolují absolvovat el. test i na počítači, který nemá nebo v průběhu vypracování testu ztratil připojení k internetu. V takové situaci (a ani pro instalaci aplikace) není třeba osoby odborného zaměření na ICT. Takové osoby interně působí pouze v necelé polovině škol (jinde jsou jejich služby sjednávány externě). Finální podoba aplikace byla do škol distribuována v samoinstalačním balíčku, jehož instalace nebyla nad rámec dovedností běžného uživatele PC. Vývoj serverové části systému spočíval zejména v modulu přípravy číselníků a modulu pro generaci testových dávek a vyhodnocení výsledků. Všechny tyto moduly byly prozatím vyvinuty pouze v minimální nutné funkčnosti, avšak s výhledem jejich rozšíření pro další realizaci projektu. 14. 11. 24. 11. 2011 Příprava dokumentace pro školy a realizátory Vzhledem k velmi krátkému času na přípravu realizační části ověření bylo nutné připravit velmi kvalitní dokumentaci jednotlivých kroků přípravy a realizace pro různé cílové skupiny. Klíčové byly zejména instalační a realizační manuály pro práci s aplikací, se kterou se cílové skupiny (učitelé a žáci) mohly seznámit ve velmi krátkém předstihu. Veškerá dokumentace (která je také součástí příloh Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 4/13
tohoto materiálu) byla okamžitě publikována a pravidelně aktualizována na webu ČŠI a projektu NIQES (www.csicr.cz, www.niqes.cz). 18. 11. 24. 11. 2011 Vkládání identifikačních údajů škol a žáků do databáze systému Přenos dat o školách proběhl přímo z informačního systému ČŠI, data o žácích byla získána elektronicky přímo ze škol, tato data byla do systému vložena dodavatelem systému a následně ověřena zaměstnanci ČŠI v rámci přípravy ve školách. 24. 11. - 1. 12. 2011 Příprava testových dávek pro pilotní školy V tomto období byly sestavovány dávky testů pro jednotlivé předměty/žáky/školy, které byly následně šifrovány. Testové dávky slouží pro naplnění testovací aplikace, která je pouze prostředkem pro realizaci testů. Všechny dávky prošly několikaúrovňovým šifrováním tak, aby bylo možné zajistit jejich otevření až ve chvíli testování. Pro každého žáka byly vygenerovány testy z trojice předmětů (český jazyk, anglický jazyk, matematika) pro daný ročník, přičemž vše bylo uzamčeno v dávce pro školu. Tím bylo možné také zajistit využití libovolného PC libovolnými žáky i opakovaně. V každé dávce byly dále k dispozici série testů pro tzv. náhradníky žáky, jejichž identifikační údaje nemohly být předány včas v rámci přípravy pilotního ověření. Vzhledem k faktu, že se prozatím jednalo pouze o ověření technologických limitů řešení a logistické správnosti, v pilotním ověření vypracovávali žáci stejné testy (stejné úlohy ve stejném pořadí). 24. 11. - 25. 11. 2011 Příprava terénních koordinátorů V tomto období proběhlo rozsáhlé školení zaměstnanců ČŠI v oblastech instalace a využití aplikace a dále pak celé logistiky pilotního ověření. Náročnou přípravou prošlo cca 200 zejména školních inspektorů a kontrolních pracovníků ČŠI, kteří dále připravili ředitele a jimi vybrané pedagogické pracovníky škol. 28. 11. 2011 Realizace předpilotní zkoušky Předpilotní zkouška předcházela samotnému pilotnímu ověření s cílem doladit poslední detaily především ve vazbě na logistiku provedení procesu ve škole tak, aby provoz školy byl touto činností omezen co nejméně. Ověření se týkalo zejména časové náročnosti jednotlivých kroků přípravy a realizace, dále také schopnosti pedagogů pojmout novou problematiku a administrovat provedení testování ve vlastní škole. Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 5/13
Zkouška proběhla v ZŠ Lupáčova, Praha 3. Minimální příprava spočívala zejména v instalaci testovací aplikace na všechny PC určené počítačové učebny. Následné provedení testování nepřineslo žádné problémy a potvrdilo správnost nastavených parametrů procesů pro pilotní ověření. 1.12. 9. 12. 2011 Instalace aplikace a školení obsluhy v pilotních školách V tomto období zaměstnanci ČŠI osobně navštívili pilotní školy, kde seznámili vedení a určené pedagogy s instrukcemi pro pilotní ověření a dále asistovali u instalace a ověření instalace testovací aplikace. Výsledky těchto kroků byly vynikající a znovu se potvrdila správnost nasazení tlustého klienta testovací aplikace, protože již tato přípravná fáze byla ovlivněna nedostatečností ICT infrastruktury ve školách. Přestože většina PC odpovídala minimální konfiguraci pro běh systému, vzhledem k nedostatkům v jejich správě a údržbě bylo nutné doinstalovávat některé aktualizace a komponenty operačních systémů PC. Ty ovšem byly součástí samoinstalačního balíčku testovací aplikace, takže všechny incidenty byly vyřešeny bez potřeby dalších zásahů. Nainstalováno bylo 99,8 % PC (z celkového počtu 2796 ks) předem určených pro testování. Průměrná doba instalace a ověření funkčnosti aplikace na jednom PC byla 5 minut (řádně spravovaná PC), respektive 30 minut (PC s pravidelně neaktualizovaným operačním systémem). Metodika provedení testování školám přišla efektivní a pochopitelná. Od 1. 12. 2011 Helpdesk a podpora Nezbytnou komponentou celého systému je služba uživatelské podpory pro realizátory testování (zaměstnanci ČŠI a škol). Hlavním kanálem podpory je zejména bezplatná telefonní linka obsluhovaná dostatečným množstvím operátorů z řad dodavatele s asistencí zaměstnanců ČŠI, kteří zajišťovali i přímou podporu ve školách. Během přípravy a realizace pilotního ověření nedošlo k zahlcení linky a všechny incidenty byly odbaveny plynule. Od počátku existence bylo vyřízeno cca 100 incidentů vesměs nezávažného technického charakteru. Příprava úloh pro pilotní ověření Příprava testů pro pilotní ověření byla zahájena v průběhu července 2011. Výchozím materiálem byly standardy minimálních cílových dovedností, jejichž obsah byl závazným rámcem pro obsah testů. Vzhledem k omezenému dostupnému času bylo rozhodnuto nezařadit do testů anglického jazyka poslechové úlohy a do všech testů zařadit pouze uzavřené úlohy s výběrem odpovědi z nabídnutých možností. Pro přípravu testů byl vytvořen autorský tým složený z pedagogů se zkušeností s přípravou testových úloh pro podobná plošná šetření. Parametry testů (počet úloh, počty odpovědí) byly nastaveny na základě předchozích zkušeností autorek z jiných šetření kvalifikovaným odhadem. Ze standardů minimálních dovedností byly vybrány takové dovednosti, jejichž promítnutí do úloh bylo s ohledem na disponibilní čas nejjednodušší. Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 6/13
Připravené úlohy byly oponovány členy týmů připravujících minimální standardy. Na základě připomínek oponentů byly upraveny jak délka testů, tak obsah úloh (v drtivé většině směrem k nižší náročnosti). Výsledná podoba testů byla všemi oponenty přijata jako vyhovující pro použití v pilotní zkoušce testování. Úlohy v testech byly pro lepší orientaci žáků, učitelů a rodičů rozděleny do 3 4 tematických celků, rozdělení hrubě kopírovalo členění dovedností v minimálních standardech. Nebyla zaznamenána žádná konkrétní výtka odborné či laické veřejnosti k podobě či obsahu úloh. Obecně zaznívající výhrady směřovaly především k těm aspektům, které testy nesly vědomě a cíleně (nezařazení poslechu, zařazení jen uzavřených úloh apod.). Příprava testů proběhla standardizovaným postupem adekvátním času, který byl k dispozici. Obsah testů respektoval stanovené standardy, vycházel v nich, nicméně jen v omezené míře reprezentoval v nich vyjmenované dovednosti, protože to nebylo cílem testů a umožnilo to věnovat omezený čas realizaci jiných cílů pilotního ověření. Průběh pilotního ověření Pilotní ověření bylo provedeno na vzorku 104 základních škol. V této množině škol byla vždy vybrána jedna třída školy každého ze zmíněných ročníků (pokud se ve škole vyskytoval), jejichž žáci testování absolvovali. Celkem se jednalo o 3792 žáků (1689 v 5. ročníku a 2103 v 9. ročníku). V rámci celého provedení byla školám poskytnuta maximální volnost organizace testování. Závazná byla pouze realizace testů určitých předmětů v ročníku pro každý den. Harmonogram testovacího dne byl dále volný a obsahoval jen základní milníky. Jedním z nich byla příprava, která byla doporučena na první vyučovací hodinu. V rámci přípravy bylo doporučeno pouze ověřit funkčnost PC v počítačových učebnách. V tento moment již na PC byly k dispozici šifrované dávky testů, takže nebylo zapotřebí ani funkčního internetového připojení. Každý testovací den v brzkých ranních hodinách obdrželi kontaktní osoby školy a dozorující inspektor e-maily s přístupovými údaji pro jednotlivé žáky. Tyto údaje byly žákům rozdány pro rozšifrování a spuštění testů. Následně mohla být zahájena samotná realizace testů. Metodickým pokynem bylo doporučeno realizovat testy z jednotlivých předmětů v blocích o rozsahu dvou vyučovacích hodin. Pro vypracování testu samotného bylo zapotřebí 45 minut, zbývající vyučovací hodina v bloku byla určena pro přihlášení do systému, seznámení se s ním, vyplnění elektronických anket před a po testu a seznámení se s výsledky po absolvování testu. Žáci, pro které v daný moment nebyl volný počítač, absolvovali test běžnou formou na papír tak, aby bylo možné zároveň ověřit vliv elektronické formy testování na úspěšnost v testu a srovnat její výsledky s tradiční papírovou formou. Před absolvováním dalšího testu docházelo k výměně žáků mezi elektronickou a papírovou formou tak, aby některý z elektronických testů absolvovali všichni žáci vybrané třídy. Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 7/13
Kromě vypracování samotného testu žáci odpovídali na několik anketních otázek vztahujících se k předmětu daného testu a také k jejich právě nabyté zkušenosti s el. testováním a samotnou testovací aplikací. Po absolvování testu byly výsledky jednotlivých žáků (včetně odpovědí v anketách) odeslány do datového centra, kde byly dále podrobně analyzovány. Nezávisle na úspěšnosti tohoto kroku se každý žák ihned po absolvování testu dověděl svůj výsledek a měl možnost znovu vidět své odpovědi v porovnání se správnými řešeními v každé úloze. To vše přímo v testovací aplikaci. Po ukončení testování v každém ze dvou dní byly testy použité v daném dni veřejně publikovány na webu ČŠI, a to včetně správných odpovědí. Po celou dobu přípravy a průběhu pilotního ověření byla všem uživatelům systému k dispozici telefonická a elektronická podpora, jejíž vytížení bylo během přípravy přiměřené a spočívalo zejména v řešení drobných incidentů technického rázu. Během samotného pilotního ověření bylo přijato pouze několik incidentů, kdy se jednotlivě z některého z PC nepodařilo odeslat výsledky absolvovaného testu. Závažnějším incidentem byl dlouhodobý výpadek internetového připojení základní školy v Třinci, který ale samotný průběh nepoznamenal, protože díky schopnosti tlustého klienta testovací aplikace fungovat off-line byly k dispozici všechny funkčnosti systému. Testovaní žáci tak mohli nerušeně absolvovat testy a ihned po ukončení být konfrontování s vyhodnocením. Data, která nemohla být odeslána do centra, byla dozorujícím inspektorem nahrána na externí paměťové médium a dále vložena do systému z jiného místa připojeného k internetu (opět v zašifrované podobě). Po celou dobu pilotního ověření bylo v provozu dohledové centrum, kam byl umožněn přístup médiím. V tomto centru byl důkladně v detailech vizualizován celý průběh testování, a to jak technologický průběh, tak také výsledky testů v jednotlivých předmětech nebo jejich částech, úspěšnost škol, úloh, četnosti odpovědí v anketách a další statistická data. První den pilotního ověření proběhla také tisková konference, kde byli zástupci médií detailně seznámeni s cíli testování, jeho přípravou (včetně přípravy testových úloh) a jeho průběhem. Ohlasy zúčastněných škol (dle výsledků anket s žáky a rozhovorů s pedagogy a řediteli) vztahující se k průběhu pilotního ověření jsou pozitivní. Jedinou výtkou některých škol byla kritika doby instalace klientské aplikace na některé počítače. Tento fakt byl důkladně analyzován. Příčinou je nedostatečná správa PC ve školách. Tato PC ve velké míře (PC ve více než polovině škol) respektive jejich operační systémy nejsou pravidelně aktualizovány. Proto bylo v rámci instalace klienta aplikace testování nutné instalovat i další balíčky nebytné pro jeho provoz. Jedná se však o balíčky, které jsou základní součástí PC užívaných v jiných oblastech pro běžnou práci, respektive běh standardně používaných aplikací. Realizace pilotního ověření ve svém důsledku tedy přispěla i k posílení stability provozu ICT v zapojených školách. Agregované i individuální výsledky žáků dané školy budou zpracovány do komplexních analýz a odeslány elektronicky jednotlivým zúčastněným školám do 6. 2. 2011. Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 8/13
Výsledky pilotního ověření vyhodnocení z pohledu technologického a logistického Pilotní ověření prokázalo technologickou a logistickou správnost návrhu řešení, jejíž správnost vycházela z praxe ČŠI a výsledků externích analýz návrhu řešení. Také díky zajištění adekvátní podpory (vzdělávání, podrobná dokumentace, hotline) nedošlo v žádné z pilotních škol k omezení procesů testování. Technické problémy přímo ve školách byly minimální a omezily se pouze na výpadky konektivity (připojení k internetu). V takových případech nebyla nijak snížena funkčnost aplikace a také nedošlo k žádné prodlevě v celém procesu. Předpokládaná maxima zátěže serverové části systému, centrální databáze a jejich připojení k internetu byla naplněna z cca 80% a to pouze ve špičkách (kolem 12. hodiny v obou testovacích dnech). Žádné problémy nenastaly ani v monitorovacím centru, kde byly vizualizovány průběžné on-line výsledky a statistiky jednotlivých procesů. Supervize na místě vykonávaná zaměstnanci ČŠI v každé z pilotních škol potvrdila schopnost škol podrobit se el. způsobu testování, a to i v místy ne zcela uspokojivém prostředí z pohledu hodnocení kvality ICT prostředí. Výsledky pilotního ověření vyhodnocení dat Obecná zjištění. I v relativně krátké době se podařilo připravit testy použitelné v elektronickém testování žáků (jakkoli triviálně to zní, nejistota o tom, zda žáci budou schopni řešit úlohy bez papíru a tužky, a zda bude možné testovat stejnými úlohami slabé žáky i výborné žáky, byla značná). 1. Celkově byly testy žáky i učiteli hodnoceny jako snadné (samozřejmě s výjimkami některých jednotlivých úloh), tomu odpovídala i poměrně malá průměrná doba, po kterou žáci testy řešili (nejméně 1:15 minuty na úlohu v angličtině 5. ročník, nejvíce 2:52 minuty na úlohu v matematice 9. ročník), přičemž doba zobrazení úlohy jen slabě korelovala s úspěšností žáků v úloze (korelační koeficient -0,23 s mírnou průkazností platí, že delší dobu žáci věnovali řešení úloh s nižší úspěšností). Vyplynul z toho závěr, že je možné v rámci stejné časové dotace na test zvýšit mírně počet úloh v testu. 2. Podle hodnocení žáků i učitelů jen zcela minimální podíl žáků měl nějaké, různě závažné problémy s prací v testovací aplikaci nebo s obecnými instrukcemi k řešení úloh (podíl žáků uvádějících výhrady k práci s programem 4 %). Jakkoli je to dobré vysvědčení pro tvůrce designu testovací aplikace, ukazuje to na nutnost věnovat před dalším kolem testování pozornost tomu, aby se žáci (a pochopitelně učitelé, kteří budou žákům u testování asistovat) mohli s testovací aplikací důkladně seznámit v dostatečném předstihu před vlastním testováním). Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 9/13
3. Paralelně s elektronickým testováním vyplňovala část žáků stejné testy v papírové podobě. Jen v osmi úlohách ze všech 99 úloh (8,1 %) se průměrná úspěšnost žáků v obou provedeních testování lišila o více než 10 procentních bodů, a to jen ve 3 případech ve prospěch papírové formy testu a v 5 případech ve prospěch elektronické verze testu. Ukázalo se, že elektronická podoba testu vypovídá o úrovni dovedností žáků srovnatelně s klasickým testováním na papíru. Analýza výsledků ovšem poukázala na skutečnost, že u určitých typů úloh má elektronická i tištěná podoba testu specifický vliv na výsledek. Dále bylo zjištěno, že (podle očekávání) pravděpodobnost rozdílu v úspěšnosti obou forem testu se zvyšuje s rozsahem (délkou textu) úlohy snahou pro další kolo testování bude rozsah úloh udržet na spíše menší délce. Výsledky testů. Interpretace výsledků testů je omezena především tím, že je jen málo informací o struktuře testovaného vzorku při vší snaze dosáhnout reprezentativního složení vzorku testovaných škol, rozhodujícím faktorem výběru škol byla jejich technická připravenost. Zastoupení víceletých gymnázií nebylo rovnocenné jejich zastoupení v celkovém počtu škol. V rámci škol je obtížné usuzovat na to, nakolik žáci vybraní pro elektronické testování reprezentují svými dovednostmi všechny žáky školy. Reprezentativní zjišťování znalostí a dovedností však prozatím nebylo a nemohlo být cílem pilotáže. Testy byly ve své konečné podobě kratší, než mohly být nízký počet úloh společně s vysokou úspěšností řady úloh významnou měrou ovlivnila např. reliabilitu testů. 1. Průměrná úspěšnost úloh. Bezmála třetina úloh (32 z 99) měla úspěšnost vyšší než 80 % (tj. správně je vyřešily více než 4/5 žáků), pouhých 7 úloh mělo úspěšnost nižší než 30 %. To ukazuje na skutečnost, že většina úloh (jakkoli některé už v pilotním ověření obsahovaly více než jednu minimální dovednost a byly tedy nad hranicí testovaného minima) byla pro většinu žáků svou obtížností zcela přiměřená. 2. Průměrná úspěšnost testů. Průměrná úspěšnost testů (podíl správně vyřešených úloh) se pohyboval v rozmezí od 53 % pro angličtinu v 5. ročníku po 74 % v českém jazyku v 5. ročníku (další testy: aj9 71 %, čj9 73 %, ma5 67 %, ma9 67 %). Soustředění pozorovaných hodnot kolem střední hodnoty 50 % je odrazem normálního rozložení úrovně sledovaných dovedností v měřeném vzorku žáků a ukazuje, že obtížnostní skladba úloh v testech takovému rozložení přiměřeně odpovídala (jakkoli to pro tuto fázi projektu nebylo primární snahou, protože cílovou skupinou testu jsou žáci na hranici sledovaných dovedností, nikoli žáci s průměrnými dovednostmi). 3. Průměrná úspěšnost škol. Jednoznačně pozitivním zjištěním je skutečnost, že v žádném testovaném předmětu a ročníku nebyla zaznamenána škola, jejíž žáci by dosáhli v průměru za test nižší úspěšnost než 20 %. Naopak s výjimkou angličtiny v 5. ročníku u všech ostatních předmětů a ročníků dosáhla polovina a více škol v průměru za své žáky více než 60% úspěšnosti v testu (aj5 18 % škol, aj9 59 % škol, čj5 94 % škol, čj9 91 % škol, ma5 70 % škol, ma9 49 % škol). Závěr. S výjimkou ojedinělých úloh testovaní žáci řešili úlohy s vysokou úspěšností, a to i v případě úloh vybočujících mírně nad úroveň požadovaného minima. I přes veškerá omezení interpretace Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 10/13
výsledků uvedená v úvodu této části je možné konstatovat, že testovaní žáci prokázali v souhrnu velmi dobré osvojení testovaných dovedností odrážejících požadavky minimálního standardu. Příprava celoplošné generální zkoušky Protože v prvním masovějším využití konstruovaného systému (pilotní ověření) se jednalo pouze o základní prověření možností elektronického testování a ověření jeho logistického modelu, také vzhledem k velmi krátkému času na přípravu této etapy, dozná celý systém, jeho logistický model, náplň testových úloh a složení testů, mnohých změn, které budou uplatněny již při celoplošné generální zkoušce, která proběhne v květnu a červnu roku 2012 ve všech základních školách. Tyto změny jsou důsledkem zejména masového nárůstu počtu testovaných škol v porovnání s pilotním ověřením, přičemž jedním z důležitých hledisek při návrhu systému a souvisejících procesů nadále zůstává snaha o co nejmenší a nejcitlivější omezení provozu školy během realizace testování ale při zachování co největší volnosti procesů, ve kterých velmi různorodé školy budou moci zohlednit svá specifika. Zásadní rozdíly a parametry celoplošné generální zkoušky budou následující: 1. Testy a testové úlohy Pro první celoplošnou zkoušku v létě 2012 se připravují testy z českého jazyka, matematiky, angličtiny, němčiny a francouzštiny pro 9. ročník všechny uvedené předměty, pro 5. ročník bez němčiny a francouzštiny. Testy z cizích jazyků budou mít časovou dotaci 60 minut, testy z českého jazyka a matematiky po 45 minutách (v pilotním ověření každý předmět 40 minut). Oproti pilotnímu ověření v prosinci 2011 budou v testech zařazeny vedle uzavřených úloh i otevřené úlohy (pouze takové, které je možné vyhodnotit bez hodnotitele). V testech cizích jazyků budou zařazeny úlohy s poslechem. Testy budou mít variabilní druhou část (adaptivní testování) podle úspěšnosti žáka v první skupině úloh budou žákovi zobrazeny úlohy minimální obtížnosti (základní standard) nebo vyšší obtížnosti (úlohy kombinující více minimálních dovedností). Počet variant testů bude uzpůsoben počtu dní, po které bude probíhat testování jednotlivých předmětů - předpoklad jsou 3 varianty pro český jazyk, matematiku a angličtinu a po jedné variantě pro němčinu a francouzštinu. V rámci jednotlivých variant (dní) budou pro žáky sestaveny různé verze testů, aby sousedící žáci neměli stejné pořadí úloh. Zvýšení počtu potřebných úloh bude odpovídat přiměřené personální posílení autorských týmů. U testů cizích jazyků by výsledek žáka v obtížnější skupině úloh měl být porovnatelný s požadavky kladenými na minimální úroveň potřebnou pro získání mezinárodně uznávaných zkoušek zajistit by to měla spolupráce s experty nominovanými zahraničními instituty (prozatím se týká angličtiny a němčiny). Vazba na mezinárodně uznávané certifikované zkoušky bude nicméně pouze na úrovni informace pro žáka, nakolik jsou jeho prokázané dovednosti blízké či vzdálené rámcovým požadavkům kladeným na uvedené zkoušky. Oproti pilotnímu ověření budou již testy pokrývat celou šíři minimálních standardů, samozřejmě v míře dané rozsahem testů (pokrytí standardů bude tedy poměrně řídké). Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 11/13
Cílem prvního celoplošného testování z pohledu testů bude ověření, zda je myšlenka jednotných testů ověřujících minimální úroveň dovedností aplikovatelná na celou šíři populace žáků, a zda pro zvýšení užitečnosti výsledků testování pro žáky s lepšími než minimálními dovednostmi je možné a vhodné použít testy s diferencovaným obsahem (tj. především to, jestli budeme umět z výsledků činit užitečné závěry nejen pro žáky s nízkou a průměrnou úspěšností, ale také pro žáky s nadprůměrnými výsledky v testu). V základní míře budou testy uzpůsobeny žákům se speciálními vzdělávacími potřebami, plné přizpůsobení obsahu a formy testů potřebám těchto žáků bude cílem až další generální zkoušky v roce 2013. Důležitým výsledkem celoplošné zkoušky by měly být poznatky o tom, nakolik je pro žáky přínosem zařazení otevřených úloh, a zda je reálné uvažovat do budoucna o zařazení otevřených úloh hodnocených hodnotitelem. Intenzivní úsilí bude během přípravy testování věnováno hledání optimální podoby výstupů testování pro žáky i pro školy, a to především s cílem maximalizovat formativní složku vyhodnocení a použitelnost výsledků pro hodnocení výuky v rámci školy. Zatímco v pilotním ověření v prosinci 2011 nebyla zjištění ze samotných výsledků testů hlavní prioritou (jednalo se především o ověření technické realizovatelnosti testování), v první celoplošné generální zkoušce již bude cílem učinit podrobnější náhled na úroveň osvojení sledovaných dovedností žáky 5. a 9. ročníků. Tomu bude odpovídat sofistikovanější podoba a obsah testů i realizace doprovodných opatření, které by měly přispět k rovným podmínkám v testování pro všechny žáky. 2. Technologické prvky systému Nadále bude využita technologie tlustého klienta testovací aplikace, vznikne také jeho mutace pro operační systémy Linux. První verze bude k distribuci uvolněna od poloviny února 2012. Tuto aplikaci si budou školy samostatně instalovat za vzdálené podpory dodavatele a ČŠI. Protože i po tomto datu bude nadále probíhat vývoj dalších funkčností souvisejících s modelem provedení celoplošné generální zkoušky, bude aplikace vybavena modulem automatického autoupdate. Tento modul po spuštění aplikace zjišťuje dostupnost nové verze v centrálním úložišti. Pokud existuje nová verze aplikace, je stažena a na PC, kde byla aplikace spuštěna, se tato automaticky přeinstaluje. Tím je pro školy zajištěna bezúdržbovost. Do portfolia aplikací systému přibude nová administrační aplikace v podobě tenkého klienta webového portálu dostupného pro školy a administrátory systému. Funkčnosti pro školy budou umožňovat vkládání dat o žácích účastnících se celoplošných zkoušek. Školám zde budou k dispozici i základní data o provedení instalace v dané škole vycházející z komunikace klientských aplikací instalovaných ve školách s centrální částí systému. V průběhu a po ukončení testování zde budou k dispozici on-line data o probíhajících procesech a následně pak samotné výsledky žáků a škol. Centrální systém bude doplněn o modul katalogu úloh, který umožní generování testů dle šablonové definice obsahu nad rozsáhlým úložištěm úloh. Definice šablonou a automatické generování zajistí vznik mnoha variant testů s obsahem různých úloh, jejich vzájemně různým pořadím, ale také možným způsobem vyhodnocení. Testovací aplikace projde drobnými změnami designu a zjednodušeno bude její administrační rozhraní pro správu testových dávek. Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 12/13
Velikost testových dávek pro školu bude pro optimalizaci internetové komunikace snížena změnou jejich vnitřní struktury. V kombinaci s novými funkčnostmi klientské aplikace umožní masivnější využití multimediálního obsahu. Mimo obrázků k úlohám tak bude možné využít i video nebo audio soubory např. pro poslechové úlohy testů z cizího jazyka. 3. Logistický model Vzhledem k velkému množství škol a také faktu, že na rozdíl od pilotního ověření budou testováni všichni žáci 5. a 9. ročníku, bude celý proces testování rozvolněn do několika týdnů. Toto rozložení je podpořeno i výsledky provedeného rychlého šetření zaměřeného na vybavení škol počítači. Poměr počtu žáků na jeden počítač v počítačové učebně školy dosahuje v některých školách hodnoty 10, takže prostřídání všech žáků při testování může být časově náročnější. Pro testování však škola může použít i počítače, které nejsou instalovány v učebnách. Pro povinné dokončení testů školou se předpokládá období tří týdnů. V tomto období budou k dispozici testové sady v dostatečném množství variant. Rozhodnutí, jak rozložit zátěž testování, bude plně v kompetenci školy. Dle výsledků rychlého šetření o vybavení škol vyplývá, že nejhůře vybavené školy rozloží test z jednoho předmětu na maximálně 10 skupin (při účasti žáků 5. i 9. ročníku), což znamená, že při předpokladu celodenního zatížení učeben školy při realizaci kompletního testování (uvažovány denně 4 testy završené na konci 6. vyučovací hodiny délka testu 60 minut + 30 minut na výměnu skupin, přípravu a vyhodnocení) budou potřebovat 7 a půl dne. To je ale extrémní příklad nejhůře vybavených škol (dle šetření cca 1 %). U naprosté většiny škol je při maximálním zatížení počítačových učeben možné dokončit kompletní testování již po 3 dnech. Protože maximální využití počítačových učeben může výrazně omezit výuku dalších netestovaných žáků jiných ročníků, bude mít škola možnost rozložit testování v rámci celkem tří týdnů dle vlastního uvážení s minimálním omezením ze strany provozovatelů testování. Harmonogram provedení jednotlivých testů školou bude svázán jen velmi obecně. Pro školy bude závazné pouze absolvování testů z daného předmětu do určeného období celého testovacího okna (3 týdny). Telefon: +420 251 023 127, fax: +420 251 566 789, www.csicr.cz 13/13