ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ DOVEDNOSTÍ Z ČESKÉHO JAZYKA ŢÁKŮ 5. ROČNÍKŮ ZŠ 2005 V KARLOVARSKÉM KRAJI

Transkript

1 Hodnocení dovedností z českého jazyka žáků 5. ročníků ZŠ 2005 ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ DOVEDNOSTÍ Z ČESKÉHO JAZYKA ŢÁKŮ 5. ROČNÍKŮ ZŠ 2005 V KARLOVARSKÉM KRAJI Zpracovali: PaedDr. Luděk Uhlíř Mgr. Petra Rubánková Podklady poskytl: Mgr. Jan Hučín Praha, říjen 2005

2 OBSAH 1. ÚVOD CÍLE PROJEKTU PRŮBĚH PROJEKTU KONCEPCE A TVORBA TESTŮ Tvorba testů Typy testových úloh Koncepce testu dovedností v českém jazyce ÚČAST ŠKOL A ŢÁKŮ Účast ţáků podle velikosti obce Účast ţáků podle velikosti školy ZHODNOCENÍ TESTŮ NA ZÁKLADĚ ŢÁKOVSKÝCH VÝSLEDKŮ Zhodnocení testu dovedností v českém jazyce TESTOVÉ VÝSLEDKY VE VZTAHU K ŢÁKOVSKÉ POPULACI A ŠKOLSKÉMU SYSTÉMU Výsledky škol Celkové výsledky ţáků Výsledky ţáků podle pohlaví Výsledky ţáků podle velikosti sídla školy Výsledky ţáků podle velikosti školy VÝSTUPY Z PROJEKTU ZÁVĚR

3 1. ÚVOD Pilotní projekt Hodnocení dovedností v českém jazyce ţáků 5. ročníků ZŠ 2005 Karlovarský kraj byl realizován Centrem pro hodnocení výsledků vzdělávání CERMAT (sekce evaluačních nástrojů včetně analytického oddělení, oddělení organizace a logistiky a oddělení informačních technologií) ve spolupráci s Odborem školství, mládeţe a tělovýchovy Krajského úřadu Karlovarského kraje za podpory MŠMT. 2. CÍLE PROJEKTU Z hlediska dlouhodobých cílů pilotní projekt Hodnocení dovedností v českém jazyce ţáků 5. ročníků ZŠ 2005 Karlovarský kraj představuje snahu zavést do základních škol takový hodnotící nástroj, který bude zdrojem informací pro vnitřní evaluaci škol a autoevaluaci ţáků. Navazoval na projekt Hodnocení výsledků vzdělávání ţáků 9. tříd v Karlovarském kraji 2004 a byl dalším krokem v dlouhodobé přípravě zavádění nového způsobu zjišťování vzdělávacích výsledků ţáků základní školy. Oba tyto projekty mají význam i pro ostatní partnery základních škol, tj. pro zřizovatele a střední školy. Projekt byl koncipován tak, aby naplnil následující cíle: rozšířit informace slouţící vnitřnímu systému řízení kvality škol, zavést prvky externí evaluace výsledků vzdělávání do základních škol, učinit první krok k monitorování výstupní úrovně ţáků 5. tříd základních škol. V rámci projektu byl ţákům 5. ročníků základních škol zadán test z dovedností v českém jazyce. 3. PRŮBĚH PROJEKTU Projekt byl uskutečněn v 1. pololetí roku Příprava i realizace proběhly ve velmi krátkém čase. V úvodní fázi došlo k sestavení týmu z pracovníků CERMATu, ke zpracování časového harmonogramu hlavních činností včetně předpokládaných finančních nákladů a k aktualizaci databází základních škol daného kraje. Předmětoví koordinátoři CERMATu vytvořili testové úlohy pro tento test. Aby testy měly zaručenu vysokou kvalitu, byly všechny úlohy do nich zařazené ověřovány v pilotáţním šetření. Pilotáţe proběhly na náhodně vybraném vzorku ţáků 5. tříd v 9 základních školách v Praze a Středočeském kraji ve dnech 28. a 29. dubna Jedna úloha byla ověřována v průměru na 300 ţácích. Na základě výsledků pilotáţí byly testové úlohy upraveny a sestaveny jednotlivé testy. Test dovedností v českém jazyce byl vytvořen ve dvou variantách. Testový sešit obsahoval 22 úloh. Časový limit pro řešení jednotlivých testů byl stanoven na 40 minut. Pro zápis řešení testových úloh byly připraveny záznamové archy. V rámci tohoto projektu nebyly uzpůsobeny podmínky testování pro ţáky se speciálními vzdělávacími potřebami (tedy i SPV). Jednalo se pouze o projekt pilotní a optimální charakter uzpůsobení podmínek pro tyto ţáky je ve fázi zjišťování. V příštích programech budou samozřejmě podmínky testování uzpůsobeny i pro ţáky se speciálními vzdělávacími potřebami, jako tomu je jiţ u ţáků 9. tříd a v přípravných programech Maturita nanečisto. 3

4 Termín testování byl stanoven pro všechny základní školy v Karlovarském kraji na čtvrtek 26. května 2005 v době od 8:45 do 9:35 hodin podle jednotného testového schématu. V souladu s harmonogramem projektu byly 5. května 2005 písemně osloveny všechny základní školy s 5. ročníky v Karlovarském kraji (94 škol). V dopise adresovaném ředitelům škol byly obsaţeny veškeré informace o cílech projektu, jeho organizačním zabezpečení včetně návodu k postupu při přihlašování škol do projektu elektronickou cestou. Současně bylo školám sděleno jedinečné heslo, které bylo vygenerováno pro přístup na webový server CERMATu (slouţí k ochraně dat školy včetně zamezení přístupu jiným subjektům). Přihlašování škol probíhalo elektronicky v době od 11. do 13. května 2005 formou zápisu do vygenerovaného formuláře s adresnými údaji školy. Po zadání IZO školy a jedinečného hesla přihlašovaly školy jednotlivé třídy s uvedením jmenného seznamu ţáků a jejich data narození. Na základě těchto údajů byl pro kaţdého ţáka vygenerován identifikační kód ve formě štítku s čárovým kódem, který ţáci nalepili na záznamové archy a slouţil k jejich identifikaci při zpracování výsledků. Do projektu se přihlásilo 68 základních škol s 5. ročníky v Karlovarském kraji, tj. 117 tříd, a ţáků. Na základě počtu přihlášených ţáků bylo vytištěno potřebné mnoţství testů, záznamových archů, identifikačních štítků a doprovodných materiálů. CERMAT zajistil kompletaci testových materiálů pro školy a třídy do bezpečnostních fólií a ve dnech 23. a 24. května 2005 provedl jejich distribuci přímo do jednotlivých škol. Za bezpečné uloţení zásilky do zahájení testování zodpovídali ředitelé zúčastněných škol. S ohledem na zajištění optimálního průběhu testování a získání objektivních výsledků bylo rozhodnuto zajistit administraci testů ve školách za pomoci vyškolených pedagogických pracovníků. Ředitelé základních škol v kraji byli poţádáni, aby pro zadávání testů vyuţili zadavatele, kteří byli proškoleni pro projekt Hodnocení výsledků vzdělávání ţáků 9. tříd Pro ty zadavatele, kteří neabsolvovali řádné školení, uspořádal CERMAT 24. května 2005 školení v budově Magistrátu města Karlovy Vary. Školení se zúčastnilo 19 zadavatelů. Zadavatel provedl 26. května 2005 administraci testů, předal vyplněné záznamové archy v zalepené obálce kontaktní osobě na škole a ta je v bezpečnostní obálce předala pracovníkům odboru školství obce s rozšířenou působností, kteří je dopravili na centrální sběrné místo OŠMT KÚ Karlovy Vary. CERMAT zajistil dne 27. května 2005 svoz všech záznamových archů zpět do Prahy ke zpracování. Po hromadném zpracování záznamových archů (digitalizaci převedení ţákovských odpovědí do elektronické podoby) externí firmou bylo v CERMATu provedeno čištění a kontrola pořízených dat. Takto upravená a zkontrolovaná data byla předána analytickému oddělení ke zpracování výsledků statistickým analýzám. Analýzy byly zaměřeny na zjištění individuálních výsledků jednotlivých ţáků, průměrných výsledků školy a jejich porovnání s výsledky ostatních zúčastněných škol. Výstupy projektu individuální osvědčení pro ţáky souhrnné výstupy pro základní školy závěrečná zpráva pro MŠMT Souhrnné výstupy pro základní školu zahrnují následující skupiny údajů: struktura souboru testovaných ţáků, přehled jmenovitých výsledků zúčastněných ţáků školy podle tříd v jednotlivých testových úlohách a v celém testu, 4

5 průměrné výsledky ţáků školy a jednotlivých tříd v jednotlivých testových úlohách podle verze testu, průměrné výsledky ţáků školy a jednotlivých tříd. Výsledky testování, tj. osvědčení pro jednotlivé ţáky a souhrnné výstupy pro základní školy, byly rozeslány všem zúčastněným školám. 5

6 4. KONCEPCE A TVORBA TESTŮ V rámci projektu Hodnocení dovedností v českém jazyce ţáků 5. ročníků ZŠ 2005 v Karlovarském kraji byl připraven test Dovedností v českém jazyce ve variantách A a B. Test dovedností v českém jazyce byl vymezen prostřednictvím školního vyučovacího předmětu a jeho učebních osnov. Test odvozený od školního předmětu byl nazván jinak neţ samotný vyučovací předmět. Důvodem je snaha zdůraznit jistou odlišnost v zaměření testu. Ačkoliv test odráţí učivo dané učebními osnovami, snaţí se ve větší míře, neţ je obvyklé pro současnou školní praxi, orientovat na dovednosti, nikoliv pouze na zapamatování znalostí. Úlohy jsou konstruovány tak, aby ověřovaly nejen zvládnutí vědomostních elementů učiva, ale rovněţ operace, které by měly být s těmito elementy (znalostmi) činěny. Takto pojaté testy zjišťují z hlediska kognitivních procesů vyšší operace, tj. nejen pouhé zapamatování informací, ale také porozumění a aplikaci. Vzhledem k této koncepci testů je moţné jejich účel vidět rovněţ v souvislosti s připravovanou kurikulární reformou. Ta v poţadovaných vzdělávacích výstupech zdůrazňuje spíše operace s informacemi neţ pouhé (i kdyţ nezbytné) osvojení znalostí. Školy si tak mohou vytvořit na základě výsledků ţáků představu, v jaké míře jejich současná výuka odpovídá nové organizaci výuky. 4.1 Tvorba testů Tvorba testu je náročný proces, na němţ spolupracuje řada odborníků (předmětoví specialisté, autoři úloh, recenzenti, analytici atd.). Tvorba celého testu probíhá v několika základních fázích. Pokud nejsou úkoly jednotlivých fází řádně splněny, zvyšuje se riziko, ţe vytvořený test nebude kvalitním nástrojem měření ţákovských znalostí a dovedností. V případě testu pro projekt Hodnocení dovedností z českého jazyka ţáků 5. ročníků ZŠ 2005 v Karlovarském kraji byla konstrukce tvořena následujícími fázemi: 1) Plánování testu definování cíle testu, tj. k čemu mají slouţit testové výsledky, vymezení obsahu testu, tj. jaké učivo má být prostřednictvím testu ověřováno, vypracování specifikační tabulky, která obsahuje závazný počet úloh určitého typu a obsahu zařazených následně do testu (význam specifikační tabulky spočívá zejména ve zvýšení validity a reliability testu a v moţnosti meziročního porovnání testových výsledků); 2) Tvorba a ověřování testových úloh tvorba testových úloh podle pravidel stanovených specifikační tabulkou, posouzení obsahové a konstrukční kvality testových úloh odbornými recenzenty, ověření kvality testových úloh prostřednictvím pilotáţí (pilotáţ představuje zkušební zadání úloh větší skupině ţáků, v tomto případě souboru cca 300 ţáků 5. tříd ze základních škol v Praze a Středočeském kraji, na základě jejichţ výsledků je posouzena konstrukční a psychometrická kvalita úloh); 3) Sestavování testu výběr konkrétních úloh do testu na základě vyhodnocení výsledků pilotáţí, řazení úloh tak, aby podporovalo správné strategie řešení testu, 6

7 volba způsobu hodnocení jednotlivých úloh a celého testu, posouzení testu odbornými recenzenty, sestavení záznamového archu, do něhoţ ţáci zapisují řešení úloh. Test byl koncipován tak, aby kombinoval charakteristiky testu rozlišujícího a ověřujícího. Na základě této kombinace lze testové výsledky pouţít k činění závěrů jak o úrovni znalostí a dovedností ţákovské populace kraje a jednotlivých škol, tak i o jednotlivých ţácích a k porovnání jejich výkonů s výkony ostatních. Cílem rozlišujících testů je vzájemně porovnat výsledky jednotlivých ţáků. Na základě řešení testu jsou ţáci uspořádáni do pořadí. Zda je konkrétní ţák hodnocen jako úspěšný nebo neúspěšný, závisí mimo jiné na výkonech ostatních ţáků. Naopak cílem ověřujících testů je zjistit, zda si ţák osvojil určité znalosti a dovednosti, které jsou předem stanoveny jako podstatné. Výsledek konkrétního ţáka není porovnáván s výsledky jiných ţáků, ale s předem stanovenými kritérii. 4.2 Typy testových úloh Kaţdý test je sestaven z jednotlivých testových úloh. Testové úlohy mohou být různého typu. Kaţdý z typů úloh je vhodný k ověřování jiného učiva a jiných kognitivních procesů. Úlohy se člení na otevřené a uzavřené. Otevřené úlohy jsou takové, kde ţáci odpovědi sami tvoří. Tyto úlohy jsou velmi náročné na hodnocení, neboť předpokládají kódování ţákovských odpovědí. V hodnocení odpovědí často dochází k chybám, a to jak z důvodu lidské únavy, tak z důvodu nejednoznačnosti odpovědí. Uzavřené úlohy jsou takové, kde ţáci vybírají odpověď z nabízených moţností. Převládá mylný názor, ţe uzavřené úlohy ověřují pouze zapamatování jednoduchých faktů. Ve skutečnosti ovšem i uzavřené úlohy mohou ověřovat sloţité myšlenkové operace. Samozřejmě však u nich existuje jisté riziko hádání, které je moţné sníţit správným bodovým hodnocením úloh apod. Nejčastějším typem uzavřených úloh jsou úlohy s výběrem odpovědí, tzv. multiple-choice, při jejichţ řešení ţáci vybírají odpověď ze tří nebo čtyř moţností. Dalším častým typem jsou úlohy dichotomické, kde se ţáci rozhodují o pravdivosti výroku či o jeho jiné charakteristice nabývající dvou hodnot. Sloţitějším typem uzavřených úloh jsou úlohy přiřazovací, v nichţ ţáci podle určitého pravidla k sobě přiřazují dvě řady pojmů, čísel atd. Jiným typem jsou úlohy uspořádací, ve kterých ţáci podle stanoveného pravidla určují správné pořadí zadaných pojmů, čísel atd. 4.3 Koncepce testu dovedností v českém jazyce Test dovedností v českém jazyce je odvozen od vyučovacího předmětu český jazyk a literatura. Odlišný název testu vyjadřuje skutečnost, ţe testové úlohy jsou orientovány více na dovednosti neţ na znalosti. Tím se pojetí testu částečně odchyluje od převládající praxe značné části škol, kde je více kladen důraz na znalosti. Základním východiskem pro sestavení testu dovedností v českém jazyce byly platné pedagogické dokumenty, 1 zohledněn ovšem byl i současný vývoj ve školství důleţitým východiskovým materiálem se stal Rámcový vzdělávací program pro základní vzdělávání. 2 1 Standard základního vzdělávání, Praha, Fortuna 1999; Vzdělávací program Základní škola, 2. upravené vydání, Praha, Fortuna V aktuálním znění. 7

8 Testem dovedností v českém jazyce byly ověřovány základní dovednosti ţáků v oblasti mateřského jazyka, jimiţ mají podle citovaných dokumentů disponovat po absolvování prvních pěti ročníků povinné školní docházky. Všechny texty pouţité v testových úlohách jsou autentické. Nejsou pouţívány vykonstruované jevy, všechny texty jsou převzaty z kaţdodenních situací, tzn. jsou vybrané ze sdělovacích prostředků (televize, noviny a časopisy, internet) i z běţných komunikačních situací mluvených. Jednotlivé dovednosti tedy nejsou ověřovány na izolovaných, pouze pro účely testování konstruovaných jevech. Takto konstruovaný test mimo jiné vyţaduje větší pozornost ţáků při čtení, zároveň se tím zmírňuje i rozevírání nůţek mezi jazykově-slohovou a literární sloţkou předmětu, které se projevuje ve výuce na řadě základních škol. Čtenářství je komplex různých, často se překrývajících dovedností, proto ani pro test dovedností v českém jazyce nebylo podstatné striktní rozlišování těchto dvou oblastí. Z obsahového hlediska je tak pozornost soustředěna na porovnání významů slov, rozpoznání pravopisné správnosti/nesprávnosti, určení slovnědruhové platnosti slov, rozlišení různých druhů textů, rozlišení spisovnosti a nespisovnosti, osvojení základů morfologie, tvarosloví a syntaxe, osvojení základů práce s informacemi. Test dovedností v českém jazyce byl tvořen 22 uzavřenými testovými úlohami s výběrem odpovědi. S úlohami s výběrem odpovědi se ţáci mohou setkat nejčastěji, u tohoto typu úloh bylo tedy moţné předpokládat nejniţší riziko ovlivnění výsledků ţáků způsobené absencí dovednosti ţáků řešit testovou úlohu z hlediska postupu řešení. Test byl připraven ve dvou variantách, sestavených z identických úloh, ovšem v odlišném pořadí. Všechny úlohy (22) byly ohodnoceny při správném řešení jedním bodem. 8

9 5. ÚČAST ŠKOL A ŽÁKŮ S nabídkou k účasti v projektu byly písemně osloveny všechny základní školy s 5. ročníky v Karlovarském kraji, tj. 94 škol. Účast škol v projektu byla dobrovolná. Celkem se do projektu přihlásilo 68 základních škol, tj. 117 tříd, které navštěvuje celkem ţáků. V den testování bylo ve školách přítomno ţáků, z toho chlapců a dívek. Soubor testovaných ţáků/yň byl z hlediska pohlaví rovnoměrně zastoupený a podsoubory ţáků byly dostatečně početné pro zajištění spolehlivosti analytických zjištění. 5.1 Účast ţáků podle velikosti obce Velikost obce, v níţ sídlí škola, i velikost školy samotné můţe být významným faktorem pro vysvětlení odchylek ve výkonu ţáků. Obce byly rozděleny do pěti kategorií podle počtu obyvatel. Složení žáků podle velikosti sídla školy (počet obyvatel) do 5 tisíc 35% tisíc 17% tisíc 20% 5-10 tisíc 15% tisíc 13% Více neţ třetina účastníků testování (35 %) pocházela ze škol sídlících v obcích do 5000 obyvatel. Ostatní kategorie jsou zastoupeny v zásadě rovnoměrně. 9

10 5.2 Účast ţáků podle velikosti školy Velikost školy je charakterizována celkovým počtem ţáků ve škole a je rozdělena do 4 kategorií. Necelých 40 % ţáků pochází ze škol, které navštěvuje ţáků a více neţ třetina (36 %) ze škol s celkovým počtem ţáků. Ţáci ze škol, kde je méně neţ 300 ţáků, tvoří mezi účastníky testování pouze jednu čtvrtinu. Složení žáků podle velikosti školy (počet žáků) žáků 36% do 100 žáků 3% žáků 22% žáků 39% 10

11 6. ZHODNOCENÍ TESTŮ NA ZÁKLADĚ ŽÁKOVSKÝCH VÝSLEDKŮ Aby bylo moţné na základě testových výsledků činit závěry o úrovni znalostí a dovedností ţákovské populace Karlovarského kraje a o charakteristikách školského systému, je nutné mít jistotu, ţe testy jsou kvalitními nástroji. Kvalita testů je zaručena dodrţením všech metodologických principů při jejich vývoji (viz kapitola 4). Po pouţití testu však musí být kvalita potvrzena prostřednictvím ţákovských výsledků. Výsledky musí odpovídat očekávaným charakteristikám a musí vykazovat přiměřené psychometrické parametry. Základní psychometrické charakteristiky, na jejichţ základě lze učinit závěr o kvalitě testu jako evaluačního nástroje, jsou uvedeny v následující tabulce. Část charakteristik slouţí k popisu výkonů jednotlivých ţáků či skupin ţáků, část charakteristik popisuje samotný test a jednotlivé testové úlohy. Tabulka: Vymezení základních psychometrických charakteristik Celkové skóre Celková úspěšnost ţáka Úspěšnost ţáka v úloze Průměrné skóre Průměrná úspěšnost ţáků Úspěšnost ţáků v úloze představuje počet bodů, které ţák obdrţel na základě řešení jednotlivých úloh v testu. Za kaţdou úlohu, kterou ţák správně zodpoví, získává příslušný počet bodů. V případě některých úloh je moţné částečné hodnocení, které rozlišuje odpověď zcela správnou, částečně správnou a chybnou. vyjadřuje v procentech poměr celkového skóre konkrétního ţáka a nejvyššího moţné skóre, které lze v testu získat. Příklad: je-li nejvyšší moţné skóre 60 a dosáhl-li ţák 30 bodů, pak jeho celková úspěšnost je 50 %. vyjadřuje v procentech počet bodů, které ţák získal za řešení dané úlohy, a nejvyššího počtu bodů, které bylo moţné za správné řešení úlohy získat. Příklad: je-li za zcela správnou odpověď moţné získat 2 body a uvedl-li ţák odpověď za 2 body, pak jeho úspěšnost v úloze je 100 %. představuje průměrný počet bodů dosaţený všemi testovanými ţáky v testu. Vypočítá se jako součet skóre jednotlivých ţáků dělený jejich počtem, tedy jako aritmetický průměr. vyjadřuje v procentech poměr průměrného skóre a nejvyššího moţného skóre v testu. Příklad: je-li průměrné skóre 40 a nejvyšší moţné skóre 80, pak je průměrná úspěšnost rovna 50 %. vyjadřuje v procentech poměr mezi počtem ţáků, kteří úlohu vyřešili správně, a všech testovaných ţáků. Příklad: je-li úspěšnost ţáků v úloze 80 %, znamená to, ţe úlohu vyřešilo správně 80 % ţáků z celkového počtu testovaných ţáků. 11

12 počet účastníků počet chlapců počet dívek prům. skóre prům. úspěšnost max. počet bodů reliabilita směr. odchylka náhodné skóre náhodné skóre interval (±) rozptyl (%) Ústav pro informace ve vzdělávání říjen 2005 Obtíţnost testových úloh Diskriminace úlohy Reliabilita testu Je odvozena od počtu ţáků, kteří správně odpověděli na danou úlohu, je vyjádřena desetinným číslem. Pokud je například obtíţnost úlohy 0,65, znamená to, ţe ze všech získaných odpovědí na danou úlohu bylo 65 % správných. Pojem obtíţnost úlohy se pouţívá jako jedna z charakteristik testové úlohy. Vyuţívá se k celkovému posouzení vhodnosti zařazení úlohy do testu. vypovídá o schopnosti úlohy rozlišovat mezi ţáky s většími znalostmi a dovednostmi a ţáky s menšími znalostmi a dovednostmi. K rozlišení ţáků na lepší a slabší se pouţívá jejich celkový výsledek v testu. Vysokou diskriminaci má taková úloha, kterou řeší lepší ţáci podstatně úspěšněji neţ ţáci slabší. V případě, ţe jsou v řešení úlohy úspěšnější slabší ţáci, obsahuje úloha pravděpodobně nějakou konstrukční chybu. Nejčastěji se diskriminace vypočítá jako Pearsonův lineární korelační koeficient mezi skóre dosaţeném v dané testové úloze a celkovým skóre (při vyloučení dané úlohy). Nabývá hodnot od -1 do 1 a označuje se téţ zkratkou RIR. Záporné hodnoty znamenají, ţe ţáci, kteří správně řešili danou testovou úlohu, dosáhli spíše nízkého celkového skóre ve zbytku testu, a naopak. Kladné hodnoty svědčí o tom, ţe ţáci úspěšní v řešení dané úlohy byli rovněţ úspěšní při řešení ostatních úloh, tj. celého testu. Aby bylo moţné označit úlohu za přiměřeně citlivou, měla by diskriminace RIR dosahovat nejméně hodnoty 0,25-0,3. představuje míru přesnosti a spolehlivosti testu. Pouze test, který měří přesně a spolehlivě, poskytuje směrodatné informace o úrovni znalostí a dovedností ţáků. Přesné měření znamená, ţe výsledek v testu vypovídá o skutečných znalostech a dovednostech ţáků. Spolehlivé měření znamená, ţe test poskytuje stabilní, opakovatelné výsledky. K výpočtu reliability se nejčastěji pouţívají vzorce KR-20, L2 nebo Cronbachovo alfa. 6.1 Zhodnocení testu dovedností v českém jazyce V následující tabulce jsou uvedeny základní psychometrické charakteristiky obou variant testů. Na základě zjištěných psychometrických údajů lze konstatovat, ţe jednotlivé varianty testu je moţné povaţovat za ekvivalentní. název Dovednosti v Čj A ,5 61,2 22 0,736 3,9 5,5 4,0 17,73 Dovednosti v Čj B ,4 61,1 22 0,768 4,1 5,5 4,0 18,64 12

13 Testování dovedností v českém jazyce se zúčastnilo celkem ţáků, z toho ţáků řešilo variantu A a ţáků variantu B. Maximální skóre, jehoţ mohli ţáci dosáhnout, bylo 22 bodů (v obou variantách). Ţáci dosáhli v řešení testu průměrného skóre 13,5 bodů (varianta A), resp. 13,4 bodů (varianta B), coţ znamená úspěšnost ţáků v řešení testu 61,2 % ve variantě A a 61,1 % ve variantě B. Rozdíly v průměrném skóre ani v průměrné úspěšnosti nejsou statisticky významné. O něco vyšší reliabilita ve variantě B je dána vyšším rozptylem skóre, tedy vyšším zastoupením ţáků s velmi vysokým nebo velmi nízkým skóre oproti variantě A. Varianty testu byly tedy rovnocenné, coţ prokazují i následující porovnání úspěšnosti ţáků v řešení jednotlivých testových úloh a porovnání diskriminace úloh. úspěšnost ţáků v úloze (%) úloha varianta A varianta B 1A/22B A/21B A/20B A/19B A/18B A/17B A/16B A/14B A/15B A/13B A/12B A/11B A/10B A/9B A/8B A/7B A/6B A/5B A/4B A/3B A/2B A/1B diskriminace úlohy úloha varianta A varianta B 1A/22B 0,334 0,415 2A/21B 0,212 0,283 3A/20B 0,259 0,353 4A/19B 0,292 0,312 5A/18B 0,351 0,419 6A/17B 0,382 0,403 7A/16B 0,247 0,362 8A/14B 0,422 0,385 9A/15B 0,135 0,247 10A/13B 0,221 0,256 11A/12B 0,184 0,171 12A/11B 0,209 0,273 13A/10B 0,164 0,171 14A/9B 0,301 0,339 15A/8B 0,234 0,247 16A/7B 0,245 0,251 17A/6B 0,321 0,329 18A/5B 0,408 0,364 19A/4B 0,222 0,247 20A/3B 0,434 0,436 21A/2B 0,359 0,357 22A/1B 0,304 0,319 13

14 7. TESTOVÉ VÝSLEDKY VE VZTAHU K ŽÁKOVSKÉ POPULACI A ŠKOLSKÉMU SYSTÉMU Testování se účastnily všechny přihlášené školy (68 základních škol z celkového počtu 94) a ţáci s výjimkou těch, kteří v daný den nebyli přítomni ve škole. Nepřítomní ţáci tvořili pouze 11 % ze všech přihlášených ţáků. Testy byly ţákům zadávány s cílem zjistit úroveň jejich znalostí a dovedností. Vzhledem ke kvalitě pouţitých testů lze prostřednictvím testových výsledků popsat ţákovskou populaci Karlovarského kraje. Současně lze charakterizovat také jednotlivé základní školy, které se testování zúčastnily. Při vyhodnocování souborů testových úloh se sledují zejména dvě psychometrické charakteristiky celkové skóre a úspěšnost. Oba uvedené psychometrické údaje popisují výkony jednotlivých ţáků, kteří řešili daný test. K popisu ţákovské populace slouţí průměrné hodnoty z těchto psychometrických charakteristik. Vymezení uvedených pojmů je obsaţeno v kapitole 6. Uvedené psychometrické charakteristiky jsou vyuţívány v situacích, kdy je cílem popsat úroveň úplných či dílčích znalostí a dovedností určité ţákovské populace. Pro popis kvality testových úloh jsou tyto charakteristiky doplněny či nahrazeny jinými údaji, zejména obtíţností úloh, diskriminací úloh, reliabilitou atd. Při porovnávání výsledků ţáků v různých testech je vhodnější pouţívat průměrnou úspěšnost neţ průměrné skóre. Průměrná úspěšnost ţáků v testu je relativní údaj, který dovoluje srovnávat výsledky v testech s odlišným nejvyšším moţným skóre. V analýze testových výsledků populace určitého kraje je důraz kladen zejména na porovnání úrovní znalostí a dovedností různých podsouborů ţáků. Znaky, podle kterých jsou ţáci roztříděni do podsouborů, mají přímou vazbu na interpretaci výsledků. V tomto projektu byli ţáci rozděleni do podsouborů na základě pohlaví, velikosti sídla školy a velikosti školy samotné. Podle rozdílů lze uvaţovat o moţných opatřeních, která by vedla k vyrovnání rozdílných výsledků různých skupin ţáků. Hlavní otázky: 1. Jaká je úroveň znalostí a dovedností ţáků 5. ročníků základních škol v Karlovarském kraji v českém jazyce? 2. Liší se úroveň znalostí a dovedností ţáků v závislosti na jejich pohlaví? 3. Liší se úroveň znalostí a dovedností ţáků v závislosti na velikosti sídla školy? 4. Liší se úroveň znalostí a dovedností ţáků v závislosti na velikosti školy? 5. Jsou rozdíly v úrovni znalostí a dovedností ţáků způsobeny výhradně jejich individuálními dispozicemi, nebo jsou ovlivněny systematickým působením konkrétní základní školy, kterou ţáci navštěvují? 7.1 Výsledky škol Analýzy ţákovských výsledků lze koncipovat tak, ţe ve středu zájmu stojí buď ţák, nebo určitá skupina ţáků, nebo celá škola. V případě, ţe analýzy směřují ke školám, je obvykle cílem učinit porovnání zúčastněných škol. Porovnání představuje uspořádání škol podle průměrných výsledků jejich ţáků do určitého pořadí. 14

15 Průměrná úspěšnost % Ústav pro informace ve vzdělávání říjen 2005 Pořadí škol je nutné interpretovat velmi opatrně! Skutečnost, ţe ţáci jedné školy byli v řešení testů úspěšnější neţ ţáci druhé školy, můţe mít nejméně dvě rozdílné příčiny. Jednou příčinou můţe být odlišná kvalita vzdělávání na daných školách, tj. první škola poskytuje ţákům systematičtější, úplnější přípravu, v jejímţ důsledku ţáci dosahují lepších výkonů. Druhou příčinou však můţe být odlišnost ţákovské populace, která na daných školách studuje. Jedna škola můţe být ať jiţ v důsledku její lokality či prestiţe vnímána jako výběrová, tj. vstupují do ní jiţ děti s lepšími vzdělávacími dispozicemi. Výsledky této školy pak zpravidla bývají lepší neţ výsledky školy, kterou navštěvují děti všech úrovní nadání a sociokulturního zázemí. Přitom však pedagogická kvalita daných škol můţe být stejná, či dokonce v případě školy nevýběrové vyšší. Vzhledem k tomu, ţe realizovaný projekt neměl příleţitost ověřit tzv. přidanou hodnotu školního vzdělávání, tj. rozdíl mezi vstupními dispozicemi ţáků a konečnými výstupy, nelze rozhodnout, která z uvedených příčin je pravdivá. 7.2 Celkové výsledky ţáků Na základě celkových výsledků ţáků zúčastněných testování si lze vytvořit představu o úrovni znalostí a dovedností všech ţáků studujících 5. ročník základních škol v daném kraji. Charakteristikami, které se pouţívají k danému účelu, jsou průměrné skóre a průměrná úspěšnost. V jednotlivých testech ţáci/kyně dosáhli následujících výsledků: Tabulka: Průměrné výsledky ţáků v testech test průměrné skóre průměrná úspěšnost varianta A 13,5 61,2% varianta B 13,4 61,1% 7.3 Výsledky ţáků podle pohlaví Zajímavým aspektem testových výsledků je jejich rozdílnost podle pohlaví ţáků. Mezi testovanými ţáky bylo přibliţně shodné zastoupení dívek a chlapců. Ţáci byli rozděleni do dvou skupin podle pohlaví a pro tyto skupiny byla spočítána průměrná úspěšnost. Rozdíl mezi průměrnou úspěšností dívek a chlapců byl statisticky testován. Následující grafy znázorňují průměrné testové výsledky. Průměrná úspěšnost žáků dle pohlaví dívky chlapci 15

16 Průměrná úspěšnost (%) Podíl žáků (%) Ústav pro informace ve vzdělávání říjen 2005 Úspěšnost dívek je v průměru o 5 procentních bodů vyšší neţ úspěšnost chlapců. Tento rozdíl ve skóre odpovídá 1,1 bodu Rozložení žáků dle úspěšnosti a pohlav í dívky chlapci Úspěšnost (%) Při sledování rozloţení úspěšnosti dívek a chlapců při řešení testu lze pozorovat celkové vychýlení křivky dívek směrem k vyšším hodnotám v porovnání s chlapci. Je tedy zřejmé, ţe vyšší průměrná úspěšnost dívek je způsobena celkovým posunem, nikoliv např. jen častějším výskytem dívek s nejvyššími schopnostmi. Menší úspěšnost chlapců je moţné vysvětlit jejich relativní nezralostí oproti dívkám ve stejném věku Výsledky ţáků podle velikosti sídla školy Z následujícího grafu je patrné, ţe velikost obce, ve které škola sídlí, ovlivňuje úspěšnost ţáků v testu. Lze konstatovat, ţe s rostoucí velikostí obce roste rovněţ úspěšnost ţáků v testu. Rozdíl v průměrné úspěšnosti ţáků ze škol sídlících v nejmenších a největších obcích činí přibliţně 9 procentních bodů Úspěšnost žáků dle velikosti sídla školy do 5 tisíc 5-10 tisíc tisíc tisíc tisíc Velikost sídla školy (počet obyv atel) 16

17 Průměrná úspěšnost (%) Ústav pro informace ve vzdělávání říjen Výsledky ţáků podle velikosti školy Velikost školy ovlivňuje úspěšnost ţáka méně neţ velikost obce, v níţ škola sídlí. Nejvyšší úspěšnosti dosahují ţáci z největších (průměrná úspěšnost 64 %), ale zároveň z nejmenších škol (průměrná úspěšnost 63 %). Úspěšnost ţáků z nejmenších škol však můţe být zkreslena malým zastoupením těchto ţáků v souboru Vliv velikosti školy na úspěšnost žáka do 100 žáků žáků žáků žáků Velikost školy (počet žáků) 17

18 8. VÝSTUPY Z PROJEKTU Vzhledem k tomu, ţe jedním z hlavních cílů projektu bylo poskytnout informace o ţákovských výsledcích školám, byla velká pozornost soustředěna na přípravu výstupů pro základní školy. Výstupy byly zpracovány jmenovitě, tj. pro kaţdou základní školu, která se projektu zúčastnila. Výstupy obsahovaly velké mnoţství údajů o tom, jak ţáci daných škol řešili jednotlivé testy. Jednalo se o údaje, které mohou být zdrojem zajímavých informací pro vedení školy a které mají přímou vazbu na zkvalitňování jejich pedagogické praxe. Jmenovité výstupy byly poskytnuty výhradně dané základní škole. Tyto informace nebyly zveřejněny. Výstupy zahrnovaly souhrnné výsledky dané školy jako celku a byly určeny pro vyučující. K výstupům pro základní školy byla přidána individuální osvědčení pro všechny zúčastněné ţáky. Tato osvědčení informují konkrétní ţáky o jejich výkonech při řešení testů, včetně jejich umístění mezi zúčastněnými ţáky z dané školy a z celého kraje. Souhrnné výstupy pro základní školy zahrnovaly následující skupiny údajů: struktura souboru testovaných ţáků, přehled jmenovitých výsledků zúčastněných ţáků dané školy v řešených testových úlohách a v celém testu, průměrné výsledky ţáků dané školy a jednotlivých tříd v testu, průměrné výsledky ţáků dané školy a jednotlivých tříd v jednotlivých testových úlohách. Výstupy byly připravovány tak, aby si na jejich základě školy mohly vytvořit či doplnit představu o vlastní ţákovské populaci a jejich vzdělávacích výsledcích. K tomu slouţí jednak absolutní hodnoty vyjadřující výkony ţáků dané školy v testech a úlohách, jednak porovnání s výsledky ostatních zúčastněných škol. Porovnání není uváděno formou jmenovitého ţebříčku škol, nýbrţ prostřednictvím průměrného výsledku. Školy se tedy nemusí obávat zveřejnění jejich výsledků. Z porovnání se školy mohou dozvědět, v jakém vztahu (lepší, stejné, horší) jsou výkony jejich ţáků vůči výkonům ostatních ţáků v kraji. Školy byly upozorněny na rizika spojená s interpretací statistických údajů. Na výkony v testech má vliv řada faktorů, z těch nejvýznamnějších to jsou: a) školní potenciál daných ţáků, b) pedagogické vedení, c) kvalita a zaměření testu. Častou chybou je vysvětlovat ţákovské výkony výhradně působením vyučujících. Ačkoliv jejich vliv na míru ţákovských znalostí a dovedností je klíčový, záleţí rovněţ na dalších charakteristikách ţáků. 18

19 9. ZÁVĚR Projekt Hodnocení dovedností v českém jazyce ţáků 5. ročníků 2005 v Karlovarském kraji představuje druhý realizační krok (navazoval na projekt Hodnocení výsledků vzdělávání ţáků 9. tříd v Karlovarském kraji) v hodnocení úrovně ţáků základních škol, v procesu zavádění systematického sledování vzdělávacích výsledků na základních školách a jejich propojování s výsledky evaluace na školách středních. Cílem projektu bylo připravit a ověřit konkrétní nástroje externí evaluace (standardizované testy, pilotáţ testů, způsob zadávání testů, způsob hodnocení testů apod.). Projekt přispěl k vytváření evaluačních nástrojů pro vyhodnocování cílů stanovených platnými pedagogickými dokumenty a přestavuje první pilotní ověřování vyuţitelnosti výsledků evaluace v pátém ročníku ZŠ. Partnerům na všech úrovních byl poskytnut jeden z hlavních vstupů do informačního systému o vzdělávání (ţáci, rodiče, škola, školská správa a samospráva aj.), zainteresovaným skupinám naznačil způsob, jak efektivně vyuţívat didaktických testů pro vlastní hodnocení. V neposlední řadě projekt přispěl k informovanosti pedagogické veřejnosti o cílech, předmětu a nástrojích evaluace. Zkušenosti, které ÚIV CERMAT získal v průběhu přípravy i realizace projektu, budou vyuţity při přípravě projektu Hodnocení výsledků vzdělávání ţáků 5. ročníků ZŠ 2006 ve vybraných krajích ČR. 19