ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŽÁKŮ 9. TŘÍD 2005 V KARLOVARSKÉM, LIBERECKÉM A PARDUBICKÉM KRAJI

Transkript

1 ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŽÁKŮ 9. TŘÍD 2005 V KARLOVARSKÉM, LIBERECKÉM A PARDUBICKÉM KRAJI Zpracovaly: Podklady poskytl: Mgr. Irena Smetáčková PhDr. Jarmila Nedvědová PaedDr. Eva Říhová Mgr. Jan Hučín Praha, září 2005

2 OBSAH 1. ÚVOD CÍLE PROJEKTU Dlouhodobé cíle Aktuální cíle PRŮBĚH PROJEKTU KONCEPCE A TVORBA TESTŮ Tvorba testů Typy testových úloh Koncepce testu Dovednosti v českém jazyce Koncepce testu Matematické dovednosti Koncepce testu Studijní dovednosti Žákovský dotazník ÚČAST ŠKOL A ŽÁKŮ ZHODNOCENÍ TESTŮ NA ZÁKLADĚ ŽÁKOVSKÝCH VÝSLEDKŮ Zhodnocení testu Dovednosti v českém jazyce Zhodnocení testu Matematické dovednosti Zhodnocení testu Studijní dovednosti TESTOVÉ VÝSLEDKY VE VZTAHU K ŽÁKOVSKÉ POPULACI A ŠKOLSKÉMU SYSTÉMU Výsledky škol Celkové výsledky žáků Výsledky žáků podle známky Výsledky žáků podle typu střední školy Výsledky žáků podle pohlaví ÚDAJE ZE ŽÁKOVSKÉHO DOTAZNÍKU Známky Důvody výběru střední školy Vzdělání rodičů Výroky o sobě Hodnocení vlastních testových výkonů VÝSTUPY Z PROJEKTU ZÁVĚR PŘÍLOHY

3 1. ÚVOD Projekt byl realizován divizí ÚIV Centrum pro zjišťování výsledků vzdělávání (CERMAT) ve spolupráci s odbory školství, mládeže a tělovýchovy krajských úřadů Karlovarského kraje, Libereckého kraje a Pardubického kraje. Záštitu projektu poskytlo Ministerstvo školství, mládeže a tělovýchovy. Hodnotící fáze projektu byla zařazena do aktivit systémového projektu ESF Kvalita I a realizována za finanční spoluúčasti EU, resp. ESF. Projekt navazoval na šetření, které se uskutečnilo v roce 2004 pod názvem Hodnocení výsledků vzdělávání žáků 9. tříd v Karlovarském kraji. Tento projekt vznikl na základě spolupráce CERMATu, Odboru školství, mládeže a tělovýchovy Karlovarského kraje a MŠMT. Projekt sestával ze zadání tří testů a dotazníku žákům 9. tříd všech základních škol v daném kraji. Z projektu byly připraveny tři skupiny výsledků: 1) osvědčení pro jednotlivé žáky, 2) výstupní sestavy s výsledky pro jednotlivé základní školy a střední školy, 3) závěrečné zprávy pro Odbor školství, mládeže a tělovýchovy Krajského úřadu Karlovarského kraje a pro MŠMT. Projektu se zúčastnily všechny základní školy v Karlovarském kraji a řada středních škol přihlížela k výsledkům testování při přijímacích zkouškách. Projekt Hodnocení výsledků vzdělávání žáků 9. tříd v Karlovarském kraji nebyl izolovaným šetřením, ale naopak prvním krokem v dlouhodobé přípravě zavádění nového způsobu zjišťování vzdělávacích výsledků žáků po ukončení II. stupně základní školy. Jeho závěry proto byly využity a zúročeny při přípravě a realizaci projektu ve třech krajích. Další pokračování projektu je podmínkou k postupnému naplňování dlouhodobého záměru zkvalitnit přípravu na základních školách. Současně však projekt má stanoveny vlastní dílčí cíle. Popis projektu, jeho dlouhodobé i aktuální cíle a jejich plnění jsou předmětem této závěrečné zprávy pro MŠMT. Pro období bude pokračování projektu součástí aktivit systémového projektu ESF Kvalita I, který pod názvem Národní hodnotící zkouška bude spolufinancován Evropským sociálním fondem a státním rozpočtem České republiky. 2

4 2. CÍLE PROJEKTU Projekt byl připraven ve snaze naplnit dvě skupiny cílů. Jedna skupina se vztahuje k dlouhodobému procesu proměny českého školství. Druhá skupina se váže na monitorování aktuální úrovně vzdělávacích výsledků žáků 9. tříd. V rámci projektu byly žákům 9. ročníků základních škol zadány tři testy a žákovský dotazník. Testy byly zaměřeny na tyto oblasti: matematické dovednosti, dovednosti v českém jazyce a studijní dovednosti. Výběr předmětů a konkrétní obsah testů odpovídal cílům projektu Dlouhodobé cíle Aktuální stav českého školství lze charakterizovat dvěma základními trendy decentralizací a kurikulární reformou. Jak ukazují zkušenosti ze zahraničí, oba tyto procesy vyžadují úpravy ve způsobu hodnocení výsledků vzdělávání. Zavádění rámcových vzdělávacích programů posouvá důraz, který byl kladen na sumativní hodnocení znalostí, směrem k jeho kombinaci s formativním hodnocením procesů a dovedností. Musí se tak rozšířit škála hodnotících nástrojů, které mají vyučující k dispozici. Novým nástrojem se proto má stát také externě připravovaný test, který umožňuje srovnání žáků mezi sebou a porovnání jejich osvojených znalostí a dovedností s požadovanými výstupy z výchovně-vzdělávacího procesu. Decentralizace školství spolu s kurikulární reformou poskytuje více autonomie školám a jejich zřizovatelům. Do pozadí tak ustupují vzdělávací standardy, které každý úspěšný absolvent určitého stupně školy musí splnit. Tyto standardy zcela opustit by znamenalo snížení kvality školství. Proto je nezbytné, aby alespoň v uzlových bodech vzdělávacího systému (tj. na přechodech žáků mezi jednotlivými vzdělávacími stupni) existovalo hodnocení jejich znalostí a dovedností, které lze vztáhnout k požadovaným výsledkům z příslušného stupně školy a které rovněž umožňuje jejich vzájemné porovnání. Tyto funkce může naplnit pouze externí evaluace výsledků vzdělávání. Projekty Hodnocení výsledků vzdělávání žáků 9. tříd v roce 2004 i v roce 2005 měly za cíl přispět k úvahám o možnostech různých hodnotících nástrojů a jejich zavedení do školské praxe v podobě tzv. Národní hodnotící zkoušky. Ta by měla být tvořena jednotnými testy zadávanými za standardizovaných podmínek žákům 5. tříd a dále žákům 9. tříd základních škol. Forma a obsah testů a organizační zajištění testování je předmětem uvedených projektů Aktuální cíle Vedle výše uvedených dlouhodobých a obecných cílů je projekt zaměřen jednak na praktické potřeby zúčastněných škol a jejich žáků, jednak na potřebu krajského úřadu získat podrobnější informace o školském systému v daném kraji, případně na zájem Ministerstva školství, mládeže a tělovýchovy rozšířit zdroje informací o úrovni českého školství. Cílovými skupinami projektu tak jsou: Základní školy, kterým se rozšíří zdroje informací sloužící k vnitřnímu systému řízení kvality škol. Žáci 9. tříd základních škol, kteří získají zdroj informací pro autoevaluaci. Střední školy, kterým jsou nabídnuty doplňkové nástroje pro hodnocení uchazečů o studium. Zřizovatelé škol, kterým jsou poskytnuty údaje o výstupní úrovni žáků škol. Krajský úřad, který má k dispozici hlubší údaje o kvalitě školského systému v kraji. Ostatní sociální partneři (rodiče, zaměstnavatelé atd.). Ministerstvo školství, mládeže a tělovýchovy 3

5 Na základě zhodnocení projektu a jeho výsledků lze konstatovat, že výše uvedené cíle byly splněny. Současně došlo prostřednictvím seminářů pro ředitele a učitele základních a středních škol a prostřednictvím publikování v odborném i denním tisku k informování pedagogické i širší laické veřejnosti o problematice hodnocení výsledků vzdělávání a možnostech využití didaktických testů. 4

6 3. PRŮBĚH PROJEKTU Projekt se uskutečnil v 1. pololetí 2005 v kraji Karlovarském, Libereckém a Pardubickém. Testováni byli všichni přihlášení žáci včetně žáků se speciálními vzdělávacími potřebami (žáci s SVP). Příprava projektu byla zahájena v létě 2004 po vyhodnocení projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2004 v Karlovarském kraji. V úvodní fázi došlo k sestavením týmu z pracovníků CERMATu, ke zpracování časového harmonogramu hlavních činností včetně předpokládaných finančních nákladů a k aktualizaci databází základních a středních škol daných krajů. V září 2004 se uskutečnila setkání se zástupci odborů školství krajských úřadů Karlovy Vary, Liberec a Pardubice. Účelem setkání bylo představení projektu, jeho výstupů, seznámení s možnostmi využití získaných výsledků a dohoda na obsahu a podmínkách projektu. Současně byly dohodnuty oblasti a rozsah spolupráce včetně zapojení odborů školství obcí s rozšířenou působností (dále jen obce III). O realizaci projektu a formách zpracování výsledků testování žáků byli poté informováni ředitelé základních a středních škol. Spolu se zástupci MŠMT a krajů bylo dohodnuto, že v rámci projektu budou školám nabízeny tři testy ve dvou variantách s podobným zaměřením a rozsahem jako v roce Jedná se o test studijních dovedností, test matematických dovedností a test dovedností z českého jazyka. Aby testy měly zaručenu vysokou kvalitu, byly všechny úlohy do nich zařazené ověřovány v pilotážním šetření. Pilotáže proběhly v době od 20. října do 9. listopadu 2004 na náhodně vybraném vzorku žáků 9. tříd ve 42 základních školách v Praze a Středočeském kraji. Jedna úloha byla ověřována v průměru na 200 žácích. Na základě výsledků pilotáží byly testové úlohy upraveny a vybrány nejkvalitnější z nich, podle specifikační tabulky pak byly sestaveny testy ve variantě A a B. Následně byla připravena ještě varianta testu C pro účely náhradního termínu přijímacích zkoušek. Tato varianta byla využita pouze v Libereckém kraji. V listopadu 2004 byly písemně osloveny všechny základní školy s 9. ročníky v Karlovarském, Libereckém a Pardubickém kraji. V dopise adresovaném ředitelům škol bylo uvedeno IZO školy a jedinečné heslo školy pro bezpečný přístup na webový server CERMATu, jehož prostřednictvím probíhalo přihlašování žáků. Přihlašování škol probíhalo elektronicky od 29. listopadu do 8. prosince 2004 formou zápisu do připraveného formuláře s adresnými údaji školy. Na základě údajů byl pro každého žáka vytvořen identifikační kód ve formě samolepicího štítku s čárovým kódem pro označení záznamových archů. Podle počtu přihlášených žáků bylo vytištěno potřebné množství testů, žákovských dotazníků, záznamových archů, identifikačních štítků a doprovodných materiálů. Veškerý testový materiál byl v CERMATu zkompletován pro třídy a školy do bezpečnostních fólií. Ve dnech 10. a byly zásilky odvezeny na OŠ KÚ Karlovy Vary, Liberec a Pardubice. Jejich distribuce do škol byla plně v kompetenci OŠ KÚ. Za bezpečné uložení zásilky do doby testování zodpovídali ředitelé škol. Školy obdržely v předstihu pro přihlášené žáky letáčky Jak řešit didaktický test. Letáčky seznamovaly žáky se strategií řešení testových úloh a mohli je použít při vlastním testování. S ohledem na zajištění optimálního průběhu testování a získání objektivních výsledků bylo koncepčně připraveno školení zadavatelů učitelů dané základní školy. Pro zadavatele byla stanovena podmínka neaprobovanosti pro předměty český jazyk a matematika. Zadavatelé byli jmenovitě uvedeni v přihlašovací aplikaci ve vazbě na konkrétní třídu (1 třída = 1 zadavatel). Na přípravě školení zadavatelů se podílely OŠ obcí III, které poskytly prostory, termíny a pomoc při vlastním průběhu školení. V CERMATu byli vyškoleni lektoři, kteří v období od do proškolili na jedenácti určených místech v krajích celkem 741 zadavatelů. 5

7 Termín testování žáků ve školách byl stanoven na čtvrtek 17. února Testováni byli všichni přihlášení žáci 9. tříd základních škol včetně žáků s SVP. Zadávání testů probíhalo podle jednotného testovacího schématu, ve kterém byly respektovány rozdílné časové limity pro žáky s SVP (časový limit pro řešení každého testu byl 40 minut, žáci s SVP mohli mít časové navýšení až o 100 %). Testy, včetně žákovského dotazníku, zadával ve třídě vyškolený učitel dané základní školy splňující stanovené podmínky. Zároveň zodpovídal za neprodlené předání vyplněných záznamových archů v bezpečnostní obálce opatřené průvodkou pracovníkům odboru školství obce III. V den testování byla pracovníky CERMATu a zástupci odborů školství krajských úřadů provedena v náhodně vybraných školách kontrola průběhu testování a dodržování pokynů k zajištění objektivních podmínek testování. Odbory školství KÚ ve spolupráci s odbory školství obcí III zajistily shromáždění obálek na stanovená centrální sběrná místa, tj. OŠ KÚ Karlovy Vary, Liberec a Pardubice. Dne 18. února 2005 se uskutečnil svoz všech obálek do CERMATu ke zpracování. Obsah každé zásilky byl zkontrolován a zaevidován. Testy s otevřenými úlohami byly před digitalizací vyhodnoceny hodnotiteli externími spolupracovníky CERMATu. Hodnocení otevřených úloh se týkalo testu matematických dovedností a probíhalo v období od do ve spolupráci s předmětovým koordinátorem pro matematiku. Hodnotitelé byli předem proškoleni a seznámeni také se způsobem organizace hodnocení otevřených úloh. Po ohodnocení otevřených úloh byly záznamové archy digitalizovány. Žáci se speciálními vzdělávacími potřebami se středním stupněm omezení zapisovali odpovědi přímo do upravených verzí testových sešitů; v tomto případě se pořízení dat provádělo ručně. Po hromadném zpracování a vytěžení dat externí firmou bylo v CERMATu provedeno čištění a kontrola pořízených dat, která byla následně předána analytickému oddělení ke zpracování výsledků. Výsledky byly poskytnuty těmto cílovým skupinám: a) žákům a školám: Výsledky testování pro jednotlivé žáky ve formě osvědčení byly školám zaslány do 12. dubna 2005, tj. před termínem přijímacích zkoušek na střední školy. Osvědčení informovala konkrétní žáky o jejich výkonech v řešených testech a jejich umístění mezi žáky stejné školy či mezi všemi zúčastněnými žáky v kraji. Souhrnné výstupy pro základní školy byly od 15. dubna 2005 zúčastněným školám přístupné na internetové stránce CERMATu po zadání IZO školy a jedinečného hesla. b) OŠ KÚ: Odborům školství Krajských úřadů Karlovy Vary, Liberec a Pardubice byly v dubnu zaslány první základní souhrnné výsledky o rozložení úspěšnosti žáků v jednotlivých testech podle zúčastněných krajů. Na ně v červnu 2005 navazovala souhrnná zpráva o projektu. c) MŠMT: Závěrečná zpráva byla vypracována v září Testování žáků, zpracování výstupů a zaslání výsledků včetně uspořádání odborných seminářů byly pro všechny zúčastněné školy zdarma. 6

8 Harmonogram projektu Činnost Termín Jednání s představiteli OŠ KÚ Karlovy Vary, Liberec, Pardubice , Zajištění aktuální databáze ZŠ a SŠ ze 3 krajů září říjen 2004 Oslovení ZŠ nábor pro pilotáž Tvorba TÚ pro pilotní ověřování do Tisk pilotážních sešitů Realizace pilotáží na školách Oslovení ZŠ, SŠ, OŠ obcí III a OŠ KÚ ve 3 krajích dopisem Zahájení elektronického přihlašování ZŠ do projektu Předání výsledků pilotáží autorům TÚ pro sestavení ostrých testů Ukončení přihlašování Sestavení ostrých testů do Příprava a tisk testových materiálů do Školení zadavatelů ve 3 krajích Kompletace testových materiálů pro ZŠ ve 3 krajích do Odvoz TM z CERMATu na OŠ KÚ ve 3 krajích Distribuce TM do škol dle dispozic OŠ KÚ do Testování 9. tříd ZŠ ve 3 krajích Svoz vyplněných ZA z OŠ KÚ 3 krajů do CERMATu Vystavení klíče správného řešení na web CERMATu Příjem zásilek dle výčetky Školení hodnotitelů OÚ (jen matematické dovednosti) Hodnocení OÚ do Pořízení dat digitalizace do Zpracování dat a generování výsledků do Tisk osvědčení Zaslání jmenovitých osvědčení pro žáky školám do Umístění souhrnných výsledků ZŠ na web CERMATu od Závěrečná zpráva pro OŠ KÚ ve 3 krajích červen 2005 Odborné semináře k výsledkům projektu září říjen 2005 Závěrečná zpráva pro MŠMT září

9 4. KONCEPCE A TVORBA TESTŮ V rámci projektu byly připraveny tři testy a žákovský dotazník. Testy se zabývaly těmito oblastmi: matematické dovednosti, dovednosti v českém jazyce a studijní dovednosti. Tyto oblasti byly zvoleny s ohledem na hlavní směr základního vzdělávání a současně na obvyklé složení přijímacích zkoušek na střední školy. Testy Matematické dovednosti a Dovednosti v českém jazyce byly vymezeny prostřednictvím školních vyučovacích předmětů a jejich učebních osnov. Test Studijní dovednosti přesahoval rámec běžně vyučovaných předmětů. Jeho cílem bylo ověřit předpoklady žáků pro úspěšné studium. Testy odvozené od školních předmětů byly nazvány jinak než samotné vyučovací předměty. Důvodem je snaha zdůraznit jistou odlišnost v zaměření testu. Ačkoliv testy odráží učivo dané učebními osnovami, snaží se ve větší míře, než je obvyklé pro současnou školní praxi, orientovat na dovednosti, nikoliv pouze na zapamatování znalostí. Úlohy jsou konstruovány tak, aby ověřovaly nejen zvládnutí vědomostních elementů učiva, ale rovněž operace, které by měly být s těmito elementy (znalostmi) činěny. Takto pojaté testy zjišťují z hlediska kognitivních procesů vyšší operace, tj. nejen pouhé zapamatování informací, ale také porozumění a aplikaci. Vzhledem k této koncepci testů je možné jejich účel vidět rovněž v souvislosti s připravovanou kurikulární reformou. Ta v požadovaných vzdělávacích výstupech zdůrazňuje spíše operace s informacemi než pouhé (i když nezbytné) osvojení znalostí. Školy si tak mohou vytvořit na základě výsledků žáků představu, v jaké míře jejich současná výuka odpovídá nové organizaci výuky. Následující popisy testů obsahují informace o postupu při vytváření testů, o jejich zaměření a obsahu a dále informace o bodování testů Tvorba testů Tvorba testu je náročný proces, na němž spolupracuje řada odborníků (předmětoví specialisté, autoři úloh, recenzenti, analytici atd.). Tvorba celého testu probíhá v několika základních fázích. Pokud nejsou úkoly jednotlivých fází řádně splněny, zvyšuje se riziko, že vytvořený test nebude kvalitním nástrojem měření žákovských znalostí a dovedností. V případě testů pro projekt byla konstrukce tvořena následujícími fázemi: 1) Plánování testu definování cíle testu, tj. k čemu mají sloužit testové výsledky, vymezení obsahu testu, tj. jaké učivo má být prostřednictvím testu ověřováno, vypracování specifikační tabulky, která obsahuje závazný počet úloh určitého typu a obsahu zařazených následně do testu (význam specifikační tabulky spočívá zejména ve zvýšení validity testu a v možnosti meziročního porovnání testových výsledků). 2) Tvorba a ověřování testových úloh tvorba testových úloh podle pravidel stanovených specifikační tabulkou, posouzení obsahové a konstrukční kvality testových úloh odbornými recenzenty, ověření kvality testových úloh prostřednictvím pilotáží (pilotáž představuje zkušební zadání úloh větší skupině žáků, v tomto případě souboru 200 žáků 9. tříd z Prahy a Středočeského kraje, na základě jejichž výsledků je posouzena konstrukční a psychometrická kvalita úloh). 3) Sestavování testu 8

10 výběr konkrétních úloh do testu na základě vyhodnocení výsledků pilotáží, řazení úloh tak, aby podporovalo správné strategie řešení testu, volba způsobu hodnocení jednotlivých úloh a celého testu, posouzení testu odbornými recenzenty, sestavení záznamového archu, do něhož žáci zapisují řešení úloh. Testy byly koncipovány tak, aby kombinovaly charakteristiky testu rozlišujícího a ověřujícího. Na základě této kombinace lze testové výsledky použít k činění závěrů jak o úrovni znalostí a dovedností žákovské populace kraje a jednotlivých škol, tak o jednotlivých žácích a k porovnání jejich výkonů s výkony ostatních. Cílem rozlišujících testů je vzájemně porovnat výsledky jednotlivých žáků. Na základě řešení testu jsou žáci uspořádáni do pořadí. Zda je konkrétní žák hodnocen jako úspěšný nebo neúspěšný, závisí mimo jiné na výkonech ostatních žáků. Naopak cílem ověřujících testů je zjistit, zda si žák osvojil určité znalosti a dovednosti, které jsou předem stanoveny jako podstatné. Výsledek konkrétního žáka není porovnáván s výsledky jiných žáků, ale s předem stanovenými kritérii. Cílem každého ověřujícího testu je stanovit míru znalostí a dovedností žáků tím, že se určí, kteří žáci test absolvovali úspěšně a kteří v něm byli neúspěšní. Kritériem úspěšnosti v testu je dosažení určitého počtu bodů z celkového možného počtu bodů (např. dosažení 20 a více z 50 možných bodů). Určený počet bodů se nazývá mezní hranice úspěšnosti neboli cut-off score. Kromě mezní hranice úspěšnosti, která oddělí žáky, kteří v testu uspěli, od žáků neúspěšných, mohou existovat ještě dílčí hranice, například pro oddělování známek. Dílčí hranice úspěšnosti se obvykle nevyužívají u testů zadávaných v rámci přijímacích zkoušek Typy testových úloh Každý test je sestaven z jednotlivých testových úloh. Testové úlohy mohou být různého typu. Každý z typů úloh je vhodný k ověřování jiného učiva a jiných kognitivních procesů. Úlohy se člení na otevřené a uzavřené. Otevřené úlohy jsou takové, kde žáci odpovědi sami tvoří. Tyto úlohy jsou velmi náročné na hodnocení, neboť předpokládají samostatné posuzování žákovských odpovědí. V hodnocení odpovědí často dochází k chybám, a to jak z důvodu lidské únavy, tak z důvodu nejednoznačnosti odpovědí. Uzavřené úlohy jsou takové, kde žáci vybírají odpověď z nabízených možností. Převládá mylný názor, že uzavřené úlohy ověřují pouze zapamatování jednoduchých faktů. Ve skutečnosti však i uzavřené úlohy mohou ověřovat složité myšlenkové operace. Samozřejmě však u nich existuje jisté riziko hádání, které je možné snížit správným bodovým hodnocením úloh apod. Nejčastějším typem uzavřených úloh jsou úlohy s výběrem odpovědí, tzv. multiple-choice, při jejichž řešení žáci vybírají odpověď z několika možností. Dalším častým typem jsou úlohy dichotomické, kde žáci rozhodují o pravdivosti výroku či o jiné charakteristice nabývající dvou možných hodnot. Složitějším typem uzavřených úloh jsou úlohy přiřazovací, v nichž žáci podle určitého pravidla k sobě přiřazují dvě řady pojmů, čísel atd. Jiným typem jsou úlohy uspořádací, ve kterých žáci podle stanoveného pravidla určují správné pořadí zadaných pojmů, čísel atd. Úlohy lze hodnotit jednotlivě nebo ve skupinách (tzv. svazcích), kde je pro přiřazení bodového hodnocení rozhodující počet správně vyřešených úloh svazku. Podrobněji viz přílohy. V projektu byly použity následující typy úloh: úlohy s výběrem odpovědi ze čtyř nabízených alternativ, 9

11 svazky dichotomických úloh, úlohy přiřazovací, úlohy otevřené. V každém testu byly použity právě takové typy úloh, které nejlépe odpovídaly ověřovanému obsahu. Vzhledem k tomu, že pro řadu žáků 9. ročníků se pravděpodobně jednalo o první zkušenost s řešením testu, snažili se autoři využívat omezenou škálu typů úloh Koncepce testu Dovednosti v českém jazyce Testem Dovednosti v českém jazyce byly ověřovány základní dovednosti žáků v oblasti mateřského jazyka, jimiž mají podle níže uvedených dokumentů disponovat na konci povinné školní docházky. Zároveň se při stanovování koncepce testu uplatnila spolupráce s tvůrci testu ze Studijních dovedností tak, aby nedocházelo k nežádoucímu překrývání ověřovaných dovedností. Test Dovednosti v českém jazyce je odvozen od vyučovacího předmětu český jazyk a literatura. Základním východiskem pro sestavení testu Dovednosti v českém jazyce byly platné pedagogické dokumenty (Standard základního vzdělávání, Praha, Fortuna 1999; Vzdělávací program Základní škola, 2. upravené vydání, Praha, Fortuna 1998.), zohledněn ovšem byl i současný vývoj ve školství důležitým východiskovým materiálem se stal Rámcový vzdělávací program pro základní vzdělávání (v aktuálním znění). Odlišný název testu vyjadřuje skutečnost, že testové úlohy jsou orientovány více na dovednosti než na znalosti. Zaměření testu Testem Dovednosti v českém jazyce je ověřována významná část specifických cílů uvedených ve Standardu základního vzdělávání. Pasáže označené šedým podtiskem v následujícím výčtu uvádějí oblasti ze standardu, které jsou prostřednictvím testu Dovednosti v českém jazyce ověřovány. Podle tohoto dokumentu proces výuky českého jazyka a literatury v jazykové části směřuje k tomu, aby žáci: v žádoucí míře kvality, trvalosti a správnosti si osvojili techniku čtení a psaní a prokazovali ji ve škole i mimo školu, byli schopni souvisle se vyjadřovat a dovedli správně a kultivovaně používat mateřský jazyk v běžných situacích, získali pro život významné dovednosti spojené s mnohostrannou komunikací člověka v moderní společnosti (ústní a písemné způsoby vyjadřování ve vztahu k odlišným adresátům, schopnost vyjadřovat vlastní názory, vystupovat před lidmi ap.), pochopili bohatost českého jazyka, jeho slovní zásoby a v praxi dovedli používat elementární pravidla stylistiky, získali podstatné poznatky ze systému českého jazyka a prakticky ovládli základy českého pravopisu, uměli využívat běžné informační zdroje a vést přehledné zápisky, usilovali o co nejpřesnější vyjádření svých myšlenek a uměli rozpoznávat vyjádření nepřesná a nesprávná. Ucelenější představu o ověřovaných dovednostech, resp. o celém testu, lze získat na základě specifikační tabulky, na jejímž základě byl test sestaven. 10

12 Specifikační tabulka pro test dovedností v českém jazyce 2005 Dovednost pravopis morfologie Učivo lexikologie, syntax sémantika stylistika celkem úloh Určit slovnědruhovou a větněčlenskou 2 2 platnost slova 1 Rozeznat nesprávně užitý tvar slova Ovládat základní pravopisná pravidla Posoudit význam slov Posoudit výstavbu textu Porovnat texty Porozumět obsahu celého textu i jeho částí 7 Rozeznat základní charakter textu Celkem úloh Vodorovná osa tabulky definuje redukované oblasti učiva, které se promítají do testu. Není zařazeno učivo z literatury, z čehož vyplývá, že cílem testu není ověřování znalosti literárních dějin. Svislá osa tabulky pak vymezuje vybrané oblasti ověřovaných dovedností. Z jejich výčtu je patrná orientace na 1 Zařazení dovednosti do testu vyplývá z důrazu na osvojování této dovednosti ve školské praxi. Nebylo tudíž možné tuto oblast zcela pominout. 2 Dovednost jdoucí napříč několika oblastmi učiva. 3 Ověřováno je ovládnutí základních pravopisných pravidel v běžných situacích; pozornost je soustředěna zejména na psaní -i/-y a interpunkci. S výjimkou testových úloh ověřujících zvládání interpunkce je zadání úloh konstruováno tak, aby nebyl specifikován charakter ověřovaného pravopisného jevu. Ověření dovednosti je tak přesnější ve srovnání se specifikovaným zadáním ověřovaného jevu. 4 Vždy je ověřováno posouzení významu slov (výrazů) v daném kontextu. 5 Dovednost je charakterizována nalezením závadného místa v textu a jeho opravou, resp. výběrem nejvhodnější úpravy (opravy). 6 Dovednost v sobě zahrnuje několik operací: porozumění odbornému textu, nalezení potřebných informací v tomto textu a jejich následná aplikace v textu neodborném. 7 Tato dovednost je svým charakterem nejbližší testovým úlohám obsaženým v testu studijních dovedností. 8 Ověřováno je rozeznání charakteru textu ze stylistického hlediska. 11

13 ověřování dovedností směřujících k práci s konkrétními texty, a to při respektování základního charakteru výuky na základních školách podle stávající pedagogické dokumentace. Všechny texty použité v testových úlohách jsou autentické (převzaty jsou z každodenních situací, tzn. ze sdělovacích prostředků televize, noviny a časopisy, internet i z běžných komunikačních situací mluvených), nejsou tedy používány žádné vykonstruované jevy, které by vznikly jen pro účely testování. Počet a typ testových úloh Test Dovednosti v českém jazyce je tvořen 25 uzavřenými testovými úlohami, z toho je 23 úloh s výběrem odpovědi (u tohoto typu úloh lze předpokládat nejnižší riziko ovlivnění výsledků žáků, způsobené absencí dovednosti žáků řešit testovou úlohu z hlediska postupu řešení). Test dále dotváří jedna úloha přiřazovací a jedna uspořádací. Bodové hodnocení Za správné vyřešení všech úloh v testu mohli žáci získat maximálně 30 bodů. Většině úloh je přiřazena jednobodová hodnota. Tři úlohy, jejichž řešení je časově podstatně náročnější, jsou ohodnoceny dvěma body, za správné řešení jedné úlohy (přiřazovací) může žák získat maximálně tři body. Varianty testu Test byl konstruován ve dvou variantách. Obě varianty testu byly tvořeny stejnými testovými úlohami, jejichž odlišné uspořádání zajistilo žákům stejné podmínky bez ohledu na to, kterou z variant řešili. Oběma variantami testu byly tedy ověřovány tytéž žákovské dovednosti. Třetí varianta testu (varianta C) byla konstruována podle stejných specifikačních kritérií jako varianty A a B. Podstatná část testových úloh zařazená do testu byla v porovnání s variantami A a B jiná, vlastnosti testu ale zůstaly zachovány. Nově zařazené testové úlohy ověřovaly stejné znalosti a dovednosti, blízkost parametrů byla ověřena pretestováním Koncepce testu Matematické dovednosti Základním cílem testu Matematické dovednosti bylo prověřit vzdělávací výstupy z deváté třídy v matematice. Současně byli ředitelé středních škol informováni o možnosti využít objektivně srovnatelných informací o úrovni znalostí jednotlivých žáků při přijímacím řízení. Zaměření testu Po zkušenostech z projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2004 v Karlovarském kraji byly do testu zařazovány méně náročné úlohy. Snížily se požadavky na počet prováděných úkonů v úloze i požadavky například na schopnost abstrakce při řešení úloh. Převažovaly úlohy na ověření úrovně základních matematických znalostí a dovedností. Pouze malá část testu obsahovala úlohy využívající schopnosti abstrakce či dovednosti matematizovat reálné situace, aby se žáci výrazněji rozlišili. Byly vynechány úlohy testující logické myšlení, neboť byly zařazeny do testu Studijních dovedností. 12

14 Specifické cíle Ústav pro informace ve vzdělávání září 2005 Specifikační tabulka pro test Matematických dovedností Provádět početní výkony s přirozenými i desetinnými čísly a zlomky, a to pamětně i písemně; při řešení složitějších úloh užívat racionálně kapesní kalkulátor. Řešit úlohy z praxe s užitím početních výkonů, včetně užití procentového počtu a jednoduchého úrokování. Provádět odhady výsledků řešení a posuzovat jejich reálnost, provádět potřebné zaokrouhlení. Úroveň osvojení A B C D 1.1, , 15 Číst a užívat jednoduché statistické tabulky a diagramy. 2 Užívat proměnnou, chápat její význam, řešit rovnice a nerovnice a užívat je při řešení úloh. 1.3, , Zapisovat a graficky znázornit závislosti kvantitativních jevů v přírodě a ve společnosti a pracovat s některými konkrétními funkcemi při řešení úloh z praxe. Řešit metrické geometrické úlohy, vypočítat obvody a obsahy rovinných obrazců, povrchy a objemy těles, užívat základní vztahy mezi rovinnými obrazci. Orientovat se v rovině a v prostoru, užívat soustavu souřadnic, chápat vztah mezi čísly a body jako základ počítačových znázornění a projektů. Dokazovat jednoduchá tvrzení a vyvozovat logické závěry z daných předpokladů , 7, , 7 2, , 15 9, 16, 17 Počet a typ testových úloh Test obsahoval 17 úloh. Prvních osm úloh bylo otevřených, žáci v nich uváděli postup řešení, v úloze 9 je uveden pouze výsledek, úlohy 10 a 11 byly rozhodovací, žáci vybírali mezi odpověďmi ANO NE, a úlohy byly úlohy s výběrem odpovědi. V jednotlivých úlohách testu byly ověřovány základní matematické znalosti a dovednosti žáků. Mezi ně se řadí základní znalost algebraických pojmů a postupů, případně jednoduché aplikace (ověřováno v úlohách 1, 5, 10, 11, 12, 13, 14), dále znalost geometrických pojmů (v úlohách 3, 4, 6 9). Časově náročnější byla část algebraická. Kombinace obou typů učiva je zastoupena v geometrických úlohách řešených výpočtem (úlohy 16 a 17). Požadavek na jednoduchou matematickou abstrakci nebo matematizaci popsané situace je obsažen v úlohách 2, 9, 16 a 17, náročnější je pouze úloha 15, která však patří k typově známým a procvičovaným úlohám. Pro sestavení testu bylo použito několik typů úloh. K ověření základních znalostí byly vybrány otevřené úlohy s jednoduchou odpovědí (1, 3 8), mezi něž počítáme i jednoduché geometrické konstrukce (sestrojení bodu nebo úsečky). Svazky uzavřených dichotomických úloh (s odpovědí ANO NE) byly použity pro hlubší ověření úrovně schopností využívat některých matematických pojmů (10) a postupů (11). Široce otevřená byla pouze úloha 2, pro kterou byla vypracována podrobná kritéria pro hodnocení. Zvláštním typem úlohy je svazek 9, jehož jednotlivé části lze přiřadit k typu uzavřených úloh s výběrem odpovědí, případně k úzce otevřené úloze. Zbývající úlohy (12 17) patřily mezi uzavřené úlohy se čtyřmi alternativami s jednou správnou odpovědí. Všechny složitější úlohy byly zadány právě touto formou, aby byla zachována jednoznačnost při opravování, tedy i objektivita testu. 13

15 Bodování Maximální skóre testu z matematiky je 50 bodů. Otevřené úlohy včetně svazků otevřených úloh (úlohy 1 8) jsou hodnoceny celkově 21 body (14+7), zbývající uzavřené úlohy včetně svazků uzavřených úloh 29 body (18+11). Bodové rozložení skóre do jednotlivých úloh zobrazuje následující graf. V otevřených úlohách (1 8) jsou body přidělovány v závislosti na časové náročnosti úlohy (od 1 do 5 bodů). Každý krok náročnější úlohy je možné hodnotit dílčími body. Mezi uzavřenými úlohami mají vyšší bodovou dotaci (4 body) svazky úloh (10 a 11), neboť se jim podobně jako v otevřených úlohách přidělují i dílčí body. Svazek (úloha 9) je časově méně náročný (3 body). Pouze uzavřené úlohy s výběrem odpovědi (12 17) se hodnotí podle pravidla vše, nebo nic. Bodová dotace (3 body) takové úlohy odpovídá průměrné bodové dotaci za úlohu v testu. Náhodné skóre v testu odpovídá přibližně 7 bodům, tedy 14% úspěšnosti v testu. Body Bodové hodnocení testu P Číslo úlohy Varianty testu Pro testování žáků v řádném termínu byly vytvořeny dvě zcela odpovídající varianty testu pro zadávání ve shodném testovacím termínu. Obě varianty (A a B) byly vytvořeny podle shodné specifikační tabulky. Úlohy jsou tematicky shodné, liší se pouze v údajích, s nimiž žáci počítají. Jedná se tedy o téměř identické, plně srovnatelné testy. Srovnatelnost potvrdily i analýzy žákovských výsledků. Třetí varianta C pro testování v náhradním termínu musela být pozměněna tak, aby nebyl zvýhodněn žák, který měl možnost seznámit se s předchozími variantami. Nepředpokládalo se speciální vyškolení hodnotitelů, proto (pro zachování objektivity hodnocení) byla široce otevřená úloha rozdělena na několik dílčích podúloh s jednoznačným hodnocením. Jednotlivá témata byla zachována, i když některé dílčí podúlohy byly jinak rozmístěny. Ve variantách A a B byly úkoly seskupeny do 17 úloh, ve variantě C do 15 úloh. Ve všech testech se kromě 6 uzavřených úloh řešilo v jednotlivých otevřených úlohách, podúlohách a svazcích celkem 21 dílčích úkolů. Náhodné skóre testu se změnilo pouze o 0,7 %. Můžeme tedy předpokládat, že validita testů byla velmi vysoká Koncepce testu Studijní dovednosti Test Studijní dovednosti byl zaměřen na zjišťování úrovně dovedností nezbytných k úspěšnému studiu. Z hlediska konkrétních dovedností je studijní úspěšnost podmíněna především prací s informacemi a řešením problémů. Dále je úspěšnost závislá na inteligenčních schopnostech, paměti, volních charakteristikách atd. Tyto však test Studijní dovednosti přímo měřit nemůže. Test Studijní dovednosti není odvozen z žádného existujícího vyučovacího předmětu. Jeho obsah je nadpředmětový. Na rozdíl od testů Matematické dovednosti a Dovednosti v českém jazyce tento test neodpovídal svým obsahem žádnému z existujících pedagogických dokumentů. Na jeho základě proto nelze dělat závěry o kvalitě školního vyučování vzhledem k naplňování učebních osnov a standardů vzdělávání. Zaměření testu Prostřednictvím testu Studijní dovednosti byly ověřovány především následující skupiny cílů: nalezení detailních informací v různých zdrojích, 14

16 globální porozumění informacím obsaženým v různých zdrojích, vysouzení informací, jazykový cit a základní matematické operace. Ústav pro informace ve vzdělávání září 2005 Aby závěr v testu vypovídal skutečně o žákovských dovednostech, byly úlohy konstruovány tak, že po žácích nebyly pro úspěšné řešení vyžadovány žádné specifické znalosti. Všechny zjišťované dovednosti předpokládají pouze práci s poskytnutými informacemi, všechny potřebné informace jsou obsaženy v úloze. Nalezení specifických údajů, porozumění jim a následná aplikace do nového kontextu vypovídají o úrovni žákových dovedností pracovat s informacemi. Třetí skupina dovedností je orientována na složitější myšlenkové operace. Úlohy ověřují, zda jsou žáci schopni kombinovat více informací a vyvodit z nich adekvátní závěr. Vymezené cíle předpokládají zvládnutí logických operací, základních matematických operací a přiměřenou úroveň jazykového citu. Test studijních dovedností sledoval výše uvedené dovednosti. Konkrétně byl sestaven na základě specifikační tabulky, v níž jsou uvedeny typy výchozích informací a požadované dovednosti. Pole vzniklá překrytím sloupců a řádků obsahují počet úloh daného zaměření. Specifikační tabulka pro test Studijní dovednosti vyhledání informace globální porozumění vysouzení, interpretace jazykový cit matematické operace text publicistický text odborný X tabulka X graf X Pozn. Matematické operace nebyly ověřovány jako samostatné cílové požadavky, ale jako součást jiných. Označení x je použito u těch výchozích informací, které předpokládají použití matematických operací. Počet a typ testových úloh Test studijních dovedností je tvořen 24 testovými úlohami, které jsou rozděleny do 9 částí. Každá část je tvořena výchozími informacemi a sadou 3 testových úloh, které se k těmto výchozím informacím vztahují. Z celkového počtu 24 úloh je 5 svazků dichotomických úloh a 21 úloh s čtyřnásobným výběrem odpovědi. Test studijních dovedností je sestaven ze dvou typů testových úloh úloh s výběrem odpovědi a ze svazků dichotomických úloh. Úlohy jsou vždy vztaženy k výchozím informacím. Výchozími informacemi použitými v testu jsou publicistické texty, odborné texty, tabulky a grafy. Většina použitých výchozích informací je autentická, obvykle se jedná o informace převzaté ze sdělovacích prostředků. Dovednosti tedy nejsou ověřovány na jevech, které by byly izolované a vykonstruované pouze pro účely testování. Pro stanovený časový limit 40 minut je počet testových úloh, včetně podúloh, poměrně vysoký. Vyšší časová náročnost je účelem testu. Protože je cílem testu predikovat možnou úspěšnost žáků v budoucím studiu z hlediska jejich dovedností, je vhodné simulovat situaci časového stresu, která je běžná pro reálné studium. Bodové hodnocení V testu Studijní dovednosti bylo možné získat maximálně 29 bodů. Jednotlivé úlohy byly bodovány jednotným způsobem podle jejich typu. Úlohy s výběrem odpovědi (tzv. multiple-choice) byly bodovány 1 bodem, svazky dichotomických úloh byly bodovány 2 body. Důvodem byla zejména vyšší časová náročnost řešení svazků úloh. Svazky dichotomických úloh měly možnost částečného 15

17 hodnocení za všechny čtyři správně zodpovězené podúlohy žáci získali 2 body, za tři správně zodpovězené podúlohy získali 1 bod, za dvě či jednu správnou odpověď nezískali žádný bod. Informaci o možném počtu bodů měli žáci uvedenou v testovém sešitě, aby na jejím základě mohli volit odpovídající strategii řešení testu. Varianty testu Test Studijní dovednosti byl připraven ve dvou variantách (A a B), které byly totožné z hlediska specifikační tabulky i použitých úloh. Úlohy byly do obou variant zařazeny v odlišném pořadí, čímž se snížila pravděpodobnost opisování. Přitom však zůstala zachována plná srovnatelnost testů. Pro náhradní termín byl následně připraven test ve variantě C. Ta byla rovněž vytvořena podle shodné specifikační tabulky. Část testových úloh zařazených do testu byla totožná s úlohami ve variantě A a B. Přibližně polovina testových úloh byla zcela nových. Nově sestavené úlohy ověřovaly stejné specifické cíle jako původní úlohy, které nahrazovaly Žákovský dotazník Součástí testování byl žákovský dotazník. Jeho prostřednictvím se získávaly zejména informace o střední škole, na niž se žáci přihlásili, a o důvodech jejich volby. Dále dotazník mapoval faktory ovlivňující aktuální úroveň znalostí a dovedností žáků v jednotlivých předmětech. Důležitou oblastí, které se žákovský dotazník rovněž věnoval, byl odhad vlastní úspěšnosti v řešení tří testů. Část položek obsažených v dotazníku se týkala identifikačních údajů. Jednalo se o údaje, které mohou být vztaženy k výsledkům žáků v přijímacích testech. S jejich využitím se provádějí podrobnější analýzy žákovských výsledků při řešení jednotlivých testových úloh i celých testů. Výběr a zařazení těchto položek byly motivovány snahou o maximálně komplexní interpretaci testových výsledků a případně formulování funkčních doporučení ke zkvalitnění pedagogické praxe na základních školách. Žákovský dotazník celkově zahrnoval 7 položek. Jejich obsahové zaměření bylo následující: pohlaví žáka/žákyně, známky na posledním vysvědčení z jednotlivých předmětů, střední škola, na níž si žák/žákyně podal přihlášku, důvody volby střední školy, vzdělání rodičů, osobní charakteristiky ve vztahu ke školním výkonům, odhad vlastních výsledků v testech. 16

18 5. ÚČAST ŠKOL A ŽÁKŮ Do projektu se zapojilo celkem 307 základních škol. Účast škol byla dobrovolná. Ze všech základních škol v daných krajích, které ve školním roce 2004/2005 měly otevřený 9. ročník, se tedy projektu zúčastnilo 97,5 %. Z těchto škol bylo k testování přihlášeno celkem žáků, z toho 902 žáků se speciálními vzdělávacími potřebami. V den testování bylo přítomno celkem žáků, z toho 739 žáků se SVP. Naopak chybělo a bylo omluveno žáků, z toho 162 žáků se SVP. Někteří z testovaných žáků byli přítomni pouze na část testování neřešili všechny tři testy a žákovský dotazník. Testování se provádělo v 567 třídách pro intaktní žáky a 174 třídách pro žáky s SVP (s ohledem na uzpůsobené podmínky byli žáci s SVP testováni v jiné učebně). K hromadnému zpracování bylo přijato záznamových archů, ručně se pořizovalo 164 testových sešitů žáků s SVP středního stupně omezení. Počty zúčastněných škol a žáků podle krajů a počty žáků řešících jednotlivé předměty uvádějí následující tabulky: Počet zúčastněných základních škol a žáků v krajích Kraj ZŠ s 9.třídami Účast ZŠ v projektu Celkem žáků počet počet % přihlášeno účast Karlovarský kraj Liberecký kraj Pardubický kraj , , Celkem , Počet zúčastněných žáků podle testů Test Matematické dovednosti Dovednosti v českém jazyce Studijní dovednosti Celkem žáků Intaktní žáci Žáci se SVP přihlášeno účast % účast účast , , ,

19 Kraj Počet žáků v jednotlivých krajích podle testů Matematické dovednosti Dovednosti v českém jazyce Studijní dovednosti Karlovarský kraj Liberecký kraj Pardubický kraj Celkem Pro účely následných analýz je důležitý popis zúčastněné žákovské populace rovněž z dalších hledisek. Hlavními znaky, které popisují soubor testovaných žáků, jsou: pohlaví, známka a typ střední školy, na kterou si žáci podali přihlášku. Prostřednictvím identifikace a žákovských dotazníků byly ke každému zúčastněnému žákovi přiřazeny základní údaje. Zastoupení žáků z hlediska uvedených znaků je obsaženo v následujících tabulkách. Počet dívek a chlapců Pohlaví CELKEM Počet žáků Karlovarský kraj Liberecký kraj Pardubický kraj Dívky Chlapci Neuvedli Počet žáků s příslušnými známkami na pololetním vysvědčení z předmětu český jazyk Známka ČESKÝ JAZYK Počet žáků Karlovarský kraj Liberecký kraj Pardubický kraj Známka Známka Známka Známka Známka Neuvedli

20 Počet žáků s příslušnými známkami na pololetním vysvědčení z předmětu matematika Známka MATEMATIKA Počet žáků Karlovarský kraj Liberecký kraj Pardubický kraj Známka Známka Známka Známka Známka Neuvedli Typ školy Počet žáků hlásících se na jednotlivé typy středních škol CELKEM Počet žáků Karlovarský kraj Liberecký kraj Pardubický kraj Gymnázia Střední odborné školy Střední odborná učiliště Odborná učiliště, učiliště Neuvedli

21 6. ZHODNOCENÍ TESTŮ NA ZÁKLADĚ ŽÁKOVSKÝCH VÝSLEDKŮ Aby bylo možné na základě testových výsledků činit závěry o úrovni znalostí a dovedností žákovské populace zúčastněných tří krajů a o charakteristikách jejich školských systémů, je nutné mít jistotu, že testy jsou kvalitními nástroji. Kvalita testů je zaručena dodržením všech testologických principů při jejich vývoji (viz kapitola 4). Po použití testu však musí být kvalita potvrzena prostřednictvím žákovských výsledků. Výsledky musí odpovídat očekávaným charakteristikám a musí vykazovat přiměřené psychometrické parametry. Základní psychometrické charakteristiky, na jejichž základě lze učinit závěr o kvalitě testu coby evaluačního nástroje, jsou uvedeny v následující tabulce. Část charakteristik slouží k popisu výkonů jednotlivých žáků či skupin žáků, část charakteristik popisuje samotný test a jednotlivé testové úlohy. Při hodnocení jednotlivých testů se vychází z výsledků všech testovaných žáků, tj. včetně žáků se speciálními vzdělávacími potřebami. Dílčí analýza této skupiny žáků bude dodána krajským úřadům samostatně. Vymezení základních psychometrických charakteristik Celkové skóre Celková úspěšnost žáka Úspěšnost žáka v úloze Průměrné skóre Průměrná úspěšnost žáků Úspěšnost žáků v úloze Obtížnost testových úloh Diskriminace úlohy představuje počet bodů, které žák obdržel na základě řešení jednotlivých úloh v testu. Za každou úlohu, kterou žák správně zodpoví, získává příslušný počet bodů. V případě některých úloh je možné částečné hodnocení, které rozlišuje odpověď zcela správnou, částečně správnou a chybnou. vyjadřuje v procentech poměr celkového skóre konkrétního žáka a nejvyššího možné skóre, které lze v testu získat. Příklad: je-li nejvyšší možné skóre 60 a dosáhl-li žák 30 bodů, pak jeho celková úspěšnost je 50 %. vyjadřuje v procentech počet bodů, které žák získal za řešení dané úlohy, z nejvyššího počtu bodů, které bylo možné za správné řešení úlohy získat. Příklad: je-li za zcela správnou odpověď možné získat 2 body a uvedl-li žák odpověď za 2 body, pak jeho úspěšnost v úloze je 100 %. představuje průměrný počet bodů dosažený všemi testovanými žáky v testu. Vypočítá se jako součet skóre jednotlivých žáků dělený jejich počtem, tedy jako aritmetický průměr. vyjadřuje v procentech poměr průměrného skóre a nejvyššího možného skóre v testu. Příklad: je-li průměrné skóre 40 a nejvyšší možné skóre 80, pak je průměrná úspěšnost rovna 50 %. vyjadřuje v procentech poměr mezi počtem žáků, kteří úlohu vyřešili správně, a všech testovaných žáků. Příklad: je-li úspěšnost žáků v úloze 80 %, znamená to, že úlohu vyřešilo správně 80 % žáků z celkového počtu testovaných žáků. je odvozena od počtu žáků, kteří dali správnou odpověď na danou úlohu, je vyjádřena desetinným číslem. Pokud je například obtížnost úlohy 0,65, znamená to, že ze všech získaných odpovědí na danou úlohu bylo 65 % správných. Pojem obtížnost úlohy se používá jako jedna z charakteristik testové úlohy. Využívá se k celkovému posouzení vhodnosti zařazení úlohy do testu. vypovídá o schopnosti úlohy rozlišovat mezi žáky s většími znalostmi a dovednostmi a žáky s menšími znalostmi a dovednostmi. K rozlišení žáků na 20

22 lepší a slabší se používá jejich celkový výsledek v testu. Vysokou citlivost má taková úloha, kterou řeší lepší žáci podstatně úspěšněji než žáci slabší. V případě, že jsou v řešení úlohy úspěšnější slabší žáci, obsahuje úloha pravděpodobně nějakou konstrukční chybu. Nejčastěji se diskriminace vypočítá jako Pearsonův lineární korelační koeficient mezi skóre dosaženém v dané testové úloze a celkovým skóre (při vyloučení dané úlohy). Nazývá se diskriminace RIR a nabývá hodnot od -1 do 1. Záporné hodnoty znamenají, že žáci, kteří správně řešili danou testovou úlohu, dosáhli spíše nízkého celkového skóre ve zbytku testu, a naopak. Kladné hodnoty svědčí o tom, že žáci úspěšní v řešení dané úlohy byli rovněž úspěšní při řešení ostatních úloh, tj. celého testu. Aby bylo možné označit úlohu za přiměřeně citlivou, měla by diskriminace RIR dosahovat nejméně hodnoty 0,25-0,3. Jiný způsob výpočtu představuje tzv. ULI index. Vypočítá se jako rozdíl v úspěšnosti řešení konkrétní úlohy poloviny žáků s vyšším celkovým výsledkem v testu a poloviny žáků s nižším celkovým výsledkem. Reliabilita testu představuje míru přesnosti a spolehlivosti testu. Pouze test, který měří přesně a spolehlivě, poskytuje směrodatné informace o úrovni znalostí a dovedností žáků. Přesné měření znamená, že výsledek v testu vypovídá o skutečných znalostech a dovednostech žáků. Spolehlivé měření znamená, že test poskytuje stabilní, opakovatelné výsledky. K výpočtu reliability se nejčastěji používají vzorce KR-20, L2 nebo Cronbachovo alfa Zhodnocení testu Dovednosti v českém jazyce Testu Dovednosti v českém jazyce se zúčastnilo celkem žáků, z toho 5975 žáků řešilo variantu A a 4998 žáků variantu B. Žáci dosáhli v řešení testu průměrného skóre 18,8 bodu (varianta A), resp. 19,2 bodu (varianta B), což znamená úspěšnost žáků v řešení testu 62,8 % ve variantě A a 64,0 % ve variantě B. Rozdíly v průměrném skóre ani v průměrné úspěšnosti nejsou statisticky významné. Varianty testu byly tedy rovnocenné, což prokazují i následující porovnání úspěšnosti žáků v řešení jednotlivých testových úloh a porovnání vynechanosti a diskriminace úloh. Průměrná úspěšnost žáků v úloze, vynechanost úlohy a diskriminace úlohy podle variant Průměrná úspěšnost Vynechanost Diskriminace Úloha varianta A varianta B varianta A varianta B varianta A varianta B 1A/25B 83 % 79 % 1,1 % 1,1 % 0,28 0,35 2A/24B 85 % 78 % 0,7 % 1,0 % 0,29 0,37 3A/23B 80 % 77 % 1,1 % 1, % 0,35 0,37 4A/22B 95 % 91 % 0,5 % 0,7 % 0,22 0,30 5A/21B 64 % 55 % 1,7 % 2,5 % 0,27 0,30 6A/20B 56 % 49 % 2,3 % 4,4 % 0,30 0,31 7A/17B 67 % 65 % 0,9 % 1,5 % 0,18 0,22 8A/18B 55 % 60 % 1,2 % 1,4 % 0,33 0,33 21