METODOLOGIE VYTVÁŘENÍ TESTU

Transkript

1 METODOLOGIE VYTVÁŘENÍ TESTU Mgr. Václav Maněna PaedDr. Martina Chrzová, Ph.D. Fakulta informatiky a managementu Univerzity Hradec Králové Projekt je spolufinancován Evropským sociálním fondem a státním rozpočtem České republiky

2 Jazyková korektura nebyla provedena, za jazykovou stránku odpovídají autoři. K vydání připravil: Institut dalšího vzdělávání Fakulty informatiky a managementu Univerzity Hradec Králové Rokitanského Hrade Králové Tel: idv@uhk.cz Studijní materiál vznikl za podpory projektu REKAP, který je spolufinancován Evropským sociálním fondem a státním rozpočtem ČR.

3 Obsah Obsah Vysvětlení pojmů test a didaktický test... 4 Didaktické testy... 4 Druhy didaktických testů... 6 Teoretický popis a rozdělení didaktických testů... 6 Testy rychlosti a úrovně... 7 Standardizované a nestandardizované testy... 8 Testy kognitivní a psychomotorické Testy výsledků výuky a studijních předpokladů Testy rozlišující a ověřující Testy vstupní, průběžné a výstupní Testy monotematické a polytematické Testy objektivně a subjektivně skórovatelné Zásady tvorby didaktického testu Výukové cíle a didaktický test Jak vytvořit dobrý didaktický test? Plánování didaktického testu Konstrukce didaktického testu Upřesnění obsahu testu Modely úloh Testovací čas Počet úloh Skórování Popis populace testovaných Obecná doporučení pro návrh testových úloh Ověřování kvality testu Vlastnosti testu Obtížnost testových úloh Citlivost Validita Reliabilita Klasifikace výsledků testu Rozbor a klasifikace testů Intuitivní přístup ke klasifikaci Klasifikace na základě procenta správných odpovědí Zdroje REKAP 3/44

4 Vysvětlení pojmů test a didaktický test Vysvětlení pojmů test a didaktický test CÍL KAPITOLY Vysvětlit pojem test. ÚVOD Pod slovem test si každý z pedagogického hlediska. představí něco jiného. Tato kapitola vymezuje pojem test Didaktické testy Pojem test se používá nejen v pedagogice a psychologii, ale i v řadě různorodých oborů, například v medicíně, chemii, strojírenství, statistice. Původ slova test se odvozuje z latinského testum, což je pojem, který označoval kelímek, v němž alchymisté zkoušeli kovy. Do češtiny byl termín test převzat z angličtiny, kde se jím obecně označuje zkouška nebo postup zkoumání kvality, hodnoty nebo složení (Hornby, 1977). Pedagogický slovník (Průcha, Walterová, Mareš, 2003) definuje test stejně jako Hornby: Označení převzato z angličtiny, kde značí postup zkoumání kvality, kontrolu, zkoušku. Test ve významu specificky definované zkoušky se používá v lékařství, chemii, statistice. V pedagogice jde o nástroj měření výkonu, v psychologii o měření schopností, dovedností, osobnosti apod. V praxi je někdy termínem test resp. didaktický test, označována krátká písemná zkouška nebo zkouška při níž žák odpovídá výběrem z nabídnutých variant odpovědí. Test nemusí být jen písemná zkouška, můžeme pomocí testu zjišťovat například úroveň zvládnutí psychomotorických dovedností (rychlost psaní na počítači, zhotovení výrobku podle technického výkresu, řízení motorového vozidla apod.). Test také nemusí být krátká zkouška. Ke zjišťování výsledků výuky za delší období mohou být použity i testy na několik hodin. Testy též nebývají sestaveny jen z úloh, které nabízí výběr odpovědí. Běžně se používají úlohy, kdy testovaný odpověď tvoří (návrh řešení technického 4/44 REKAP

5 Vysvětlení pojmů test a didaktický test problému, pojednání na zadané téma, provedení pokusu a jeho vyhodnocení). Podle Kerlingera (1972), který se zabývá výzkumem chování, je test systematický postup, v němž se testovanému jedinci předloží soubor konstruovaných podnětů, na které odpovídá (reaguje), přičemž tyto odpovědi (reakce) umožňují examinátorovi přiřadit zkoušenému číslo nebo soubor čísel, z nichž lze dělat dedukce o tom, co je testovanému vlastní z toho, co má test podle předpokladu měřit. Termín test má tedy poměrně široký význam. Termín didaktický test pak podle Pedagogického slovníku (Průcha, Walterová, Mareš, 2003) označuje nástroj systematického zjišťování výsledků výuky. Dalším pojmem, se kterým se při jakémkoli testování můžeme setkat, je termín škála. Kerlinger (1972) definuje škálu jako soubor symbolů nebo čísel. Tento soubor je konstruovaný tak, že lze symboly nebo čísla přiřadit podle pravidla jedincům (nebo jejich aktům chování), na které se škála aplikuje. Přiřazení je naznačeno tím, co je dotyčnému jedinci vlastní z toho, co má škála podle předpokladu měřit. Jako test je i škála měrným nástrojem. Můžeme konstatovat, že testy mohou být škály, ale škály nejsou testy. Také proto, že škály nemají obvykle význam soutěžení a úspěšnosti nebo nezdaru jako testy. SOUHRN V této kapitole jste se seznámili s pojmy test a didaktický test a s jednotlivými druhy didaktických testů. Testem označujeme obecně zkoušku, ať už písemnou nebo např. úrovně zvládnutí psychomotorických dovedností. REKAP 5/44

6 Druhy didaktických testů Druhy didaktických testů CÍL KAPITOLY Klasifikovat testy podle osmi hlavních hledisek. Vysvětlit jednotlivé typy testů. ÚVOD Existuje několik klasifikačních hledisek, podle kterých lze testy rozdělit. V této kapitole jsou testy klasifikovány podle osmi hledisek. U každého hlediska lze testy ještě rozdělit podle jednotlivých typů. Teoretický popis a rozdělení didaktických testů Didaktický test je nástroj systematického zjišťování výsledků výuky. Jednotlivé testy se od sebe mohou lišit svým obsahem (specificky), typem testových úloh, ze kterých jsou sestaveny, ale i daleko obecnějšími charakteristikami. Můžeme uplatnit celou řadu hledisek, podle kterých se testy klasifikují. Rozborem řady klasifikací se došlo k vyčlenění osmi hlavních klasifikačních hledisek. Patří k nim i některá hlediska Niemierkovy klasifikace (Niemierko, 1975). Hlediska jsou následující (Byčkovský, 1982): 6/44 REKAP

7 Druhy didaktických testů Klasifikační hledisko Měřená charakteristika výkonu Dokonalost přípravy a vybavení testu Povaha činnosti testovaného Míra specifičnosti učení zjišťovaného testem Interpretace výkonu Časové zařazení do výuky Tematický rozsah Míra objektivity skórování Testy rychlosti, úrovně standardizované, kvazistandardizované, nestandardizované kognitivní, psychomotorické výsledku výuky, studijních předpokladů rozlišující (relativního výkonu) ověřující (absolutního výkonu) vstupní, průběžné (formativní), výstupní (sumativní) monotematické, polytematické objektivně skórovatelné, subjektivně skórovatelné Testy rychlosti a úrovně Podle měřené charakteristiky výkonu se testy dělí na testy rychlosti a testy úrovně. Tyto dva typy testů se navzájem liší ve dvou aspektech časové omezení testu a obtížnosti úloh. Rozdělení testů podle měřené charakteristiky výkonu je klasifikací modelovou konkrétní test se svými vlastnostmi blíží buď více testu rychlosti nebo více testu úrovně. Test rychlosti Test rychlosti je časově omezený test, sestavený obvykle z velmi snadných úloh. Předpokládá se, že všichni testovaní předkládané úlohy zvládají a že se liší pouze v rychlosti řešení. Výkon v testu je dán počtem správně vyřešených úloh a je výhradně závislý na rychlosti s jakou testovaný úlohy řeší. Pokud by měl testovaný více času, vyřešil by více úloh. Příkladem testu rychlosti je test rychlosti čtení, ve kterém měříme, kolik slov za minutu je žák schopen správně přečíst (aniž při tom přihlížíme ke kvalitě čtení) nebo dalším příkladem může být test přepisu textu na počítači, kdy se výkon testovaného udává počtem správných úhozů za minutu. REKAP 7/44

8 Druhy didaktických testů Příklad Dop lňte mezi zlomky znaménka <,>,=. Čas testu je omezen na 1 minutu Test může obsahovat např. podobných 10 úloh. Test úrovně Čisté testy úrovně nepoužívají žádné časové omezení (časový limit) a jsou sestaveny z úloh s rostoucí obtížností. Úlohy jsou uspořádány od velmi snadných až po velmi obtížné. Výkon v testu je dán pouze úrovní vědomostí nebo dovedností testovaného (jeho úrovní schopnosti řešit úlohy daného typu). Předpokládá se, že testovaný ukončí práci na testu v okamžiku, kdy dosáhne úlohy, jejíž obtížnost je tak vysoká, že ji již není schopen vyřešit. Z praktických důvodů se někdy počítá s velmi volným časovým limitem, který je zvolen tak, aby znamenal přerušení práce jen pro ty nejpomalejší. Jako vedlejší kritérium testů úrovně je možné použít i rychlost, a potom se provádí kombinované hodnocení (např. kdo vyřeší správně většinu testových úloh 90 % a více získá za každou ušetřenou minutu jeden bod navíc). Příklad Řešte rovnice. 1. x + 1 = 5 2. x 2 = x 4x = 0 4. x x + 32 = 0 Standardizované a nestandardizované testy Stupeň dokonalosti činností spojených s přípravou a ověřením testu a úplnost jeho vybavení vede k rozdělení testů na standardizované a nestandardizované. Vychází se zde z pojmu standardizace, který není úplně jednoznačný. Termínem standardizace se podle Byčkovského (1982) rozumí: jednak přesné vymezení jednotlivých podmínek a postupů pro testování, skórování a interpretaci testových výsledků; tato vymezení se udávají v pokynech 8/44 REKAP

9 Druhy didaktických testů pro testované a v příručce k testu jednak shromáždění a zpracování testových výsledků do testových standardů (populačních norem), umožňujících vyjádřit výkon testovaného ve vztahu k výkonům populace, pro kterou je test určen Standardizované testy Pojmem standardizované testy se označují testy, které jsou připravovány velmi důkladně, mají úplnější vybavení. Jsou připravovány profesionálně, jsou důkladně ověřeny a jsou tak známy jejich základní vlastnosti. Používají se pro opakovaná měření u rozsáhlých souborů žáků, studentů apod. Tyto testy vydávají většinou specializované instituce, součástí příslušenství standardizovaných testů je testová příručka (manuál), ze které se uživatel dozví o vlastnostech testu, o jeho správném použití atd. Většinou je k dispozici také standard (testová norma) pro hodnocení dosažených výkonů. Nestandardizované testy Testy, u nichž nebyly realizovány kroky obvyklé při přípravě a ověřování testů standardizovaných, označujeme jako testy nestandardizované (Kalhous, Obst, 2002). Zpravidla je učitelé připravují sami pro vlastní potřebu, nazývají se proto také testy učitelské nebo neformální. Jejich ověřování neproběhlo na větším vzorku testovaných a nejsou tudíž známy všechny jejich vlastnosti. U nestandardizovaných testů není k dispozici testová příručka ani objektivně stanovený testový standard (testová norma). Slouží pro zjišťování výsledků výuky jak za kratší časové období (téma, tematický celek), tak za delší časové období. Svým obsahem mohou zachycovat specifický přístup k učební látce charakteristický pro učitele, který je sestavuje. Standardizované testy se častěji připravují pro měření výsledků výuky za delší časové období. Někteří autoři (Hambleton, Eignor, Rovinelli, 1980) používají i termín kvazistandardizované testy. Tyto testy bývají připravovány dokonaleji než učitelské testy, ale standardizace není úplná. Obsahují i standardy pro hodnocení výsledků. Příkladem může být didaktický test, který zjišťuje úroveň vědomostí z jednoho předmětu v několika paralelních třídách na jedné škole nebo několika školách. REKAP 9/44

10 Druhy didaktických testů Testy kognitivní a psychomotorické Podle Bloomovy taxonomie (Bloom a kol., 1956) se oblasti učení dají rozdělit do tří základních skupin (neberme však v úvahu sociální učení): kognitivní (poznávací) afektivní (postojové, emocionální) psychomotorické Výsledky afektivního učení se didaktickými testy nezjišťují, k měření se zde používají především dotazníky, různé škály apod. Pokud test měří úroveň (kvalitu) poznání u žáků, jedná se o test kognitivní. Příkladem mohou být testy vyžadující od testovaných zodpovídat otázky a řešit úlohy z matematiky, fyziky, nacházet gramatické chyby v textu, překládat věty do cizího jazyka. Pokud testem zjišťujeme výsledky psychomotorického učení, například rychlost psaní na počítači, úroveň zvládnutí ručního obrábění dřeva, rychlost v běhu, jedná se o psychomotorický test. Příklad Ukázka z kognitivního testu. Siločára je čára: a) spojující místa o stejné intenzitě pole b) kolmá na vektor intenzity pole v každém bodě pole c) jejíž tečna ukazuje směr intenzity v daném bodě pole Testy výsledků výuky a studijních předpokladů Didaktický test je nástrojem systematického zjišťování výsledků výuky. Zjišťování se přitom zaměřuje na bezprostřední výsledky výuky dosahované v jejím průběhu nebo závěru. Jde o zjišťování osvojených vědomostí, dovedností a způsobilostí řešit konkrétní soubory vybraných úloh, úzce navazujících na konkrétní učivo (Kulič, 1971). Testy se však mohou používat jako nástroj výběru studentů při přijímacích řízeních na různé typy a stupně škol. Testy studijních předpokladů by se měly používat zejména k přijímání studentů na vyšší typ školy. Bohužel testy, které se na školách k těmto účelům používají, se příliš neliší od testů výsledků výuky. Konstrukce testů studijních 10/44 REKAP

11 Druhy didaktických testů předpokladů je poměrně náročná a vyžaduje nejen kvalifikaci pedagogickou, ale také kvalifikaci psychologickou. Testy rozlišující a ověřující Tato klasifikace testů podle interpretace (vysvětlení, hodnocení) výkonu v testu na testy ověřující a testy rozlišující nabývá na významu. Testy rozlišující Testy rozlišující (testy relativního výkonu) se také označují jako testy statistickonormativní nebo jako NR testy (norm-referenced tests). Výkon žáka se u těchto testů určuje vzhledem k populaci testovaných. V naší pedagogické praxi se používají převážně testy rozlišující. Základem je snaha o dosažení maximální možné objektivity a diferencovanosti hodnocení testových výkonů. Výkon žáka v testu je srovnáván s výkony ostatních žáků, v případě standardizovaných rozlišujících testů s výkony celé žákovské populace. Rozlišující didaktické testy jsou tedy konstruovány tak, že umožňují rozhodnout, jaký výkon v testu žák dosáhl vzhledem k celé populaci, k níž patří. Umožňují posoudit, zda určitý konkrétní žák je ve srovnání s ostatními žáky velmi slabý, průměrný či nadprůměrný (Kalhous, Obst, 2002). Příkladem těchto testů jsou SCIO testy. Testy ověřující Testy ověřující (testy absolutního výkonu) bývají také označovány jako kriteriální testy nebo CR testy (criterion-referenced tests). Používá se i název domain-referenced test, což odpovídá tomu, že je pro ně přesně vymezen obor testovaného učiva neboli doména ( domain ), v daných možnostech přesně definovanou populací úloh, patřících k učivu, jehož úroveň osvojení testem měříme. Výkon v ověřujícím testu se nesrovnává s výkony jiných žáků, ale vyjadřuje se vůči všem úlohám, které reprezentují dané učivo. U ověřujících testů je kritériem úspěchu předem stanovený stupeň zvládnutí učiva, požadují u vybraných základních poznatků úplné zvládnutí, neusilují o diferencované hodnocení žáků. Cílem těchto testů je v podstatě rozhodnout, zda žák zvládl učivo nebo nikoli. Při konstrukci ověřujících testů je základním problémem výběr učiva, které musí žák zvládnout. Toto učivo se transformuje do testových úloh, a požaduje se, aby každý testovaný jev byl pokryt větším počtem testových úloh. REKAP 11/44

12 Druhy didaktických testů Testy vstupní, průběžné a výstupní Toto dělení testů vychází z jejich zařazení do výuky. Vstupní testy Vstupní testy se zadávají na počátku výuky (na začátku školního roku, semestru nebo na začátku výuky určitého celku učební látky). Zjišťují především úroveň vědomostí a dovedností studentů, které jsou důležité pro úspěšné zvládnutí daného celku učiva. Analýza stavu vědomostí a dovedností zjištěných vstupním testem na samém začátku výuky by se měla formou vhodných opatření promítnout i do následující výuky. Ukáželi se to nutné, mělo by dojít i k dílčím úpravám plánu výuky. Počítá-li se s diferencovanou výukou, pak vstupní testy mohou sloužit k zařazení studentů podle úrovně jejich vědomostí a dovedností do skupin. Průběžné testy Průběžné testy se s větší či menší frekvencí uplatňují v průběhu vlastní výuky, kde poskytují informace nezbytné k operativnímu regulování jejího průběhu. Plní tedy v průběhu výuky funkci zpětné vazby, považované za jeden z nejvýznamnějších prostředků účinné výuky. Obvykle zkouší jen malou část učiva a jejich úkolem je sledovat, jak žáci probírané učivo přijímají, chápou a osvojují si je. V této souvislosti se můžeme setkat s pojmem formativní testy, které jsou nástrojem formativního hodnocení. Jedná se o testy zadávané v průběhu výuky, kterými se sleduje formování vědomostí a dovedností studentů a provádí se jimi diagnóza případných nedostatků. Výsledky formativních testů neslouží k hodnocení studentů, ale k hodnocení výuky. Výstupní testy Výstupní testy se zadávají na konci výuky ucelenému celku učební látky nebo na konci výukového období, které je zpravidla uzavřeno zkouškou nebo prospěchovou klasifikací. Obsahují výběr učiva za příslušné období. Používají se buď k hodnocení studentů nebo jako nástroj pedagogického výzkumu při zjišťování účinnosti výuky a vhodnosti učebních osnov a učebnic. Ve Scrivenově terminologii se označují jako testy sumativní. Testy monotematické a polytematické Monotematické testy zkouší jediné téma učební látky nebo stejnorodý tematický celek, testy polytematické zkoušejí učivo více tematických celků, několika témat nebo 12/44 REKAP

13 Druhy didaktických testů nestejnorodého tematického celku. Prvé testy se uplatňují především v průběhu výuky, druhé pak v jejím závěru, jakkoli jich však může být použito i v průběhu výuky tehdy, zjišťujeme-li výsledky výuky za delší časové období. Testy objektivně a subjektivně skórovatelné Tyto testy se dělí podle stupně objektivity skórování testu. Testy objektivně skórovatelné Tyto testy obsahují úlohy, u nichž lze jednoznačně rozhodnout, zda byly řešeny správně nebo nesprávně, resp. lze míru nesprávnosti, nepřesnosti či neúplnosti řešení (odpovědi) jednoznačně posoudit. Jejich vyhodnocení může podle přesného předpisu (skórovacího klíče) provádět osoba bez zvláštní způsobilosti či stroj. Vzhledem k tomu, že velká většina používaných didaktických testů se vyznačuje možností objektivního skórování, vznikla představa, že test je zkouška, která vždy obsahuje pouze objektivně hodnotitelé úlohy (např. úlohy s nabídkou odpovědí) Testy subjektivně skórovatelné Testy subjektivně skórovatelné obsahují úlohy, pro které není možné sestavit jednoznačný skórovací předpis. Při skórování takových testů nedocházejí dva nebo více kompetentních a navzájem nezávislých odborníků ke stejným závěrům a správnosti odpovědí. Posuzuje-li subjektivně skórovatelný test několik kompetentních posuzovatelů, a testový skór stanovujeme průměrem jejich posudků, pak tento způsob skórování označujeme jako kvaziobjektivní skórování. Ukazuje se, že není rozumné vyhýbat se používání subjektivně skórovatelných testů a úloh jen proto, že neumožňují objektivní hodnocení. Otevřené široké úlohy totiž mohou zkoušet daleko komplexnější vědomosti a dovednosti než úlohy objektivně skórovatelné. SOUHRN Didaktické testy můžeme rozdělit podle osmi kritérií na celkem 18 druhů. V této kapitole byly stručně charakterizovány a na příkladech vysvětleny jednotlivé druhy testů. REKAP 13/44

14 Zásady tvorby didaktického testu Zásady tvorby didaktického testu CÍL KAPITOLY Pochopit důležitost výukového cíle pro stanovení typu a obsahu testu. Naučit se zkonstruovat didaktický test. Umět tvořit různé druhy testových úloh. Umět upřesnit obsah testu. Pochopit význam testovacího času a počtu úloh. ÚVOD Dobrý didaktický test by měl respektovat určité s hlavními zásadami tvorby didaktického testu. zásady. V této kapitole se seznámíme Výukové cíle a didaktický test Ná vrh každého didaktického testu by měl podle Půlpána (1991) probíhat ve třech etapách: 1. plánování 2. konstrukce 3. ověření a úprava testu 14/44 REKAP

15 Zásady tvorby didaktického testu Důležitost každé etapy závisí na účelu testu, šíři jeho obsahového zaměření, rozsahu populace a důležitosti rozhodnutí, které chceme na základě výsledků testu učinit. Podrobněji to můžeme vyjádřit následovně: Etapa Fáze etapy Obsah fáze Plánování Vymezení účelu a rámcového obsahu Návrh testové specifikace Upřesnění obsahu Počet a druh úloh Testovací čas Forma testu Počet variant testu Způsob skórování Popis testované populace Konstrukce Návrh úloh Zkoumání obsahové validity úloh Redakce úloh Sestavení prototypu testu a příprava příslušenství (případně stanovení výkonových norem) Ověřování a úprava Administrace prototypu Analýza testu, úloh, chyb Redakce testu (případně stanovení výkonových norem) Administrace závěrečné verze pro stanovení: Reliability a validity Populačních norem Je zřejmé, že testy v běžné učitelské praxi nemusejí projít přesně všemi uvedenými etapami. Většinou je nemožné, aby si učitel svůj test na jisté skupině studentů předem vyzkoušel. Je tedy potřeba, dát si test zkontrolovat kompetentním spolupracovníkem. Po prvním použití je třeba provést analýzu a test dodatečně pro další použití upravit. Test většinou nekonstruujeme pouze na jedno použití, zaznamenáme tedy informace o jeho využití a výsledcích. REKAP 15/44

16 Zásady tvorby didaktického testu Výsledky výuky lze měřit jen na pozadí zamýšlených výsledků výuky výukových cílů. Výukový cíl je podle Pedagogického slovníku (Průcha, Walterová, Mareš, 2003) jedna z klíčových didaktických kategorií vymezující: účel a záměr výuky, výstup, výsledek výuky. Progresivním trendem je charakterizovat cíle v podobě dosahovaných kompetencí žáků. Výukové cíle zahrnují hodnoty a postoje, produktivní činnosti a praktické dovednosti, poznatky a porozumění. Můžeme také konstatovat, že výukový cíl je zamýšlený relativně stálý stav (změna) osobnosti studenta, kterého má být dosaženo výukou (Půlpán, 1991). Výukové cíle se mohou lišit mírou obecnosti a významem. Splnění určitých obecnějších cílů je vázáno na dosažení řady dílčích postupných cílů. Správně stanovené cíle by měly splňovat požadavky konzistence, přiměřenosti, jednoznačnosti, kontrolovatelnosti. Konzistencí se rozumí vnitřní vazba cílů v cílové struktuře vyplývající z podřízenosti nižších cílů cílům vyšším. Cíl, který nenapomáhá k dosažení cíle hierarchicky vyššího nebo dokonce jeho dosažení ztěžuje, není konzistentní. Přiměřenost cílů je dána souladem požadavků s možnostmi, tj. optimálním vztahem mezi cíli na jedné straně a dostupnými výukovými prostředky a reálnými podmínkami (včetně okamžité úrovně vzdělávaných studentů) na straně druhé. To znamená, že cíle mají být náročné, ale současně splnitelné. Jednoznačnost cíle je dána takovou formulací, která nepřipouští víceznačný výklad jeho smyslu jak různými učiteli, tak i studenty. Kontrolovatelnost je vlastnost cíle, zajišťující možnost zjistit, zda cíle bylo dosaženo či nikoli. Z uvedeného textu vyplývá, že u cílů na vyšší úrovni cílové hierarchie je obtížnější splnit především poslední dva požadavky jednoznačnost a kontrolovatelnost. 16/44 REKAP

17 Zásady tvorby didaktického testu Podle zaměření výuky na určitou oblast učení se výukové cíle rozdělují na: kognitivní, afektivní, psychomotorické. V mnoha případech nelze zcela jednoznačně oddělit učení kognitivní od psychomotorického. Je-li výukovým cílem nakreslení technického výkresu, musí student uplatnit nejen znalosti a aplikaci promítacích technik a norem technického kreslení (výsledky učení kognitivního), ale i kreslířskou zručnost ať už na papíře nebo na počítači (výsledky učení psychomotorického). Všechny slovní údaje nezbytné k popisu cíle se nazývají výměr cíle. Pokud se při výměru cíle abstrahuje od obsahu výuky, jde o formálně vymezený cíl. Hierarchicky uspořádaný klasifikační model formálních výukových cílů se označuje jako taxonomie výukových cílů. Příklady návrhů na klasifikaci výukových cílů Bloomova taxonomie Bloomova taxonomie se skládá ze šesti hierarchicky uspořádaných kategorií cílů označených jako (Bloom a kol, 1956): 1. znalost (zapamatování) 2. porozumění 3. aplikace 4. analýza 5. syntéza 6. hodnotící posouzení REKAP 17/44

18 Zásady tvorby didaktického testu Niemierkova taxonomie Vzdělávání 1. úroveň: vědomosti a. zapamatování poznatků b. porozumění poznatkům 2. úroveň: dovednosti a. používání vědomostí v typových situacích b. používání vědomostí v problémových situacích Výchova 1. úroveň a. účast na činnosti b. podjímání se činnosti 2. úroveň a. naladění k činnosti b. systém činností Problematikou klasifikace druhů a úrovní činností se také zabývali Tollingerová (1970), Mareš (1979), Byčkovský, Kotásek, Mazák (1981). Jak vytvořit dobrý didaktický test? Konstrukci didaktického testu bychom neměli začínat přímo navrhováním testových úloh. Tento postup nejčastěji vede k tomu, že vytvoříme testové úlohy, které se sice snadno navrhují, ale ve svém celku vytvářejí nevyvážený didaktický test, který nepokrývá rovnoměrně celé učivo a zaměřuje se většinou na pouhou reprodukci zmapovaných poznatků. Nejsnadněji se totiž navrhují takové úlohy, které zkoušejí pouhé zapamatování látky. Těchto úloh bývá u autorů nedostatečně poučených velká převaha. Plánování didaktického testu První otázkou, kterou by si měl autor položit, je: K jakému účelu má didaktický test sloužit? Účelem testu může být např. zjištění výsledků výuky na konci tématického celku nebo na konci pololetí či roku, zjištění, jak žáci probírané učivo přijímají a chápou. Didaktický test může také sloužit ke kontrolním nebo inspekčním účelům, k výběru vhodných studentů na vyšší typ zpravidla rámcově vymezuje obsah testu. školy atd. Po ujasnění účelu testování se 18/44 REKAP

19 Zásady tvorby didaktického testu Rámcově vymezený obsah testu je třeba upřesnit (specifikovat) tak, aby bylo patrné, jaký obsah mají jednotlivé úlohy zkoušet. Zejména je třeba určit: jakou úroveň osvojení vědomostí mají jednotlivé úlohy zkoušet, kolik úloh má zkoušet jednotlivé prvky učiva, kolik úloh musí obsahovat celý test. V literatuře (např. Byčkovský, 1982) lze nalézt několik technik, kterými lze tuto specifikaci provést. Na tomto místě se omezíme jen na uvedení hlavních zásad, jimiž je specifikace určována. Je žádoucí, aby jednotlivé testové úlohy nezkoušely jen pouhé zapamatování učiva, ale i vyšší cílové kategorie, např. porozumění poznatkům, používání poznatků v problémových situacích. V tomto směru jsou dobrou oporou pro autora testu různé taxonomie výukových cílů pro kognitivní oblast. Pro plánování didaktických testů je pro svoji jednoduchost zvlášť vhodná taxonomie B. Niemierka. Při úvahách o celkovém počtu úloh v testu vycházíme z toho, že jedině test s dostatečným počtem úloh může poskytnout spolehlivou informaci. V praxi se považuje za minimální počet úloh 10 (testy s menším počtem úloh již neposkytují věrohodné informace). Horní hranice počtu úloh v testu je dána zejména časovými možnostmi. U testů monotematických bývá zpravidla maximálně kolem dvaceti úloh. Jednotlivé prvky učiva by měly být v didaktickém testu reprezentovány takovým počtem úloh, který odpovídá jejich významu (důležitost) a rozsahu. Konstrukce didaktického testu Konstrukcí didaktického testu rozumíme vytvoření jednotlivých testových úloh a vytvoření prvního návrhu (prototypu) didaktického testu. Testovou úlohou rozumíme otázku, úkol nebo problém obsažený v testu. Kromě termínu testová úloha se často v literatuře užívá výrazu testová položka nebo testový úkol, v praxi často termínu otázka, úkol nebo příklad. Na kvalitě testových úloh závisí v podstatné míře kvalita celého testování. Navrhování testových úloh je velmi náročná činnost, k jejímuž úspěšnému provádění je třeba vedle zkušeností i náležitého teoretického poučení. Autor didaktického testu by měl být dobrým odborníkem v předmětu, pro který test připravuje, ale měl by být také dobrým pedagogem a psychologem, aby se dokázal vcítit do pozice žáků, které chce testovat. REKAP 19/44

20 Zásady tvorby didaktického testu Závažným rozhodnutím, před kterým autor testu v této fázi tvorby stojí, je, jaký typ úloh v didaktickém testu použít. Každý druh testových úloh má určité vlastnosti, výhody i nevýhody. O tom, který druh testových úloh použijeme, rozhoduje cíl, jejž má testování plnit, obsah učiva, jenž má být předmětem testování, materiální a technické podmínky, ale v neposlední řadě i obliba určitého druhu testových úloh u autora testu. Nejdůležitější typy testových úloh uvedeme ve členění podle P. Byčkovského (1982). Obr. 2: Členění základních druhů testových úloh Otevřené úlohy se širokou odpovědí Podle způsobu, jakým žák v testové úloze odpovídá, lze rozlišit úlohy otevřené (někdy v literatuře označované jako úlohy s tvořenou odpovědí nebo volnou odpovědí) a úlohy uzavřené (s nabízenou odpovědí, s nucenou volbou odpovědi). Otevřené úlohy lze dále rozdělit podle rozsahu požadované odpovědi na široké a se stručnou odpovědí. V otevřených úlohách se širokou odpovědí se požaduje od žáka rozsáhlejší odpověď (např. půl strany nebo i delší) nebo řešení. Může se např. požadovat pojednání na určité téma (např. význam díla K. H. Máchy pro českou poezii, nebo které byly hlavní příčiny vzniku 1. světové války?), vyřešení určitého problému (např. Navrhněte postup, kterým je možno určit hustotu neznámé kapaliny.), popis určitého procesu (např. Popište činnost čtyřdobého zážehového motoru.). Požadovaný rozsah odpovědi se žákovi naznačuje velikostí vynechaného místa v testovém zadání. 20/44 REKAP

21 Zásady tvorby didaktického testu Někdy bývá u otevřených úloh se širokou odpovědí vhodné vymezit strukturu požadované odpovědi: Příklad Výroba surového železa (uveďte hlavní používané suroviny, nakreslete schéma vysoké pece a popište hlavní probíhající chemické reakce). Někdy není nutno strukturu požadované odpovědi vymezovat, protože vyplývá z konvence, kterou by měl zkoušený znát (např. Popište hlavní stadia tělesného vývoje dítěte do šesti let věku.). Otevřené úlohy se širokou odpovědí lze doporučit zejména při zkoušení komplexních vědomostí nebo dovedností, osvojovaných v delším časovém období. Jsou vhodné pro zkoušení vyšších úrovní osvojení učiva (např. řešení problémových situací), zatímco pro zkoušení nižších úrovní osvojení učiva (např. zapamatování) jsou výhodnější testy s úlohami objektivně skórovatelnými. Široké testové úlohy se poměrně snadno navrhují, ale jejich hlavní nevýhodou je nemožnost objektivního skórování. Některé široké úlohy z matematiky, fyziky a odborných předmětů lze objektivně skórovat za předpokladu, že máme k dispozici předpis pro skórování. To, že široké úlohy lze velmi těžko objektivně skórovat však neznamená, že by se neměly používat. Komplexní vědomosti a dovednosti lze sice rozložit na dovednosti dílčí (které se dají zkoušet mnohem snadněji), avšak zvládnutí dílčích dovedností ještě nemusí znamenat zvládnutí vědomostí komplexních. Při skórování širokých úloh se často postupuje tak, že za správné a úplné zodpovězení úlohy se přisuzuje určitý počet bodů (např. 10). Za každou chybnou nebo chybějící část odpovědi se potom strhává určitý počet bodů. V některých případech lze pro skórování otevřené testové úlohy vypracovat detailní předpis, který umožňuje téměř objektivní skórování. Testy vytvořené z otevřených širokých úloh se často označují jako esej testy. Tyto testy obsahují zpravidla jen několik úloh. Od běžných písemných zkoušek se esej testy liší tím, že při jejich konstrukci, hodnocení i interpretaci výsledků se využívají všechna základní pravidla a postupy obvyklé u ostatních didaktických testů. REKAP 21/44

22 Zásady tvorby didaktického testu Mezi širokými úlohami podle podrobnosti jejich zadání se rozlišují široké úlohy nestrukturované a úlohy strukturované (se strukturou vymezenou nebo danou konvencí). Úlohy se stručnou odpovědí Úlohy se stručnou odpovědí požadují od žáka vytvoření a uvedení vlastní krátké odpovědi. Může se požadovat např. uvedení čísla, značky, symbolu, vzorce, jednoduchého grafu, určitého slova, příp. několika slov či krátké věty. Úlohy se stručnou odpovědí mohou být dvojího typu: produkční a doplňovací. Příklad Příklady produkčních úloh: Které základní druhy buněk se nacházejí ve dřevě jehličnatých stromů? Napište základní jednotky soustavy SI.... Příklady doplňovacích úloh: Spojené státy Americké tvoří celkem... států. Nejvíce lidí na světě mluví... jazykem. Mezi výhody úloh se stručnou odpovědí lze počítat zejména to, že se snadno navrhují. Další jejich výhodou je, že neumožňují žákům tak snadno uhodnout správnou odpověď bez příslušných vědomostí, jako je tomu u úloh s výběrem odpovědí. Většinou se předpokládá, že vytvoření odpovědi je pro žáka náročnější než pouhé rozpoznání správné odpovědi mezi nabídnutými alternativami. Nevýhodou úloh se stručnou odpovědí je to, že žák mnohdy odpovídá správně, ale jinak, než si představoval autor testu. Opravování testu, ve kterém jsou použity úlohy se stručnou odpovědí, proto nemůže provádět laik, nýbrž jen odborník, který zkoušenému učivu dokonale rozumí. 22/44 REKAP

23 Zásady tvorby didaktického testu Úlohy dichotomické Dichotomické úlohy jsou nejjednodušší formou uzavřených úloh. U tohoto typu testových úloh jsou žákovi předkládány dvě alternativy odpovědi (tvrzení) s tím, že jedna je správná a tu má označit (např. podtržením, zakroužkováním). Tyto úlohy bývají také často označovány jako úlohy s dvoučlennou volbou nebo jako alternativní úlohy. Nejčastější formy dichotomických úloh uvádějí následující příklady: Příklad Pryskyřičné kanálky se nacházejí ve dřevě listnatých stromů. ano ne Těleso, které má stejnou hustotu jako kapalina, ve které je ponořeno, v kapalině plave vznáší se Výhodou dichotomických úloh je, že se velmi snadno navrhují. Tato konstrukční jednoduchost však může svádět k testování jednotlivých detailů, pouhých faktů (někdy i triviální povahy). Nedostatkem dichotomických úloh je velká pravděpodobnost uhodnutí správné odpovědi i bez příslušných vědomostí. Aby se věrohodnost výsledků získaných testem s dichotomickými úlohami zvýšila, je třeba, aby test obsahoval těchto úloh dostatečný počet. Úlohy s výběrem odpovědí Úlohy s výběrem dopovědí (v literatuře označované také jako úlohy s vícečlennou či vícenásobnou odpovědí, úlohy polynomické) vděčí za svoji teoretickou rozpracovanost především rozvoji programového učení (hlavně tzv. větvených programů). Úloha s výběrem odpovědí se skládá ze dvou částí: problému nebo otázky (tzv. kmenu úlohy) a nabídnutých odpovědí. Úlohy s výběrem odpovědí se v testech vyskytují v několika formách. REKAP 23/44

24 Zásady tvorby didaktického testu Úlohy typu jedna správná odpověď Základní formou je úloha, ve která žák vybírá jednu správnou odpověď z několika nabídnutých alternativ. Příklad Microsoft Word je: operační systém textový procesor textový editor grafický program Úlohy typu jedna nejpřesnější odpověď Jinou formou úloh s výběrem odpovědí jsou úlohy, kde se požaduje nejlepší nebo nejsprávnější odpověď. Takové úlohy mohou být pro žáky velmi obtížné, obtížnější než odpovídající úlohy otevřené. Příklad Microsoft Word: Je program pro psaní textů Není pouze textový editor Umožňuje napsaný text také formátovat, proto ho označujeme jako textový procesor Je program z kancelářského balíku MS Office Úlohy typu jedna nesprávná odpověď V některých případech lze také požadovat uvedení nesprávné odpovědi. V tomto případě je ovšem nutné zápor ve kmenu úlohy patřičně zdůraznit, protože jinak může snadno dojít k přehlédnutí a žák odpoví špatně přesto, že má příslušné vědomosti. Příklad Mezi hromadné dopravní prostředky nepatří: autobus vlak kolo letadlo 24/44 REKAP

25 Zásady tvorby didaktického testu Úlohy s vícenásobnou odpovědí Jestliže má žák v testované úloze vybrat několik správných odpovědí, hovoříme o tzv. vícenásobné odpovědi. Jestliže se rozhodneme pro použití této úlohy, je nutné na to žáky předem upozornit. V úlohách, kde se požaduje výběr jen jedné odpovědi, je totiž výběr většího počtu odpovědí považován za chybu, a žáci by proto mohli váhat, zda více odpovědí uvést. Určité problémy u úloh s vícenásobnou odpovědí nastávají při jejich skórování. Neexistuje zde totiž jen jedna naprosto správná a jedna naprosto nesprávná odpověď, ale také několik částečně správných odpovědí. Lze doporučit přístup, který lze stručně vyjádřit slovy všechno, nebo nic. Podle tohoto přístupu přidělíme 1 bod v případě, kdy žák označí všechny správné odpovědi, a 0 bodů tehdy, jestliže bude (třeba jen jedna) odpověď nesprávná. Příklad Grafický formát jpg: a) je vhodný k ukládání fotografií b) patří mezi vektorové formáty c) využívá ztrátovou kompresi d) je využíván v digitálních fotoaparátech Situační úlohy Zvláštní modifikací testových úloh s výběrem odpovědi jsou úlohy označované někdy jako úlohy situační či interpretační. Jsou to úlohy, u nichž žák vybírá z podstatně většího počtu nabídek, než je obvyklé, přičemž nabídky nejsou předkládány ve formě dlouhého a nepřehledného seznamu, ale vyplynou přímo z dané situace. Pravděpodobnost uhodnutí správné odpovědi bez příslušných vědomostí je u tohoto typu úloh zpravidla velmi malá. Můžeme se setkat s námitkou, že při užívání testových úloh s výběrem odpovědí student může mnohdy uhodnout správnou odpověď, aniž by učivo náležitě zvládl. Lze však vhodně zvolenými opatřeními vliv hádání omezit na minimální míru. REKAP 25/44

26 Zásady tvorby didaktického testu Příklad Navrhněte souborový systém pro přenosný disk, který má kapacitu 80 GB. Disk bude sloužit mimo jiné k přenášení obrazů filmových DVD mezi počítači s operačními systémy Windows XP a Linux. K vyřešení této úlohy musí žáci znát vlastnosti a omezení souborových systémů, jak jsou tyto souborové systémy podporovány v Linuxu a ve Windows, a v neposlední řadě také to, jak je velký obraz filmového DVD. Při řešení mohou žáci uvažovat např. takto: 1. Nejlepší podporu v obou operačních systémech mají souborové systémy FAT16 a FAT Disk je velký 80 GB, maximální velikost souborového systému FAT16 je však pouze 2,1 GB. 3. Obraz filmového DVD má minimálně 4,5 GB, jenže FAT 32 nedokáže uložit soubor větší než 4 GB. 4. Možným řešením je tedy použít systém NTFS, který nemá výše zmiňovaná omezení a jeho podpora je v obou operačních systémech dostatečná. Přiřazovací úlohy Přiřazovací úlohy obsahují instrukci a dvě množiny pojmů. Úkolem studenta je správně přiřadit pojmy jedné množiny k pojmům množiny druhé. Výhodou přiřazovacích testových úloh je, že omezují možnost uhodnutí správné odpovědi na minimální míru. Jejich použití je však možné jen v poměrně omezeném okruhu učiva. Př íklad K uvedeným letopočtů přiřaďte události První člověk na Měsíci 1914 Objevení Ameriky 1969 Bitva u Slavkova 1492 Atentát na následníka trůnu v Sarajevu 1805 Bitva u Sadové Uspořádací úlohy V uspořádacích testových úlohách se od studenta požaduje, aby uspořádal prvky dané množiny pojmů jedné třídy do řady. Úloha tohoto typu se skládá z dané množiny prvků a z instrukce, která uvádí, podle kterého kritéria a jakým způsobem se mají prvky uspořádat. Prvky je možno řadit podle velikosti, významu, stupně obecnosti, chronologicky atd. 26/44 REKAP

27 Zásady tvorby didaktického testu Určité problémy působí skórování uspořádaných úloh. Nesprávné řešení prvků ve skupině může být provedeno mnoha způsoby, přičemž se jedná o různě závažné chyby. Nejjednodušší způsob skórování se provádí tak, že za zcela správné vyřešení úlohy, tj. za uvedení naprosto správného pořadí se přiděluje 1 bod, za všechna ostatní řešení 0 bodů. Příklad Seřaďte chronologicky následující panovníky. Karel IV Václav II. Jan Lucemburský Václav III. Přemysl Otakar II. Vhodnost jednotlivých druh ů úloh pro měření různých úrovní osvojení učiva podle Bloomovy taxonomie ( Byčk ovský, 1982) CÍLOVÁ KATEGORIE Vhodnost úlohy široké produkční nestr. str. Doplňo Dichoto S vací mické vý běrem odpovědi Přirazí vací Uspořá dací 1. znalost porozumění 3. aplikace analýza syntéza hodnotící posouzení Druh úlohy pro příslušnou úroveň osvojení: ++ velmi vhodný + vhodný - málo vhodný nebo nevhodný REKAP 27/44

28 Zásady tvorby didaktického testu Upřesnění obsahu testu Základním požadavkem kladeným na dobrý didaktický test je reprezentativnost výběru učiva pokrytého testem. Vymezení rámcového obsahu testu však ke splnění tohoto požadavku přispívá jen velmi málo. Proto je nezbytné obsah testu upřesnit. K upřesnění obsahu testu se požívá několika technik například: specifikační tabulky seznam výukových cílů specifikace oboru testu modelů úloh Specifikační tabulky Specifikační tabulky se používají u testů souhrnných a testů pro měření výsledků výuky u relativně různorodého učiva. Ve specifikační tabulce jsou zapsány obsahové části učební látky a požadované úrovně jejího osvojení, vyjádřené formálními cílovými kategoriemi. Příklad Specifikační tabulka testu z mechaniky (Byčkovský, 1982) UČEBNÍ LÁTKA OBSAH Vyuč. hodin znalosti Úroveň osvojení dovednosti spec. ne spec. Celkem ú loh 1 Úvod do mechaniky 6 12 % ,5 % 2.1 Úvod do statiky 5 10 % ,0 % 2.2 Rovinná soustava sil procházejících jedním bodem 2.3 Rovinná soustava sil neprocházejících jedním bodem 6 12 % ,5 % % ,0 % 2.4 Síly v prostoru 2 4 % , 0 % 2.5 Prutové soustavy (6) Těžiště a stabilita 6 12 % ,0 % 2.7 Smykové tření 4 8 % ,0 % CELKEM % ,0 % Prutové soustavy nejsou zařazeny do testu z praktických důvodů, jejich řešení vyžaduje ve srovnání s ostatními úlohami nadměrné množství času. 28/44 REKAP

29 Zásady tvorby didaktického testu Seznam výukových cílů Použití specifikační tabulky k upřesnění obsahu testu i když se zpracovává podrobná specifikační tabulka, je poměrně hrubá technika. Test sice pokrývá reprezentativní výběr učiva, avšak poskytuje velmi vágní východisko pro návrh testových úloh. Vhodnější, ale pracnější technikou upřesnění obsahu testu je použití techniky seznamu výukových cílů. Příklad Výukové cíle (Byčkovský, 1982) Po probrání tematického celku Těžiště má být student schopen: 1. Uvést 3 příklady, kdy určení těžiště je součástí řešení technického problému. 2. Určit souřadnice těžiště konkrétního jednoduchého útvaru typu Z typu J (s pomocí vztahů uvedených ve strojnických tabulkách) 3. Urč it početně souřadnice těžiště konkrétního útvaru složeného z jednoduchých: rovinných geometrických útvarů těles se stejnou hustotou těles s různou hustotou 4. Určit graficky souřadnice těžiště konkrétního útvaru složeného z jednoduchých: rovinných geometrických těles těles se stejnou hustotou, složené těleso je souměrné podle osy 5. Určit proužkovou metodou souřadnice těžiště rovinné plochy omezené nepravidelnou čarou s přesností ± 5 %. 6. Je-li dáno konkrétní rotační těleso vzniklé rotací některé z čar typu Z nebo J, určit jeho: povrch objem 7. Pomocí Guldinových vět odvodit obecný vztah pro výpočet: povrchu objemu vybraných rotačních těles (kužel, koule, kruhový prstenec). REKAP 29/44

30 Zásady tvorby didaktického testu Specifikace oboru testu Specifikace oboru testu sestává z pěti položek: 1. obecného popisu (stručně zachycuje výukový cíl prověřovaný testem nebo jeho částí), 2. vzorové úlohy (ilustrující charakteristiky úlohy vymezené dvěma následujícími složkami specifikace), 3. charakteristiky zadání (vymezující podmětovou situaci), 4. charakteristiky odpovědí (vymezující buď hlediska, podle kterých bude posuzována studentova odpověď u otevřených úloh, nebo hlediska pro návrh nesprávných nabízených odpovědí u uzavřených úloh, 5. doplňku specifikace (požívá se v případě nezbytnosti dalšího upřesnění některé z předcházejících složek specifikace. Příklad Obecný popis Je dán popis situace vyžadující interpretaci a použití souboru výsledků rozlišujícího testu. Student vybere ze seznamu koeficientů reliability ten koeficient, který má být s ohledem na danou situaci stanoven. Vzorová úloha Pokyny: Přečtěte si každou z dále popsaných testovacích situací. Určete, který z nabídnutých koeficientů reliability by byl v dané situaci nejvhodnější. Číslo uvedené před koeficientem, který jste vybrali, zapište. Učitelka dějepisu v 8. třídě základní školy připravila na konci I. Pololetí školního roku závěrečný test z dějepisu. Nemá k dispozici ani zařízení na zpracování výsledků testu ani nemá přístup k počítači. Který z koeficientů reliability bude pro ni v dané situaci nejvhodnější určit? 1. Koeficient stability a ekvivalence 2. Kuderův-Richardsonův koeficient Kuderův-Richardsonův koeficient Koeficient ekvivalence 5. Koeficient stability Charakteristiky zadání Kaž dá z testových úloh se bude sestávat ze tří částí: 1. Z části popisující testovou situaci 30/44 REKAP

31 Zásady tvorby didaktického testu 2. Z úkolu vyžadujícího od studenta, aby vybral nejvhodnější z nabídnutých koeficientů reliability 3. Ze souboru pěti nabídnutých odpovědí Část popisující testovací situaci nesmí obsahovat více než 100 slov a: Popisovaná situace se bude týkat pouze písemných a výkonových testů (nebude např. zahrnovat diagnostické lékařské zkoušky zkoušku zraku, sluchu apod.). Část popisující testovací situaci bude obsahovat úkol testování, testovanou oblast, údaje zda jde o test standardizovaný, kvazistandardizovaný či test připravený učitelem. V popisované testovací situaci se mohou měřit buď kognitivní, afektivní nebo psychomotorické cíle. V popisované situaci je sféra použití výsledků testu omezena na: známkování, výběr nebo zařazení studentů, hodnocení výuky, rozdělení studentů podle schopností a individuální diagnostiku. Situace popisující použití testů při výzkumu a ověřování výzkumných hypotéz se vylučují. Je-li třeba, popisovaná situace obsahuje také vysvětlení dalších podrobností, jako zda bylo použito testu rychlosti nebo testu úrovně, zda jsou testované úlohy homogenní z hlediska obtížnosti, kdy se testuje (na konci kurzu či v jeho průběhu), přesnou povahu testu (test výsledků výuky, test studijních předpokladů, test psychomotorických dovedností) a zda jsou k dispozici další zařízení jako např. počítač či skórovaní zařízení. Za částí popisující situaci použití testu bude každá úloha obsahovat následující otázku: Který z koeficientů reliability je pro danou situaci nejvhodnější? Soubor pěti nabízených odpovědí bude odpovídat omezením uvedeným v oddílu Charakteristika odpovědí. Všechny části úlohy by měly být formulovány tak, aby nepřesáhly úroveň porozumění čtenému textu požadovanou v 9. třídě. REKAP 31/44

32 Zásady tvorby didaktického testu Charakteristika odpovědí Od studenta se bude požadovat, aby zakroužkoval písmeno uvedené vedle jedné správné z nabízených odpovědí (z nichž je jedna správná a čtyři nesprávné) na příslušném místě záznamového archu. Správná odpověď a čtyři nesprávné se vyberou z následujícího seznamu osmi koeficientů reliability: 1. koeficient stability, 2. koeficient ekvivalence, 3. koeficient stability a ekvivalence, 4. koeficient reliability získaný půlením testu (sudé-liché úlohy), 5. koeficientem reliability získaný časovým půlením testu, 6. Kuderův-Richardsonův koeficient 20, 7. Kuderův-Richardsonův koeficient 21, 8. koeficientem objektivity skórování. Pro každou úlohu se jako čtyři nesprávné odpovědi vyberou ty ze seznamu zbývajících sedmi možností, které jsou pro danou situaci nejatraktivnější. Nebudou se nabízet odpovědi kombinované a komplexní, tj. odpovědi s kombinací dvou nebo několika koeficientů reliability a odpovědi vše z uvedeného a nic z uvedeného. Správná odpověď bude ve shodě s rozborem situace a postupy uvedenými v současných textech o pedagogickém a psychologickém měření. 32/44 REKAP

33 Zásady tvorby didaktického testu Doplněk Následující seznam rozšiřuje výčet situací uvedených v Charakteristikách zadání. Seznam složí nejen k rozšíření, ale i k přesnějšímu vymezení situací, jichž má být použito v zadání úloh. 1. Známkování klasifikace osvojení učiva, počítač není k dispozici klasifikace osvojení učiva, počítač je k dispozici klasifikace při závěrečné zkoušce, počítač není k dispozici klasifikace při závěrečné zkoušce, počítač je k dispozici 2. Výběr studentů výběr studentů podle výkonu v testu výsledky výuky výběr studentů podle výkonu v testu studijních předpokladů 3. Zařazení studentů zařazení studentů podle výkonu v testu výsledků výuky zařazení studentů podle úrovně psychomotorických dovedností zařazení studentů podle výsledků projektivního testu 4. Hodnocení programu výuky hodnocení programu výuky podle výsledků výstupního testu 5. Rozdělení studentů podle schopností rozdělení studentů do diferencované výuky podle výkonu v testu výsledků výuky rozdělení studentů do diferencované výuky podle výkonu v testu studijních předpokladů 6. Individuální diagnostika diagnóza založená na testu výsledků výuky standardizovaném diagnóza založená na testu výsledků výuky učitelském REKAP 33/44

34 Zásady tvorby didaktického testu Modely úloh Podle Osburna (Osburn, 1968) mají modely úloh tři následující charakteristiky: 1. umožňují generovat úlohy podle předem určené a pro všechny úlohy daného typu stálé syntaktické struktury zadání 2. obsahují jeden nebo více proměnných prvků 3. definují pravidla pro výběr hodnot proměnných Modely úloh nemají význam jen pro upřesnění obsahu didaktických testů. Využívá se jich i tam, kde je nezbytné generovat větší počet úloh jednoho typu přibližně stejné obtížnosti. Testovací čas Pedagogická literatura uvádí často jedno hrubé pravidlo: čas věnovaný všem způsobům prověřování by neměl přesáhnout % celkového vyučovacího času. Orientační časy k řešení jednotlivých druhů testových úloh (Byčkovský, 1982) TESTOVÉ ÚLOHY čas v min na 1 Počet úloh na 40 úlohu minut Široké, psaná odpověď v rozsahu 1 2 strany ½ strany Produkční krátké (bez výpočtu nebo s velmi 0, jednoduchým výpočtem) delší (s výpočtem, kreslením skici apod.) S výběrem odpovědí výpočet nevyžadující 0,5 1, výpočet vyžadující Přiřazovací Doplňovací Dichotomické Uspořádací 0, /44 REKAP

35 Zásady tvorby didaktického testu Počet úloh Při přípravě testové specifikace je potřeba předběžně rozhodnout, kolik úloh do testu zařadíme. Zatím neexistuje pravidlo určující minimální počet úloh zajišťujících, že test bude poskytovat spolehlivé, validní a dostatečně podrobné informace. Při určování počtu úloh musíme mít na zřeteli jednak časové omezení, ale i následující činitele: minimální požadavky na reliabilitu testových úloh druh testových úloh věk a intelektovou úroveň testovaných Obecně platí, že čím více testových úloh zařadíme do testu, tím jsou testové skóry zatíženy menší relativní chybou (a tím jsou i spolehlivější). Skórování Protože již při specifikaci testu je třeba brát v úvahu i způsob skórování, je vhodné dodržet obecná doporučení: Při skórování úloh testu má být zásadně používáno bodů, nikoli známek. Budou-li výsledky testu klasifikovány, převedou se testové skóry na klasifikační stupně podle obvykle předem stanoveného transformačního klíče. U testů sestavených výhradně z objektivních úloh, které obsahují více než 6 10 úloh se jednak nedoporučuje přiřazovat jednotlivým úlohám různé váhy, jednak se doporučuje používat nejjednoduššího, tzv. binárního skórování (1 bod za správnou odpověď, 0 bodů za nesprávnou nebo vynechanou odpověď). U testu se širokými úlohami se každé správné a úplné odpovědi přiznává vyšší počet bodů např. 5 nebo 10, z kterého se sráží určitá část podle povahy chyb nebo neúplnosti odpovědi. Je vhodné předběžně stanovit jednoznačná hlediska, podle kterých budou jednotlivé široké úlohy skórovány. Je-li test zčásti sestaven z úloh širokých a z části z úloh objektivních je nutno test rozdělit podle druhu úloh do dvou subtestů a každý z nich skórovat zvlášť podle výše uvedených doporučení. REKAP 35/44