Tvorba a využití didaktických testů Část materiálů k přednáškám Hana Voňková Univerzita Karlova v Praze - Pedagogická fakulta Voňková Tvorba a využití didaktických testů 1
Didaktický test - stručný popis postupu konstrukce I nezačínat navrhováním testových úloh začínat promyšlením účelu testu a dále stanovením obsahu testu pro úroveň osvojení poznatků je vhodné použít Bloomovu taxonomii výukových cílů (znalost, pochopení, aplikace, analýza, syntéza a hodnocení) stanovíme časový limit dále lze přistoupit k formulaci jednotlivých úloh, přičemž je nutné mít neustále na paměti, k jakému účelu úlohy slouží a na základě toho vybírat i vhodný typ testových úloh (otevřené, uzavřené atd.) Voňková Tvorba a využití didaktických testů 2
Didaktický test - stručný popis postupu konstrukce II test je vhodné nechat posoudit jiným hodnotitelem - posuzování obsahové validity po sběru dat provedeme analýzu vlastností testových úloh a celého testu (výpočet obtížnosti a citlivosti položek, analýza nenormovaných odpovědí a reliability testu) vyřadíme úlohy, které nejsou vhodné (např. záporná diskriminační síla) pokud má test s obsahově homogenními úlohami nízkou reliabilitu, výsledky žáků získaných pomocí tohoto testu nemůžeme považovat za spolehlivé a přesné následně lze provést standardizaci testu Voňková Tvorba a využití didaktických testů 3
Didaktický test - testové úlohy I Testové úlohy děĺıme dle způsobu řešení (Chrástka, 2007) 1 otevřené úlohy otevřené široké úlohy otevřené úlohy se stručnou odpovědí 2 uzavřené dichotomické s výběrem odpovědi(í) přiřazovací uspořádací Voňková Tvorba a využití didaktických testů 4
Didaktický test - testové úlohy II Otevřené široké úlohy od testovaného vyžadují rozsáhlejší odpověd (1/2 strany, ale i více) Které byly hlavní příčiny vzniku druhé světové války? Popište činnost jaderné elektrárny. vhodné pro zkoušení komplexních vědomostí, vyšších úrovní osvojení učiva doporučuje se vymezení struktury požadované odpovědi pro snadnější vyhodnocování výhoda: snadno se navrhují nevýhoda: nemožnost objektivního skórování Voňková Tvorba a využití didaktických testů 5
Didaktický test - testové úlohy III Otevřené úlohy se stručnou odpovědí od testovaného vyžadují vytvoření vlastní krátké odpovědi - např. uvedení určitého slova, čísla, symbolu, vzorce, jednoduchého grafu, několik slov či krátkých vět atp. děĺıme je na: produkční úlohy Napište Archimédův zákon. doplňovací testové úlohy Dne 6. července 1415 byl v Kostnici upálen kazatel... Muži mlčel..., ženy hovořil..., děti se smál... a štěňta si hrál.... výhody: snadno se navrhují a nejde snadno uhodnout správná odpověd Voňková Tvorba a využití didaktických testů 6
Didaktický test - testové úlohy IV Dichotomické úlohy testovaným jsou předkládány dvě alternativy odpovědi s tím, že jedna je správná často označovány jako true-false items Jan Amos Komenský se narodil roku 1592. ano - ne Při vypařování kapaliny se teplo spotřebovává - uvolňuje výhody: snadno se navrhují a vyhodnocují nevýhody: často testování pouze zapamatování (1. stupeň Bloomovy taxonomie), možnost uhodnutí správné odpovědi je 50ti procentní Voňková Tvorba a využití didaktických testů 7
Didaktický test - testové úlohy IV Úlohy s výběrem odpovědí (příklady dle Chrástka, 2007) testovaný vybírá odpověd (odpovědi) z několika nabídnutých alternativ děĺıme je na: úlohy typu jedna správná odpověd Cesta vlakem nám velmi rychle uběhla. Podtržený větný člen je: A podmět B přísudek C předmět D příslovečné určení výhody: relativně snadno se navrhují, snadno se vyhodnocují nevýhody: v praxi často testují pouze zapamatování Voňková Tvorba a využití didaktických testů 8
Didaktický test - testové úlohy V úlohy typu jedna nejpřesnější odpověd Které z následujících tvrzení nejlépe odpovídá na otázku Co je chemický prvek? A Prvek je látka, která se skládá z atomů stejného druhu. B Prvek je látka, kterou již dále nejde dělit. C Prvek je látka složená z atomů, které mají stejné protonové číslo. D Žádné z předchozích tvrzení není správné. pro testované obvykle bývají obtížné výhody: snadné na vyhodnocování nevýhody: často je obtížné je zkonstruovat Voňková Tvorba a využití didaktických testů 9
Didaktický test - testové úlohy VI úlohy typu jedna nesprávná odpověd Který z následujících dějů není formou oxidačního procesu? A dýchání B hnití C destilace D rezivění výhody: snadné na vyhodnocování nevýhody : konstrukce distraktorů Voňková Tvorba a využití didaktických testů 10
Didaktický test - testové úlohy VI úlohy s vícenásobnou odpovědí Kterými státy protéká řeka Odra? A Německo B Rusko C Česká republika D Slovensko E Polsko nevýhody: mohou se objevit problémy při skórování - lze zvolit např. metodu všechno nebo nic Voňková Tvorba a využití didaktických testů 11
Didaktický test - testové úlohy VI situační úlohy nabídky nejsou předkládány ve formě seznamu, vyplývají ze situace Na místo označené hvězdičkou napiš číslici, aby výsledné šesticiferné číslo bylo dělitelné sedmi: 823*43 nepoužívají se často výhody: snadné na vyhodnocování Voňková Tvorba a využití didaktických testů 12
Didaktický test - testové úlohy VII Korekce na hádání správných odpovědí, s o s n opravené skóre s o = s n neopravené skóre n y 1 n počet nesprávných odpovědí y počet nabízených odpovědí doporučení ohledně počtu nabízených odpovědí: 4-5 (menší pravděpodobnost uhodnutí, únosný počet při konstrukci) Voňková Tvorba a využití didaktických testů 13
Didaktický test - testové úlohy IX Přiřazovací úlohy úkolem testovaného je přiřadit pojmy z jedné množiny k pojmům z množiny druhé K názvům států v levém sloupci přiřad te názvy hlavních měst z pravého sloupce. Švýcarsko A Dublin F Rejkjavík Norsko B Oslo G Helsinky Island C Bonn Nizozemsko D Bern Finsko E Amsterdam počet nabízených odpovědí v pravém sloupci je záměrně větší, aby zamezil ohodnutí správného přiřazení na základě předchozích přiřazení výhody: omezují možnost uhodnutí správné odpovědi nevýhody: využití jen v omezeném okruhu učiva Voňková Tvorba a využití didaktických testů 14
Didaktický test - testové úlohy X Uspořádací úlohy úkolem testovaného je seřadit prvky do řady podle zadaného kritéria Seřad te uvedená města podle počtu obyvatel. Seřazení proved te pomocí pořadových čísel 1 až 6, aby město s největším počtem obyvatel mělo číslo 1. Londýn... Tokio... Káhira... New York... Sao Paulo... Sydney... nevýhoda: obtížné skórování Voňková Tvorba a využití didaktických testů 15
Didaktický test - vlastnosti testových úloh I Obtížnost položky - Hodnota obtížnosti položky Q = 100 n n N n n je počet žáků, kteří NEodpověděli na položku správně N celkový počet žáků Obtížnost položky - Index obtížnosti položky Q = 100 n s N n s je počet žáků, kteří odpověděli na položku správně N celkový počet žáků Voňková Tvorba a využití didaktických testů 16
Didaktický test - vlastnosti testových úloh II Citlivost položek - Koeficient ciltivosti ULI (upper-lower index) d = n L n H 0.5N n L je počet žáků z lepší poloviny, kteří odpověděli na položku správně n H je počet žáků z horší poloviny, kteří odpověděli na položku správně N celkový počet žáků pro hodnoty obtížnosti 30-70 se doporučuje, aby d bylo aspoň 0.25 pro hodnoty obtížnosti 20-30 a 70-80 se doporučuje, aby d bylo aspoň 0.15 Voňková Tvorba a využití didaktických testů 17
Didaktický test - vlastnosti testových úloh III Analýza nenormovaných odpovědí = rozbor vynechaných nebo nesprávných odpovědí u otevřených úloh věnujeme pozornost těm, ve kterých vynechalo odpověd více než 30-40% žáků, u uzavřených úloh je to pak více než 20% u úloh uzavřených s výběrem odpovědi zkontrolujeme atraktivnost distraktorů - zvážíme, zda-li nenahradíme neatraktivní distraktor jiným distraktorem u uzavřených úloh rozděĺıme nesprávné odpovědi do dvou kategoríı - základní chyby (způsobené neznalostí učiva) a vedlejší chyby (způosbené náhodnými vlivy), odstraníme úlohy, kde převáží vedlejší chyby nad základními chybami Voňková Tvorba a využití didaktických testů 18
Didaktický test - posouzení vnitřní konzistence testu Reliabilita testu didaktický test má dobrou reliabilitu, pokud poskytuje spolehlivé a přesné výsledky. Pokud bychom test neustále opakovali za stejných podmínek, měli bychom v případě testu s dobrou reliabilitou získat velmi podobné výsledky. hodnota se pohybuje od 0 do 1 test s dobrou reliabilitou má hodnotu alespoň 0.7 Reliabilita vypočtená metodou půlení r sb = 2.r b 1 + r b r b korelační koeficient mezi výsledekem žáků v sudých a lichých úlohách Voňková Tvorba a využití didaktických testů 19
Posuzování kvality měření I - Validita Validita = vystihuje, zda-li měříme skutečně to, co jsme zamýšleli měřit Obsahová validita (Content validity) - porovnává se obsah testu (či jiného měřícího nástroje) s doménou, která je měřena Kriteriální validita (Criterion-related validity) - porovnej testové skóry s určitým kritériem pokrývající oblast, kterou studuješ souběžná validita (concurrent validity) - porovnání s kritériem v tom samém čase (např. jiným testem, jinou mírou oblasti, na níž se zaměřuješ) predikční validita (predictive validity) - porovnání s kritériem probíhá v budoucnu (např. predikční validita testových skórů u přijímacích zkoušek se může porovnávat s výsledky na vysoké škole) Voňková Tvorba a využití didaktických testů 20
Posuzování kvality měření II - Validita Konstruktová validita (Construct validity) - porovnání toho, do jaké míry pokrývá konstrukt oblast, kterou má měřit příklad konstruktu je inteligence, konstruktová validita - pokrývá test inteligence oblasti, jež inteligenci definují Následná validita (Consequential validity) - uvádí do jaké míry způsobuje měření nežádoucí, škodlivé efekty příklad - Jaké jsou efekty testování žáků pomocí testů s uzavřenými položkami? Voňková Tvorba a využití didaktických testů 21
Posuzování kvality měření III - Reliabilita Reliabilita = vystihuje, do jaké míry je naše měření spolehlivé a konzistentní Stabilita (Stability) - reliabilita vypočítaná na základě stability testových skórů zadej test jedné skupině v dvou různých časech a vypočítej korelaci těchto skórů Ekvivalence (Equivalence) - reliabilita vypočítaná na základě porovnání dvou verzí testu, které lze považovat za ekvivalentní zadej alternativní formy testu jedné skupině a koreluj jejich výsledky Stabilita a evivalence (Stability and equivalence) - reliabilita vypočítaná na základě porovnání dvou verzí testu, jež lze považovat za ekvivalentní, které jsou zadané v dvou různých časech zadej testy jedné skupině v dvou různých časech Voňková Tvorba a využití didaktických testů 22
Posuzování kvality měření IV - Reliabilita Vnitřní konzistence (Internal consistency) - udává do jaké míry jsou položky v testu podobné ostatním položkám v testu, měříme je pomocí Kuder-Richardsonova vzorce, Cronbachova alfa, metodou půlení Hodnotitel - Scorer/Rater - udává, do jaké míry se nezávisĺı hodnotitelé nebo jeden hodnotitel v různém čase shodnou/shodne na skórování (např. skórování otevřených úloh) Voňková Tvorba a využití didaktických testů 23