DIDAKTICKÉ TESTY (DT)

Transkript

1 DIDAKTICKÉ TESTY (DT) prof. RNDr. Emanuel Svoboda, CSc. 1. Pojem DT, třídění 2. Vlastnosti dobrého DT 3. Tvorba DT 4. Položková analýza 5. Tvorba testové normy

2 I. Didaktický test Zkouška, lepší zkouška Důkladně připravená zkouška vícekrát použitelná (opakovatelně použitelná) Objektivní zkouška pro jednotlivce i třídu Zpravidla písemná zkouška Prostředek pro zjišťování výsledků výuky Vyzkoušený soubor úloh pro určité učivo Objektivní nástroj pro hodnocení atd

3 a) Vymezení pojmu DT DT je vyzkoušený (ověřený) soubor opakovaně použitelných úloh (položek) sestavený z učiva tak, aby z průběhu a výsledků měření bylo možné objektivně usuzovat na stupeň a kvalitu osvojeného učiva u žáka či třídy (event. populace) DT = Test vědomostí a dovedností, nástroj k objektivnímu měření výsledků vzdělávání

4 b) Třídění DT Podle dokonalosti: standardizované (vytvořena norma hodnocení) nestandardizované (učitelské) Interpretace výkonu: rozlišující NR-T (testy relativního výkonu) ověřující CR-T (testy abs. výkonu, porovnávání s ideálním žákem)

5 Třídění DT pokr. Míra objektivity: objektivně skórovatelné subjektivně skórovatelné Měřený výkon: rychlostní (čas. limit); úrovňový (rost. obtížnost) Podle výsledků výuky: testy zjišťující úrovně poznávacích, operačních a hodnotových cílů, resp. testy studijních předpokladů Podle časového zařazení: vstupní, průběžný, výstupní Podle rozsahu tématu: monotematické polytematické

6 2. Vlastnosti dobrého DT Validita (obsahová, pojmová; souběžná např. se známkou; predikční předpověď úspěšnosti ve studiu z výsledku testu) Reliabilita (spolehlivost a přesnost nedochází k chybám v měření výkonu) Objektivnost (zamezení zkreslování výsledků a jejich interpretace)

7 Vlastnosti DT pokr. Citlivost (senzibilita, citlivost zkoušky rozlišení lepších žáků od horších diskriminace) Pozn.: v psychologii senzibilita = vnímavost pro smyslové podněty Praktičnost (jednoduchost zadání, snadná oprava, bodování, snadná interpretace výsledků, úspora času, usnadnění práce učiteli) Ekonomičnost

8 3. Tvorba DT - postupy I. Plánování testu (účel, obsah, specifikační tabulka - A znalost, B - porozumění, C - aplikace, D - problémová úloha) Učivo H Počet úloh Struktura látek, U Tepelná výměna, teplo Q Úrovně osvojení A B C D Měrná tepelná kapacita Měření tepla Proudění, tepelné záření Využití slunečního záření

9 Plánování testu - pokrač. Seznam cílů (co se testem zjišťuje) Testovací čas Forma položek testu (uzavřené, otevřené položky, kombinace) Počet variant testu Způsob skórování Popis testované populace

10 Struktura položky- testové úlohy Instrukce (návod, co dělat) Výchozí text (text, tabulka, graf, obr., ) Kmen úlohy (otázka, příkaz) Alternativy odpovědí (u úloh uzavřených) Distraktory (distraktion = zmatek; pomást) Správné řešení

11 II. Konstrukce testu přehled typů položek didaktického testu OTEVŘENÉ SE ŠIROKOU ODPOVĚDÍ SE STRUČNOU ODPOVĚDÍ NESTRUK- TUROVANÉ SE STRUKTUROU PRODUKČNÍ vymezenou danou konvencí POLOŽKY DICHOTOMICKÉ DOPLŇOVACÍ UZAVŘENÉ S VÝBĚREM ODPOVĚDÍ PŘIŘAZOVACÍ USPOŘÁDACÍ Jedna správná odpověď Jedna nejpřesnější odpověď Jedna nesprávná odpověď Vícenásobná odpověď Situační

12 Konstrukce testu - sestavení 1. varianty Typy položek testu: OTEVŘENÉ Se širokou odpovědí strukturované (vymezení struktury, resp. daného postupu ve škole, resp. konvence) nestrukturované Se stručnou odpovědí produkční doplňovací

13 Příklady položek otevřených Široká nestrukturovaná: Navrhněte a popište pokus, kterým byste spolužáky přesvědčili, že klíč je vyrobený z magneticky tvrdé oceli. Nakreslete i obrázek k postupu. Uveďte hlavní části transformátoru, nakreslete jeho značku a vysvětlete jeho funkci

14 Příklady položek Široká strukturovaná: Popište konstrukci výslednice dvou sil Proveďte rozbor pružného rázu 2 koulí Navrhněte možnosti spojování zdrojů stejnosměrného napětí (kondenzátorů, rezistorů)

15 Příklady položek otevřených Se stručnou odpovědí- produkční: V jakém skupenství je při teplotě 300 o C olovo?. Napište znění Hookova zákona Výsledný odpor dvou paralelně zapojených rezistorů o stejném odporu R je.. Na žárovce je údaj 24 V/0,4 A. Jak velký elektrický odpor má vlákno žárovky?..

16 Otevřené položky se stručnou odpovědí Se stručnou odpovědí - doplňovací: a) Při varu se kapalina vypařuje i.... Teplota varu kapaliny závisí na. a na.. b) Značka znamená c) Doplňte chybějící údaje v tabulce veličina kapacita indukčnost jednotka weber tesla

17 Doporučení pro tvorbu produkčních a doplňovacích položek Nejlépe odpovědět 1 údajem Jasná a jednoznačná formulace Je-li mnoho možností, pak raději úlohu vynechat Dostatek místa pro doplňování Přednost produkčních před doplňovacími Vynechávat jen nejdůležitější údaje Doplňovaný údaj nejlépe na konec věty Stejné místo pro doplňování

18 Výhody a nevýhody otevřených položek Výhody: - produktivní, kreativní činnost žáka; - žák nucen požívat terminologii; vlastní vyjadřování, nenapovídá se tolik; - dobře se pozná, čemu žák rozuměl, jak byla položka časově i konstrukčně náročná.

19 Pokrač. Nevýhody: - možná chybná interpretace textu (nutné proto jasné a jednoznačné zadání); - problém objektivního hodnocení; - žáci komunikačně slabší v nevýhodě; - náročnost vzorového řešení pro posuzovatele; proto nutná tvorba tzv. kódovacího klíče

20 Kódovací klíč Klíč k hodnocení otevřených úloh. Obsahuje: charakteristiku a příklad správné odpovědi charakteristiku a příklady odlišně formulovaných odpovědí (zcela správných) charakteristiku a příklady částečně správných odpovědí charakteristiku a příklady nesprávných odpovědí (typické chyby)

21 Položky uzavřené Položky s výběrem odpovědí (položky s vícečlennou či vícenásobnou odpovědí, polynomické úlohy) Kmen úlohy a nabídnuté odpovědi Různé typy nabídnutých odpovědí (správné i nesprávné) Nesprávné odpovědi distraktory (distract = odvrátit pozornost, zmást)

22 Položky uzavřené - příklady 1. Dichotomické Při tání uvažované těleso teplo: přijímá vydává Kapacita vodiče C je definována vztahem C Q C Q

23 Problém velké pp uhodnutí Korekce na hádání s 0 s n n n y 1 s 0...opravené skóre s n...neopravené skóre n n...počet nesprávných odpovědí žáka y počet nabízených odpovědí

24 Příklad Z 25 dichotomických položek testu žák XY uvedl 19 správných odpovědí, 3 nesprávné a na 3 položky vůbec neodpověděl. Určete s 0. Testovaný musí být na korekci na hádání upozorněn!

25 2. Uzavřená položka právě jedna správná odpověď Stavová změna ideálního plynu konstantní hmotnosti proběhne tak, že jeho tlak vzroste na dvojnásobek původní hodnoty a objem klesne o 40 % původní hodnoty. Jak se při tomto ději změní termodynamická teplota plynu? p1v1 2 p1 0, 6V 1 A) vzroste o 80 % T1 T2 B) klesne o 20 % T2 1, 2 C) vzroste o 20 % T1 D) klesne o 40 % p1v1 2 p1 0, 4V1 T 1 T 2

26 3. Uzavřená položka jedna nejpřesnější odpověď Které z následujících tvrzení nejlépe odpovídá na otázku Co platí o kapacitanci obvodu střídavého proudu? a) Kapacitance závisí na kapacitě kondenzátoru. b) Kapacitance je nepřímo úměrná kapacitě kondenzátoru. c) Kapacitance je přímo úměrná frekvenci střídavého proudu. d) Kapacitance se s rostoucí kapacitou zvětšuje.

27 Pokrač. - příklad 2 Jedna nejpřesnější odpověď Na čem závisí hydrostatický tlak v kapalině? a) na hloubce b) na hloubce a druhu kapaliny c) na tlaku nad kapalinou a hloubce d) na druhu kapaliny

28 4. Jedna nesprávná odpověď Která z následujících jednotek není základní jednotkou SI? a) ampér b) newton c) metr d) kilogram

29 5. Položka s vícenásobnou odpovědí (výběr více správných odpovědí) Příklad 1. Vypařování kapaliny je jev, a) kdy přechází látka z kapalného do plynného skupenství b) ke kterému dochází při libovolné teplotě c) při kterém platí, že U páry > U kapaliny d) při kterém roste teplota kapaliny

30 Více správných odpovědí - pokr. Příklad 2: Pohyb rovnoměrně zrychlený přímočarý je 1. pohyb s konstantním zrychlením; 2. pohyb s konstantní rychlostí; 3. pohyb způsobený konstantní silou; 4. pohyb, při které dráha roste s druhou mocninou času; 5. pohyb, při kterém rychlost roste s druhou mocninou času.

31 Položky uzavřené vícenásobná odpověď Příklad 3: Harmonicky proměnná veličina y se dá vyjádřit za různých počátečních podmínek vztahy: 1. y y sint m 2. y y tgt 3. y 4. y 5. y m y y m m m sin( t ) cos( t ) y sint 6. žádná odpověd nevyhovuje 0 0

32 Položka s vícenásobnou odpovědí Příklad 4. Podtrhněte ty předměty, které nepřitahuje magnet? Ocelový hřebík, měděný drát, niklový nýt, zápalka, papírová kulička, skoba, ocelová jehla na šití oděvů, tužka, guma, hliníková součástka

33 6. Položka uzavřená s neurčitou odpovědí Jakou hodnotu ukazuje ampérmetr v elektrickém obvodu na obrázku: R 1 = 10 R 2 = 10 R i = 2 21 V A a) 4,2 A b) 1 A c) 1,8 A d) správná hodnota není uvedena

34 7. Položky uzavřené - přiřazovací K jednotkám veličin v levém sloupci přiřaďte správně z pravého sloupce veličiny, které k nim patří: m/s teplo A síla J rychlost výkon práce

35 Přiřazovací položka - další příklad K značkám pasivních součástek v levém sloupci správně přiřaďte jejich názvy z pravého sloupce! ( F ) ( C ) ( D ) ( A ) A potenciometr s pohyblivým kontaktem B bočník C rezistor D rezistor topný E rezistor s pohyblivým kontaktem F nastavitelný rezistor G rezistor uhlíkového sloupce

36 8. Položky uzavřené - uspořádací Seřaďte následující látky podle jejich rostoucí hustoty (20 o C, norm. tlak). Seřazení proveďte připsáním pořadových čísel 1 až 6 tak, aby látka s nejmenší hustotou měla číslo 1. voda., ocel., papír., vzduch., ethanol., vodík.

37 III. Etapa - ověřování DT Ověřování - posouzení kompetentními osobami - zpracování jejich připomínek - grafická úprava pilotní formy - pilotáž (kvalita testu, chyby a nepřesnosti, obtížnost, citlivost, vhodnost distraktorů)

38 Zásady pro navrhování položek Položky volíme navzájem nezávislé Formulace nesmí obsahovat nápovědu správné odpovědi (nezamýšlená nápověda) Nepoužíváme chytáky (neměříme-li postřeh, vtip, ) Začínáme jednoduchým (binárním) skórováním Navrhujeme o něco více položek, než budeme potřebovat Velkou pozornost věnujeme grafické úpravě

39 IV. Analýza výsledků DT Obsahuje: Počet žáků, kterým byla položka předložena rozsah souboru n Počet žáků, kteří se k řešení položky nedostali Počet žáků, kteří dali správnou odpověď Počet žáků, kteří nedali správnou odpověď, ale položku řešili Volbu jednotlivých distraktorů Obtížnost položek Citlivost položek

40 Analýza výsledků DT a) Obtížnost položek testu Q i n n n, i 100 % n n,i.. počet žáků s nesprávnou odpovědí pro i-tou položku Velmi obtížné položky Q i > 80 % Velmi snadné položky Q i < 20 % Index obtížnosti P i = 100 % - Q i

41 Položková analýza tabulka hodnot Zadán test o 12 položkách, rozsah souboru (počet respondentů, probandů) n =138, binární hodnocení i n i Q i % u (1) (1) (1) (2) (3) (3) (3) (3) (4) (4) (4) (5) velmi snadná, snadná, stř. obtížná (průměrná), obtížná, velmi obtížná

42 Koeficient obtížnosti / 6 / / 1) /( max min max max i i m s i i i m i i Q Q k s Q m i Q Q Q k

43 Nebinární hodnocení položek V případě, že hodnocení jedné položky může nabývat hodnot b i = 2, 3, 4, b max, pak hodnota obtížnosti je Q * i 100 % b b i max. 100 % kde b i je aritmetický průměr bodových hodnocení všech žáků v dané položce

44 Analýza výsledků - pokr. b) Citlivost testových položek Koeficient ULI (Upper-Lower Index) d i n L, i n 0,5n H, i Pro Q i od 30 % do 70 % musí být d i alespoň 0,25 Pro Q i z intervalu (20 %, 30 %) a ( 70 %, 80 %) alespoň 0,15

45 Příklad (308 žáků, 1/3 L, 1/3 H) n L n H Q i d i , , , , ,55 n L n H Q i d i , , , , , , ,53 Nutný rozbor položek 4 a 12, ale hodnoty d i dostačující

46 prům. úspěšnost v % Citlivost - graficky Graf A Skupiny testovaných žáků

47 prům. úspěšnost v % Citlivost - graficky Graf B Skupiny testovaných žáků

48 prům. úspěšnost v % Citlivost - graficky Graf C Skupiny testovaných žáků

49 Vhodnost úloh z grafu d i (P i ) - příklad d i d i..citlivost, P i index obtížnosti i-té položky obtížná průměrná Oblast vhodných úloh Oblast podezřelých úloh Velmi obtížná P i Snadné úlohy na úvod testu Oblast nevhodných úloh (citlivost je záporná)

50 Analýza nenormovaných odpovědí Rozbor vynechaných odpovědí: (na otevřenou položku neodpovědělo více než 30 % až 40 % žáků, na uzavřenou více než 20 % žáků) Rozbor nesprávných odpovědí: - jsou všechny distraktory žáky přijatelné? - rozdělení chyb na: základní (skutečná neznalost, neporozumění, nezvládnutí učiva) vedlejší (nepozornost, numerická chyba, nepřesnost, )

51 V. Standardizace DT Významná etapa tvorby DT Vytvoření testového standardu - testové normy tak, aby umožnil zařadit žáka podle dosaženého počtu bodů do určité stupnice (škály) U standardizovaných testů se výkon jednotlivých žáků porovnává s reprezentativním vzorkem žáků - postup je standardizace testu Standardizovat výsledky určitého testu znamená vyjádřit je vzhledem k výsledkům standardizačního vzorku žáků Jednodušší a složitější metody standardizace

52 V. Tvorba testové normy - jednoduché metody (percentily) Prosté pořadí žáků P (podle hrubého skóre) Percentilové pořadí PP PP ni % - n k je kumulativní četnost (u daného k- tého výsledku v testu), - n i četnost daného výsledku, - n počet testovaných žáků. PP udává, kolik % žáků ve vzorku dosáhlo horšího výkonu (tedy lze posoudit relativní postavení žáka v dané populaci žáka) k n k n

53 Příklad percentilové normy žáků body n i n k PP % PP % 58 % % žáků má horší výsledek než 7 bodů

54 Příklad klasifikace využitím PP body PP % Z Použito symetrického rozdělení 7 % % 2 38 % % %...5

55 Percentilové body PB PB n P n % U každého žáka vypočítáme, kolik % ostatních žáků v žebříčku pořadí dosáhlo nižšího hrubého skóre HS Toto číslo je percentilem (perc. bodem)

56 Příklad - pořadí podle HS a PB Ž A B,C D E F G H I J K L M O,P HS P PB % PB 100 % % 36 % ostatních žáků dosáhlo nižšího hrubého skóre než 8 bodů (z 20 možných bodů)

57 Percentilové body PB Chceme zjistit, kolik procent žáků ze všech žáků v žebříčku pořadí dosáhlo nižšího skóre Výpočet: P PB % n

58 Úloha Žák XY býval v matematice pravidelně mezi prvními pěti žáky ve třídě s 25 žáky. Při zkoušce na VŠ obsadil z 500 uchazečů 108. místo. Byl to úspěch nebo neúspěch? 5 PB ( vetřídě ) % 80% 25 Ve třídě bylo 80 % horších žáků PB ( u 108 zkoušky) % U přijímací zkoušky bylo 78 % horších Podán přibližně stejný výkon, dokonce na VŠ lepší (hlásili se lepší žáci) %

59 Percentilové body PB Chceme zjistit, kolik procent žáků z daného počtu žáků dosáhlo daného a horšího výkonu Výpočet: n P 1 PB 100 % n

60 Procento správných odpovědí (PERCENT CORRECT, PROCENTO ÚSPĚŠNOSTI) ( PC) j x x j 100 % max x j - bodový zisk (hrubé skóre) j-tého žáka x max - maximální možný počet získaných bodů

61 Složitější metody standardizace testu Vycházíme z předpokladu normálního rozdělení četností výsledků - dosažené výkony u dostatečně velké skupiny odpovídají Gaussově křivce Tento předpoklad se ověřuje tzv. testem dobré shody 2 (chí-kvadrát)

62 Četnos t v % Gaussova křivka Počet bodů

63 Základní pojmy normál. rozdělení Východiskem uvažovaného postupu je určování vzdáleností jednotlivého výsledku od aritmetického průměru bodového zisku. kde n je celkový počet testovaných žáků, x i jednotlivé dosažené body v testu, n i počet žáků, kteří dosáhli výsledku xi bodů, i = 1,... n. x 1 n i n i x i

64 Směrodatná odchylka s (variační šíře), rozptyl s 2 s x s x s x s - x s x s x s x s - x s x s x s x s - x s x s - x x x n n s i i i 4, 3 a 3, 4 v 0,13% 3, 2 a 2, 3 v % 2,1 2, a, 2 13,6% v, v intervalu %

65 Školní klasifikace podle výsledků testu Intuitivní přístup učitele Klasifikace s využitím procenta správných odpovědí (arbitrážní známka) Klasifikace na základě percentilového pořadí (arbitrážní známka) Klasifikace na základě normálního rozdělení (statistická známka)

66 Využití PC ( PC ) j x x j max 100% Průměrná úspěšnost PC x 100% x max třídy

67 Klasifikace podle % správ. odpovědí Procento správných odpovědí PC Klasifikační stupeň Klasifikace běžná Klasifikace přísná Klasifikace velmi přísná

68 Úprava klasifikace podle PC Pro běžnou klasifikaci do 60 % známka 5 Zbývajících 40 % se rozdělí na 4 intervaly stejné délky d A = 10 % Modifikace např. intervalem d s % - 5 PC Nedostatečná známka do hodnoty (100 % - 4d s )

69 Příklad: 20 žáků, 10 položek A B C D E F G H I J K L M N O P R S T U x j n i PC Kl. 1 Kl

70 Arbitrážní známka z percentilového pořadí využitím normálního rozdělení x PP Zn Použito symetrického rozdělení 7 % % 2 38 % % %...5

71 Klasifikace s využitím normálního rozdělení Nejvíce žáků klasifikováno známkou 3 Poněkud méně známkou 2 a známkou 4 Nejméně je žáků s hodnocením 1 a 5 Postup: Volba procentového rozdělení pro klasifikační stupnice (když četnost HS podléhá normálnímu rozložení) - zpravidla symetrické, např. 15 %, 20 %, 30 %, 20 % 15 %

72 Pokrač. postupu - kvantily Přiřazení procentových ekvivalentů p k procentovému rozdělení, tedy p = 0 %, 15 %, 35 %, 65 %, 85 %, 100 % Vložen jediný subjektivní moment Procentovým ekvivalentům odpovídají konkrétní počty bodů skóre - kvantily x p jak určit obecně? x o x 15 x 35 x x 65 x 85 x 100

73 f Gaussova křivka její posunutí u p 0 x p x x, u

74 Transformace Gaussovy křivky f ( x ) exp 2 s 1 2 x 2s x 2 x x u s

75 Normální rozložení g( u ) 1 u exp s ( u ) p ( -u ) 1 p p p

76 Normované kvantily Vyhledání normovaných kvantilů u p ve statistických tabulkách u 0,15 1, 04 u 0,35 0, 39 u 0,65 0, 39 u 0,85 1, 04

77 Statistická tabulka hodnot up

78 Transformační rovnice x x u s p p

79 Výpočet skóre - počet bodů x p x x x x 0, 85 0, 65 0, 35 0, 15 x x x x 1, 04s 0, 39s 0, 39s 1, 04s Zápis atd... x 0,85 znamená minimální počet bodů pro známku 1

80 Příklad: průměr 6,5; odchylka 2,8 Převod bodů na klasifikaci: X 0,85 = 6,5 + 1,04.2,8 9,4 X 0,65 = 6,5 + 0,39.2,8 7,6 X 0,35 = 6,5-0,39.2,8 5,4 X 0,15 = 6,5-1,04.2,8 3,6

81 Klasifikační tabulka- úprava Klasifikace Bodový interval výborně chvalitebně dobře dostatečně nedostatečně 5 0-2

82 Interpretace nestand. testu Nelze použít kvantilů normálního rozdělení Přitom učitelský test může dobře zhodnotit didaktickou situaci ve třídě, popř. ve škole Lze použít percentilové stupnice jednodušší než u percentilového pořadí PP

83 Postup pomocí percentilové hodnoty Určíme počet správných odpovědí - skóre žáka Stanovíme frekvence dosažených bodů - četnost žáků s daným skórem Vypočteme kumulativní frekvence n k (četnosti) - počet žáků, kteří dosáhli určitého počtu bodů a menšího počtu bodů Vypočteme percentilové hodnoty (n k /n).100 % - údaj, kolik % žáků dosáhlo určitého výkonu a výkonu slabšího; zaokrouhlujeme na celá čísla Zvolíme procentové ekvivalenty (skupiny) - např. 7 %, 24 %, 38 %, 24 % a 7 % K procentovým ekvivalentům přiřadíme procentové intervaly a jim odpovídající klasifikační stupnici Provedeme případné korekce v bodovém přiřazení

84 Příklad: 10 položek, 30 žáků, b.s. Výkon Četnost n k (n k /n).100% Známka Korekce

85 Výhody testování Zvýšení objektivity hodnocení Kontrola velkého počtu žáků i z rozsáhlejšího učiva Důkladnější a cílevědomé prověřování Stejné podmínky pro každého Zpětná vazba Vytváření baterie testů pro úplnější obraz o žákovi Ověření efektivity metod, zamýšlení nad vlastní prací

86 Nevýhody testování Nepromyšlené použití testů Nekritické přeceňování testů Opomíjení jiných způsobů zkoušení Chybí sociální moment (vztah U - Ž) Brzda ústního vyjadřování žáků Někdy přílišné zaměřování na detaily Přeceňování kvantity Jak na hodnotové cíle?