DIDAKTICKÉ TESTY (DT)

Podobné dokumenty
Didaktické testy při výuce konstrukčních předmětů

ŠKOLNÍ HODNOCENÍ. Co nás čeká? školní hodnocení. RNDr. Milan Šmídl, Ph.D

ŠKOLNÍ HODNOCENÍ. Co nás čeká? školní hodnocení. RNDr. Milan Šmídl, Ph.D

Povídání o testech a jejich hodnocení. Martin Chvál

Didaktické testy pro výuku konstrukčních předmětů

Využití software ITEMAN k položkové analýze a analýze výsledků testů

Úloha č. 2 - Kvantil a typická hodnota. (bodově tříděná data): (intervalově tříděná data): Zadání úlohy: Zadání úlohy:


Centrum pro zjišťování výsledků vzdělávání CERMAT Jankovcova 933/63, Praha 7, tel.:

Matematika III. 27. listopadu Vysoká škola báňská - Technická univerzita Ostrava. Matematika III

Didaktické testy a jejich tvorba

veličin, deskriptivní statistika Ing. Michael Rost, Ph.D.

Vybraná rozdělení náhodné veličiny

Charakteristika předmětu:

BAKALÁŘSKÁ PRÁCE STUDIJNÍ PROGRAM STUDIJNÍ OBOR VEDOUCÍ PRÁCE

Hodnocení a klasifikace při výuce F na SŠ. Jiří Tesař

JEDNOVÝBĚROVÉ TESTY. Komentované řešení pomocí programu Statistica

Zpracování náhodného výběru. Ing. Michal Dorda, Ph.D.

Statistické vyhodnocování ankety pilotního projektu Kvalita výuky na Západočeské univerzitě v Plzni

MÍRY ZÁVISLOSTI (KORELACE A REGRESE)

Normální (Gaussovo) rozdělení

Národní ústav pro vzdělávání Valtice, (4) Posuzovací archy

Pomůcky, které poskytuje sbírka fyziky, a audiovizuální technika v učebně fyziky, interaktivní tabule a i-učebnice

Výstupní testování studentů 4. ročníku

Diskrétní náhodná veličina

Pomůcky, které poskytuje sbírka fyziky, a audiovizuální technika v učebně fyziky, interaktivní tabule

Předpoklad o normalitě rozdělení je zamítnut, protože hodnota testovacího kritéria χ exp je vyšší než tabulkový 2

Nelineární obvody. V nelineárních obvodech však platí Kirchhoffovy zákony.

Polohová a pohybová energie

Zápočtová práce STATISTIKA I

Univerzita Palackého v Olomouci. Přírodovědecká fakulta Katedra experimentální fyziky DIPLOMOVÁ PRÁCE. Různé typy testových úloh ve výuce fyziky ZŠ

Výsledky základní statistické charakteristiky

HODNOCENÍ VÝUKY STUDENTY PEDF UK ZS 2016/2017

Přijímací zkouška na navazující magisterské studium Studijní program Fyzika obor Učitelství fyziky matematiky pro střední školy

Přijímací zkoušky FYZIKA

CVIČNÝ TEST 20. OBSAH I. Cvičný test 2. Mgr. Tomáš Kotler. II. Autorské řešení 6 III. Klíč 13 IV. Záznamový list 15

Mgr. Tomáš Kotler. I. Cvičný test 2 II. Autorské řešení 6 III. Klíč 15 IV. Záznamový list 17

Didaktický test Mgr.Mgr. Kateřina Vlčková

Chyby měření 210DPSM

Didaktické testy v práci učitele ekonomiky na střední škole. Ing. Zuzana Derková

Určujeme neznámé hodnoty parametru základního souboru. Pomocí výběrové charakteristiky vypočtené z náhodného výběru.

Elektrický proud v kovech Odpor vodiče, Ohmův zákon Kirchhoffovy zákony, Spojování rezistorů Práce a výkon elektrického proudu

Úvod do problematiky měření

2.1 Pokyny k uzavřeným úlohám. 2.2 Pokyny k otevřeným úlohám. Testový sešit neotvírejte, počkejte na pokyn!

Statistika pro geografy

4. V jednom krychlovém metru (1 m 3 ) plynu je 2, molekul. Ve dvou krychlových milimetrech (2 mm 3 ) plynu je molekul

Testový sešit neotvírejte, počkejte na pokyn!

CVIČNÝ TEST 38. OBSAH I. Cvičný test 2. Mgr. Tomáš Kotler. II. Autorské řešení 5 III. Klíč 13 IV. Záznamový list 15

LINEÁRNÍ REGRESE Komentované řešení pomocí programu Statistica

Induktivní statistika. z-skóry pravděpodobnost

Statistika, Biostatistika pro kombinované studium Letní semestr 2011/2012. Tutoriál č. 4: Exploratorní analýza. Jan Kracík

Fyzika - Sexta, 2. ročník

Univerzita Karlova v Praze Matematicko-fyzikální fakulta DIPLOMOVÁ PRÁCE. Tomáš Kekule. Testové úlohy z molekulové fyziky a termiky

České vysoké učení technické v Praze Fakulta biomedicínského inženýrství

Regresní analýza 1. Regresní analýza

Vzdělávací oblast: Matematika a její aplikace Vzdělávací obor: Matematický kroužek pro nadané žáky ročník 9.

Metodologie pedagogického výzkumu Téma číslo 4 Validita a reliabilita

Fyzikální veličiny a jednotky, přímá a nepřímá metoda měření

Ukázka závěrečného testu

Statistika. cílem je zjednodušit nějaká data tak, abychom se v nich lépe vyznali důsledkem je ztráta informací!

Posouzení přesnosti měření

Číslo materiálu Předmět ročník Téma hodiny Ověřený materiál Program

Náhodné (statistické) chyby přímých měření

Tvorba a analýza didaktických testů

CVIČNÝ TEST 19. OBSAH I. Cvičný test 2. Mgr. Kateřina Nováková. II. Autorské řešení 5 III. Klíč 13 IV. Záznamový list 15

Mnohorozměrná statistická data

CVIČNÝ TEST 5. OBSAH I. Cvičný test 2. Mgr. Václav Zemek. II. Autorské řešení 6 III. Klíč 17 IV. Záznamový list 19

Střední průmyslová škola elektrotechnická a informačních technologií Brno

Lineární regrese. Komentované řešení pomocí MS Excel

F8 - Změny skupenství Číslo variace: 1

CompACT-Vi. CompACT-Vi. HTS Report. Gabriela Milská ID Datum administrace Dlouhodobá pozornost - Screening 1.

Analýza dat na PC I.

Maturitní témata fyzika

Testy do hodin - souhrnný test - 6. ročník

2.1 Pokyny k otevřeným úlohám. Výsledky pište čitelně do vyznačených bílých polí. 2.2 Pokyny k uzavřeným úlohám

Okruhy, pojmy a průvodce přípravou na semestrální zkoušku v otázkách. Mechanika

METODOLOGIE I - METODOLOGIE KVANTITATIVNÍHO VÝZKUMU

Otázky k měření centrální tendence. 1. Je dáno rozložení, ve kterém průměr = medián. Co musí být pravdivé o tvaru tohoto rozložení?

Magnetické pole cívky, transformátor vzorová úloha (SŠ)

1. Změřte závislost indukčnosti cívky na procházejícím proudu pro tyto případy:

Fyzikální praktikum FJFI ČVUT v Praze

Mgr. Karla Hrbáčková, Ph.D. Základy kvantitativního výzkumu

Pedagogicko psychologická diagnostika. PhDr. Denisa Denglerová, Ph. D.

Základy popisné statistiky

Klasifikační řád. 1. Klasifikace v hodině. Klasifikace známkou. Klasifikace kladnými a zápornými body

POPISNÁ STATISTIKA Komentované řešení pomocí programu Statistica

Komplexní čísla, Kombinatorika, pravděpodobnost a statistika, Posloupnosti a řady

Role otevřených úloh

Didaktické testy na střední škole

10. cvičení z PST. 5. prosince T = (n 1) S2 X. (n 1) s2 x σ 2 q χ 2 (n 1) (1 α 2 ). q χ 2 (n 1) 2. 2 x. (n 1) s. x = 1 6. x i = 457.

CVIČNÝ TEST 39. OBSAH I. Cvičný test 2. Mgr. Tomáš Kotler. II. Autorské řešení 5 III. Klíč 11 IV. Záznamový list 13

Přehled veličin elektrických obvodů

Číselné charakteristiky

TEST Z TEORIE EXPLORAČNÍ ANALÝZA DAT

Statistika - charakteristiky variability

Fyzikální praktikum...

Didaktické testy v práci učitele odborného předmětu Informatika a výpočetní technika na střední škole. Ing. Petr Chvatík

Analytické znaky laboratorní metody Interní kontrola kvality Externí kontrola kvality

CZ.1.07/1.2.08/ Vyhledávání talentů pro konkurenceschopnost a práce s nimi. Závislost úspěšnosti v testu TP2 na známce z matematiky

Transkript:

DIDAKTICKÉ TESTY (DT) prof. RNDr. Emanuel Svoboda, CSc. 1. Pojem DT, třídění 2. Vlastnosti dobrého DT 3. Tvorba DT 4. Položková analýza 5. Tvorba testové normy

I. Didaktický test Zkouška, lepší zkouška Důkladně připravená zkouška vícekrát použitelná (opakovatelně použitelná) Objektivní zkouška pro jednotlivce i třídu Zpravidla písemná zkouška Prostředek pro zjišťování výsledků výuky Vyzkoušený soubor úloh pro určité učivo Objektivní nástroj pro hodnocení atd

a) Vymezení pojmu DT DT je vyzkoušený (ověřený) soubor opakovaně použitelných úloh (položek) sestavený z učiva tak, aby z průběhu a výsledků měření bylo možné objektivně usuzovat na stupeň a kvalitu osvojeného učiva u žáka či třídy (event. populace) DT = Test vědomostí a dovedností, nástroj k objektivnímu měření výsledků vzdělávání

b) Třídění DT Podle dokonalosti: standardizované (vytvořena norma hodnocení) nestandardizované (učitelské) Interpretace výkonu: rozlišující NR-T (testy relativního výkonu) ověřující CR-T (testy abs. výkonu, porovnávání s ideálním žákem)

Třídění DT pokr. Míra objektivity: objektivně skórovatelné subjektivně skórovatelné Měřený výkon: rychlostní (čas. limit); úrovňový (rost. obtížnost) Podle výsledků výuky: testy zjišťující úrovně poznávacích, operačních a hodnotových cílů, resp. testy studijních předpokladů Podle časového zařazení: vstupní, průběžný, výstupní Podle rozsahu tématu: monotematické polytematické

2. Vlastnosti dobrého DT Validita (obsahová, pojmová; souběžná např. se známkou; predikční předpověď úspěšnosti ve studiu z výsledku testu) Reliabilita (spolehlivost a přesnost nedochází k chybám v měření výkonu) Objektivnost (zamezení zkreslování výsledků a jejich interpretace)

Vlastnosti DT pokr. Citlivost (senzibilita, citlivost zkoušky rozlišení lepších žáků od horších diskriminace) Pozn.: v psychologii senzibilita = vnímavost pro smyslové podněty Praktičnost (jednoduchost zadání, snadná oprava, bodování, snadná interpretace výsledků, úspora času, usnadnění práce učiteli) Ekonomičnost

3. Tvorba DT - postupy I. Plánování testu (účel, obsah, specifikační tabulka - A znalost, B - porozumění, C - aplikace, D - problémová úloha) Učivo H Počet úloh Struktura látek, U 2 2 1 1 Tepelná výměna, teplo Q 1 2 1 1 Úrovně osvojení A B C D Měrná tepelná kapacita 2 2 1 1 Měření tepla 1 1 1 Proudění, tepelné záření 1 2 1 1 Využití slunečního záření 1 1 1 8 10 3 4 2 1

Plánování testu - pokrač. Seznam cílů (co se testem zjišťuje) Testovací čas Forma položek testu (uzavřené, otevřené položky, kombinace) Počet variant testu Způsob skórování Popis testované populace

Struktura položky- testové úlohy Instrukce (návod, co dělat) Výchozí text (text, tabulka, graf, obr., ) Kmen úlohy (otázka, příkaz) Alternativy odpovědí (u úloh uzavřených) -------------------------------------------------- Distraktory (distraktion = zmatek; pomást) Správné řešení

II. Konstrukce testu přehled typů položek didaktického testu OTEVŘENÉ SE ŠIROKOU ODPOVĚDÍ SE STRUČNOU ODPOVĚDÍ NESTRUK- TUROVANÉ SE STRUKTUROU PRODUKČNÍ vymezenou danou konvencí POLOŽKY DICHOTOMICKÉ DOPLŇOVACÍ UZAVŘENÉ S VÝBĚREM ODPOVĚDÍ PŘIŘAZOVACÍ USPOŘÁDACÍ Jedna správná odpověď Jedna nejpřesnější odpověď Jedna nesprávná odpověď Vícenásobná odpověď Situační

Konstrukce testu - sestavení 1. varianty Typy položek testu: OTEVŘENÉ Se širokou odpovědí strukturované (vymezení struktury, resp. daného postupu ve škole, resp. konvence) nestrukturované Se stručnou odpovědí produkční doplňovací

Příklady položek otevřených Široká nestrukturovaná: Navrhněte a popište pokus, kterým byste spolužáky přesvědčili, že klíč je vyrobený z magneticky tvrdé oceli. Nakreslete i obrázek k postupu. Uveďte hlavní části transformátoru, nakreslete jeho značku a vysvětlete jeho funkci

Příklady položek Široká strukturovaná: Popište konstrukci výslednice dvou sil Proveďte rozbor pružného rázu 2 koulí Navrhněte možnosti spojování zdrojů stejnosměrného napětí (kondenzátorů, rezistorů)

Příklady položek otevřených Se stručnou odpovědí- produkční: V jakém skupenství je při teplotě 300 o C olovo?. Napište znění Hookova zákona Výsledný odpor dvou paralelně zapojených rezistorů o stejném odporu R je.. Na žárovce je údaj 24 V/0,4 A. Jak velký elektrický odpor má vlákno žárovky?..

Otevřené položky se stručnou odpovědí Se stručnou odpovědí - doplňovací: a) Při varu se kapalina vypařuje i.... Teplota varu kapaliny závisí na. a na.. b) Značka znamená c) Doplňte chybějící údaje v tabulce veličina kapacita indukčnost jednotka weber tesla

Doporučení pro tvorbu produkčních a doplňovacích položek Nejlépe odpovědět 1 údajem Jasná a jednoznačná formulace Je-li mnoho možností, pak raději úlohu vynechat Dostatek místa pro doplňování Přednost produkčních před doplňovacími Vynechávat jen nejdůležitější údaje Doplňovaný údaj nejlépe na konec věty Stejné místo pro doplňování

Výhody a nevýhody otevřených položek Výhody: - produktivní, kreativní činnost žáka; - žák nucen požívat terminologii; vlastní vyjadřování, nenapovídá se tolik; - dobře se pozná, čemu žák rozuměl, jak byla položka časově i konstrukčně náročná.

Pokrač. Nevýhody: - možná chybná interpretace textu (nutné proto jasné a jednoznačné zadání); - problém objektivního hodnocení; - žáci komunikačně slabší v nevýhodě; - náročnost vzorového řešení pro posuzovatele; proto nutná tvorba tzv. kódovacího klíče

Kódovací klíč Klíč k hodnocení otevřených úloh. Obsahuje: charakteristiku a příklad správné odpovědi charakteristiku a příklady odlišně formulovaných odpovědí (zcela správných) charakteristiku a příklady částečně správných odpovědí charakteristiku a příklady nesprávných odpovědí (typické chyby)

Položky uzavřené Položky s výběrem odpovědí (položky s vícečlennou či vícenásobnou odpovědí, polynomické úlohy) Kmen úlohy a nabídnuté odpovědi Různé typy nabídnutých odpovědí (správné i nesprávné) Nesprávné odpovědi distraktory (distract = odvrátit pozornost, zmást)

Položky uzavřené - příklady 1. Dichotomické Při tání uvažované těleso teplo: přijímá vydává Kapacita vodiče C je definována vztahem C Q C Q

Problém velké pp uhodnutí Korekce na hádání s 0 s n n n y 1 s 0...opravené skóre s n...neopravené skóre n n...počet nesprávných odpovědí žáka y počet nabízených odpovědí

Příklad Z 25 dichotomických položek testu žák XY uvedl 19 správných odpovědí, 3 nesprávné a na 3 položky vůbec neodpověděl. Určete s 0. Testovaný musí být na korekci na hádání upozorněn!

2. Uzavřená položka právě jedna správná odpověď Stavová změna ideálního plynu konstantní hmotnosti proběhne tak, že jeho tlak vzroste na dvojnásobek původní hodnoty a objem klesne o 40 % původní hodnoty. Jak se při tomto ději změní termodynamická teplota plynu? p1v1 2 p1 0, 6V 1 A) vzroste o 80 % T1 T2 B) klesne o 20 % T2 1, 2 C) vzroste o 20 % T1 D) klesne o 40 % p1v1 2 p1 0, 4V1 T 1 T 2

3. Uzavřená položka jedna nejpřesnější odpověď Které z následujících tvrzení nejlépe odpovídá na otázku Co platí o kapacitanci obvodu střídavého proudu? a) Kapacitance závisí na kapacitě kondenzátoru. b) Kapacitance je nepřímo úměrná kapacitě kondenzátoru. c) Kapacitance je přímo úměrná frekvenci střídavého proudu. d) Kapacitance se s rostoucí kapacitou zvětšuje.

Pokrač. - příklad 2 Jedna nejpřesnější odpověď Na čem závisí hydrostatický tlak v kapalině? a) na hloubce b) na hloubce a druhu kapaliny c) na tlaku nad kapalinou a hloubce d) na druhu kapaliny

4. Jedna nesprávná odpověď Která z následujících jednotek není základní jednotkou SI? a) ampér b) newton c) metr d) kilogram

5. Položka s vícenásobnou odpovědí (výběr více správných odpovědí) Příklad 1. Vypařování kapaliny je jev, a) kdy přechází látka z kapalného do plynného skupenství b) ke kterému dochází při libovolné teplotě c) při kterém platí, že U páry > U kapaliny d) při kterém roste teplota kapaliny

Více správných odpovědí - pokr. Příklad 2: Pohyb rovnoměrně zrychlený přímočarý je 1. pohyb s konstantním zrychlením; 2. pohyb s konstantní rychlostí; 3. pohyb způsobený konstantní silou; 4. pohyb, při které dráha roste s druhou mocninou času; 5. pohyb, při kterém rychlost roste s druhou mocninou času.

Položky uzavřené vícenásobná odpověď Příklad 3: Harmonicky proměnná veličina y se dá vyjádřit za různých počátečních podmínek vztahy: 1. y y sint m 2. y y tgt 3. y 4. y 5. y m y y m m m sin( t ) cos( t ) y sint 6. žádná odpověd nevyhovuje 0 0

Položka s vícenásobnou odpovědí Příklad 4. Podtrhněte ty předměty, které nepřitahuje magnet? Ocelový hřebík, měděný drát, niklový nýt, zápalka, papírová kulička, skoba, ocelová jehla na šití oděvů, tužka, guma, hliníková součástka

6. Položka uzavřená s neurčitou odpovědí Jakou hodnotu ukazuje ampérmetr v elektrickém obvodu na obrázku: R 1 = 10 R 2 = 10 R i = 2 21 V A a) 4,2 A b) 1 A c) 1,8 A d) správná hodnota není uvedena

7. Položky uzavřené - přiřazovací K jednotkám veličin v levém sloupci přiřaďte správně z pravého sloupce veličiny, které k nim patří: m/s teplo A síla J rychlost výkon práce

Přiřazovací položka - další příklad K značkám pasivních součástek v levém sloupci správně přiřaďte jejich názvy z pravého sloupce! ( F ) ( C ) ( D ) ( A ) A potenciometr s pohyblivým kontaktem B bočník C rezistor D rezistor topný E rezistor s pohyblivým kontaktem F nastavitelný rezistor G rezistor uhlíkového sloupce

8. Položky uzavřené - uspořádací Seřaďte následující látky podle jejich rostoucí hustoty (20 o C, norm. tlak). Seřazení proveďte připsáním pořadových čísel 1 až 6 tak, aby látka s nejmenší hustotou měla číslo 1. voda., ocel., papír., vzduch., ethanol., vodík.

III. Etapa - ověřování DT Ověřování - posouzení kompetentními osobami - zpracování jejich připomínek - grafická úprava pilotní formy - pilotáž (kvalita testu, chyby a nepřesnosti, obtížnost, citlivost, vhodnost distraktorů)

Zásady pro navrhování položek Položky volíme navzájem nezávislé Formulace nesmí obsahovat nápovědu správné odpovědi (nezamýšlená nápověda) Nepoužíváme chytáky (neměříme-li postřeh, vtip, ) Začínáme jednoduchým (binárním) skórováním Navrhujeme o něco více položek, než budeme potřebovat Velkou pozornost věnujeme grafické úpravě

IV. Analýza výsledků DT Obsahuje: Počet žáků, kterým byla položka předložena rozsah souboru n Počet žáků, kteří se k řešení položky nedostali Počet žáků, kteří dali správnou odpověď Počet žáků, kteří nedali správnou odpověď, ale položku řešili Volbu jednotlivých distraktorů Obtížnost položek Citlivost položek

Analýza výsledků DT a) Obtížnost položek testu Q i n n n, i 100 % n n,i.. počet žáků s nesprávnou odpovědí pro i-tou položku Velmi obtížné položky Q i > 80 % Velmi snadné položky Q i < 20 % Index obtížnosti P i = 100 % - Q i

Položková analýza tabulka hodnot Zadán test o 12 položkách, rozsah souboru (počet respondentů, probandů) n =138, binární hodnocení i 1 2 3 4 5 6 7 8 9 10 11 12 n i 132 124 112 103 81 77 69 58 48 33 28 4 Q i % 4 10 19 25 41 44 50 58 65 76 80 97 u (1) (1) (1) (2) (3) (3) (3) (3) (4) (4) (4) (5) 1 1 1 1 2 2 2 2 3 3 3 3 velmi snadná, snadná, stř. obtížná (průměrná), obtížná, velmi obtížná

Koeficient obtížnosti 3 24 71 6 / 6 / / 1) /( 6 1 12 7 1 max min max max i i m s i i i m i i Q Q k s Q m i Q Q Q k

Nebinární hodnocení položek V případě, že hodnocení jedné položky může nabývat hodnot b i = 2, 3, 4, b max, pak hodnota obtížnosti je Q * i 100 % b b i max. 100 % kde b i je aritmetický průměr bodových hodnocení všech žáků v dané položce

Analýza výsledků - pokr. b) Citlivost testových položek Koeficient ULI (Upper-Lower Index) d i n L, i n 0,5n H, i Pro Q i od 30 % do 70 % musí být d i alespoň 0,25 Pro Q i z intervalu (20 %, 30 %) a ( 70 %, 80 %) alespoň 0,15

Příklad (308 žáků, 1/3 L, 1/3 H) n L n H Q i d i 1 90 46 33 0,43 2 97 20 40 0,75 3 100 13 45 0,85 4 86 55 31 0,30 5 86 30 41 0,55 n L n H Q i d i 8 67 12 62 0,54 9 67 16 59 0,50 10 64 15 65 0,48 11 80 35 49 0,44 12 82 41 39 0,40 6 81 27 48 0,53 7 82 28 47 0,53 Nutný rozbor položek 4 a 12, ale hodnoty d i dostačující

prům. úspěšnost v % Citlivost - graficky Graf A 100 80 60 40 20 0 1 2 3 4 5 Skupiny testovaných žáků

prům. úspěšnost v % Citlivost - graficky Graf B 100 80 60 40 20 0 1 2 3 4 5 Skupiny testovaných žáků

prům. úspěšnost v % Citlivost - graficky Graf C 100 80 60 40 20 0 1 2 3 4 5 Skupiny testovaných žáků

Vhodnost úloh z grafu d i (P i ) - příklad d i d i..citlivost, P i index obtížnosti i-té položky obtížná průměrná Oblast vhodných úloh Oblast podezřelých úloh Velmi obtížná P i Snadné úlohy na úvod testu Oblast nevhodných úloh (citlivost je záporná)

Analýza nenormovaných odpovědí Rozbor vynechaných odpovědí: (na otevřenou položku neodpovědělo více než 30 % až 40 % žáků, na uzavřenou více než 20 % žáků) Rozbor nesprávných odpovědí: - jsou všechny distraktory žáky přijatelné? - rozdělení chyb na: základní (skutečná neznalost, neporozumění, nezvládnutí učiva) vedlejší (nepozornost, numerická chyba, nepřesnost, )

V. Standardizace DT Významná etapa tvorby DT Vytvoření testového standardu - testové normy tak, aby umožnil zařadit žáka podle dosaženého počtu bodů do určité stupnice (škály) U standardizovaných testů se výkon jednotlivých žáků porovnává s reprezentativním vzorkem žáků - postup je standardizace testu Standardizovat výsledky určitého testu znamená vyjádřit je vzhledem k výsledkům standardizačního vzorku žáků Jednodušší a složitější metody standardizace

V. Tvorba testové normy - jednoduché metody (percentily) Prosté pořadí žáků P (podle hrubého skóre) Percentilové pořadí PP PP ni 2 100 % - n k je kumulativní četnost (u daného k- tého výsledku v testu), - n i četnost daného výsledku, - n počet testovaných žáků. PP udává, kolik % žáků ve vzorku dosáhlo horšího výkonu (tedy lze posoudit relativní postavení žáka v dané populaci žáka) k n k n

Příklad percentilové normy - 310 žáků body 0 1 2 3 4 5 6 7 8 9 10 11 12 n i 1 5 13 27 36 38 40 39 36 28 22 16 9 n k 1 6 19 46 82 120 160 199 235 263 285 301 310 PP % 0 1 4 10 21 33 45 58 69 80 88 95 99 39 199 PP 2 7 100 % 58 % 310 58 % žáků má horší výsledek než 7 bodů

Příklad klasifikace využitím PP body PP % 0 1 2 3 4 5 6 7 8 9 10 11 12 0 1 4 10 21 33 45 58 69 80 88 95 99 Z 5 4 3 2 1 Použito symetrického rozdělení 7 %... 1 24 % 2 38 %.. 3 24 %...4 7 %...5

Percentilové body PB PB n P n 1 100 % U každého žáka vypočítáme, kolik % ostatních žáků v žebříčku pořadí dosáhlo nižšího hrubého skóre HS Toto číslo je percentilem (perc. bodem)

Příklad - pořadí podle HS a PB Ž A B,C D E F G H I J K L M O,P HS 20 18 15 14 12 11 10 9 8 6 5 3 2 P 1. 2.-3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. PB % 100 86 79 71 64 57 50 43 36 29 21 14 0 14.- 15. 15 10 PB 100 % 10 14 36 % 36 % ostatních žáků dosáhlo nižšího hrubého skóre než 8 bodů (z 20 možných bodů)

Percentilové body PB Chceme zjistit, kolik procent žáků ze všech žáků v žebříčku pořadí dosáhlo nižšího skóre Výpočet: P PB 1 100 % n

Úloha Žák XY býval v matematice pravidelně mezi prvními pěti žáky ve třídě s 25 žáky. Při zkoušce na VŠ obsadil z 500 uchazečů 108. místo. Byl to úspěch nebo neúspěch? 5 PB ( vetřídě ) 1. 100% 80% 25 Ve třídě bylo 80 % horších žáků PB ( u 108 zkoušky) 1. 100 % 78 500 U přijímací zkoušky bylo 78 % horších Podán přibližně stejný výkon, dokonce na VŠ lepší (hlásili se lepší žáci) %

Percentilové body PB Chceme zjistit, kolik procent žáků z daného počtu žáků dosáhlo daného a horšího výkonu Výpočet: n P 1 PB 100 % n

Procento správných odpovědí (PERCENT CORRECT, PROCENTO ÚSPĚŠNOSTI) ( PC) j x x j 100 % max x j - bodový zisk (hrubé skóre) j-tého žáka x max - maximální možný počet získaných bodů

Složitější metody standardizace testu Vycházíme z předpokladu normálního rozdělení četností výsledků - dosažené výkony u dostatečně velké skupiny odpovídají Gaussově křivce Tento předpoklad se ověřuje tzv. testem dobré shody 2 (chí-kvadrát)

Četnos t v % Gaussova křivka 40 30 20 10 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Počet bodů

Základní pojmy normál. rozdělení Východiskem uvažovaného postupu je určování vzdáleností jednotlivého výsledku od aritmetického průměru bodového zisku. kde n je celkový počet testovaných žáků, x i jednotlivé dosažené body v testu, n i počet žáků, kteří dosáhli výsledku xi bodů, i = 1,... n. x 1 n i n i x i

Směrodatná odchylka s (variační šíře), rozptyl s 2 s x s x s x s - x s x s x s x s - x s x s x s x s - x s x s - x x x n n s i i i 4, 3 a 3, 4 v 0,13% 3, 2 a 2, 3 v % 2,1 2, a, 2 13,6% v, v intervalu % 68 1 1 2 2

Školní klasifikace podle výsledků testu Intuitivní přístup učitele Klasifikace s využitím procenta správných odpovědí (arbitrážní známka) Klasifikace na základě percentilového pořadí (arbitrážní známka) Klasifikace na základě normálního rozdělení (statistická známka)

Využití PC ( PC ) j x x j max 100% Průměrná úspěšnost PC x 100% x max třídy

Klasifikace podle % správ. odpovědí Procento správných odpovědí PC Klasifikační stupeň Klasifikace běžná Klasifikace přísná Klasifikace velmi přísná 91-100 96-100 95-100 1 81-90 88-95 90-94 2 71-80 82-87 85-89 3 61-70 70-81 80-84 4 0-60 0-69 0-79 5

Úprava klasifikace podle PC Pro běžnou klasifikaci do 60 % známka 5 Zbývajících 40 % se rozdělí na 4 intervaly stejné délky d A = 10 % Modifikace např. intervalem d s 2 100 % - 5 PC Nedostatečná známka do hodnoty (100 % - 4d s )

Příklad: 20 žáků, 10 položek A B C D E F G H I J K L M N O P R S T U x j 3 4 5 5 6 6 7 7 7 7 7 8 8 8 8 9 9 9 10 10 n i 1 1 2 2 2 2 5 5 5 5 5 4 4 4 4 3 3 3 2 2 PC 30 40 50 50 60 60 70 70 70 70 70 80 80 80 80 90 90 90 100 100 Kl. 1 Kl. 2 5 5 5 5 5 5 4 4 4 4 4 3 3 3 3 2 2 2 1 1 5 5 5 5 4 4 3 3 3 3 3 2 2 2 2 1 1 1 1 1

Arbitrážní známka z percentilového pořadí využitím normálního rozdělení x 0 1 2 3 4 5 6 7 8 9 10 11 12 PP 0 1 4 10 21 33 45 58 69 80 88 95 99 Zn. 5 4 3 2 1 Použito symetrického rozdělení 7 %... 1 24 % 2 38 %.. 3 24 %...4 7 %...5

Klasifikace s využitím normálního rozdělení Nejvíce žáků klasifikováno známkou 3 Poněkud méně známkou 2 a známkou 4 Nejméně je žáků s hodnocením 1 a 5 Postup: Volba procentového rozdělení pro klasifikační stupnice (když četnost HS podléhá normálnímu rozložení) - zpravidla symetrické, např. 15 %, 20 %, 30 %, 20 % 15 % 1 2 3 4 5

Pokrač. postupu - kvantily Přiřazení procentových ekvivalentů p k procentovému rozdělení, tedy p = 0 %, 15 %, 35 %, 65 %, 85 %, 100 % Vložen jediný subjektivní moment Procentovým ekvivalentům odpovídají konkrétní počty bodů skóre - kvantily x p jak určit obecně? x o x 15 x 35 x x 65 x 85 x 100

f Gaussova křivka její posunutí u p 0 x p x x, u

Transformace Gaussovy křivky f ( x ) exp 2 s 1 2 x 2s x 2 x x u s

Normální rozložení g( u ) 1 u exp s 2 2 2 ( u ) p ( -u ) 1 p p p

Normované kvantily Vyhledání normovaných kvantilů u p ve statistických tabulkách u 0,15 1, 04 u 0,35 0, 39 u 0,65 0, 39 u 0,85 1, 04

Statistická tabulka hodnot up

Transformační rovnice x x u s p p

Výpočet skóre - počet bodů x p x x x x 0, 85 0, 65 0, 35 0, 15 x x x x 1, 04s 0, 39s 0, 39s 1, 04s Zápis atd... x 0,85 znamená minimální počet bodů pro známku 1

Příklad: průměr 6,5; odchylka 2,8 Převod bodů na klasifikaci: X 0,85 = 6,5 + 1,04.2,8 9,4 X 0,65 = 6,5 + 0,39.2,8 7,6 X 0,35 = 6,5-0,39.2,8 5,4 X 0,15 = 6,5-1,04.2,8 3,6

Klasifikační tabulka- úprava Klasifikace Bodový interval výborně 1 9-12 chvalitebně 2 7-8 dobře 3 5-6 dostatečně 4 3-4 nedostatečně 5 0-2

Interpretace nestand. testu Nelze použít kvantilů normálního rozdělení Přitom učitelský test může dobře zhodnotit didaktickou situaci ve třídě, popř. ve škole Lze použít percentilové stupnice jednodušší než u percentilového pořadí PP

Postup pomocí percentilové hodnoty Určíme počet správných odpovědí - skóre žáka Stanovíme frekvence dosažených bodů - četnost žáků s daným skórem Vypočteme kumulativní frekvence n k (četnosti) - počet žáků, kteří dosáhli určitého počtu bodů a menšího počtu bodů Vypočteme percentilové hodnoty (n k /n).100 % - údaj, kolik % žáků dosáhlo určitého výkonu a výkonu slabšího; zaokrouhlujeme na celá čísla Zvolíme procentové ekvivalenty (skupiny) - např. 7 %, 24 %, 38 %, 24 % a 7 % K procentovým ekvivalentům přiřadíme procentové intervaly a jim odpovídající klasifikační stupnici Provedeme případné korekce v bodovém přiřazení

Příklad: 10 položek, 30 žáků, b.s. Výkon Četnost n k (n k /n).100% Známka Korekce 1 0 0 0 5 5 2 0 0 0 5 5 3 3 3 10 4 4 4 2 5 17 4 4 5 5 10 33 3 3 6 7 17 57 3 3 7 5 22 73 2 2 8 3 25 83 2 2 9 3 28 93 2 1 10 2 30 100 1 1

Výhody testování Zvýšení objektivity hodnocení Kontrola velkého počtu žáků i z rozsáhlejšího učiva Důkladnější a cílevědomé prověřování Stejné podmínky pro každého Zpětná vazba Vytváření baterie testů pro úplnější obraz o žákovi Ověření efektivity metod, zamýšlení nad vlastní prací

Nevýhody testování Nepromyšlené použití testů Nekritické přeceňování testů Opomíjení jiných způsobů zkoušení Chybí sociální moment (vztah U - Ž) Brzda ústního vyjadřování žáků Někdy přílišné zaměřování na detaily Přeceňování kvantity Jak na hodnotové cíle?