E testování h, sál B St eda, 24. listopadu 2010 Brno, hotel Voron ž

Transkript

1 E testování 16.00h, sál B St eda, 24. listopadu 2010 Brno, hotel Voron ž

2 Úvodem Problematika zkvalit ování kontroly p ípravy student v rámci výukového procesu s využitím moderních informa ních a komunika ních technologií je neustále probírána nejen mezi pedagogy, ale i mezi studenty. Také z tohoto d vodu jsme se rozhodli v pr b hu konference MEFANET 2010 uspo ádat workshop v novaný obecn problematice elektronického testování. Teorie, na které je celý proces postaven, je velmi kvalitn zpracována v eských i zahrani ních odborných publikacích a vzhledem k jejímu objemu není možné ani cílené probrat vše do detailu. Primární motivací je seznámení ú astník s obecnými principy evalua ního procesu a rozkrýt situaci z pohledu e testování na jednotlivých léka ských fakultách zapojených do sít MEFANET. Workshop Elektronické testování nabídne mimo praktické ukázky platforem pro ov ování znalostí nap í sítí MEFANET tkéú také úvoddo teoretickéhopozadí, ti které je pro p ípravu kvalitního evalua ního materiálu naprosto klí ové. Podrobn ji bude rozebrán samotný koncept návrhu testu, metodika vytvá ení r zných typ otázek i analýza testové agendy reálného kurzu. Zmín ny budou také rizikové oblasti a nej ast jší úskalí p i využívání elektronického testování asamoz ejm benefit pro všechny zainteresované strany (studenty, vyu ující, vzd lávací instituci, klinickou praxi apod.). V neposlední ad budou diskutovány otázky spojené se za azením test v rámci jednotlivých fází eduka ního procesu a na jejich základ odlišného výstupu i zp sob interpretace vyhodnocených dat. Akcentovány budou požadavky na rozdílný ú el využití elektronického testování (hodnocení znalostí, schopnosti kritickéhokéh myšlení, samostatné práce p i Problem Based Learningu atd.) a sledování vývoje studenta i zm n u ebního obsahu. Sou ástí workshopu bude praktická ukázka vytvá ení testu v LMS Moodle, kde se ú astnící seznámí s nastavením obecných vlastností testu, jednotlivých typ testových otázek a možností Moodle v analýze test. Za organiza ní tým Mgr. Martin Komenda MUDr. Jitka Feberová PhDr. Andrea Pokorná, Ph.D.

3 asový plán workshopu 16,00 16,10 Komenda, M. Úvod do elektronického testování Program m workshopu E E testing 16, ,35 17,00 17,00 17,30 Pokorná, A., Komenda,M. Koncept a metodika p i návrhu testových otázek Feberová, J. Tvorba test v prost edí Moodle Zástupci fakult nap í sítí MEFANET Zkušenosti s praktickým použitím Diskuse Návšt vníci si mohou v celém pr b hu konference spustit dva ukázkové testy demonstrující možnosti elektronického zkoušení a využít diskusního fóra v novaného problematice testové agendy. Veškeré odkazy jsou dostupné na adrese testovani testovani

4 Teoretická ást workshopu Úvod do e testování Komenda, M. Úvodní slovo P edstavení programu workshopu P edstavení ukázkových test k t t testovani t t 5 min Motivace Využitelnost v r zných fázích vzd lávacího procesu 5 min Pozitiva a negativa e testování Koncept a metodika p i návrhu testových otázek Pokorná, A., Komenda, M. Metodika p i tvorb testových otázek Testovací agenda 25 min Analýza testových položek

5 Praktická ást workshopu Tvorba test v prost edí Moodle Feberová, J. Obecná nastavení testu Typy testových úloh v Moodle Cvi ná tvorba testu v Moodle Položková analýza test v Moodle 25 min Celá tato sekce bude vedena prakticky na po íta ích p Zkušenosti s praktickým použitím Zástupci fakult nap í sítí MEFANET LF UP J. Potomková, V. Mihál LFP UK T. Junek LF UPJŠ J. Majerník 2. LF UK J. Feberová LF MU M. Komenda 25 min Diskuse 5min

6 Elektronické testování Martin Komenda, Jitka Feberová, Andrea Pokorná

7 V průběhu workshopu kh Různá prostředí pro testovou agendu Moodle Informační systém MU Diskusní fórum testovani

8 Ukázkový k test v Moodle

9 Ukázkový k test v IS MU

10 Diskusní fórum

11 test z latinského testum didaktický test = nástroj systematického zjišťování výsledků výuky

12 Motivace Proč elektronické testy používat Efektivní klasifikace vědomostí Na základě výsledků lze odstranit zjištěné nedostatky ve výuce i v samotné koncepci testu

13 Využitelnost vrůzných fázích vzdělávacího procesu Ověření vstupních osvojených znalostí Prověření znalostí před samotnou ústní zkouškou selekce studentů Průběžné opakování znalostí studenta v průběhu výukového cyklu Ověření výstupních znalostí po absolvování stážích nebo kurzu

14 Pozitiva i Úspora času Rychlost a přehlednost výsledků Zajištění objektivity Možnost zkoumat širší oblast látky Náhodné generování testů (dostatečná základna, kriteria) g (, )

15 Pozitiva i Eliminace oblíbenosti/neoblíbenosti Evidence statistik odpovědí refreshment Lze odlišit studenty podle výkonu Poskytují zpětnou vazbupro pedagoga Sb Sebetestování áí

16 Negativa Počítač nikdy nenahradí osobní kontakt Obtížnost vytvořit opravdu dobrý test Nároky na technické vybavení Negativní pohlížení na moderní IT nedůvěra

17 Negativa Počítačová gramotnost uživatelů Ne každému studentovi elektronické testy vyhovují Nemožnost testování některých dovedností Poruchy učení (dysgrafie, dyslexie, atd.)

18 Didaktické testy jsou v pedagogické práci významnou diagnostickou metodou, ale nemají být jedinou metodou používanou pro stanovení klasifikace. k Prof. PhDr. Rudolf Kohoutek, CSc. Hlavním důvodem, proč se učitel vyhýbá objektivním testům, je ovšem nezvyk, vliv tradice, v níž byl vzděláván, a požadavek na osvojenísinových si nových metod a postupů. Prof. RNDr. Stanislav Komenda, DrSc.

19 Koncept a metodika při tvorbě testových otázek Andrea Pokorná

20 Koncept a metodika při tvorbě testových ýh otázek Elektronické testování otázky úlohy

21 Metodika při tvorbě testu Plánování Konstrukce Ověření

22 Metodika při tvorbě testových ýhúl úloh Algoritmus procesu přípravy testování klíčové oblasti pedagogická diagnostika studijní skupiny druh a perioda výukového procesu účel testu cíle testování formát a styl testových úloh využití výsledků testování vyvození závěrů z testování reakce sdělovacího kanálu

23 Typy didaktických testů dle účelu (1) Dle měřené charakteristiky výkonu rychlost X výkon Úroveň přípravy p testu a možnost znovuužití standardizované, kvazistandardizované, nestandardizované Druh htestované t činnosti kognitivní, psychomotorické, postojové afektivní Perioda učebního procesu časové zařazení vstupní pre test, průběžné, výstupní re test

24 Typy didaktických testů dle účelu (2) Dle míry specifičnosti učení výsledky výuky X test studijních předpokladů Výklad a interpretace výkonu rozlišující (relativní výkon) X ověřující (absolutní výkon) Dle zaměření tematického rozsahu polytematické X monotematické Dle míry objektivity skórování objektivně X kvaziobjektivně X subjektivně skórovatelné

25 Účel testování í(1) Přínos pro učitele Přínos pro studenta Přínos pro vzdělávací ě instituci

26 Účel testování í(2) zjišťování efektivity učebního procesu hodnocení práce Ks (učitele) a Kz (t (studenta) t) dle Bloomovy taxonomie schopnost samostatného a kritického myšlení motivace studentů pro další studium (znám X neznám) hodnoceníoborového oborového zaměřenístudenta výchovný účel podklady pro klasifikaci studenta

27 Zásady přípravy testu t zhodnotit sdělovací kanál (Ks) zdroje informací OBSAHOVÉ INFORMACE učitel, kniha, externí studijní zdroje INSTRUKCE získávání doplňujících informací, zdrojů, poznatků, pokyny k testu zhodnotit zpětnovazební kanál (Kz) pedagogická diagnostika zhodnotit další determinanty učebního procesu

28 Nedostatky/negativa elektronického kéh testování Chudá myšlenková struktura zaměřenípouze na poznatkyaa ověřeníúrovně osvojených znalostí X souvislosti, schopnost aplikace, náročné myšlenkové operace Nedostatečně formulovaný cíl testování Nestandardizované testování (testy per oko ) Nedodržení vztahů: účel efekt reakce využití Neosobní přístup (může být i pozitivem)

29 Nejčastější chyby v přípravě ě testových ýhúl úloh Nesouvislost inkoherence testových úloh + nedostatečná integrita Nejasná/sugestivní formulace kmene úlohy Nesprávná návaznost úloh dle obtížnosti Odborné nedostatky Pravopisné chyby Nedostatečná reprezentativnost zaměření testových úloh Distraktory překlepy, odborná terminologie aj. Nejasné stanovení požadavků na testování Nerespektování technických možností e prostředí

30 Nejasná sugestivní formulace kmene úloh Jednoduchý zápor v kmeni úlohy Dvojitý zápor v kmeni úlohy Chytáky pro pečlivé čtení Sugestivita návaznost správné odpovědi na kmen úlohy

31 Polynomické kéúl úlohy typ jedna správná odpověď typ jedna nejpřesnější odpověď typ jedna nesprávná odpověď typ s vícenásobnou odpovědí (evaluace vše nebo nic X procentuální hodnocení správnosti, pomocné body X trestné body)

32 Formulace možností odpovědí polynomické kéúl úlohy (1) Nedostatečný počet možností (min. 4) Absurdní možnosti odpovědí Velmi podobné možnosti odpovědí (distraktory) Často využívaná chyba chyba žádná z nabízených možností není správná

33 Formulace možností odpovědí polynomické kéúl úlohy (2) Využívání jako doplňovací úlohy sugestibilita /vhodnější otázky/ Zkoušení jednotlivých pojmů encyklopedických znalostí Nehomogenní nabízené možnosti Příliš dlouhé nabízené možnosti

34 Ukázka k polynomická káúl úloha 1 Mezi pomůcky potřebné k přípravě desinfekčních roztoků NEPATŘÍ: a) stetoskop b) dezinfekční roztok c) stříkačka ÚKOL: zhodnoťte kmen úlohy a distraktory

35 Ukázka k polynomická káúl úloha 2 Biliární kolika se projevuje: a) bolestí v pravém podžebří b) bolest v zádech c) v levém podžebří d) stenokardií bolestí na hrudi ÚKOL: zhodnoťte kmen úlohy a distraktory

36 Úlohy dichotomické pravda nepravda Nadbytečný úvod ke tvrzení Příliš dlouhá tvrzení Nejasná formulace tvrzení dvojí zápor Využívání definic případně jejich záporné formulace Využívání příslovce času nikdy, vždy, někdy, ojediněle, občas apod. NENÍ POTŘEBA ZNALOST míra náhody

37 Ukázka dichotomická i úloha (1) Sterilizace je soubor opatření, zabezpečujících usmrceníněkterých některých mikroorganismů. Odpověď: pravda nepravda ÚKOL: zhodnoťte kmenúlohy

38 Ukázka dichotomická i úloha (2) Rozhodněte, zda souhlasíte s následujícím tvrzením: Indikací k založení kolostomie je maligní onemocnění tlustého střeva a konečníku. Odpověď: pravda nepravda ÚKOL: zhodnoťte kmen úlohy

39 Ukázka dichotomická i úloha (3) Rozhodněte, zda souhlasíte s následující větou: K oplodnění vajíčka dochází nejčastěji ve vejcovodech. Odpověď: pravda nepravda ÚKOL: zhodnoťte kmen úlohy

40 Přiřazovací odpovědi Matching items Většinou bez významných pochybení u tvůrců V profesní přípravě ZP využívány zejména jako překladač Nepříliš vhodné přiřazování postupů, ů procesů a dějů (vhodnější uspořádací úlohy)

41 Ukázka k Přiřazovací úloha (1) Přiřaď ď danéhernie k jednotlivým charakteristikám tiká vnitřní j, jsou vzácné, tvoří se v místě chobotů v okolí apendixu anebo esovité kličky uskřinuté přirostlé zevní nereponibilní nelze je reponovat do dutiny břišní inkarcerované, patří k NPB vysunutí obsahu dutiny břišní navenek

42 Ukázka původně polynomická úloha vhodnější přiřazovací (2) Fáze menstruačního cyklu: a) ischemická, proliferační, sekreční, menstruační b) menstruační, proliferační, sekreční, ischemická c) proliferační, sekreční, ischemická, menstruační ÚKOL: zhodnoťte kmen úlohy

43 Ukázka k přiřazovací úloha (2a) Fáze menstruačního cyklu: 1 fáze proliferační 2 fáze sekreční 3 fáze ischemická 4 fáze menstruační

44 Úlohy s tvořenou odpovědí otevřené úlohy Krátká volná tvořená odpověď přílišstriktní pravidlapro pro produkční typ úlohy Dlouhá tvořená odpověď problematické a subjektivní hodnocení + peer evaluace + využití v PBL, systematičtějším tičtější testování

45 Ukázka otevřená úloha krátká tvořená Dvoustupňová desinfekce je určena výhradně pro... Odpověď: flexibilní endoskopy (pozor i fibroskopy, endoskopy?!?!?) ÚKOL: zhodnoťte kmen úlohy, hodnocení úspěšnosti?!?!

46 Využití dalších multimediálních li íh prvků fotografie videozáznamy tradiční Medicínská Obrazová Data DICOM

47 Analýza testové agendy Martin Komenda

48 Analýza testové agendy Kurz Vnitřní lékařství na LF MU kždý každý semestr ve formě blokových stáží hodnocení formou e testu ihned po stáži prostředí LMS IS MU analýza pro období jaro 2010 (81 studentů)

49 Příprava testové agendy 1. Plánování testu 2. Sestavování testu 3. Ověřování testu 4. Použití testu

50 Ukázka k

51 Ukázka k

52 Koncept testu Polynomické úlohy s vícenásobnou odpovědí Unikátní test pro každého studenta Časový limit 30 minut 4 otázky z 5 různých tematických okruhů 1 bod = zcela správně zodpovězená otázka Bodová hranice = zisk 50 % bodů Databanka obsahuje celkem 232 otázek

53 Statistika ik výsledků ýldků (podzim jaro 2010) Celkem započteny výsledky 214 studentů

54 Základní statistická i charakteristika ik aritmetický průměr ů = 14,33 medián = 15 modus = 16

55 Obtížnost otázek motivace Identifikace snadných a obtížných úloh Možnost jejich upravení Identifikace nevyhovujících otázek Možnost úpravy nebo odstranění Možnostuspořádání úloh podle obtížnosti Při časovém limitu tvoří příznivější podmínky pro slabšížáky

56 Obtížnost otázek výpočet č Vyjádřena pomocí: Hodnoty obtížnosti Indexu obtížnosti Q 100 P 100 ns n n n n Platí vztah: Q 100 P

57 Obtížnost graf

58 Citlivost otázky ák rozlišovací nebo diskriminační hodnota Vyjadřuje, jak dalece daná úloha zvýhodňuje studenty, kteří mají lepší vědomosti, před studenty, kteří mají vědomosti horší. [8] Různé ů metody výpočtu č vždy hodnoty od < 1;+1> Pokud se blíží 0 otázka nerozlišuje mezi skupinami Pokud se blíží 1 úspěšnější studenti s horším celkovým výsledkem Pokud se blíží +1 úspěšnější studenti s lepším celkovým výsledkem

59 Citlivost otázky ák motivace Vyhodnocení kvality jednotlivých otázek i testu jako celku Analýza a korekce k otázek snevyhovující í citlivostí Případné vyřazení otázky u níž nebyla zjištěna příčina nevyhovující citlivosti a nemohla být opravena.

60 Citlivost otázky ák příčiny nízkých koeficientů Příliš komplikovaně formulové zadání úlohy Úlohy zkoušející formálně zvládnuté učivo Velmi obtížné úlohy svýběrem odpovědí, kdy i náhodně uhádnutá správná odpověď může velmi změnit výslednou hodnotu citlivosti. Nevhodně zvolené distraktory, které jsou atraktivní právě a pouze pro testované s vyšší úrovní vědomostí.

61 Citlivost otázky ák metody výpočtu č Rozdělení studentů na skupiny podle skóre Koeficient citlivosti ULI Tetrachorický koeficient citlivosti Bodově biseriální koeficient citlivosti

62 ULI upper lower index Jednoduchá a praktická metoda d 2 n L n n H n L n 0,5n H n L počet správnýchodpovědí z lepší skupiny n H počet správných odpovědí z horší skupiny n celkový počet odpovědí

63 ULI graf Obecně vhodný koeficient d >= 0,3

64 ULI graf Citlivost závisí na koeficientu i na obtížnosti

65 Tetrachorický kýk koeficient i Spolehlivější, ale pracnější metoda Pro každou otázku jenutné sestavit tzv. tetrachorickou tabulku Odpověď Skupina Správná (+) Nesprávná nebo žádná (-) Lepší (L) a b Horší (H) c d r tet cos 180 bc bc ad Převzato z [8]

66 Tetrachorický kýk koeficient i Pokud jsou skupiny děleny na poloviny, pro vyhovující otázky by měl být r tet >= 015 0,15

67 Závěry ě Prověřit velmi snadné a velmi obtížné otázky (66%) Analýza citlivosti Oba koeficienty citlivosti se shodují Je nutné důkladně d ě projít celou databanku (94%) Doplnit současnou databanku otázek o nové Stanovit přísnější bodovouhranici Změna koncepce hodnocení (záporné body) p ( p y)

68 Poděkování Týmu s techniků a e techniků na MU za spoluprácí při sběru dat

69 Literatura 1. Statistical analysis of multiple choice testing. Colbert, Alabama Writing Multiple Choice Items which Require Comprehension. Dewey. Dostupné na 1. Didaktické testy. Kohoutek Metody pedagogického výzkumu. Chráska Pedagogickýslovník slovník. Průcha, Walterová, Mareš SCIO: 5. Testy a testování ve škole. Hrabal, Lustigová, Valentová Hodnocení výsledků vzdělávání praktická část. Koníček a spol

70 Zkušenosti s praktickým použitím Zástupci fakult napříč sítí MEFANET

71 Praktické ké zkušenosti LF UP J. Potomková, V. Mihál LFP UK T. Junek LF UPJŠ J. Majerník 2. LF UK J. Fb Feberová LF MU M. Komenda

72 Podklady pro část: Tvorba testů v Moodle Přihlaste se na adrese Přihlašovacími údaji: testmoodle1@ Testmoodle1@ Kurz naleznete v kategorii Konference Mefanet 2010 Workshop Tvorba testů v Moodle Vstupte do kurzu s názvem testmoodle1@ MUDr. Jitka Feberová Ústav výpočetní techniky UK Ústav vědeckých informací 2.LF UK jitka.feberova@ruk.cuni.cz

73 Přidání testu Nastavení testu Obecná nastavení Název a popis testu Načasování

74 Zobrazení Nastavení testu Pokusy Známky

75 Nastavení testu Možnost prohlídky Zabezpečení

76 Nastavení testu Společná nastavení modulu Celková reakce Zobrazení základní obrazovky tvorby testu

77 Základní obrazovka tvorby testu Tvorba testových otázek Kategorie Typy testových úloh

78 Typy testových úloh Tvorba testových otázek

79 Typy testových úloh Tvorba testových otázek

80 Testové otázky Tvorba testových otázek Vytvořte přiřazovací úlohu s názvem Otázka 1 Text úlohy: Přiřaďte vždy správný typ databáze k danému zdroji. Jednotlivé možnosti: Medline Bibliografická databáze Web of Science Citační databáze Journal of Citation Report Databáze impakt faktorů Vytvořte úlohu s výběrem odpovědi s názvem Otázka 2 Text úlohy: Kdo vytváří bibliografickou databázi Medline? Jednotlivé možnosti: Národní lékařská knihovna USA (správně) Elsevier Willey Interscience Vytvořte úlohu s krátkou tvořenou odpovědí s názvem Otázka 3 Text úlohy: Ve kterém roce proběhlo oficiální ustavení Koordinační rady projektu MEFANET? Správná odpověď: 2007 Tvorba vlastního testu Úloha Přiřazování

81 Úloha Krátká tvořená odpověď Tvorba testových otázek Úloha s výběrem odpovědi Sestavení testu

82 Položková analýza