5.5. Tvorba testu

Transkript

1 5.5. Tvorba testu Jedna z klíčových činností systému pro řízení výuky umožňuje učiteli vytvářet a zadávat testy. Princip tvorby testů spočívá v tom, že se nejprve připraví sada několika úlohy, z nichž se pak sestavuje výsledný test. Krok 1 Z prohlížecího módu přejdeme do režimu úprav na stránce kurzu buď pomocí odkazu Zapnout režim úprav v bloku Správa nebo pomocí tlačítka se stejným textem vpravo nahoře (viz Obrázek 16). Krok 2 V prostředním sloupci kurzu se objeví u každého týdne nebo tématu kurzu rozbalovací nabídka s názvem Přidat činnost, kde vybereme položku Test (viz Obrázek 13). Krok 3 Než začne učitel plnit databanku otázek, musí vyplnit několik parametrů testu jako je název, popis, časové období, počet otázek na stránce, počet pokusů, známkování, jak a kdy budou k dispozici výsledky nebo správné odpovědi, nastavení vstupní hesla a skupin. Ve formulářovém poli Vyžaduje síťovou adresu lze omezit pomocí výčtu IP adres, z kterých počítačů je možné provést test a omezit tak testování na konkrétní učebnu. Pro omezení lze použít tři typy číselných zápisů: Úplná IP adresa - jako např. pro , které odpovídají jednomu počítači. Neúplná IP adresa - jako např , která odpovídá všem umístěním, jež začínají těmito čísly. Zápis CIDR - jako např /20, který umožňuje ještě podrobnější určení podsítí

2 Nastavení hodnocení úkolu. Časový limit pro vyplnění testu studentem. Nastavení náhodného míchání otázek v průběhu testu. Omezení počtu pokusů testu. Zobrazování výsledků a správných odpovědí. Omezení přístupu k testu pomocí hesla. Omezení testu na určité počítače podle IP adresy. Obrázek 30 Základní nastavení testu před zadáváním databanky otázek. Krok 4 Po základním nastavení parametrů testu se vyučující dostává do editačního módu, kde dále tvoří nové úlohy, třídí je do kategorií, může je dále importovat nebo exportovat a sestavovat vlastní test z banky úloh

3 Import a export úloh. Náhled na test pro kontrolu. Výběr kategorie s bankou úloh. Přehled úloh v testu. Úlohu je možné zařadit do testu, prohlédnout si, upravit, přesunout nebo smazat. Tvorba nových úloh. Náhodný výběr úloh z vybrané kategorie. Obrázek 31 V levé části obrazovky se nachází přehled navržených úloh v testu, v pravé části se pak vytváří a definují nové úlohy, které budou součástí banky úloh. Krok 5 Ačkoliv používání kategorií není nutnou podmínkou pro tvorbu úloh, je doporučeno při jejich návrhu je třídit právě do kategorií. Pro lepší představivost lze kategorie možno přirovnat k adresářům, do kterých se (podobně jako soubory), ukládají jednotlivé úlohy a adresáře tvoří hierarchickou strukturu. Kategorie je možné vytvářet na různých úrovních v rámci Moodlu: Úroveň týdnů/témat kategorie budou dostupné pouze na úrovni jednotlivého týdne nebo tématu. Úroveň kurzu - kategorie budou dostupné v rámci celého kurzu. Úroveň kategorie kurzů i jednotlivé kurzy lze hierarchicky členit do různých kategorií a podkategorií (např. Bakalářské studium > Obor > Předmět). Úlohy se potom zobrazují všem vyučujícím v rámci zvolené úrovně kategorie kurzu (např. všem z Bakalářského studia). Úroveň systému řízení výuky v této nejvyšší úrovni jsou otázky přístupné úplně všem v rámci jedné instalace systému Moodle

4 Obrázek 32 Pro lepší orientaci a organizaci práce s testy je dobré vytvořit kategorie pro jednotlivé úlohy. Krok 5 V pravé části nazvané Banka úloh pomocí rozbalovací nabídky Vytvořit novou úlohu následně tvoříme jednotlivé typy úloh. Úloha s výběrem odpovědí Tento typ patří mezi nejčastěji používané úlohy. Úloha s výběrem odpovědi se sestává ze tří povinných částí: 1. úloha ( kmen, tělo, základní část úlohy ) 2. správné řešení ( klíč úlohy ) 3. několik nesprávných alternativ (tzv. distraktory ) 4. a nepovinně, komentář objasňující odpověď Existují dva druhy úloh s výběrem odpovědí: V úlohách s jedinou správnou odpovědí vybírá student právě jednu odpověď. V těchto úlohách by známky za jednotlivé odpovědi měly mít kladnou (nebo nulovou) hodnotu. V úlohách s více správnými odpověďmi vybírá student jednu či více odpovědí. Postup: Každá odpověď může mít přiřazenu známku kladnou i zápornou zatržením VŠECH nabízených odpovědí tedy student nutně nezíská dobrou známku. Je-li součet známek za vybrané odpovědi záporný, získá student za danou úlohu známku 0 (nula). Buďte pozorní systém dovoluje vytvářet i úlohy, u kterých může být celkové skóre větší než 100 %. a) Vyplnit Název úlohy. b) Do pole Text úlohy se uvádí kmen testové úlohy, který může být tvořen textem a součástí může být tabulka nebo obrázek (který ale musí být uložený ve složce Soubory)

5 c) Standardní počet bodů za úlohu se udává číslem a hodnota může být kdykoliv změněna. d) Penalizační faktor určuje, jak velká část dosaženého skóre má být odečtena za každou nesprávnou odpověď. Tato možnost je relevantní, pouze pokud je v testu povolen adaptivní režim, a studenti tak mohou na danou otázku odpovídat opakovaně. Penalizační faktor by měl být číslo v intervalu 0 až 1. Pokud je hodnota penalizačního faktoru nastavena na 1, znamená to, že student musí odpovědět správně při prvním pokusu, aby za otázku vůbec dostal nějaké body. Pokud je hodnota penalizačního faktoru nastavena na 0, znamená to, že student může na danou otázku odpovědět, kolikrát chce, a přesto dostane plný počet bodů. e) Dále se volí, zda-li student bude vybírat jednu nebo více odpovědí a zda-li se odpovědi budou míchat a formát číslování možností. f) Jednotlivé varianty se zapisují do polí Volba 1, Volba 2 a tak dále. Prázdné volby nebudou použity. g) U jednotlivých variant se pro správnou odpověď nastavuje známka na 100%, hodnota žádný se nastavuje u nesprávné odpovědi. Ke každé variantě lze uvést slovní komentář

6 Kmen testové úlohy. Hodnocení testové úlohy. Výběr odpovědí testové úlohy. Správné řešení. Obrázek 33 Ukázka tvorby a výsledku úlohy s výběrem odpovědí

7 Krátká tvořená odpověď Při řešení této úlohy (může obsahovat i obrázek) napíše student jedno slovo nebo sousloví. Může existovat více správných odpovědí, a to s různým bodovým ohodnocením. U odpovědí lze nastavit, zda se budou rozlišovat malá a velká písmena. Znak hvězdičky (*) lze použít jako masku, která odpovídá jakékoliv řadě znaků. Pokud je např. použito slovo "vy*it", budou za správnou odpověď považována všechna slova nebo sousloví začínající na "vy" a končící na "it". Obrázek 34 Úloha krátká tvořená odpověď umožňuje definici různých variant odpovědí. Postup: a) Vyplnit Název úlohy. b) Do pole Text úlohy se uvádí kmen testové úlohy, který může být tvořen textem a součástí může být tabulka nebo obrázek (který ale musí být uložený ve složce Soubory). c) Standardní počet bodů za úlohu se udává číslem a hodnota může být kdykoliv změněna. d) Penalizační faktor určuje, jak velká část dosaženého skóre má být odečtena za každou nesprávnou odpověď. Tato možnost je relevantní, pouze pokud je v testu povolen adaptivní režim, a studenti tak mohou na danou otázku odpovídat opakovaně. Penalizační faktor by měl být číslo v intervalu 0 až 1. Pokud je hodnota penalizačního faktoru nastavena na 1, znamená to, že student musí odpovědět správně při prvním pokusu, aby za otázku vůbec dostal nějaké body. Pokud je

8 hodnota penalizačního faktoru nastavena na 0, znamená to, že student může na danou otázku odpovědět, kolikrát chce, a přesto dostane plný počet bodů. e) Dále se volí, zda-li bude nebo nebude rozlišovat velikost písmen v odpovědi studenta na testovou otázku. f) Jednotlivé varianty se zapisují do polí Odpověď 1, Odpověď 2 a tak dále. Prázdné odpovědi nebudou použity. g) U jednotlivých variant se pro správnou odpověď nastavuje známka na 100%, hodnota žádný se nastavuje u nesprávné odpovědi. Ke každé variantě lze uvést slovní komentář. Hodnocení testové úlohy. Kmen testové úlohy. Nastavení citlivosti na velká a malá písmena. Správná varianta odpovědi. Alternativní správná varianta odpovědi. Obrázek 35 Tvorba úlohy s krátkou tvořenou odpovědí

9 Pravda/Nepravda Při řešení této úlohy, která může obsahovat i obrázek, vybírá student ze dvou možností - pravda nebo nepravda. Přidání obrázku k otázce. Kmen testové úlohy. Určení správné odpovědi na otázku. Obrázek 36 Ukázka tvorby a výsledku úlohy Pravda/Nepravda. Postup: a) Vyplnit Název úlohy

10 b) Do pole Text úlohy se uvádí kmen testové úlohy, který může být tvořen textem a součástí může být tabulka nebo obrázek (který ale musí být uložený ve složce Soubory). c) V nabídce Obrázek k zobrazení se vybere obrázek, který musí být ale uložen mezi Soubory ještě před tvorbou úlohy. d) Standardní počet bodů za úlohu se udává číslem a hodnota může být kdykoliv změněna. e) Dále se volí, zda-li Správná odpověď bude pravda nebo nepravda. f) V případě potřeby je možné dopsat komentář do položky Reakce na odpověď 'Pravda' nebo 'Nepravda'. Doplňovací úloha (cloze) Jedná se o flexibilní typ úlohy, skládající se z úryvku textu (ve formátu Moodlu), do kterého jsou vloženy otázky s různými typy odpovědí (úloha s výběrem odpovědí, krátká tvořená odpověď, numerická úloha). Pro tvorbu těchto úloh momentálně není k dispozici grafické rozhraní, takže úlohy je nutné zadávat jako text s vloženými řídicími příkazy, a to buď pomocí vestavěného editoru, nebo z předem připravených souborů. Pro doplňovací úlohy lze použít následující syntaxi: {1:MULTICHOICE:Špatná odpověď#komentář k této špatné odpovědi~další špatná odpověď # Komentář k této další špatné odpovědi~=správná odpověď#komentář k této správné odpovědi~%50%odpověď, která padesátiprocentním bodovým ohodnocením#komentář k této odpovědi} {1:SHORTANSWER: Špatná odpověď#komentář k této špatné odpovědi~=správná odpověď#komentář ke správné odpovědi~%50%odpověď s padesátiprocentním bodovým ohodnocením#komentář k této odpovědi} {1:NUMERICAL:=číselná hodnota:odchylka# Komentář k této správné odpovědi ~%50% číselná hodnota:větší odchylka#odpověď s padesátiprocentním bodovým ohodnocením pro odpověď s větší odchylkou}

11 Obrázek 37 Pro zadání úlohy typu cloze je nutné použít speciální syntaxi. Obrázek 38 Doplňovací úloha (cloze) z pohledu zkoušeného. Numerická úloha Z pohledu studenta vypadá numerická úloha stejně jako úloha s krátkou tvořenou odpovědí. Rozdíl je v tom, že u numerické úlohy je stanovena přijatelná chyba. Učitel tak může definovat souvislý interval odpovědí, které jsou považovány za správné. Jestliže je například správná odpověď 40 s přijatelnou chybou 5, pak všechna čísla v intervalu 35 až 45 budou akceptována jako správná odpověď. Je nutné dbát pozor při zápisu desetinných míst. Jako oddělovač desetinných míst je nutné použít tečku, nikoliv čárku, a to jak při vytváření úloh, tak při odpovídání. Numerické úlohy mohou mít i nečíselné odpovědi, které nerozlišují velikost písmen. To může být užitečné, je-li odpovědí na numerickou úlohu slovo (podstatné nebo přídavné jméno, infinitiv slovesa), slovní spojení, zkratka apod. Obrázek 39 Numerická úloha je podobná úloze s krátkou tvořenou odpovědí, liší se možností stanovit přijatelnou chybu

12 Přiřazování U této úlohy je studentovi předloženo několik otázek a seznam možných odpovědí. Student musí přiřadit ke každé otázce správnou odpověď. Při výpočtu celkové známky za úlohu mají všechny otázky stejnou váhu. Obrázek 40 U přiřazovací úlohy student musí vybrat odpověď, která patří k zadané otázce. Přiřazování pro náhodně vybrané úlohy s krátkou tvořenou odpovědí Z pohledu studenta vypadá tato úloha jako "Přiřazování". Rozdíl je v tom, že jednotlivé otázky jsou náhodně vybrány ze souboru všech úloh s krátkou tvořenou odpovědí v aktuální kategorii. Úloha může obsahovat krátký úvodní text, po kterém je studentovi předloženo několik otázek a několik zamíchaných odpovědí. Pro každou otázku existuje právě jedna správná odpověď. Při výpočtu celkové známky za úlohu mají všechny otázky stejnou váhu. Otázky jsou náhodně vybrány ze souboru všech úloh s krátkou tvořenou odpovědí v aktuální kategorii. Studentovi tak může být při každém pokusu o splnění testu předložena jiná sada otázek a odpovědí. Je ale potřeba zajistit, aby daná kategorie obsahovala dostatek úloh s krátkou tvořenou odpovědí, které v daném testu nebyly doposud použity, jinak se studentovi zobrazí chybové hlášení. Čím více těchto úloh bude kategorie obsahovat, tím je pravděpodobnější, že studenti při každém pokusu obdrží zcela novou sadu otázek

13 Obrázek 41 Úloha přiřazování z krátkých odpovědí využívá otázky, které jsou náhodně vybrány ze souboru všech úloh s krátkou tvořenou odpovědí v aktuální kategorii. Náhodně vybraná úloha Při použití této úlohy v testu bude na její místo při každém studentově pokusu dosazena náhodně vybraná úloha ze zvolené kategorie. To znamená, že různým studentům bude při pokusu o splnění testu přidělen různý výběr úloh. Stejná úloha se v daném pokusu nikdy neobjeví dvakrát. Pokud budou v testu zařazeny jak náhodně vybrané úlohy, tak i pevně stanovené úlohy, budou náhodně vybrané úlohy zvoleny tak, aby se žádná z pevně stanovených úloh v testu neopakovala. Z tohoto důvodu je nutné, aby kategorie, ze které mají být náhodně vybrané úlohy vybírány, obsahovala dostatečný počet úloh, jinak se studentovi zobrazí chybové hlášení. Čím více úloh bude daná kategorie obsahovat, tím je pravděpodobnější, že studenti při každém pokusu obdrží různé úlohy. Bodové ohodnocení každé vybrané úlohy se přepočítá tak, aby byl zachován nejvyšší bodový zisk, který je stanoven při založení náhodně vybrané úlohy. Volba kategorie pro náhodně vybranou úlohu. Náhodně vybraná úloha. Přidání náhodně vybrané úlohy. Obrázek 42 Volbami v pravé části obrazovky se sestaví test z náhodně vybraných úloh Vypočítávaná úloha Vypočítávané úlohy umožňují vytvářet jednotlivé numerické úlohy s použitím masek, které se při vstupu do testu nahradí konkrétními hodnotami

14 Do položky "Vzorec správné odpovědi" se zapisuje vzorec s maskou (např. {a} + {b}), která se při vstupu do testu nahradí konkrétní hodnotou. Po odeslání testu se s použitím výrazu v poli "Vzorec správné odpovědi" vypočte správná odpověď (jako numerická hodnota). Masky, které je možné použít, se nastaví nebo vytvoří na další stránce pomocí nástroje pro úpravu vypočítávaných úloh. Mezi povolené operátory patří aritmetické: + (plus) - provede součet číselných hodnot operandů vlevo a vpravo a vrátí na dané místo vypočtenou hodnotu - (mínus) - provede rozdíl číselných hodnot operandů vlevo a vpravo a vrátí na dané místo vypočtenou hodnotu * (krát) - provede součin číselných hodnot operandů vlevo a vpravo a vrátí na dané místo vypočtenou hodnotu / (děleno) - provede podíl číselných hodnot operandů vlevo a vpravo a vrátí na dané místo vypočtenou hodnotu % (modulo) - provede zbytek po dělení číselných hodnot operandů vlevo a vpravo a vrátí na dané místo vypočtenou hodnotu Je možné použít některé matematické funkce, které se vyskytují i v jazyce PHP. K nim patří 24 funkcí s jedním argumentem: abs, acos, acosh, asin, asinh, atan, atanh, ceil, cos, cosh, deg2rad, exp, expm1, floor, log, log10, log1p, rad2deg, round, sin, sinh, sprt, tan, tanh a dvě funkce se dvěma argumenty: atan2, pow, a dále funkce min a max, které vyžadují dva nebo více argumentů. Lze použít rovněž funkci pi, která nevyžaduje žádný argument, ale správný zápis použití je pi(). Stejně tak u ostatních funkcí musí být argumenty uzavřeny v závorkách. Je možné použít např.: sin({a}) + cos({b}) * 2. Čísla se generují automaticky. Obrázek 43 - Vypočítávané úlohy umožňují vytvářet jednotlivé numerické úlohy s použitím masek, které se při vstupu do testu nahradí konkrétními hodnotami

15 Tvořená odpověď V odpověď na zadání (může obsahovat i obrázek) napíše student odpověď v rozsahu až několika odstavců. Při vytváření úlohy s tvořenou odpovědí můžete upravit tato tři pole: název úlohy, zadání a komentář (ten se zobrazuje v závislosti na nastavení testu). Úloha s tvořenou odpovědí nebude známkována, dokud ji neohodnotí učitel pomocí nástroje "Ruční známkování". V rámci ručního hodnocení úlohy může učitel k odpovědi (kompozici) studenta připojit vlastní komentář a přidělit bodové hodnocení. Odpověď v rozsahu několika odstavců. Obrázek 44 V úloze tvořená odpověď student odpovídá v rozsahu několika odstavců a známkování jako jediné není automatické, ale hodnoceno učitelem individuálně. Popis Popis není skutečná úloha. Slouží k zobrazení libovolného textu (případně obrázku) a nevyžaduje odpověď. Lze jej použít například k zobrazení společných informací pro skupinu úloh. Zobrazení informativního textu mezi úlohami. Obrázek 45 Popis slouží k zobrazení libovolného textu mezi úlohami

16 ÚKOLY Vytvořte test s následujícími parametry: Časový limit 5 minut. Student má pouze 1 pokus. Test bude zabezpečen heslem. Bude obsahovat 2 kategorie - Kategorie-1, Kategorie2. Připravte 2 úlohy s výběrem odpovědí, které budou zařazeny do Kategorie-1. Připravte 1x úlohu s krátkou tvořenou odpovědí a jednu úlohu dle vlastního výběru, kterou zařadíte do Kategorie-2. Sestavte test tak, aby se vybírala jedna otázka náhodně z Kategorie-1 a druhá otázka z Kategorie Vyhodnocení testu Automatizované vyhodnocení testu přináší nejvyšší úsporu času v porovnání s neelektronickým testováním. Výsledky se zobrazují v podobě tabulky a volbou v záhlaví je lze řadit dle různých parametrů konečného počtu bodů, začátku nebo ukončení testu, jména studenta nebo délky pokusu. Výsledky je taktéž možné exportovat do různých formátů (Excel, textový soubor nebo OpenOffice), které umožňují další zpracování dat. Řazení výsledků dle různých kritérií. Posouzení výkonnosti každé otázky. Export dat do dalších formátů. Obrázek 46 Automatizované vyhodnocení testu přináší maximální úsporu času

17 Položková analýza v podobě tabulky zpracovává data testu v podobě, která je vhodná pro analýzu a posouzení výkonnosti každé otázky. Statistické parametry použité při analýze jsou vypočítávány v souladu s klasickou teorií testů. Mezi sledované další parametry patří: Snadnost (% správně) Směrodatná odchylka (SO) Diskriminační index (DI) Diskriminační koeficient (DC) Obrázek 47 Položková analýza slouží jako zpětná vazba, jestli byl test navržen správně. SHRNUTÍ LITERATURA Moodle nabízí řadu možností tvorby studijních materiálů a činností. Každý tento modul obsahuje řadu dílčích nastavení a jejich vzájemná kombinace přináší široké spektrum možností, tak aby byly pokryty co nejvíce potřeby různých vyučujících bez ohledu na vyučovaný obor. Praktický průvodce podrobně krok po kroku a s pomocí podrobných obrazovek ze systému pro řízení výuky seznamuje zájemce, jaký postup zvolit při jejich tvorbě. Moodle a TeX [online]. Slezská univerzita v Opavě, 2005 [cit ]. Dostupné z WWW: < Schindler, R. a kol. Rukověť autora testových úloh [online]. Praha, 2006 [cit ]. ISBN Dostupné z WWW: <