aneb pojednání před pojednáním. 1 /21 Didaktické testy při výuce konstrukčních předmětů Školitel: Prof. Ing.Křupka Ivan, Ph.D.
2 /21 OBSAH Úvod Vymezení řešené problematiky a předběžného cíle disertační práce Shrnutí současného stavu poznání Analýza, interpretace a zhodnocení poznatků získaných na základě rešerše Vymezení cíle disertační práce a návrh způsobu jejího řešení Současný stav disertační práce páce Závěr
3 /21 Úvod: Zpětná vazba je součástí výuky jakéhokoli předmětu. V předmětu Základy konstruování na VUT FS Brno je realizována několika způsoby. Součástí jak průběžné kontroly tak i semestrální zkoušky jsou testy s úlohami s výběrem odpovědi. Bylo a je snahou zjednodušit a usnadnit vyučujícím práci s výše y j j y j p ý uvedenými testy a v podstatě umožnit jejich používání během výuky.
4 /21 Důvody vedoucí k racionalizaci zkoušení Vymezení řešené problematiky a předběžného cíle disertační práce Vytvoření a edice kvalitních didaktických testů je velmi náročné. Prvotní snaha tedy směřovala k použití standardizovaného testu, tedy k nákupu již hotového programu. Provedený "průzkum" trhu však ukázal, že pokud se někdo pokusil vytvořit takovýto software, tak byl "ušitý" na míru konkrétnímu předmětu a pro nás nebyl použitelný.
5 /21 Předběžný cíl disertační práce: Z uvedeného vyplývá, že cílem disertační práce je navrhnout, odladit, vyzkoušet a zavést do praktické výuky vlastní pedagogický systém pro testování studentů. Pro vypracování programu byly stanoveny tyto parametry: -umožnění sestavení testů na základě daných pedagogických kritérií, - výrazné usnadnění prezentace testů, -umožnění zařazování zejména grafických úloh, -umožnění zařazování produkčních úlohy, -umožnění snadného vytváření různých variant sestavených testů, -možnost sdělovat správná á řešení š í testů, tů - podpora vyhodnocení a administraci testů pro potřeby učitele, - podpora zkvalitňování testových úloh.
6 /21 Shrnutí současného stavu poznání BYČKOVSKÝ, Petr.: Základy měření výsledků výuky. Tvorba didaktického testu. Praha: ČVUT - VÚIS, 1988. Tvorba a používání didaktických testů prodělaly u nás určitý vývoj. Počátky sahají do 50-tých let 20. století. Druhy didaktických testů
7 /21 Nejčastější způsoby zajištění zpětné vazby: Ústní zkouška. -Nedostatky: velká časová náročnost nedostatečně formulovaný cíl malá objektivita - Výhody: vzniká těžko zastupitelný osobní kontakt zkoušející může bezprostředně reagovat na nesprávné či předčasné odpovědi je komplexnější, neboť lze plynule přecházet v učivu posiluje u studentů schopnost přemýšlet o učivu v širších souvislostech. rozvijí vyjadřovací schopnosti studentů a kultivuje jejich projev Test s výběrem odpovědí Výhody: Objektivnost zkoušení, rychlost použití a vyhodnocování, vysoká validita Nevýhody: nerozvijí vyjadřovací schopnosti studentů nelze ověřovat vyšší stupně osvojení učiva
8 /21 Vlastnosti dobrého didaktického testu: - validita (adekvátnost, platnost) - reliabilita (přesnost, spolehlivost) - praktičnost (reálnost použití ve výuce)
9 /21 Tvorba didaktického testu Tvorbu testu lze rozdělit do tří částí: - plánování testu, - konstrukce testu, -ověřování testu.
10 /21 -plánování testu
11 /21 - konstrukce testu typy úloh Dále sem patří určení počtu úloh v testu, času na vypracování testu atd.
12 /21 Doporučení pro návrh úloh s výběrem odpovědí: 1. Úlohami s výběrem odpovědí se nezkouší, pokud možno, pouhé zapamatování konkrétních poznatků. 2. Ve formulaci úlohy se vyhýbat slovům nebo údajům, které by mohly sloužit jako nápověda. 3. Pokud se ve formulaci úlohy vyskytuje zápor, zvýraznit jej např. podtržením. 4. Soubor nabízených odpovědí k jedné úloze by měl být homogenní, tj. podobný obsahovým zaměřením i formou. 5. Distraktory se nesmějí navzájem překrývat nebo jinou formou vyjadřovat totéž. 6. Umístění správné odpovědi mezi distraktory se má volit zcela náhodně. 7. Navrhovat jen takové distraktory, u nichž je předpoklad, že budou využívány. 8. Při používání úloh s vícenásobnou volbou odpovědi a při používání neurčitých odpovědí na tuto skutečnost studenty upozornit. 9. Při formulaci úloh s výběrem odpovědí se dává přednost otázkám před neúplnými tvrzeními. 10. V úlohách s výběrem odpovědí se vyhýbat příliš dlouhým slovním formulacím.
13 /21 -Ověřování testů Relativně definitivní představu o vlastnostech testu se získá až po jeho ověření na vzorku studentů. Vytváří-li se test jen pro vlastní potřebu, stačí ověření u těch studentů, kteréučitel vyučuje. Jinak důkladnost ověření závisí na počtu studentů, kteří test zpracují.
14 /21 Analýza vlastností testových úloh -Obtížnost testových úloh Q = 100 (n n / n) - hodnota obtížnosti P = 100 (n s / n) - index obtížnosti -Citlivost testových úloh d u = (N L N H ) / 0,5N - koeficient citlivosti Vysokou citlivost má taková úloha, kterou úspěšně řeší žáci s lepšími vědomostmi, zatímco studenti slabší u ní selhávají. Citlivost tedy vyjadřuje, jak dalece daná úloha zvýhodňuje studenty mající lepší vědomosti před studenty s horšími vědomostmi. U koeficientu citlivosti se požaduje, aby v případě úloh s hodnotou obtížnosti 30-70 byla hodnota d aspoň 0,25 a u úloh s hodnotou obtížnosti 20-30 a 70-80 alespoň 0,15. -Analýza nenormovaných odpovědí Znamená rozbor odpovědí vynechaných a nesprávných
15 /21 Úprava vytvořeného didaktického testu Na základě předcházející analýzy se vyřadí nevhodné úlohy. Nevhodná testová úloha se vyznačuje následujícími vlastnostmi: - Úloha je příliš obtížná nebo příliš snadná (hodnota obtížnosti Q je buď větší než 80 nebo menší než 20). - Úloha málo rozlišuje mezi studenty s dobrými a špatnými vlastnostmi (např. koeficient citlivosti d je u středně obtížných úloh menší než 0,25 apod.). - V testové úloze je příliš mnoho vynechaných odpovědí (u otevřených úloh např. více než 30-40%, u uzavřených úloh více než 20%). -Počet vedlejších chyb v úloze převažuje nad počtem hlavních chyb (u úloh otevřených). - Studenti nevybírají ze všech nabídnutých distraktorů v úloze (u úloh s výběrem odpovědí).
16 /21 Klasifikace výsledků testu - intuitivní přístup ke klasifikaci - klasifikace na základě procenta správných odpovědí - klasifikace na základě normálního rozdělení četností
17 /21 ANALÝZA, INTERPRETACE A ZHODNOCENÍ ZÍSKANÝCH POZNATKŮ Pro vypracování kvalitního didaktického testu vyplývají kritéria, která musí být navrženým systémem realizovatelná: - plánování testů - konstrukce testů - prezentace testů -ověřování testů - korekce testů
18 /21 VYMEZENÍ CÍLE DISERTAČNÍ PRÁCE A NÁVRH ZPŮSOBU JEJÍHO ŘEŠENÍ Vymezení cíle disertační práce Cílem disertační práce je vypracovat a odladit a v praxi ověřit testovací p j yp p program použitelný zejména v konstrukčních předmětech.
19 /21 Návrh způsobu jeho řešení Vytvoření systému pro konstrukci didaktických testů jsem rozdělil do tří částí: -Formální části, t.j. návrhu struktury testovacího systému, vytvoření podmínek pro prezentování testů, navržení grafické úpravy stránek, umožnění následné analýzy úloh atd. -Obsahové části, t.j. sestavení databanky úloh, způsobu vytváření, archivování a administrace úloh - Softwarové části, t.j. nástroje pro vytvoření uživatelského rozhraní. Poznámka: Programování systému provedl Ing. Kozubík Roman PhD., ÚK VUT FSI Brno.
20 /22 SOUČASNÝ STAV ŘEŠENÍ DIZERTAČNÍ PRÁCE Vstup do zkoušecího systému - učitel
21 /22 SOUČASNÝ STAV ŘEŠENÍ DIZERTAČNÍ PRÁCE Vstup do zkoušecího systému - stuednt
22 /22 Cíle, tak jak byly stanoveny jsou splněny. Zkoušecí systém je používán ve všech předmětech ř vyučovaných na ÚK. Rovněž je používán na Stavební fakultě. Děkuji za pozornost