Ing. Prokeš František 1 2 3 4 5 6 7 8 9 84
Ing. Prokeš František 1 2 3 4 5 6 7 8 9 84
Ing. Prokeš František Jedním ze způsobů výuky na vysoké škole je samostatná práce studentů (Studijní a zkušební řád VUT, čl.7, odst.4) Důvody vedoucí k racionalizaci zkoušení výsledky samostatné práce studentů i celkovou úroveň jejich znalostí je nutné kontrolovat - důsledná a soustavná kontrola je velmi časově náročná zejména pro velké počty studentů - je potřeba zajistit maximální objektivitu zkoušení - zjednodušení vyhodnocování výsledků a odstranění subjektivních vlivů 1 2 3 4 5 6 7 8 9 84
Ing. Prokeš František - umožnění statistické analýzy úloh - zajištění rychlé a časově nenáročné zpětné vazby - snížení administrace kontrol - zjednodušení provádění veškerých formálních a faktických změn ve výuce předmětu Jedním z účinných a za splnění určitých podmínek i efektivním způsobem je použití didaktických testů. 1 2 3 4 5 6 7 8 9 84
Ing. Prokeš František 1. Konstrukce didaktických testů 2. Historie testování na Ústavu konstruování ( katedře ČMS) 3. Program pro testování (PROKO-TEST) 1 2 3 4 5 6 7 8 9 84
Konstrukce didaktických testů Etapy konstrukce kvalitního didaktického testu (DT) Konstrukce testu by neměla začínat tím, že se začnou navrhovat testové úlohy. Tento postup obvykle vede k tomu, že se vytvoří úlohy, které se snadno navrhují, ale ve svém celku vytvářejí nevyvážený didaktický test, který nepokrývá rovnoměrně celé učivo a zaměřuje se většinou na reprodukci zapamatovaných poznatků. Nejsnadněji se navrhují úlohy, které zkouší pouhé zapamatování látky. Plánování DT Sestavování DT Ověřování a optimalizace úloh DT 1 2 3 4 5 6 7 8 9 84
Konstrukce didaktických testů Plánování DT - reprezentativní výběr učiva pokrytého testem. - počet úloh a testovací čas Není k dispozici žádné pravidlo určující minimální počet. Čím více úloh, tím jsou testové skóry spolehlivější. Zkouškové testy by měly obsahovat vysoký počet úloh. Pro testy s výběrem odpovědi 0,5 až 1,5 minut na jednu úlohu nevyžadující výpočet. 1 2 3 4 5 6 7 8 9 84
Konstrukce didaktických testů - forma testu a varianty testu Písemné - pevná struktura testu Na počítači náhodný výběr Je nutno zajistit obsahovou shodnost a obtížnost testů - skórování testu Doporučuje se binární skórování Sestavování DT - druhy úloh Nejvhodnější a nejuniverzálnější jsou úlohy s výběrem odpovědí - počet nabízených odpovědí Čím méně distraktorů, tím větší pravděpodobnost uhodnutí - počet správných odpovědí Pro zjednodušení skórování používáme úlohy s jednou správnou odpovědí - kvalita distraktorů Nejobtížnější úsek tvorby testových úloh 1 2 3 4 5 6 7 8 9 84
Konstrukce didaktických testů Ověřování a optimalizace DT Správně zkonstruovaný test by měl měřit (tedy zkoušet) to co se od něho očekává - validita Správně zkonstruovaný test by měl být spolehlivý a přesný reliabilita Statistickými metodami lze například ověřovat: - reliabilitu (r) - obtížnost (p) - citlivost (d) Na základě statistické analýzy a na základě rozboru nenormovaných odpovědí je nutné testové úlohy opravovat nebo vyřazovat. Nasazení úloh do výuky by mělo předcházet nezávislé učitelské posouzení. Pro zvládnutí učiva je velmi důležitá zpětná vazba. 1 2 3 4 5 6 7 8 9 84
Publikace Sborníky odborných konferencí SVOBODA,P.-PROKEŠ,F.: Využití mikropočítače na podporu řízení samostatné práce studentů v předmětu Základy strojnictví. In: XXX. konference kateder částí a mechanismů strojů. Liberec, VŠST 1989. s.38-43. SVOBODA,P.-PROKEŠ,F.-KOVÁŘÍK,R.: Databanka testových úloh. In: XXXII. konference kateder částí strojů a mechanismů. Košice, VŠT 1991. s.255-258. SVOBODA,P-KOVÁŘÍK,R-PROKEŠ,F.: Analýza testových úloh a testů. XXXII. konference kateder částí strojů a mechanismů. Košice, VŠT 1991. s.259-262. SVOBODA,P.-PROKEŠ,F.-KOVÁŘÍK,R.: Zařazení počítače do didaktické funkce kontroly. In: Pedagogický software 92. České Budějovice. Jihočeská univerzita - ZF 1992. s.197. KOVÁŘÍK,R.-SVOBODA,P.-PROKEŠ,F.: Konstrukce a analýza testů s výběrem odpovědi. XXXIV. konference kateder částí strojů a mechanismů. Zvolen, TU 1993. s.271-274. SVOBODA,P.-PROKEŠ,F.-KOVÁŘÍK,R.: Počítačový systém pro tvorbu a edici didaktických testů. XXXIV. konference kateder částí strojů a mechanismů. Zvolen, TU 1993. s.353-356. SVOBODA,P.-KOVÁŘÍK,R.-PROKEŠ,F.: Konstrukce testů a počítač. In.: XII. vědecké kolokvium o řízení osvojovacího procesu. Vyškov, VŠPV 1994.s.96-1. PROKEŠ,F.-SVOBODA,P.: Komplexní počítačový systém pro vytváření a edici testů off-line. Pedagogický software 1994. České Budějovice, Jihočeská univerzita 1994.s.28-30. PROKEŠ,F.-SVOBODA,P.-BRANDEJS,J.: Osobní počítač v roli tvůrce a editora testů. In.: XXXV. konference kateder částí a mechanismů strojů. Praha ČVUT 1994. s.96-97. SVOBODA,P.-PROKEŠ,F.: Nepřímé využití počítačů k diagnostice vědomostí. XIII.vědecké kolokvium o řízení osvojovacího procesu. Vyškov. VŠPV 1995. s.3-8. PROKEŠ,F.-SVOBODA,P.: Počítač - pracovní nástroj a učební pomůcka studenta. Pedagogický software 1995. České Budějovice. Jihočeská univerzita 1995. s.9 až. SVOBODA,P.-BRANDEJS,J,-PROKEŠ,F.: Průběžná kontrola a její vliv na výsledek semestrální zkoušky. XVII. mezinárodní kolokvium o řízení osvojovacího procesu, VVŠ PV. Vyškov 24. června 1999, s. 233-235. ISBN 80-7231-035-6. 18 84
Publikace BRANDEJS,J.-SVOBODA,P.-PROKEŠ,F.: Výuka CAD na 1. stupni inženýrského studia VUT Fakulty strojního inženýrství v Brně. XVIII. mezinárodní kolokvium o řízení osvojovacího procesu, VVŠ PV. Vyškov 18. května 2000, s. 39-41. ISBN 80-7231-059-3. SVOBODA,P.-BRANDEJS,J.-PROKEŠ,F.: Konstruování a CAD. XLI. mezinárodní konference kateder částí a mechanismů strojů, TU Košice 6. - 8. září 2000, s. 322 324. ISBN 80 7099 480 0. ŠUPÁK,J.-SVOBODA,P.-BRANDEJS,J.-PROKEŠ,F.: Internet jako nástroj zpětnovazební informace. XLII. Mezinárodní konference kateder částí a mechanismů strojů. TU Ostrava 45. září 2001, s. 301 304. ISBN 80-7078-919-0. BRANDEJS,J.-SVOBODA,P.-DVOŘÁČEK,J.-PROKEŠ,F.: Studijní opory v předmětu Základy konstruování. XLIV. konference kateder částí a mechanismů strojů s mezinárodní účastí. ČVUT Praha 9.-. září 2003, s. 19-22. ISBN 80-01-02788-0. Řešené výzkumné práce SVOBODA,P.-KOVÁŘÍK,R.-PROKEŠ,F.: Systém řízení samostatné práce studentů (Závěrečná výzkumná zpráva etapového úkolu X-01-01-01). Brno, VUT 1990, 56 s. SVOBODA,P.-PROKEŠ,F.-KOVÁŘÍK,R.: Materiální didaktické prostředky v předmětu Základy strojnictví a konstruování a části a mechanismy strojů (Počítačová podpora výuky - CAI). (Průběžná zpráva o řešení vědeckovýzkumného úkolu). Brno, VUT FS 1992. 28s. SVOBODA,P.-PROKEŠ,F.-KOVÁŘÍK,R.-DOBEŠ,P.: Materiální didaktické prostředky v předmětu základy strojnictví a konstruování (Počítačová výuka-cai). (Průběžná zpráva o řešení vědeckovýzkumného úkolu zařazeného do grantového systému). Brno, VUT FS 1993. 24 s. SVOBODA,P.-PROKEŠ,F.-KOVÁŘÍK,R.-BRANDEJS,J.-DVOŘÁČEK,J.: Materiální didaktické prostředky v předmětu základy strojnictví a konstruování (Počítačová výuka-cai). (Průběžná zpráva o řešení vědeckovýzkumného úkolu zařazeného do grantového systému). Brno, VUT FS 1994. 22 s. Přílohy. 18 84
Publikace SVOBODA,P.-PROKEŠ,F.-KOVÁŘÍK,R.-BRANDEJS,J.-DVOŘÁČEK,J.: Materiální didaktické prostředky v předmětu základy strojnictví a konstruování (Počítačová výuka-cai). (Závěrečná zpráva o řešení vědeckovýzkumného úkolu zařazeného do grantového systému). Brno, VUT FS 1995. 34 s. ŠUPÁK,J.-SVOBODA,P.-BRANDEJS,J.-PROKEŠ,F.: Internet jako nástroj zpětnovazební informace. Závěrečná zpráva projektu Fondu rozvoje VŠ. Brno, VUT FSI 2001. s. Resortní úkol V-09-01 Modernizace metod výuky a využití počítačů. VÚIS ČVUT Praha, 1981-85. Resortní úkol V-09-02 Měření a hodnocení výsledků výuky. VÚIS ČVUT Praha, 1981-85. Rezortní úkol V-09-02-08 Optimální metodika hodnocení výsledků výchovně vzdělávacího procesu v odborném základním předmětu při velkém počtu studentů. VÚIS ČVUT Praha, 1981-1985. Resortní dílčí úkol X-01-01 Samostatná práce studentů. VÚIS ČVUT Praha, 1986-90. Součást hlavního úkolu Modernizace materiálních didaktických prostředků na vysokých školách. Resortní dílčí úkol X-0I-05 Užití počítačů ve výuce. VÚIS ČVUT Praha, 1986-90. Grant č.64. Materiální didaktické prostředky v předmětu Základy konstruování (Počítačová podpora výuky CAI) VUT-FS Brno, 1991-95. Grant FU350043. Využití multimédii pro zvyšování efektivnosti výuky, zvláště v konstrukčních předmětech. VUT Brno, 1996, 1997. GAV SR č.1/3259/96. Kreovanie banky úloh pre flexibilný systém monitorovania vedomostí a schopností učiacích sa v oblasti strojárstva prostrednictvom PC. TU Košice, 1996-1998. 18 84
Historie testování na Ústavu konstruování (katedře ČMS) - Zařízení pro zkoušení MAGNOCORR (polovina 70-tých let) 18 84
Historie testování na Ústavu konstruování (katedře ČMS) - testovací systém DIATEST (2.polovina 80-tých let) - Počítačový program PROTEK (2.polovina 80-tých let) - Původní program - předchůdce PSTET - SVOČ (2.polovina 80-tých let) - Programový systém pro tvorbu a edici testů PSTET (90-á léta) - STANALT statistická analýza testů (Konec 80-tých a1. polovina 90-tých let - POLYWAY didaktický program autorského kolektivu (konec 90-tých let až 2001) 18 84
Historie testování na Ústavu konstruování (katedře ČMS) Systémem PSTET byly ZKI Průběžná kontrola ZKI Zkouška ZKII Průběžná kontrola ZKII Závěrečná kontrola vytvořeny tyto varianty testů: 18 sad po 20 úlohách sad po 33 úlohách 3 sady po 20 úlohách 6 sad po 33 úlohách Důvody ukončení používání systému PSTET: - OS DOS - Četné změny v technické dokumentaci Náhradou měl být program POLYWAY. Pro složitost zadávání úloh k tomu nedošlo. - V r. 2004 zadání diplomové práce na téma Programový systém pro tvorbu, edici a analýzu testů v konstrukčních předmětech 18 84
Současný stav testování PROKO-TEST Původní předpokládaná struktura: I. Modul pro prezentaci testů II. Modul pro definování obsahu testů III. Modul pro vyhodnocení testů IV. Modul databanky úloh V. Modul pro statistickou analýzu VI. Modul pro tisk testů (záložní varianta) VII. Modul autotest 18 84
Současný stav testování Současná verze systému se skládá z těchto částí: 1. Modul pro prezentaci testů + vyhodnocení testu + zpětná vazba 2. Modul pro definování obsahu testů 3. Modul databanky úloh 4. Modul pro statistickou analýzu testových úloh 5. Modul pro nastavení uživatelských práv 6. Modul pro definování stupnice hodnocení 7. Modul pro tisk testu (záložní varianta) 8. Autotest Zabezpečení systému proti zneužití 18 84
Zamezení opisování 18 84
Zamezení opisování Děkují za pozornost 18 19 84