Ostravská univerzita Pedagogická fakulta Auto-evaluační algoritmy e-learningových kurzů Auto-evaluation algorithms of e-learning courses Autoreferát k disertační 2016 práci Studijní program: Specializace v pedagogice P 7507 Obor: Disertant: Školitel: Informační a komunikační technologie ve vzdělávání 7507V066 Mgr. Markéta Dvořáčková Ostravská univerzita, Pedagogická fakulta katedra informačních a komunikačních technologií Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory doc. RNDr. Jana Šarmanová, CSc. Ostravská univerzita, Pedagogická fakulta katedra informačních a komunikačních technologií Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory
Obhajoba disertační práce se uskuteční v úterý 9. února 2016 v zasedací místnosti SA 407 Ostravská univerzita, Pedagogická fakulta katedra informačních a komunikačních technologií Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory Oponenti: doc. Ing. Kateřina Kostolányová, Ph.D. prof. Dr. Ing. Miroslav Pokorný
Autoreferát byl rozeslán dne 7. 1. 2016 S disertací se lze seznámit na katedře informačních a komunikačních technologií Pedagogické fakulty Ostravské univerzity v Ostravě Fráni Šrámka 3, 709 00 Ostrava-Mariánské Hory od 7. 1. 2016. Bibliografická identifikace Jméno a příjmení autora: Mgr. Markéta Dvořáčková Název disertační práce: Auto-evaluační algoritmy e-learningových kurzů Název disertační práce anglicky: Aut-evaluation algorithms of e-learning courses Školitel: doc. RNDr. Jana Šarmanová, CSc. Rok obhajoby: 2016
Abstrakt E-learning se svou flexibilitou a rozsáhlými možnostmi, které přináší realizaci výuky, může být v mnoha oblastech plnohodnotným, kvalitním a efektivním způsobem vzdělávání. Rozšiřování využití e-learningu s sebou přináší i zvýšený požadavek na jeho kvalitní evaluaci. Tato práce se zabývá evaluací kurzů, jejich obsahu i průběhu samotného procesu vzdělávání v kontextu studenta jako příjemce komunikovaného obsahu. Zaměřuje se na personalizovaný e-learning, jakožto vyšší formu e-learningu, středem jehož zájmu je právě student, jemuž je výuka adaptována. Byl navržen evaluační model, podle kterého byly definovány oblasti evaluace a specifikovány konkrétní výstupy dílčích částí evaluace. Tyto jsou základem pro datovou analýzu a dále formulaci expertních pravidel evaluačního systému. Práce se zabývá rovněž návrhem struktury tohoto evaluačního systému, jehož účelem je analyzovat a evaluovat vzdělávací procesy a kurzy automaticky. Klíčová slova Evaluace e learningu, personalizovaný e learning, evaluační model, evaluace vzdělávacího procesu, expertní systém, evaluační systém
Abstract E learning with its flexibility and wide possibilities, that brings to the instruction, can be in many educational fields a valued, high quality and efficient way of the process of education. The expansion of e learning brings out higher requirements also on its evaluation. This thesis deals with the evaluation of courses, their content, and the course of the process itself as well in context with a student as a recipient of the communicated content. It concentrates on personalized e learning, as a higher form of e-learning, which considers a student, to whom the instruction is adapted, to be the centre of its attention. a model of evaluation has been designed according to which areas of evaluation have been determined and explicit outputs of component parts of evaluation have been specified. These are the basis for a data analysis and also for a formulation of expert rules of the final evaluation system. The thesis also deals with the design of the structure of this system which will analyse and evaluate processes of education and courses automatically. Key words E-learning evaluation, personalized e learning, model of evaluation, evaluation of the learning process, expert system, evaluation system
Obsah Úvod... 1 1. Přehled o současném stavu... 2 1.1. Vymezení pojmů... 2 1.2. Evaluace v pedagogice... 3 1.3. Evaluace e-learningu... 4 1.4. LMS Barborka... 4 2. Teoretická východiska... 6 2.1. Teorie adaptivní výuky... 6 2.2. Metody dolování znalostí z dat... 6 3. Cíle práce... 8 4. Teoretický návrh evaluačního systému... 10 4.1. Evaluační posudky před výukou... 10 4.2. Studentská evaluace po výuce... 11 4.3. Evaluace učebního procesu... 12 4.3.1. Předzpracování dat protokolu pro analýzy... 12 4.3.2. Základní statistické charakteristiky dat... 13 4.3.3. Použití statistických metod... 14 4.3.4. Analýzy příčin úrovně znalostí... 14 4.3.5. Analýzy příčin množství času stráveného nad oporou... 15 4.3.6. Analýzy příčin zásahů studenta do adaptivního řízení... 15 4.4. Integrace výsledků... 16 5. Implementace evaluačního systému... 18 5.1. Akvizice dat... 18 5.2. Příprava dat... 18 5.3. Výpočty základních charakteristik... 19 5.4. Statistické analýzy a analýzy prostřednictvím metod... 19 6. Pilotní testování evaluačního systému... 20 6.1. Předmět Business English 1... 20 6.2. Předmět Matematika... 23
6.3. Využití výsledků... 26 7. Závěr... 27 7.1. Shrnutí výsledků práce... 27 7.2. Náměty na pokračování výzkumu... 28 8. Seznam použité literatury... 30 Seznam publikací... 32 Profesní curriculum vitae... 33
Úvod Součásti e-learningu jako výukové objekty, využívání multimédií nebo uživatelské prostředí jsou často diskutovanými tématy se společnou základní otázkou: Jak doručit kurikulum způsobem, aby byl zajištěn pozitivní impakt výuky pro všechny studenty? Autoři a tvůrci výukového obsahu, který je jedním z nejpodstatnějších stavebních prvků e learningových kurzů, vyvíjejí snahu o vytvoření efektivních, srozumitelných a motivujících výukových opor. Vytvořit takovou oporu však není jednoduché, zejména pokud nejsou k dispozici ucelené standardy pro jejich formu. Často je tak e-learningem nazývána počítačem podporovaná výuka, realizovaná prostřednictvím internetu s podporou systému řízení výuky (LMS). Evaluace vzdělávacích materiálů stejně jako vzdělávacího procesu je obecně nutností, která je o to zásadnější v případě e-learningových kurzů. Návrhem metod a prostředků pro vyhodnocení e learningového kurzu, tedy evaluací připraveného kurzu se zabývá řada autorů. Tato práce je orientována na relativně novou oblast - výuku s adaptovatelnými výukovými oporami na míru osobním vlastnostem studenta, podporovanou speciálním adaptivním LMS a protokolujícím velmi podrobně celý proces výuky každého studenta. Přestože myšlenka personalizace není novinkou, ve svém plném potenciálu a rozsahu je její využití spíše výjimkou. Takové řešení, které zaručuje plné přizpůsobení se různým potřebám jednotlivých studentů je oproti standartnímu e-learningu o to náročnější na tvorbu kvalitní výukové opory a rovněž na jeho evaluaci. Autoři adaptivních výukových opor mají silnou potřebu spolehlivých a automatických nástrojů evaluace, které jim poskytnou tolik potřebnou zpětnou vazbu o jejich díle, jehož hodnocení tradičními manuálními nástroji je vzhledem k jeho rozsahu nereálné. 1
1. Přehled o současném stavu 1.1. Vymezení pojmů Názory na definici e learningu se dle pohledů různých autorů liší. Předtím tedy, než začneme hovořit o e-learningu a jeho evaluaci, vymezme nejprve pojmy, se kterými bude dále v práci zacházeno. Průcha, Walterová a Mareš (2009, s. 66-67) e-learning jako typ učení, při němž získávání a používání znalostí je distribuováno a usnadňováno elektronickými zařízeními, které může zahrnovat ucelené učební kurzy nebo menší učební moduly či témata. Může se opírat o časově synchronní anebo asynchronní přístupy a být distribuováno z geograficky i časově nezávislých zdrojů, propojuje vnější řízení jedince s jeho autoregulací a je používáno především v distančních a kombinovaných formách vysokoškolského studia, v podnikovém vzdělávání, při rekvalifikačních kurzech, ale postupně proniká na střední i základní školy. E-learning může být definován z různých pohledů. Kapounová (2012) uvádí tři definice, a to: na bázi elektronicky orientovaný procesů jakožto elektronické vzdělávání, jež je sérií procesů spojených s učením a jejich řízením, realizovaných elektronickými prostředky, technologická jakožto počítačem podporovanou výuku, případně výuku prostřednictvím webu, řídicí systém učení a komunikační prostředky, didaktická jakožto spojení systémového návrhu a vhodného modelu učení v prostředí informačních a komunikačních technologií. Pro účely této práce budeme e learningem chápat jako proces elektronického vzdělávání s podporou multimediálními prostředky, internetem a jinými médii, realizovaný v prostředí LMS za účelem efektivního dosažení vzdělávacího cíle. Zvláštním variantou e-learningu je adaptivní e-learning, v rámci něhož je výuka adaptována (personalizována) tak, aby každému studentu jako individuu zprostředkovala individuálně efektivní dosažení vzdělávacích cílů. 2
Součástí adaptivního e-learningu je nejen personalizované uživatelské prostředí, ale především naplnění potřeb studenta, který se učí: formou, která mu vyhovuje, z materiálů vyhovujícího typu, detailu informací a zpracování, v ideálním rozsahu (pro konkrétního studenta), vyhovujícím postupem. Základní podmínkou pro realizaci adaptivní výuky je znalost individuálních studentů, jejich učebních stylů a přístupů k výuce. Ekvivalentně důležitou podmínkou je existence výukových materiálů v takové formě a rozsahu, aby tuto adaptaci umožnily. V neposlední řadě je personalizace e-learningu založena na adaptaci výukového procesu, čímž reaguje na požadavek vyhovujícího postupu a formy výuky. 1.2. Evaluace v pedagogice Evaluace je proces systematického shromažďování a analýzy informací podle určitých kritérií za účelem dalšího rozhodování. (Ehlers a Pawlowski, 2006). Je prakticky orientovaná, jejím základem jsou validní a reliabilní data o podmínkách, procesech a účincích předmětu evaluace a zahrnuje vyjádření hodnot, kritérií. Podle oblastí pedagogické evaluace definovaných Průchou (2000), můžeme zařadit evaluaci e-learningových kurzů v širším kontextu do všech oblastí, tedy vzdělávacích potřeb, programů, výuky, vzdělávacích výsledků. Hodnocení kvality jakéhokoli pedagogického procesu je podle Zlámalové (2012) vnímáno v pedagogických vědách dvěma způsoby: hodnocení výkonu studenta, kterého dosahuje v rámci procesu učení, hodnocení efektivity ve smyslu účinnosti systému, včetně hodnocení ekonomického využití investice. Z tohoto pohledu se tato práce se zaměřuje na druhou z těchto dvou částí, hodnocení účinnosti systému, pro niž je hodnocení výkonu studenta, úrovně získaných znalostí a schopností cenným zdrojem informací, zpětnou vazbou o systému. 3
1.3. Evaluace e-learningu Názory autorů na kontextuální rozsah evaluace e-learningu se liší. V mnoha případech je evaluace pojímána velmi komplexně a v širokém významu pojmu, což ji často činí za běžných podmínek téměř nerealizovatelnou. Fitzpatrick, Sanders a Worthen (2010) definovali přístupy k evaluaci e-learningu v 5 klastrech, které jsou orientovány na cíle, management, spotřebitele, expertízu a účastníka. Khan (2005) navrhuje následující dílčí oblasti evaluace: evaluace procesu vývoje e learningového obsahu, evaluace e learningového prostředí, evaluace e learningu na programové a institucionální hladině, hodnocení studentů (pozn. zde ve významu úrovně jimi dosažených studijních výsledků). Kirkpatrick (J. Kirkpatrick, et. al., 2009) navrhuje čtyřúrovňový model hodnocení s hierarchickými úrovněmi: reakce, učení, chování, výsledky, přičemž uvádí, že každý vzdělávací program/kurz/předmět by měl být hodnocen alespoň na první úrovni hodnocení studenta. Na druhé úrovni je pak hodnocen pokrok, získané znalosti a dovednosti, na třetí úrovni využití znalostí v životní realitě a úroveň čtvrtá se zaměřuje na hodnocení výsledků vzdělávacího projektu. 1.4. LMS Barborka V rámci projektu ESF Adaptivní individualizovaná výuka v e learningu zpracoval tým expertů z oblastí pedagogiky, psychologie a ICT ve vzdělávání návrh komplexního řešení adaptivního e-learningu. Systém zajišťující jeho realizaci zohledňuje všechny interakční složky procesu vzdělávání: student a jeho učební styl, kterému je výuka adaptována, výukové opory prezentované v odpovídajících variantách, adaptivní systém řízení výuky, tzv. virtuální učitel. 4
Obrázek 1 - Struktura LMS Barborka Systém řízení výuky, LMS Barborka, je v tomto případě vysoce specializovanou expertní formou LMS, která, kromě základních funkcí tradičního LMS, komplexně zajišťuje adaptivitu výuky. Systém zprostředkuje obsah kurzu v odpovídající variantě na základě pravidel zohledňujících učební styly studenta a zvolí odpovídající formu jeho prezentace a vedení studenta v procesu výuky. LMS Barborka zaznamenává veškeré aktivity a celý studijní proces každého studenta včetně měření znalostí ve formě detailního protokolu. Nedílnou součástí komplexního systému řízení výuky je modul evaluace, který v současnost v LMS Barborka není implementován. Takový evaluační modul by měl poskytovat množinu funkcí pro evaluaci z hlediska autora (evaluace opory), studenta (ověření vlastností) a virtuálního učitele (expertního řízení výuky). Úkolem této práce je evaluace opory, která v LMS Barborka chybí a která v takto detailní formě dosud nebyla zpracována. 5
2. Teoretická východiska 2.1. Teorie adaptivní výuky Podle Kostolányové (2012) můžeme rozlišit čtyři základní druhy adaptace, a to: uživatelského rozhraní, obsahu výuky, vyhledávání a sestavování obsahu výuky a adaptace podpory spolupráce (komunikace). Adaptivita výuky je postavena na zpracování výukového obsahu po malých částech a zároveň v několika variantách přizpůsobených studentům různých vlastností. Studentské vlastnosti, které jsou vhodně zohlednitelné v e-learningu jsou podle Kostolányové (2014) následující: smyslové vnímání - verbální, vizuální, auditivní, kinestetické; sociální aspekty - preferuje práci sám, ve dvojici, ve skupině; afektivní aspekty - vnější a vnitřní motivace ke studiu; systematičnost učení - upřednostňuje řád, volnost; způsob učení - teoretické odvozování experimentování; postup učení - analytický holistický; pojetí učení - hloubkové, strategické, povrchové; autoregulace práce podle pokynů či samostatnost. Navrhuje zpracování každé dílčí jednotky výukového obsahu ve 4 smyslových variantách a 3 hloubkách (od základního výkladu k rozšířenému pro pokročilé studenty). 2.2. Metody dolování znalostí z dat Oproti statistickým metodám analýzy, které odpovídají na stanovené otázky, metody dolování znalostí umožňují objevit v datech řadu dalších informací, které jsou v datech rozptýleny a na které nikoho nenapadlo se ptát. Nejčastěji používanou metodou je hledání asociací. Cílem analýzy je nalézt vztahy mezi podmnožinami atributů a formulovat je jako asociační pravidla, v nichž spolu podmnožiny souvisí, jsou jedna druhé příčinou nebo spolu za určité podmínky korelují. (Šarmanová, 2012b) Výpočet asociačních pravidel má smysl pro kategoriální atributy. Reálné atributy (pokud mají rozsáhlou doménu a pokud to dává smysl) je nutno kategorizovat. Binární atributy mohou být pro tuto metodu považovány za kategoriální. Výsledná pravidla se skládají z antecedentu a sukcedentu 6
(příčina a důsledek). Obě strany pravidla jsou tvořeny jedním nebo více atributy nabývajícími konkrétních hodnot, které jsou v konjunkci. Pro každé pravidlo je dána míra spolehlivosti a výše podpory hypotézy v datech. Cílem analýzy rozhodovacími stromy je zjištění klasifikačních pravidel, charakteristického popisu zadaných klasifikačních tříd, pomocí kombinací hodnot atributů. (Šarmanová, 2012b) Klasifikační pravidlo odečtené z výsledného stromu od kořene směrem k listu je obdobným výsledkem, který poskytuje metoda hledání asociací. Z tohoto důvodu nebude tato metoda při implementaci aplikována. Cílem analýzy shlukováním je objevit v datech objekty, které si jsou vzájemně podobné na základě konkrétních charakteristik (hodnot atributů). V ideálním případě se objekty rozpadnou do shluků, jejichž charakteristika je interpretována. (Šarmanová, 2012b). S ohledem na charakter evaluační analýzy a dostupné datové vstupy není zapotřebí metodu shlukování v rámci této práce aplikovat. 7
3. Cíle práce V rámci provedeného detailního průzkumu existujících evaluačních řešení, nebyl nalezen kompletní, plně automatizovaný evaluační systém. Většina evaluačních systémů nejsou komplexními řešení evaluace, ale pouze částečnými, zaměřenými pouze na některé aspekty e-learningu, nebo je evaluace prováděna s použitím manuálních prostředků. V mnoha případech je evaluací nazýváno jednoduché hodnocení výuky prostřednictvím studentských dotazníků po výuce. Pro adaptivní personalizované e-learningové kurzy, které svou komplexitou a rozsahem mnohonásobně zvyšují náročnost evaluace oproti standartním e-learningovým kurzům pak nebylo nalezeno žádné ucelené a autorizované řešení. S ohledem na tyto fakty je právě návrh takového komplexního systému evaluace e learningových kurzů se zaměřením na adaptivní e-learningové kurzy cílem této práce. Cílem mé disertační práce je v návaznosti na výše zmíněný projekt adaptivní personalizované výuky realizovat komplexní systém evaluace e learningových kurzů, především se zaměřením na adaptivní e learningové kurzy, a na jeho základě navrhnout a implementovat evaluační systém jako subsystém LMS Barborka. Evaluační systém je jistým způsobem systém expertní, který dosud v e-learningu neexistuje, zvláště ne pro adaptivní výuku ve smyslu teorie adaptivity. Základní cíl disertační práce může být dále rozdělen do dílčích cílů: teoretický návrh evaluačního modelu pro realizaci kompletní evaluace výukové opory, návrh metod pro hodnocení kurzu s ohledem na jeho adaptivitu a poskytnutí zpětné vazby autorovi kurzu, návrh a implementace evaluačního systému řešícího evaluaci, pilotní ověření správnosti navrženého řešení na konkrétních adaptivních kurzech. V rámci této práce je cílem řešené evaluace nejen zhodnocení současného stavu e-learningového kurzu, ale také poskytnutí konkrétní a detailní zpětné 8
vazby autorům systému řízení výuky (revize pravidel adaptivního systému, na základě kterých je řízen proces výuky v kurzu) a autorům studijních opor (odhalení nedostatků v těchto oporách, jež je nutné autory odstranit). 9
4. Teoretický návrh evaluačního systému Navrhovaný evaluační systém je jednoúčelový expertní systém pro evaluaci adaptivních výukových e-learningových opor, respektujících principy teorie adaptivní výuky podle (Kostolányová, 2012). Expertní pravidla, navržená, implementovaná a ověřená na pilotním kurzu jsou realizována množinou funkcí modulu Expert v LMS Barborka. Evaluace jednoho předmětu bude probíhat ve třech věcných a časových etapách: jednorázově před zavedením do výuky (odborné posudky), po dokončení výuky (studentské evaluační dotazníky), během a po procesu výuky (podrobný protokol o průběhu výuky všech studentů včetně výsledků hodnocení znalostí). Obrázek 2 - Součásti evaluačního systému 4.1. Evaluační posudky před výukou Evaluace studijních opor před výukou bude realizována prostřednictvím odborných posudků, v nichž experti slovní i kvantifikovanou formou zhodnotí daný materiál z příslušných hledisek. Do evaluace budou zařazeny následující posudky: odborný posudek (hodnotící odbornou a technickou správnost opory), 10
pedagogický posudek (hodnotící oporu z hlediska aplikovaných didaktických a pedagogických postupů), adaptivní posudek (hodnotící zpracování opory z hlediska její adaptivity), laický posudek. Na základě výsledků hodnocení je studijní opora v první fázi evaluace přijata pro použití ve výuce nebo jsou již v této fázi provedena autorem opory nápravná opatření k odstranění příslušných odhalených nedostatků. Struktura těchto posudků byla navržena v rámci ESF projektů manažery k evaluaci výukových opor tvořených v rámci těchto projektů (Šarmanová, 2012a). V rámci této práce byla analyzována struktura posudků a na základě výsledků analýz byly posudky případně zefektivněny, upraveny z hlediska jejich struktury a formulace otázek pro dosažení vyšší přesnosti. Výsledná data získaná z evaluačních posudků byla analyzována za použití následujících korelační analýzy a analýzy hlavních komponent. Posudky byly na základě výsledků těchto analýz upraveny, otázky přeformulovány pro lepší srozumitelnost a některé otázky sloučeny. 4.2. Studentská evaluace po výuce Studentskou evaluací se rozumí zhodnocení kurzu a průběhu výuky studentem po dokončení výuky. Cílem je ověření, zda preference a požadavky studenta na kurz a výuku byly naplněny v dostatečné míře pro efektivní dosažení vytýčených vzdělávacích cílů kurzu. Student vyjadřuje svůj názor na absolvovaný kurz z pohledu srozumitelnosti, komfortu práce, uživatelské přívětivosti a (ne)vyhovujících postupů učení. Toto hodnocení je realizováno prostřednictvím kvantifikovaného dotazníku a získaná data jsou uložena do databázové tabulky. Data získaná ze studentské evaluace jsou nejen přímou zpětnou vazbou pro autory opor, ale podstatným zdrojem informací také v kontextu s daty získanými z evaluace studijních opor. Hodnotící názory expertů se mohou v mnoha ohledech podstatně lišit od názorů studentů. 11
4.3. Evaluace učebního procesu Nejpodrobnější informace o procesu výuky jsou získány z podrobného protokolu, zaznamenaného jednou z funkcí LMS v průběhu všech režimů výuky. LMS eviduje všechny akce (= kliky) studenta v kurzu a ukládá je do databáze jako protokol o jeho činnosti. Evaluace procesu výuky je realizována analýzou tohoto protokolu. Pro analýzy budou použity jednak metody matematické statistiky, jednak metody získávání znalostí z dat. 4.3.1. Předzpracování dat protokolu pro analýzy Prvním krokem je předzpracování dat protokolu do podoby vhodné pro jednotlivé analýzy. Tabulku protokolu je nutné propojit s navazujícími tabulkami, zvolit atributy vstupující do analýz, odvodit nové zajímavé atributy a kategorizovat numerické atributy. Výsledná datová sada obsahuje atributy popisující osobnost studenta, výukovou oporu, akce a jejich okolnosti a znalosti, dovednosti a chování studenta. Cílem analýzy je zjištění možných závislostí, stereotypů a obecně podmínek ovlivňujících vzdělávací proces studentů e-learningových kurzů v prostředí adaptivního LMS Barborka. Z podrobných informací o procesu výuky je úkolem evaluace zjistit (podle prokázaných a evidovaných znalostí, dovedností a podle chování studenta) odpovědět na otázky Co vedlo k : určitému výsledku měření znalostí, množství času stráveného nad oporou, manuální změně nabídnuté opory. Vzhledem k charakteru dat budou prováděny následující analýzy: základní statistické charakteristiky; analýzy s použitím statistických metod (korelační analýza, hlavní komponenty) analýzy příčin úrovně znalostí (hledání asociací); analýzy času stráveného nad oporou (hledání asociací); analýzy zásahů studenta do adaptivního řízení (hledání asociací). Výsledky jednotlivých analýz se vzájemně doplňují a mohou svými výsledky poukázat na další zajímavé skutečnosti v datech, na jejichž základě může být 12
rozmyšleno zařazení dalších analytických výpočtů. Kombinace výsledků jednotlivých analýz může rovněž potvrdit či vyvrátit získaný výsledek. Výsledná vstupní data analýz jsou rozdělena do dvou tabulek, z nichž se vybírají atributy pro následující analýzy. Tyto dvě tabulky můžeme popsat následovně: základní protokol o akcích nad vrstvami (dále Protokol 1), rozšířený protokol o jednotlivých odpovědích u testovacích vrstev (dále Protokol 2). Rozdělení do dvou tabulek bylo zvoleno s ohledem na charakter dat. 4.3.2. Základní statistické charakteristiky dat Jednou ze základních charakteristik opory, kterou je třeba zohlednit při evaluaci je existence (dostupnost) všech adaptivních variant v systému 4 smyslové varianty ve 3 hloubkách (celkem 12 variant). Pro každou variantu je dále zkoumáno zastoupení konkrétních typů vrstev. Autorovi je tak poskytnut detailní přehled o úplnosti výukové opory. Jako základní pohled na data o výuce je vhodné poskytnou autorovi přehled o všech dostupných atributech popsaných základními charakteristikami jako: rozsah domény (count, min, max), střední hodnota (med), směrodatná odchylka (std), četnost (freq), počet prázdných hodnot (null), rozložení hodnot. Výsledky jsou uspořádány do tabulky, rozložení hodnot je možno vyjádřit grafem. Z těchto hodnot je možné získat některé užitečné informace, například o: době strávené studenty nad výukovými vrstvami, rozsahu manuálních zásahů studentů do řízení výuky, učebně-stylových charakteristikách studentů, typech vrstev předložených studentům, úspěšnosti studentů u testových otázek, počtech odpovědí na otázky, správnosti studentských odpovědí, atd. Detailnější přehledy jsou pak zpracovány pro jednotlivé vrstvy a testovací vrstvy, a to s následujícími charakteristikami: absolutní a relativní četnost 13
zobrazení, čas nad vrstvou (minimum, maximum, průměr, medián), relativní četnost manuálních zásahů do řízení výuky nad vrstvou. 4.3.3. Použití statistických metod Další zajímavou informací pro autora může být odhalení některých závislostí mezi atributy, buď mezi dvojicemi atributů pomocí korelací, nebo odhalení případných skrytých proměnných jako lineárních kombinací atributů pomocí hlavních komponent. Cílem korelační analýzy je zjištění vzájemných závislostí mezi atributy popisujícími studijní oporu, resp. jednotlivé vrstvy, jež ji tvoří. Na základě takového zjištění je možné zvážit vyřazení jednoho z atributů z dalších analýz a rovněž danou závislost interpretovat. Příkladem potenciálního zajímavého výsledku může být následující zjištění: Z analýzy zjistíme silnou korelaci atributů čas strávený studiem vrstvy, vizuální složka vrstvy. Tedy čím více jsou vrstvy vizuálního typu, tím více času jim studenti věnovali. V takovém případě je vhodné s přihlédnutím k výsledkům dalších analýz poskytnout tento výsledek autorům k posouzení. Cílem analýzy hlavních komponent je zjistit, jestli jsou zkoumaná opora (její vrstvy) charakterizována vzájemně nezávislými znaky, což je žádoucí stav. Vzájemná závislost znaků může ovlivnit výsledky analýzy. Prokázaná hlavní komponenta může odhalit skrytou, neměřitelnou vlastnost opory. 4.3.4. Analýzy příčin úrovně znalostí Cílem analýzy je identifikovat všechny příčiny dobrých i špatných výsledků studentů při měření znalostí plynoucích ze struktury výukové opory, z pokrytí a kvality variant a vrstev, osobních charakteristik učebních stylů studentů, aktivit studentů při výuce a vnějších okolností, a jejich kombinací. Pro tyto analýzy použijeme především metodu hledání asociací, která umí odhalit i případné vztahy mezi příčinami a následky, které jsou neočekávané. Budeme zadávat množiny antecedentových atributů = potencionálních příčin pro zadaný sukcedent, potencionální důsledek = úroveň výsledných znalostí nebo naopak. Atributy protokolů popisující výukovou oporu, osobnost studenta a akci a její okolnosti mohou být ze své podstaty považovány za příčiny (antecedenty) a atributy popisující znalosti, 14
dovednosti a chování studentů pak za důsledky (sukcedenty). Výpočet analýzy bude proveden s požadavkem na minimální podporu 70% a s maximální délkou antecedentu 3. 4.3.5. Analýzy příčin množství času stráveného nad oporou Každá akce studenta v systému je zaznamenána včetně časového razítka dané akce. Tato informace umožňuje odvození délek časů strávených studentem nad danou aktivitou vzhledem k jejich časové posloupnosti. Z hlediska evaluace opory je zajímavé zkoumat délku času stráveného nad jejími dílčími prvky. Cílem této analýzy je zjištění příčin vedoucí k tomu, že studenti nad oporou tráví neúměrně krátkou nebo příliš dlouhou dobu nad konkrétními částmi opory. Výsledky mohou poukázat na možné nedostatky v opoře. Tematické kategorie atributů výuková opora, osobnost studenta a akce/okolnosti zahrnují atributy, které mohou být ze své logické podstaty považovány za antecedenty (příčiny). Analýza bude realizována prostřednictvím metody hledání asociací s požadavkem na minimální spolehlivost 70% a max. délku sukcedentu 3. 4.3.6. Analýzy příčin zásahů studenta do adaptivního řízení V automatickém režimu výuky je proces studia řízen systémem řízení výuky LMS. Systém dle zadaných pravidel vybírá dílčí součásti opory vhodných charakteristik, které jsou v určitém pořadí prezentovány studentu. LMS při výběru konkrétní varianty části opory zohledňuje osobnostní charakteristiky studenta stejně jako opory a jeho cílem je poskytnutí vhodného vzdělávacího objektu. Student má v případě, že to uzná za nutné (vhodné) možnost do tohoto automatického řízení manuálně zasáhnout. V případě, že to udělá, můžeme usuzovat, že automaticky nabídnutá část výukové opory z nějakého důvodu studentu nevyhovovala a tento se rozhodl k manuální změně. Odhalení takového chování nad konkrétními celky výukové opory je zásadní součástí evaluace opory a zpětnou vazbou autorům. Tematické kategorie atributů výuková opora, osobnost studenta a akce/okolnosti zahrnují atributy, které mohou být ze své logické podstaty považovány za antecedenty (příčiny). Analýza bude provedena pomocí 15
metody hledání asociací s požadavkem na minimální podporu 70% a max. délku antecedentu 3. 4.4. Integrace výsledků Jednotlivé definované části evaluace (evaluační posudky, studentská evaluace, evaluace učebního procesu) poskytující zpětnou vazbu je vhodné jednotlivé výsledky evaluačních modulů integrovat do komplexního evaluačního výpisu Tento finální výsledek poskytne autorovi: přehled o daném předmětu (meta datech, počtech zapsaných studentů, struktuře a vlastnostech dílčích celků opory, existenci adaptivních variant částí opory co do smyslu a hloubky), pohled na data evaluačních posudků prostřednictvím statistických charakteristik (informace o počtu posudků, hodnocení každého bodu, celkových hodnoceních opory). Tato data jsou k dispozici již před zahájením výuky a autor tak na jejich základě může navrhnout nápravná opatření a implementovat je upravením opory ještě před jejím zařazením do živé výuky. Po výuce, kdy jsou k dispozici data z modulu studentské evaluace, jsou výsledky evaluačních posudků doplněny o studentskou evaluaci, ve stejném formátu jako výsledky evaluačních posudků. Autor může porovnat výsledky evaluace odbornými a laickým posudkem s výsledky evaluace studentské. Toto porovnání může být velmi přínosné, protože ne vždy se názory odborníků a studentů shodují. Evaluace učebního procesu může být prováděna již v průběhu výuky, anebo po jejím ukončení. V případě, že výuka stále probíhá, autorovi je poskytnut náhled na data a výsledky evaluace. Je nutno přihlédnout k faktu, že výuka ještě neskončila a datová sada pro daný předmět není úplná. Systém autorovi poskytne následující informace o učebním procesu: přehled o měření znalostí (celkové výsledky pro předmět, výsledky pro dílčí celky rámce a konkrétní testovací vrstvy), přehled o množství času stráveného nad oporou (pro předmět, rámce a jednotlivé vrstvy a testovací vrstvy), přehled o manuálních zásazích studentů do řízení výuky, 16
tematicky strukturovaný přehled nalezených asociací z analýz. Výsledky evaluace učebního procesu jsou pak porovnány s dostupnými výsledky evaluačních dotazníků a studentské evaluace, názor je porovnán se zaznamenanou realitou, skutečným chováním studentů. Za další úroveň tohoto navrženého řešení může být považováno zařazení expertního systému provádějícího evaluaci na základě expertních pravidel navržených na základě jak výsledků posudků a studentské evaluace, tak především asociací odhalených analýzami učebního procesu. Formulace takových expertních pravidel není součástí této dizertační práce, nýbrž předmětem dalšího výzkumu, který je možno realizovat po shromáždění dostatečných výsledků (dat) z více adaptivních předmětů. 17
5. Implementace evaluačního systému Navržený evaluační systém se všemi jeho dílčími částmi, funkcemi a uživatelským prostředím je zapojen do struktury systému řízení výuky Barborka (viz obrázek níže), konkrétně v modulu Expert, kde bude k dispozici autorům. Obrázek 3 - Zapojení evaluačního systému do struktury LMS Barborka 5.1. Akvizice dat Prvním krokem implementace je zajištění vstupních dat evaluačního systému. Funkce systému jsou závislé na datech z evaluačních posudků, studentské evaluace a protokolu o výuce. Evaluační dotazníky a dotazníky studentské evaluace implementujeme jakou součást systému. Hodnotitelé nebo studenti je tak mohou vyplnit přímo v prostředí LMS a získaná data budou uložena v požadovaném formátu v databázi. Protokol o výuce je rovněž ukládán systémem do databázových tabulek. 5.2. Příprava dat Data protokolu o výuce musí projít automatickým předzpracováním, při němž je proveden sběr dat z více databázových tabulek, výběr/filtrace atributů, odvození a dopočítání nových/chybějících atributů a kategorizace atributů. Pro každý z těchto úkonů nad daty byly v systému implementovány funkce a procedury, ať již nad databází nebo v aplikaci 18
LMS Barborka. Výsledkem je základní datová tabulka Protokol1, která je dále roznásobením propojena se záznamy o testovacích vrstvách a odpovědích, aby vytvořila protokol o testovacích vrstvách Protokol2. 5.3. Výpočty základních charakteristik V této části byly řešeny dvě základní skupiny charakteristik, a to strukturální (přehled o předmětu a jeho struktuře a dílčích částech) a statistické (navržené statistické charakteristiky dat o předmětu a jeho vrstvách). Data pro poskytnutí strukturálních přehledů jsou získávána přímými dotazy nad databází, které byly připraveny jako uložené funkce (stored procedures) v databázi. Pro práci s těmito daty pak byly naprogramovány webové objekty a stránky, které jsou součástí LMS Barborka a poskytují tak uživatelské rozhraní, které data zpracuje a zobrazí v tabulce autorům. Pro základní charakteristiky jako počet hodnot, minimální a maximální hodnota, četnost, atd. bylo využito existujících funkcí databázového motoru. Pro výpočet mediánu byla naprogramována chybějící funkce. 5.4. Statistické analýzy a analýzy prostřednictvím metod V rámci statistických analýz je prováděna korelační analýza a analýza hlavních komponent. Obě tyto analýzy jsou prováděny nad reálnými atributy. Analytické výpočty jsou prováděny prostřednictvím existujících programů, které jsou zpracovány v programovacím jazyku Pascal, zkompilovány a implementovány přímo na serveru. Naprogramované funkce nejprve připraví data v požadovaném formátu. Funkce zvolí pouze atributy s reálnými hodnotami a tyto hodnoty zapíše do vstupního textového souboru. Následně skript spustí příslušný program na serveru, který provede výpočet analýzy a výsledky zapisuje do výstupního souboru, ze kterého je finální výsledek načten, zpracován do vhodné podoby a zobrazen v přehledném formátu autorům. Výsledky zahrnují v případě statistických analýz korelační matici, vlastní čísla korelační matice a vlastní vektory korelační matice koeficienty hlavních komponent. V případě analýz prostřednictvím hledání asociací jsou to pak výsledná asociační pravidla, která je nutno automaticky přeložit do jazyka jednoduše srozumitelného autorovi. 19
6. Pilotní testování evaluačního systému Pro pilotní testování byly k dispozici celkem 2 předměty, pro něž v systému LMS Barborka reálně proběhla výuka nebo testování v adaptivním režimu a jsou tak k dispozici příslušné protokoly o výuce. Jedná se o tyto předměty: Business English 1, Matematika. První předmět Business English 1 se co do komplexnosti využití možností LMS zaměřovaly spíše na výuku samotnou tedy v režimu výuky. Z analýzy protokolu vyplývá, že testování v rámci předmětu proběhlo pouze jako okamžitá zpětná vazba pro řízení výuky, bez samostatného testování. Není tak k dispozici rozsáhlá datová sada o tomto aspektu adaptivní e-learningové výuky. Naopak předmět Matematika se naopak výhradně zaměřuje na využití adaptivního testování a poskytuje tak velmi komplexní data co se týče tohoto aspektu. Výukových/studijních aktivit v tomto předmětu je velmi málo, téměř žádné. Tyto fakty byly zohledněny při analýzách, které byly provedeny právě podle zaměření předmětu tak, aby bylo zaručeno otestování kompletního evaluačního modelu. 6.1. Předmět Business English 1 Pro tento předmět jsou k dispozici záznamy o výuce pro celkem 277 studentů (uživatelů) a v celkovém počtu 39 603 záznamů v Protokolu 1 (výuka) a 57 738 záznamů v Protokolu 2 (testování). Na základě meta dat o výukové opoře byl zpracován a poskytnut autorům podrobný přehled o struktuře výukové opory (předmětu) na všech jeho úrovních předmět, lekce, rámce a jeho varianty, ze kterého je například patrné, že více rámců existuje pouze v jedné smyslové variantě. Vzhledem k tomu, že se jedná o jazykovou výuku, je tento fakt opodstatnitelný (např. pouze auditivní varianta pro část nácviku poslechu). Dále byly zpracovány základní statistické charakteristiky dat, ze kterých vyplývá například, že se výuky zúčastnilo 277 studentů, kteří podle mediánu trávili nad vrstvami přibližně 19 sekund, a to nejčastěji ve 4 sezeních. Při výuce bylo použito 45 vrstev a 56 testovacích otázek a medián hodnot 20
procentuálních výsledků měření znalostí je 64%. Pro každou vrstvu předmětu, která byla součástí výukového procesu, byly zpracovány základní statistické charakteristiky v navrženém formátu. Korelační analýza byla provedena nad 21 reálnými atributy protokolu. Byla zjištěna silná korelace mezi auditivní a verbální smyslovou charakteristikou vrstev. Zjištěná korelace těchto dvou atributů může být považována za přirozenou. Předmět se zabývá jazykovou výukou a dá se tedy předpokládat, že většina auditivních vrstev se zaměřuje na mluvené slovo (nácvik poslechu a porozumění). Takové vrstvy mohou mít tedy vysokou auditivní, ale zároveň i verbální smyslovou složku. Analýza dále poskytla některé očekávané výsledky, které potvrzují její validitu. Nad stejnými atributy byla provedena analýza hlavních komponent. Vypočtené hodnoty vlastních čísel klesají plynule, a nelze vysledovat žádný podstatný hodnotový zlom, který by naznačoval výraznou hlavní komponentu v datech. Pro předmět byla dále provedena analýza příčin výsledků měření znalostí. Nad kategorickými atributy proveden výpočet asociací, jehož výsledkem bylo celkem 267 pravidel. Pro velmi dobré a dobré výsledky (66-100%), částečně dobré (26-65%) a špatné výsledky (1-25%) nebyly nalezeny žádné zjevné příčiny. Pravidla však poskytla některé očekávané výsledky potvrzující validitu výpočtu. Pro velmi špatné výsledky (0%) byly nalezeny například následující příčiny: vrstvy předmětu v hloubce 1 mohou být příliš obtížné či těžko srozumitelné studentům, v předmětu částečně chybí kinestetické varianty a varianty poskytované jako náhradní silně kinestetickým studentům nevyhovují, špatných výsledků u silně kinestetických studentů je zvláště dosahováno, pokud jsou varianty převážně verbálního typu, v případě otázek s tvořenou odpovědí, nad kterými studenti strávili velké množství času, byly výsledky měření znalostí špatné (prověřit konkrétní případy - otázky). 21
Analýza příčin množství času stráveného nad oporou byla provedena s použitím metody hledání asociací nad kategorickými atributy. Výsledkem bylo celkem 119 asociačních pravidel vztahujících se převážně k velmi krátkým časům nad oporou (0-2 sekundy). Výsledkem analýzy jsou následující zjištění: při vysokém počtu odpovědí na otázku (6 odpovědí) tráví studenti nad vrstvami velmi krátký čas 0-2 sekundy, množství odpovědí je vhodné zredukovat, pro střední až delší doby nad oporou nebyly nalezeny žádné zjevné příčiny. Mezi výslednými pravidly se vyskytovalo několik předpokládaných pravidel, které potvrzují validitu výsledků analýzy. Analýza zásahů studenta do adaptivního řízení byla provedena s použitím metody hledání asociací nad kategorickými atributy. Výsledkem bylo celkem 57 asociačních pravidel. Atribut značící zásah studenta do řízení je typu boolean. Pro hodnoty 0 (nedošlo k zásahu do řízení) nebylo vypočteno žádné pravidlo, všechna pravidla se týkala hodnoty 1 (zasáhl do řízení), což je pro tuto analýzu podstatná hodnota. Výsledkem analýzy jsou následující zjištění: vizuální varianty v hloubce 1 (nejkomplexnější varianta pro pokročilé studenty) nevyhovují silně auditivním studentům, což poukazuje na zásadnost nedostatku kinestetických vrstev v této hloubce v předmětu, které je vhodné doplnit, studenti s nízkou hodnotou motivace ke studiu manuálně zasahují do řízení po delší době strávené nad vrstvou, stejně jako studenti s motivací naopak velmi vysokou. Je vhodné prozkoumat příčiny dlouhé doby nad vrstvou, která toho může být příčinou, k manuálnímu zásahu do řízení výuky dochází u slabě vizuálních variant, nad kterými studenti trávili mnoho času. Je vhodné tyto varianty přezkoumat co do jejich srozumitelnosti a zpracování. Rovněž u této analýzy výsledky zahrnovaly množství předpokládaných pravidel, které potvrzují její validitu. 22
6.2. Předmět Matematika Pro tento předmět jsou k dispozici záznamy o výuce pro celkem 52 studentů (uživatelů) a v celkovém počtu 2 117 záznamů v Protokolu 1 (výuka) a 995 záznamů v Protokolu 2 (testování). Na základě metadat o výukové opoře byl zpracován a poskytnut autorům podrobný přehled o struktuře výukové opory (předmětu) na všech jeho úrovních předmět, lekce, rámce a jeho varianty, ze kterého je například patrné, že více rámců existuje pouze ve vizuálních a verbálních variantách. Vzhledem k tomu, že se jedná o předmět Matematika a navíc v tomto konkrétním případě zaměřený na adaptivní testování spíše než na výuku, může být toto rozložení považováno za opodstatněné. Je dále na rozhodnutí autora zvážit, zda je logicky možné pro tyto rámce připravit i auditivní a kinestetické varianty. Dále byly zpracovány základní statistické charakteristiky dat, ze kterých vyplývá například, že se výuky zúčastnilo 52 studentů, kteří podle mediánu trávili nad vrstvami přibližně 10 sekund, a to nejčastěji v 1 sezení. Při výuce bylo použito 132 testovacích otázek a medián hodnot procentuálních výsledků měření znalostí je 47%. Podle mediánu jsou vrstvy nejčastěji v hloubce 2 (základní) a otázky byly přibližně ohodnoceny autorem ziskem 3 bodů. Pro vrstvy i testovací vrstvy předmětu, které byly součástí výukového procesu, byly zpracovány základní statistické charakteristiky v navrženém formátu, a to včetně detailního přehledu o jednotlivých odpovědích testovacích otázek, nejen otázkách celkově. Z tohoto přehledu je patrné, že některé konkrétní odpovědi byly studenty velmi často nebo i vždy zodpovězeny chybně. Autorovi byla navržena bližší inspekce těchto odpovědí, co se týče jejich srozumitelnosti a zpracování. Korelační analýza byla provedena nad 21 reálnými atributy protokolu. Výsledek korelační analýzy nepřinesl žádné nové zajímavé poznatky. Byly odhaleny silné korelace mezi hodnotami atributů o charakteristikách učebních stylů studentů. Tyto korelace však nemají žádný vztah k předmětu či jeho výuce. V rámci korelační analýzy byly zároveň vypočteny korelace nad daty Protokolu 2 detailní záznamy o jednotlivých odpovědích 23
na testovací vrstvy (otázky). Výpočet proběhl nad 33 reálnými atributy Protokolu 2. Výsledky této analýzy nepřinesly žádné zajímavé výsledky, pouze potvrdily výsledky očekávané. Nad stejnými atributy byla provedena analýza hlavních komponent. Z vypočtených vlastních čísel je patrný prudký propad hned po prvním čísle, což poukazuje na jednu výraznou hlavní komponentu v datech. Po bližším prozkoumání a interpretaci komponenty je možno říci, že všechny významné atributy, které jsou součástí vypočtené hlavní komponenty, mají jako společnou vlastnost konstantnost jejich hodnot v datovém souboru. Výsledná komponenta tak nepřináší nové zajímavé skutečnosti. V návaznosti na korelační analýzu provedenou nad daty Protokolu 2 o jednotlivých odpovědích testovacích vrstev, byla nad těmito daty provedena i analýza hlavních komponent. Výsledná vlastní čísla prokázala existenci jedné hlavní komponenty. K této komponentě přispívají téměř všechny atributy vstupující do analýzy. Její význam je takto nemožné přesně interpretovat. Pro předmět byla dále provedena analýza příčin výsledků měření znalostí. Nad kategorickými atributy proveden výpočet asociací, jehož výsledkem bylo celkem 5 pravidel s jedinou hodnotou sukcedentu - velmi špatné výsledky (0%). Analýza poskytla například následující výsledky: pro velmi dobré, dobré ani částečně dobré výsledky testování nebyly nalezeny žádné zjevné příčiny; nulového výsledku při měření znalosti bylo dosahováno u vrstev typu úloha, které studenti vynechávali. Vzhledem k převažující většině typu vrstev úloha je vhodné prozkoumat příčiny krátkého času nad vrstvami; u otázek s tvořenou odpovědí, nad kterými studenti trávili velmi málo času (0-2 sekundy), bylo dosaženo nulového výsledku při měření znalostí; studenti s nízkou charakteristikou úspěšnost při akci ve čtvrtém sezení, kteří trávili nad vrstvami velmi krátkou dobu, dosahovali 24
výsledku 0%. Je vhodné prozkoumat příčiny krátkého času nad vrstvou v dalších analýzách; studenti s nízkou úspěšností, kteří trávili nad vrstvami 21-40 sekund v odpoledních hodinách, dosáhli výsledku 0%. Je vhodné prozkoumat konkrétní vrstvy, které podporují pravidlo z hlediska jejich motivační složky. Vzhledem k zaměření předmětu na adaptivní testování, byla provedena navíc podrobná analýza jednotlivých odpovědí testovacích vrstev na základě záznamů Protokolu 2. Výsledky zahrnovaly následující zjištění: příčiny správného zodpovězení otázky nebyly nalezeny v žádných pravidlech; studenti s nízkou hodnotou charakteristiky úspěšnost odpovídali špatně na otázky, je vhodné ověřit motivační složku otázek; špatné odpovědi na otázky se projevily u vizuálních variant, které je nutno prověřit z hlediska jejich srozumitelnosti a vhodnosti zpracování; silně vizuální studenti odpovídali špatně na otázky, je vhodné prověřit dostupnost vizuálních variant v systému a v případě, že tyto varianty jsou dostupné, prověřit jejich zpracování; jednotlivé odpovědi na otázky byly studenty využity špatně (pozn. špatné odpovědi považovány za správné a naopak správné odpovědi považovány za špatné) v případech kdy: o se jednalo o verbální variantu, o verbální složka varianty byla vysoká, o vizuální složka varianty byla nízká. Tato tři pravidla se vzájemně potvrzují a ve výsledku je možné je zredukovat a říci, že odpovědi byly využívány špatně u verbálních variant. Otázky této varianty je nutné prověřit. Analýza příčin množství času stráveného nad oporou byla provedena s použitím metody hledání asociací nad kategorickými atributy. Výsledkem bylo celkem 17 asociačních pravidel. Po odfiltrování pravidel, ve kterých na obou stranách, jak v antecedentu, tak v sukcedentu, figurovaly atributy 25
týkající se délky času nad oporou (pozn. tento fakt byl zapříčiněn spojením výpočtu do jednoho s ostatními analýzami, ve kterých je délka času nad oporou v antecedentu považována za smysluplnou) nezůstala k dalšímu rozboru žádná asociační pravidla. Analýza zásahů studenta do adaptivního řízení byla provedena s použitím metody hledání asociací nad kategorickými atributy. Výpočet asociací neposkytl v tomto případě žádná asociační pravidla a tedy ani žádné zjevné příčiny manuálních zásahů studenta do řízení výuky. 6.3. Využití výsledků Zpracované přehledy o struktuře předmětu, stejně jako základní statistiky a výsledky korelační analýzy, analýzy hlavních komponent, příčin výsledků měření znalostí, příčin množství času stráveného nad oporou a zásahů studenta do adaptivního řízení byly v plném rozsahu prezentovány autorům zkoumaných opor pro předměty Business English 1 a Matematika. Autoři tyto výsledky a formu a komplexnost jejich zpracování ocenili a využili při ověřování částí opory nebo testových otázek, na které výsledky upozornily. Na základě toho byly některé části opor a některé testové otázky upraveny a doplněny některé chybějící obsahy, kde to bylo logicky možné. 26
7. Závěr 7.1. Shrnutí výsledků práce Hlavním požadavkem kladeným na řešený evaluační systém je při evaluaci zohlednit veškeré elementy účastnící se vzdělávací interakce a nesčetné aspekty ovlivňujících proces adaptace výuky. Pro dosažení komplexnosti evaluace, tedy evaluace takové, která by postihovala kurz po všech jeho stránkách a na základě různých úhlů pohledu, zahrnuje navrhované řešení evaluaci ve třech fázích: před zahájením výuky prostřednictvím vyhodnocení posudků studijních opor, tedy výukového obsahu daného kurzu a jeho pedagogické kvality, bezprostředně po ukončení výuky v každém běhu kurzu analýzou evaluačních dotazníků od studentů, po dlouhodobějším provádění výuky analýzou automaticky pořizovaného protokolu s detailními záznamy studentské činnosti v kurzu. Závěrem je celková zpráva o evaluaci kurzu na základě posudků studijních opor, studentského hodnocení výuky prostřednictvím dotazníků i protokolu. S ohledem na cíle této disertační práce a návaznost na zmíněný projekt adaptivního e learningu provozovaného v LMS Barborka, je práce zvláště zaměřena na adaptivní e learningové kurzy, s evaluací všech dílčích částí výukového obsahu a aktivit studentů nad těmito. Byly definovány přístupy k provedení evaluace a tak i dosažení stanovených cílů disertační práce a navržen evaluační model pro realizaci této systémové evaluace. Byly ujasněny zdroje vstupních dat evaluace, jejich sběr, struktura a další formování pro potřeby datových analýz, jež jsou základem pro formulaci expertních pravidel systému. Rovněž bylo navrženo řešení evaluace z hlediska datového, analytického i hlediska technické implementace a struktury systému, jakožto podklad pro provedení a naplánování samotné realizace celého evaluačního systému. Byla provedena detailní analýza protokolu o činnosti v LMS Barborka a navrženy 27
a implementovány algoritmy pro jeho zpracování do podoby vhodné pro další analýzy, které byly následně na datech realizovány. Navržené řešení evaluačního systému včetně jeho funkcí předzpracování dat, matematických statistik a analýz data-miningovými metodami bylo implementováno jako samostatný adherentní model LMS Barborka a ověřeno v praxi na dvou adaptivních kurzech, jež byly v LMS Barborka realizovány. Výsledky evaluace byly vyhodnoceny a předloženy autorům kurzů s návrhy doporučených nápravných opatření. Autoři poskytnuté výsledky evaluace ocenili jako přínosné a srozumitelné. Výsledkem této práce je teoretický model komplexního evaluačního systému, který byl implementován a ověřen v praxi. Tento model umožňuje detailní a hloubkovou evaluaci e learningových kurzů, se speciálním zaměřením na adaptivní kurzy, která by bez plné automatizace byla v takovém rozlišení nerealizovatelná manuálně. 7.2. Náměty na pokračování výzkumu Evaluační systém, který je řešen v rámci této práce, poskytuje výsledky ve formě přehledů, statistických charakteristik a asociačních pravidel (hypotéz). Systém a jeho výstupy mohou být dále použity jako základ pro dedikovaný expertní systém, který na základě expertních pravidel provede automatické vyhodnocení či interpretaci získaných hypotéz, které jsou v současnosti interpretovány autory/hodnotiteli. Vytvořením nástavby expertního systému nad implementovaným evaluačním systémem by bylo dosaženo ještě vyšší úrovně automatizace evaluace e-learningových kurzů a byla by limitována možnost chyby lidského faktoru při interpretaci výsledků evaluačního systému. Další možností pokračování je napojení evaluačního systému na automaticky tvořené sémantické sítě, jež byly řešeny a implementovány v rámci jiného výzkumu v souvislosti s adaptivní výukou a projektem LMS Barborka, jehož je evaluační systém součástí. Tyto sémantické sítě jsou detailním vyjádřením pojmů a jejich vztahů ve výukové opoře a jejich používání studenty při výuce je detailně protokolováno. Logickým pokračováním této práce by bylo rozšíření působení evaluačního systému 28