EFEKTIVITA ELEARNINGOVÝCH KURZŮ PETRA POULOVÁ 1, MILOSLAVA ČERNÁ 1 A MILAN KŘENEK 2 Univerzita Hradec Králové 1, Univerzita Karlova v Praze 2 Abstrakt: Příspěvek Efektivita elearningových kurzů se zabývá možnostmi využití elearningu v univerzitním prostředí. V příspěvku jsou shrnuty zkušenosti získané při výzkumu porovnávajícím studijní výsledky dosažené tradiční prezenční formou výuky a pomocí elearningového kurzu. Klíčová slova: elearning, efektivita Abstract: The paper The Efficiency of elearning Courses deals with elearning potential in the process of education at university level. Research part of the paper is focused comparison of study results gained by students in the traditional face-to-face education and elearning way of academic education. Key words: elearning, efficiency 1. ÚVOD V posledním desetiletí došlo k velmi výrazné diverzifikaci v přijímání moderních technologií a zvláště elearningu ve vzdělávacích institucích. Pestrá paleta stupňů akceptace nových vzdělávacích přístupů se uplatňuje nejen napříč širokým spektrem vzdělávacích institucí, ale i v rámci jednotlivých institucí samotných. v tomto ohledu je zajímavé pozorovat rozvoj elearningu v oblasti vysokého školství. Přes řadu překážek, s nimiž se elearning v univerzitním prostředí potýkal, je možné konstatovat, že se v uplynulých pěti letech navzdory počáteční rezistenci rozšířilo povědomí o možnostech elearningu na většinu vysokoškolských pracovišť. V příspěvku jsou shrnuty zkušenosti získané na Fakultě informatiky a managementu Univerzity Hradec Králové při výzkumu porovnávajícímu studijní výsledky dosažené tradiční prezenční formou výuky a pomocí elearningového kurzu.
2. POROVNÁNÍ EFEKTIVITY ELEARNINGOVÝCH A TRADIČNÍCH VYSOKOŠKOLSKÝCH KURZŮ Cílem výzkumu bylo ověřit, zda vhodné využívání elearningu ve vysokoškolské výuce má pozitivní vliv na postoj studentů ke vzdělávacímu procesu a vede k srovnatelnému výkonu studentů v oblasti kognitivního učení. Předmětem výzkumu byl výkon studentů dosažený v experimentální skupině v kognitivní oblasti (zapamatování, porozumění a aplikace poznatků) a jeho porovnání s výkonem studentů dosaženým tradičním prezenčním vyučováním v předmětech Databázové systémy a Odborný anglický jazyk. Pro potřeby výzkumů byla formulována výzkumná otázka Do jaké míry ovlivní výuka s podporou elearningu nárůst znalostí a dovedností studentů a zvýší zájem o vzdělávací proces a motivaci studentů k učení v předmětu Databázové systémy / Odborný anglický jazyk?. Daný problém spadá do kategorie kauzálních výzkumných problémů, pro které se jako optimální jeví metoda pedagogického experimentu srovnávající dvě skupiny. K porovnání bylo použito statistických metod vyjadřujících významnost rozdílu mezi zjištěnými údaji. Jednalo se tedy o kvantitativně orientovaný výzkum, ve kterém jako výzkumné nástroje k získání dat byly zvoleny především didaktické testy a dotazníky. 2.1 Výzkumný soubor K prvním krokům ve výzkumném záměru patřil výběr výzkumného souboru. Protože cílem výzkumu bylo porovnat efektivitu elearningové výuky v prostředí vysoké školy s efektivitou tradičního prezenčního vyučování, byla provedena sondáž ve skupině studentů vysoké školy. Pro výběr výzkumného souboru byl použit dostupný výběr. Proto závěry výzkumu je možné zevšeobecnit pouze omezeně, na Fakultu informatiky a managementu Univerzity Hradec Králové, případně na další fakulty českých vysokých škol specializujících se na informatické nebo ekonomické obory.
Výzkumný soubor byl v prvním případě tvořen studenty vysoké školy - Univerzity Hradec Králové, Fakulty informatiky a managementu - kteří se zúčastnili v akademickém roce 2003/04 výuky předmětu Databázové systémy. Experimentální a kontrolní skupina byly vytvořeny náhodným výběrem losováním. Do experimentální skupiny bylo zařazeno 76 studentů, do kontrolní skupiny 74 studentů. V případě výzkumu v předmětu Odborný anglický jazyk bylo do kontrolní skupiny vybráno 31 studentů a v experimentální skupině bylo 53 studentů. Experiment se uskutečnil v akademickém roce 2004/05. 2.2 Výzkumné nástroje Ve výzkumu byl použit experimentální plán s využitím pretestu a posttestu. Pomocí pretestu byla zjištěna úroveň vědomostí studentů na počátku experimentu, posttest ověřil úroveň jejich vědomostí na konci experimentálního působení. Všechny didaktické testy, které byly ve výzkumu použity, byly určené k měření výsledků vzdělávacího procesu v kognitivním učení. Při tvoření úloh v didaktickém testu bylo vycházeno z jasně vymezených cílů podle Niemierkovy taxonomie a rozboru učiva a pro jednotlivé didaktické testy (pretest i posttest) byla sledována reliabilita, validita, obtížnost a citlivost jednotlivých úloh zařazených do testu. V případě předmětu Databázové systémy bylo pro pretest vytvořeno sedm testových úloh pět úloh uzavřeného typu s výběrem odpovědi, pro každou úlohu byly nabídnuty čtyři až osm možných odpovědí, přičemž více z nich mohlo být správných. Dvě úlohy byly koncipovány jako otevřené úlohy se širokou odpovědí. Pro posttest bylo vytvořeno deset testových úloh uzavřeného typu a pět úloh otevřeného typu (úlohy se širokou odpovědí). Úlohy uzavřeného typu byly v převážné většině úlohy s výběrem odpovědi, pro každou úlohu byly nabídnuty tři až sedm možných odpovědí, přičemž alespoň jedna z nich byla správná. v testu byly využity i přiřazovací úlohy.
Tab. 1. Charakteristiky úloh pretestu v předmětu Databázové systémy 1 2 3 4 5 6 7 Doporučená hodnota Hodnota obtížnosti 34,00 50,67 38,00 74,00 54,00 51,33 67,33 20-80 ULI 0,52 0,51 0,44 0,36 0,44 0,47 0,44 >0,25 Tetrachorický koeficient Bodově biserální koeficient 0,62 0,60 0,49 0,64 0,52 0,55 0,66 >0,15 0,46 0,46 0,43 0,51 0,43 0,50 0,53 >0,20 Tab. 2. Charakteristiky úloh posttestu v předmětu Databázové systémy 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Doporuč. hodnota Hodnota obtížnosti 22 28 20 22 20 21 23 23 24 23 51 51 46 43 49 20-80 ULI 0,61 0,61 0,49 0,41 0,45 0,49 0,60 0,57 0,54 0,49 0,61 0,56 0,66 0,46 0,53 >0,25 Tetrachor. koeficient Bodově biserální koeficient 0,69 0,63 0,45 0,25 0,35 0,45 0,62 0,60 0,54 0,43 0,68 0,63 0,72 0,41 0,56 >0,15 0,39 0,42 0,26 0,15 0,33 0,31 0,43 0,37 0,34 0,28 0,48 0,42 0,55 0,38 0,46 >0,20 Pro předmět Odborný anglický jazyk didaktický test zahrnující stylistickou, gramatickou a lexikální oblast. Na začátku letního semestru byl tento vědomostní test zadán jako pretest oběma skupinám experimentální i kontrolní. Na konci semestru byl skupinám zadán stejný test, v tomto případě jako posttest spolu s dotazníkem. Pro získání informací o postoji studentů k obsahové náplní i formě výuky a o časové náročnosti vlastního studia bylo použito dotazníkového šetření. Otázky použité v dotazníku byly konstruovány na základě analýzy předchozích interview se studenty. Do dotazníku byly zařazeny uzavřené a polouzavřené otázky, otevřené byly využity pouze výjimečně. Forma uzavřených odpovědí byla volena z důvodu
snadnějšího vyhodnocování odpovědí a pro zvýšení ochoty respondentů dotazník pravdivě vyplnit. 2.3 Experimentální změna Pro experimentální výuku byly vytvořeny tzv. e-předměty v rámci virtuálního studijního prostředí OLIVA. Základ virtuálního studijního prostředí tvoří LMS (Learning Management System) WebCT, v rámci kterého jsou jednotlivé e-předměty provozovány. Studenti zařazení do kontrolní skupiny neměli v průběhu semestru ani před zkouškou do e-předmětů přístup. Pro studenty experimentální skupiny nebyla rozvrhována přednáška, místo ní měli k dispozici studijní opory e-předmětu. Účast na cvičeních nebyla povinná, v době cvičení mohli studenti vyhledat vyučující a konzultovat případné problémy. Obr.1. Ukázka studijních materiálů e-předmětu Databázové systémy Kromě vlastních studijních materiálů měli studenti možnost procvičit si v e-předmětu prostřednictvím testů, kvízů a úkolů k odeslání probranou látku.
Každá lekce měla stanoveny cíle, úkoly a náplň, podobně jako je tomu v běžné výuce. Výhodou této podpory je, že student si sám volí čas, kdy přípravě přistoupí, omezuje jej jen možnost přístupu k Internetu. Obr.2. Ukázka testů e-předmětu Odborný anglický jazyk 2.4 Analýza výsledků výzkumu Zpracovávání údajů vycházelo z databáze, která obsahovala podrobný záznam o výsledcích každého studenta. Údaje byly zpracovávány pomocí tabulkového procesoru MS Excel a statistického software NCCS2000. Aby se předešlo podezření, že výsledky výzkumu byly úmyslně zmanipulovány, například tak, že do kontrolní skupiny byli zařazeni studenti s horšími studijními předpoklady, byla na počátku experimentu provedena analýza statistické
významnosti rozdílů mezi výkony v pretestu studentů zařazených do experimentální a kontrolní skupiny. Pomocí programu NCSS2000 byla Studentovým t-testem i neparametrickým Mann-Whitneyovým testem zkontrolována analýza rozptylu na hladině významnosti 0,05 pro překontrolování statistické rovnocennosti výběrových souborů v ukazateli výsledky pretestu a z této analýzy vyplynulo v obou experimentech potvrzení nulové hypotézy - nebyl zjištěn statisticky významný rozdíl mezi úrovní pretestu kontrolní a experimentální skupiny, a proto se skupiny mohly považovat za rovnocenné. Tento poznatek opravňoval provést pedagogický experiment. V důvodu podrobnější analýzy výkonu studentů v posttestu byl v případě předmětu Databázové systémy test rozdělen podle taxonomie výukových cílů na dva disjunktní subtesty subtest i zapamatování a subtest II - porozumění a používaní vědomostí v typových situacích. Používání vědomostí v problémových situacích nebylo ověřováno testem ale prostřednictvím semestrálního projektu. Analýzu výsledků výzkumu podle výkonů experimentální a kontrolní skupiny byla provedena pomocí relativní metriky výkonů dosažených v posttestu (subtestech). Pomocí relativní metriky bylo možné porovnávat výkony mezi skupinami i při různém počtu studentů. Tab.3. Relativní dosažený výkon studentů v posttestu předmětu Databázové systémy Experimentální skupina Kontrolní skupina Rozdíl V E - V K Zapamatování 48,9% 55,7% -6,7% Porozumění 76,2% 77,2% -1,0% Aplikace 90,4% 90,0% 0,4%
100,0% 80,0% 76,2% 77,2% 90,4% 90,0% 60,0% 48,9% 55,7% 40,0% 20,0% 0,0% zapamatování porozumnění aplikace experimentální skupina kontrolní skupina Obr.3. Dosažený výkon studentů v posttestu předmětu Databázové systémy Studenti experimentální skupiny v předmětu Databázové systémy dosáhli nepatrně lepších výsledků v případě použití znalostí v problémových situacích, naopak v úlohách ověřující porozumění a zapamatování poznatků byly jejich výkony nižší. Tab.4. Výkon studentů v pretestu a posttestu předmětu Odborný anglický jazyk Experimentální skupina Kontrolní skupina Rozdíl V E - V K Pretest 10,22 11,35 1,13 Posttest 13,78 12,06 1,72 Rozdíl V pretest V posttest 3,56 0,71 Ověřování hypotéz výzkumů bylo prováděno ve statistickém programu NCSS2000. Pro ověření nulové hypotézy byl opět použit Studentův t-test. Při výpočtech byla zvolena hladina významnosti 0,05, závěry tedy platí s pravděpodobností 95%. Ve výzkumu v předmětu Databázové systémy byla potvrzena nulová hypotéza tvrdící, že není statisticky významný rozdíl mezi získanou úrovní znalostí studentů v prezenční výuce a výuce s elearningovou podporou.
V případě výzkumu v předmětu Odborný anglický jazyk bylo zjištěno při vyhodnocení pretestu a posttestu, že u kontrolní skupiny bez elearningové podpory ke zlepšení výkonu studentů nedošlo. v případě experimentální skupiny došlo ke zlepšení a bylo možné konstatovat, že zjištěný rozdíl byl statisticky významný. Zároveň bylo zjištěno, že výsledky posttestu vykazují statisticky významný rozdíl ve prospěch experimentální skupiny. 2.5 Postoje studentů Velmi výrazné bylo pozitivní hodnocení předmětu využívajícího elearningovou podporu. Kontrolní a experimentální skupina byly vytvořeny náhodným výběrem z homogenní skupiny vysokoškolských studentů, kteří měli podobnou motivaci ke studiu předmětu i velmi podobné studijní předpoklady a větší obliba elearningové výuky oproti tradiční výuce byla způsobena řadou faktorů. Mezi významné patří možnost větší individualizace studia možnost volby studijního tempa, možnost volby místa a času studia, možnost volby preferované formy studijních materiálů tištěné texty, hypertext s obrázky a animacemi, videozáznamy přednášek, zhuštěný tvar přednášek v prezentacích apod.. Z pohledu časové náročnosti odpovídali studenti předmětu Databázové systémy zařazení do experimentální skupiny na příslušnou otázku dotazníkového šetření, že věnovali práci na předmětu průměrně v průměru o 7% více času než studenti kontrolní skupiny. Tato časová náročnost ale zahrnuje pouze čas strávený vlastním studiem předmětu. Nejsou v ní zachyceny informace o další časové náročnosti studia, jako například čas potřebný na dojíždění na výuku. Tato vedlejší časová náročnost studia je nezanedbatelným faktorem a značně ovlivňuje zjištěné výsledky, protože může ovlivnit zjištěné hodnoty o desítky procent. 3. ZÁVĚR Na základě provedených výzkumů je možné prohlásit, že studenti v experimentální skupině využívající ke studiu elearningovou podporu výuky předmětu dosáhli
minimálně stejných studijních výsledků v oblasti úloh ověřujících zapamatování, porozumnění poznatkům a použití vědomostí v problémových situacích jako studenti vyučovaní prezenčně. v případě dobře navrženého a vhodným způsobem realizovaného elearningového kurzu jsou tedy výsledky, kterých dosáhnou studenti absolvující elearningový předmět srovnatelné s výsledky studentů vyučovaných tradičním způsobem. Na výsledky uvedených výzkumu navázaly společně Fakulta informatiky a managementu Univerzity Hradec Králové, Fakulta managementu a ekonomie Univerzity Tomáše Bati ve Zlíně a Západočeská univerzita v Plzni a v roce 2005 připravily společně v rámci Evropských strukturálních fondů projekt RIUS Rozběh interuniverzitního studia v rámci sítě vybraných univerzit v České republice. Systém interuniverzitního studia by měl jednotlivým vysokým školám v České republice umožnit nabídnout své studijní předměty studentům jiných vysokých škol. Studenti z různých vysokých škol si v rámci tohoto projektu mohou zapisovat předměty z veřejné nabídky a v průběhu akademického roku je absolvovat. Uvedeným způsobem se studentům výrazně rozšiřují možnosti při tvorbě individuálních studijních plánů o předměty, které jejich domácí škola nenabízí. Interuniverzitní studium probíhá převážně distančně. Prezenčně se konají pouze zahajovací schůzky k jednotlivým předmětům a závěrečné zkoušky. Většina výuky probíhá pomocí elearningu, protože do nabídky vysokých škol jsou zařazeny pouze předměty plně podporovány tutorovanými elearningovými kurzy. Literatura 1. ČERNÁ, M., POULOVÁ, P. elearning - vize a skutečnost. Technológia vzdělávania, 2005, vol. 13, (no. 5), s. 11-12. 2. GAVORA, P. Úvod do pedagogického výzkumu. Brno: Padio, 2000. 3. CHRÁSTKA, M. Didaktické testy. Brno: Padio, 1999. 4. JABLONSKÁ, E., RYSOVÁ, H. Vyhodnocení dotazníku pro získání zpětné vazby. In Sborník příspěvků ze semináře a soutěže elearning 2002, Hradec Králové: Gaudeamus 2002, s. 162-166 5. PELIKÁN J. Základy empirického výzkumu pedagogických jevů. Praha: Karolinum, 1998.
RNDr. Petra Poulová Univerzita Hradec Králové, Fakulta informatiky a managementu Rokitanského 62, Hradec Králové, 500 03 Petra.Poulova@uhk.cz Mgr. Miloslava Černá Univerzita Hradec Králové, Fakulta informatiky a managementu Rokitanského 62, Hradec Králové, 500 03 Miloslava.Cerna@uhk.cz Doc. Ing. Milan Křenek, CSc. Univerzita Karlova v Praze, Pedagogická fakulta M.D. Rettigové 4, Praha 1, 116 39 milan.krenek@pedf.cuni.cz Příspěvek vznikl za podpory projektu RIUS (CZ.04.1.03/3.2.15.1/0067), který je spolufinancován Evropským sociálním fondem a státním rozpočtem ČR