USE OF STATISTICS IN EVALUATION IN E-LEARNING SYSTEMS. Soňa NERADOVÁ Josef HORÁLEK

Transkript

1 THEORETICAL ARTICLES USE OF STATISTICS IN EVALUATION IN E-LEARNING SYSTEMS Soňa NERADOVÁ Josef HORÁLEK Abstract: This article describes the relationship between probability of passing a test and the form of the test. The aim is mathematically express the statistical probability of passing a test fortuitously, without previous learning. The reason for this analysis is the expansion of e-learning on all educational levels. Key words: e-learning, testing, probability. VYUŽITÍ STATISTIKY PŘI EVALUACI V E-LEARNINGOVÝCH SYSTÉMECH Resumé: Příspěve pouazuje na vztah mezi pravděpodobností a formou testování. Hlavním zaměřením článu je matematicy popsat pravděpodobnost úspěšného vyonání testu náhodným způsobem bez učení se. Důvodem tohoto rozboru je rychlý rozvoj a dynamicé nasazování e-learningových systémů do výuy na všech úrovních vdělávání. Klíčová slova: e-learning, testování, pravděpodobnost. Úvod. století přineslo rozmach informačních technologií. Moderně vybavené počítačové učebny, valitní počítačové sítě a vysoorychlostní připojení internetu již nejsou jen výsadou vysoých šol a specializovaných učeben, ale stávají se standardem na všech středních šolách a většině záladních šol. Navíc i velá většina česých domácností taé disponuje počítačem a připojením internetu. I tato sutečnost je jedním z důvodů, proč se e-learning stále častěji stává běžnou součástí výuy na všech stupních šol. Systémy, teré se pro tvorbu výuových systému používají, se dají všeobecně nazvat jao LMS systémy. K jejich vývoji se používají systémy LCMS, umožňující tvorbu jednotlivých urzů dle standardu SCORM, ompatibilních s LMS. Pořízení vhodného systému může být pro vzdělávací instituci velou investicí, proto je při jejich výběru potřebné stanovit si ritéria, terá by tento systémy měl podle [] splňovat: Charater zamýšlených urzů, zda se bude jednat o urzy rátodobé, semestrální, vysoošolsé studijní programy nebo programy celoživotního vzdělávání. Ja se budou urzy atualizovat, zda budou certifiované nebo necertifiované, jejich nároy na bezpečnost apod. Cílové supiny, pro teré budou urzy určeny, zda půjde o urzy pro veřejnost nebo profesně zaměřené supiny, limity počtu uživatelů atd. Charater vzdělávací instituce, finanční prostředy apod. Nároy samotného systému na správu, administraci, technicou údržbu atd. Systém LMS Learning Management System (LMS) je řídicí výuový systém (systém pro řízení výuy), tedy apliace řešící administrativu a organizaci výuy v rámci e-learningu.[] Jedná se o apliace, teré v sobě integrují zpravidla nejrůznější on-line nástroje pro omuniaci a řízení studia (nástěna, disusní fórum, chat, tabule, evidence ad.) a zároveň zpřístupňují studentům učební materiály či výuový obsah on-line nebo i off-line. LMS systémy obsahují velé množství modulů, teré upravují chování systému vůči jednotlivým uživatelům, umožňují rozlišení rolí a rozhraní dle požadavů a potřeb jednotlivých institucí. Za běžné funce systémů řízeného vzdělávání můžeme považovat následující moduly: evidence a správa žáů evidence a správa urzů atalog výuových urzů a objetů správa studijních plánů evidence hodnocení žáů testování a přezušování žáů správa přístupových práv

2 omuniační nástroje autorsé nástroje vytváření výuových urzů a objetů - LCMS úložiště výuového obsahu LMS apliací je velá řada. Něteré jsou profesionální, aademicé a omerční, existují ale i zdarma dostupná opensource řešení. Jednotlivé apliace LMS mohou navíc obsahovat systém pro správu obsahu (Learning Content Management System LCMS). Mezi nejrozšířenější LMS patří BlacboardTM, Adobe Connect, Fronter, edoceo, z open source jmenujme např. Moodle, jehož obliba v posledních letech výrazně stoupá nebo JoomlaLMS, terý je postaven na redačním systému Joomla. Systém LCMS Pod termínem LCMS (Learning Content Management System) jsou označovány systémy, teré slouží vývoji eletronicých urzů a současně řeší týmový proces vytváření a údržby obsahu, terý zahrnuje didaticé zpracování, tvorbu, sdílení, distribuci a změny obsahu za spolupráce znalců obsahu, didaticých pracovníů, tvůrců médií a programátorů.[3] Systém LCMS by měl splňovat něoli záladních podmíne:[] plnohodnotná tvorba obrazove urzu za použití formátovaného textu a grafiy podpora vládání řady typů multimedií (obrázy, animace, videa, zvuy, simulace) známých formátů, měnění jejich vlastností a programování jejich interací s oolím podpora výuových strategií e-learning prostředy pro programování reací na ativity uživatelů, pohyb a změny vlastností objetů, vytváření simulací týmový proces tvorby a úprav obsahu správa a znovu používání obsahu, sdílení, jednotlivých verzí, zamyání obsahu a zdrojů deompozice a ompozice obsahu na výuové objety libovolného rozsahu Výsledem tohoto systému by měl být plnohodnotný urz, terý splňuje standardy SCORM a je možné ho nasadit do libovolného LMS systému. Mezi nejrozšířenější systémy LCMS v Česé republice patří itutor, další používané jsou TotalLCMS, Saba Learning Suite, Plateau LCMS. SCORM SCORM (Sharable Content Object Reference Model referenční model sdíleného obsahu) je nejdůležitějším a nejvíce respetovaným mezinárodním standardem pro e-learningové vzdělávání. Je to model, terý vytváří a doporučuje sadu vzájemných technologicých specifiací a směrnic vytvořených pro splnění vysoých nároů na vzdělávací obsah a systémy. Norma SCORM byla oficiálně vydána v lednu, od té doby se SCORM stále vyvíjí a expanduje v závislosti na potřebách průmyslových odvětví, vládních institucí a aademicých participantů. SCORM [5] se zaměřuje na web/webová prostředí jao na záladní platformy pro dodávu vzdělávacího obsahu. To se děje za předpoladu, že vše, co může být doručeno vzdělávanému prostřednictvím webu, může být snadno použito v dalších vzdělávacích prostředích, terá ladou menší požadavy na přístupnost a síťovou podporu. Tato strategie eliminuje většinu vývojářsé práce potřebné pro přizpůsobení eletronicého obsahu různým technologicým platformám, protože web sám o sobě představuje univerzální médium pro dodávu obsahu. SCORM (vybudovaný na záladě existujících webových standardů) osvobozuje vývojáře a zaměřuje je na rozvoj efetivních vzdělávacích strategií. Záladní principy standardu SCORM lze shrnout do něolia líčových bodů: Přístupnost schopnost zpřístupnit vzdělávací omponenty (urzy, moduly apod.) z libovolných míst tam, de je internet. Přizpůsobivost - schopnost upravovat omponenty individuálním a organizačním potřebám, času a výdajů spojených s dodávou vzdělávacích obsahů. Trvalost schopnost snášet technologicý postup bez nutnosti redesignu a přeprogramování. Interoperabilita - schopnost přebírat vzdělávací omponenty vyvinuté v různých oblastech a používat je opětovně i na jiných platformách - např. mezi různými LMS. Opaovaná použitelnost - flexibilita pro začleňování vzdělávacích omponentů v jiných apliacích a ontextech. Díy standardizaci SCORM mohou záazníci využívat LMS a LCMS od různých výrobců a tyto systémy spolu správně spolupracují.

3 Něteří výrobci dodávají ja LMS ta LCMS. Tyto systémy pa často společně nabízí vyšší integraci, než jaou umožňuje norma SCORM a přináší ta záazníům další výhody, terých nelze dosáhnout spojením LMS a LCMS různých výrobců.[6] Otázy a testování Jedním z nejčastějších využití e-learningových je prezentaci studijních materiálů i testování. Typy úloh, teré lze sestavit můžeme rozdělit dle [7] do něolia dobře známých supin. Tím nejčastějším je dělení podle typu úlohy (polože testu). Ty se pa rozdělují dle: Formy: Otevřené úlohy Mezi typy patří doplňovací úloha, lastr doplňovacích úloh, produtivní otevřená úloha s rátou odpovědí a produtivní otevřená úloha s dlouhou odpovědí Uzavřené úlohy Mezi tento typ úloh řadíme dichotomicé otázy (binary item), lastr dichotomicých otáze, otáza s výběrem odpovědi (multiple-choice item), otáza s vícenásobným výběrem odpovědi (multiple-response item), přiřazovací otáza, otáza na uspořádání, porovnávací otáza Přechodné úlohy Tyto úlohy pa vzniají ombinací předchozích typů. Cíle: Na reproduci. Na porozumění. Apliační. Analytico-synteticé. Cílem je samozřejmě sestavit maximálně objeticní testy s vyváženými otázami. Oblíbenou a často používanou formou testování studentsých znalostí je forma testu s deseti otázami. Každá otáza nabízí čtyři možnosti, přičemž jenom jedna je správně. Student, terý má 6% správně tj. šest otáze zodpoví správně, testem projde. Otázou zůstává, naoli je splněný test odrazem studentových vědomostí, a naoli vstupuje do hry náhoda a pravděpodobnost. Poud tedy vyjdeme z toho, že student žádné znalosti nemá a vezmeme čistě jen pravděpodobnost, že projde testem, tedy uhodne šest otáze. Tuto pravděpodobnost spočteme následovně pomocí binomicé věty. 3 Pravděpodobnost a testování Poud tedy vyjdeme z výše zmíněného tvrzení, že student žádné znalosti nemá a vezmeme čistě jen pravděpodobnost, že projde testem, tedy uhodne šest otáze. Tuto pravděpodobnost spočteme následovně pomocí binomicé věty: m æmö m- ( * h ) P ( E) è m+ l ( h) de m+l je počet otáze, m je nejvyšší počet tolerovaných špatných odpovědí, h je počet nabízených možných odpovědí na otázu. Pro tedy náš uvedený případ po dosazení vyjde: æ ö - ( *3 ) è *3+ 5*9+ * 7+ To můžeme vyložit ta, že ze sta studentů, dva uspějí bez jaýcholiv znalostí. Tento poměr se v případě, že budeme předpoládat velmi povrchní znalost změní o řád. V testech se často objevuje následující onstruce: dvě otázy jsou hodně vzdáleny od správné odpovědi a student je může vyloučit pomocí deduce a minimální znalosti dané problematiy. Pro představu uvádíme následující přílad testovací otázy obsahující téma ze záladních znalostí matematiy: Čemu se rovná ln e? a) π b) 333 c) e d) Průměrný student bude vybírat správnou odpověď z možností c a d. Poud vyjdeme z toho, že všech deset otáze má stejnou onstruci odpovědí, pa můžeme spočíst pravděpodobnost složení testu tato:

4 P ( E) 386 æ ö ç ( - ( ) * å To můžeme vyložit ta, že přibližně čtyři z deseti studentů projdou testem při minimálních znalostech. Toto číslo je poměrně vysoé a vynucuje si změny testovacích otáze, ta aby prve náhody měl menší účast a test více odrážel znalosti studentů. Je možné toho docílit různými cestami napřílad více otáze, více odpovědí. Další možností jsou tazvané přímé otázy. Poud by z deseti otáze dvě byly přímé a student s minimální znalostí na ně správně neodpoví a předpoládejme, že minimální znalosti mu pomohou omezit výběr na dvě možnosti. Potom pravděpodobnost, že úspěšně složí test, vychází následovně: æ ö - ( * ) è Pro tento případ je pravděpodobnost úspěšného složení testu studentem s minimální znalostí ještě poměrně vysoé číslo (jeden z pěti). Poud by z deseti otáze tři byly přímé a student s minimální znalostí na ně správně neodpoví a předpoládejme, že minimální znalosti mu pomohou omezit výběr na dvě možnosti. Potom pravděpodobnost, že úspěšně složí test, vypadá následovně: æö - ( * ) è 7 7 Zde jsme řádově na stejné hodnotě jao v prvním vyčíslení (P,). Výsledem je, že onstruce otáze musí být taová, že všechny čtyři alternativy se jeví studentovi s minimální znalostí jao rovnocenné nebo je užitečné použít přímé otázy. Poud budeme mít test obsahující deset otáze a e aždé pět odpovědí, potom pravděpodobnost, že úspěšně složí test, vypadá následovně: æ ö - ( * ) è * + 5*6+ *6+ * 56 Je patrné, že lze výše uvedenými způsoby omezit tzv. náhodné natipování odpovědí. Tyto testy používáme ve studijních oporách a slouží jao zpětná vazba pro studenty, aby viděli, ja se orientují v záladních pojmech daného tématu. Taé je nutí soustředění a pozornému čtení. Pochopitelně postupně ja narůstá počet probraných témat, ta narůstá obtížnost a proto je důležité přesné pochopení otázy pro výběr správné odpovědi. S podobným způsobem testování se studenti potají, poud chtějí zísat odborné profesionální certifiáty např. v oblasti operačních systémů Microsoft nebo počítačových sítí Cisco. Nicméně tento styl ověřování úplně neprověří schopnost analýzy zadané úlohy např. řešení, proč zařízení v počítačové síti nefunguje předepsaným způsobem. Dobrou přípravou pro zvládnutí taových situací je ověřování znalostí studentů pomocí ognitivních map[8]. Je patrné, že všechny výše popsané způsoby ověřování znalostí jsou neoddělitelné a vytváří pro studenta prostředí, teré mu zrcadlo jeho sutečných znalostí. nastavuje Závěr Problematia testování, tvorby objetivních testů a jejich vyhodnocení je problematia, terou se zabývají odborníci nejen z oblasti didatiy jednotlivých oblastí, ale i informačních technologií a matematiy. S nástupem informačních technologií do oblasti vzdělávání pa četnost využívání testů hodnocení studijních výsledů narůstá. Tento článe chtěl pouázat na záladní problémy s terými se aždý pedagog setává při tvorbě a vyhodnocení testů a upozornit na jejich možná negativa. Dalším cílem tohoto článu bylo pouázat na 3

5 nutnost ombinace jednotlivých typů otáze právě vůli jejich větší objetivitě. 5 Literatura [] VANĚK, Jindřich. E-learning, jedna z cest moderním formám vzdělávání. V Karviné: Slezsá univerzita v Opavě, 8, 96 s. Studia Oeconomica. ISBN [] ČSN ISO 69 ( 97). Praha : Česý normalizační institut, s. [] Learning Management System. In: Wiipedia: the free encyclopedia [online]. San Francisco (CA): Wiimedia Foundation, - [cit. -3-6]. Dostupné z: [3] LCMS. In: Kontis: e-learning [online]. [cit. -3-6]. Dostupné z: g&submenusoucasti&subsubmenulcms [] Learning Content Management System. In: Wiipedia: the free encyclopedia [online]. San Francisco (CA): Wiimedia Foundation, - [cit. -3-6]. Dostupné z: [5] The Sharable Content Object Reference Model (SCORM). In: [online]. [cit. -3-6]. Dostupné z: [6] Vztah obsahu, LMS a LCMS. In: Kontis: e-learning [online]. [cit. -3-6]. Dostupné z: g&submenusoucasti&pos6 [7] ANDERSON, Lorin W, David R KRATHWOHL a Benjamin Samuel BLOOM. A taxonomy for learning, teaching, and assessing: a revision of Bloom's taxonomy of educational objectives. Complete ed. New Yor: Longman, c, 35 s. ISBN X. [8] USING MIND MAPS IN TEACHING COMPUTER NETWORKS. Journal of Technology and Information Education: Časopis pro technicou a informační výchovu., roč. 3, č., s. 3.. Dostupné z: /neradova. pdf Ing. Soňa Neradová Mgr. Josef Horále Katedra softwarových technologií Faulta eletrotechniy a informatiy Univerzita pardubice Studentsá Pardubice Česá republia Tel: sona.neradova@upce.cz, josef.horale@upce.cz, Www pracoviště: