SYSTÉM PRO AUTOMATICKÉ OVĚŘOVÁNÍ ZNALOSTÍ PŘIBYL VLADIMÍR Fakulta managementu, Vysoká škola ekonomická v Praze, Jarošovská 1117/II, 377 01 Jindřichův Hradec priby-vl@fm.vse.cz Abstrakt: Příspěvek se zabývá popisem systému pro automatizované ověřování znalostí, který byl z podstatné části vytvořen a v současné době je rozvíjen a používán na Fakultě managementu VŠE v J. Hradci. Systém pokrývá celou problematiku, od zadávání otázek a tvorby testů až po jejich vyhodnocení. Součástí systému je i WWW rozhraní, které umožňuje zadávat a také ihned vyhodnocovat testy elektronickou formou. Zejména tato část je zaměřena na využití v rámci distančního vzdělávání. Klíčová slova: tvorba testů, testování znalostí,on-line testování,omr Abstract: This contribution describes the system for computerized knowledge checking, majority of which was created and is being innovated and used on Faculty of management VŠE Jindřichův Hradec at present. This system covers all the tools necessary for creating questions, generating tests, checking and evaluating tests. The important part of this system is the WWW interface, which enable on-line filling in and evaluating tests. This part is very suitable for distance learning. Key words: Generating tests,knowledge checking, on-line checking,omr 1 ÚVOD Fakulta managementu VŠE se podobně jako další vysokoškolská pracoviště zajímá o cesty efektivního ověřování znalostí svých studentů. Základní podněty pro tento zájem je možné rozdělit do několika hledisek, přičemž pravděpodobně nejdůležitějším je rostoucí počet studentů vysokých škol a s tím související problémy. Mezi ty nejdůležitější určitě patří legitimní požadavek na objektivitu hodnocení znalostí studentů. V rostoucích objemech studentů se stále více projevuje vliv lidského faktoru na toto hodnocení. Studenti stejného předmětu jsou často hodnoceni různými pedagogy s různou mírou objektivity a náročnosti, často na rozdílné studijní látce. Druhým faktorem zájmu je faktor ekonomický. Při rostoucích počtech studentů a málo se měnícím počtu pedagogických pracovníků je nutné uvažovat o efektivnějších metodách ověřování znalostí. Přímo se zde nabízí využití moderních informačních technologií, které tuto činnost mohou významně usnadnit. S ohledem na výše uvedené se dnes všeobecně preferuje využití testů při ověřování znalostí. Metoda testu je založena na existenci množiny odpovědí na zadanou otázku, z nichž některé (jedna nebo více) jsou správné. Tato technika nejlépe odstraňuje problém subjektivního hodnocení. Bohužel je nutné též připustit námitky, že tento postup není použitelný na jakýkoliv předmět (obtížně se uplatňuje např. v matematice, ověřování praktických dovedností v informatice, lékařství, při nalézání inovativních přístupů v různých oborech, atd.). I v tomto směru však dochází k částečnému posunu, protože objektivnost testování je natolik významná, že se dnes stává prakticky nutností. Pro zpracování testů (od vzniku až po vyhodnocení) existuje řada komerčních produktů, bohužel v cenových relacích, které nebyly pro naši fakultu přijatelné. Kromě toho panovaly obavy pramenící z jednoznačně daných algoritmů používaných v těchto produktech a tím obtížného přizpůsobení pro konkrétní potřeby fakulty a jejích pracovišť. Proto bylo započato s vývojem vlastního programového produktu, který by společně s dalším zakoupeným softwarem byl schopen zajistit požadované úkoly.
2 CELKOVÁ KONCEPCE SYSTÉMU Celková koncepce systému je zobrazena na Obr. 1. Systém se skládá ze tří hlavních částí: Podsystém pro automatické vytváření testů (vytváření a údržba báze otázek, vytváření testů podle zadaných předpisů, tvorba zadání) Podsystém pro vyhodnocování odpovědí z vyplněných testových listů Zdroj dat a vyhodnocovací mechanismus pro On-line interface realizovaný v prostředí WWW (zejména zajímavé pro distanční formu výuky) Část systému pro rozpoznávání vyplněných testových listů (OMR) není přímo součástí systému a jedná se o komerční software (Remark Office 5.0). Data získaná tímto produktem musí tedy být do systému importována, aby bylo možné je využít pro vyhodnocení výsledků testu. Součástí etapy rozpoznávání je také skenování testových listů. Tato část tvoří většinu doby potřebné k vyhodnocení testů. V on-line režimu tato etapa, jak vyplývá i z Obr.1, odpadá, čímž dochází k velmi výrazné úspoře času a výsledky testu jsou tak k dispozici prakticky ihned po odeslání vyplněného formuláře k vyhodnocení. Báze otázek Automat. vytv. testů Zadání Student Vyučující Seznam správných odpovědí Zdroj dat pro On-line systém Odpovědi Výsledky On-line interface Zadání testu Systém kontroly OMR Testový list Jiná možnost zadání Obr.1: Celková koncepce systému Čárkovanou čarou je na Obr.1 vyznačena část systému, která umožňuje použít systém pro vyhodnocení testů, které nebyly v systému vytvořeny a neskládají se tedy z otázek obsažených v bázi otázek. Tato část nachází uplatnění zejména v případě využití již dříve připravených testů, či při zadávání testů připravených jinou organizací. Systém pro On-line přístup tvoří samostatnou část systému, která je v současné době ještě z části ve vývoji a vznikla později než zbývající část systému. Důvodem k tomuto uspořádání je především fakt, že systém pro tvorbu testů a jejich vyhodnocování přes OMR, který je na naší fakultě vyvíjen již delší dobu a má implementovánu řadu funkcí, je postaven na databázovém prostředí MS Access a má lokální charakter. Pro budování WWW rozhraní je však tato koncepce nevhodná a proto datovou základnu pro on-line přístup tvoří databázový server Postgress. Přístup k databázovému serveru je z prostředí MS Access bezproblémový a pro uživatele se tak systém jeví jako jednotný.
3 POPIS JEDNOTLIVÝCH ČÁSTÍ SYSTÉMU V této kapitole bych se rád věnoval popisu jednotlivých částí systému. Drtivou většinu případů využití systému tvoří použití automatického vytváření testů. Tomuto přístupu se budu věnovat podrobněji v jednotlivých podkapitolách. Nejdříve bych se však ještě zmínil o možnosti využít systém jen pro vyhodnocení již dříve připravených testů. V tomto případě je zřejmé, že nelze využít on-line přístup, protože v systému neexistuje zadání jednotlivých otázek testu a není proto možné je zadávat elektronickou formou. Zadání tedy vytváří vyučující pomocí jiných prostředků (např. textového editoru). Do systému je pak pouze importován seznam správných odpovědí jednotlivých otázek. Tento import se provádí pomocí speciálního vzorového testového listu, který vyplní vyučující a který je do systému načten jako vzor, se kterým se pak porovnávají jednotlivé testy. Součástí vzorového listu je samozřejmě také možnost zadat bodové hodnocení jednotlivých otázek. 3.1 Báze otázek pro automatizovaný systém vytváření testů Báze otázek tvoří základ podsystému pro generování testů. Systém podporuje několik typů otázek: Testové otázky (výběr z možností, jedna nebo více správných odpovědí) Doplňovací otázky (doplnění chybějící hodnoty nebo textu, např. správný gramatický tvar) Seřaďovací otázky (určení správného pořadí slov ve větě, správného pořadí hodnot..) Otázky se slovní odpovědí (odpověď se předpokládá ve tvaru volného textu) Použitelnost jednotlivých typů se liší podle způsobu zadávání a vyhodnocování testů. Přehled je uveden v Tab.1. Typ otázky Způsob zadání a vyhodnocování testů Zadání tištěné Zadání elektronicky Oprava přes OMR Oprava elektronicky Zadání tištěné Oprava ručně Testová Doplňovací Seřaďovací Slovní odpověď Tab. 1: Použitelnost jednotlivých typů otázek Báze otázek je koncipována tak, že každá otázka má kromě typu své bodové hodnocení a může být z báze otázek dočasně vyřazena označením za neaktivní. Otázky jsou v bázi uspořádány do dvou hierarchických úrovní, aby bylo možné při zadávání předpisu pro automatické vytváření testů přesněji specifikovat výběr otázek do testů. Vzhledem k databázovému charakteru báze otázek systém předpokládá pro většinu aplikací textový charakter zadání otázek i jednotlivých odpovědí. Komplikace nastává při nutnosti zadávání složitě formátovaných textů jako jsou např. matematické vzorce. Pro takový případ systém dovoluje vložit zadání i jednotlivé odpovědi otázek ve formě OLE objektu, tedy např. jako část dokumentu Word, nebo obrázek. Tento přístup ovšem značně zvyšuje nároky systému na výkon výpočetních systémů a tedy poněkud zpomaluje funkci systému. Pro On-line prostředí ještě tato možnost není implementována.
3.2 Automatizované vytváření testů Z připravené báze otázek umožňuje systém automatické vytváření testů podle specifikovaného předpisu pro výběr otázek. Systém je koncipován tak, že nabídne uživateli výběr dostupných skupin otázek, pro které je možné stanovit počet otázek, které budou z dané skupiny do testu při vytváření zařazeny. Jakmile je předpis pro vytváření testů nadefinován, je možné jej v budoucnu kopírovat pro nové testy, které mají mít stejnou strukturu. Součástí vytváření testů je také možnost vytvořit požadovaný počet variant testu. V současné době systém podporuje využití až 100 variant jednoho testu. Jednotlivé varianty mohou vznikat různými způsoby: všechny varianty mají stejné otázky, ale liší se jejich pořadím a v případě testových otázek také pořadím jednotlivých možností odpovědí (z hlediska objektivity nejlepší možnost, ale vyšší riziko opisování ) každá varianta se skládá (pokud to umožňuje počet otázek v dané skupině) z jiných otázek. (poněkud menší objektivita, nižší riziko opisování ) kombinace obou přístupů. Některé varianty se liší jen pořadím, jiné se liší i vybranými otázkami 3.3 Zadávání testů Způsob zadávání testů se samozřejmě liší podle toho, zda se bude jednat o on-line přístup, či zda půjde o klasický postup s vyhodnocením přes OMR. 3.3.1 Vyhodnocení přes OMR Při tomto postupu je zadání pro příslušný počet studentů vytištěno a jednotlivé varianty jsou náhodným způsobem rozdány. (V případě použití testů vytvořených mimo systém jsou rozdány tyto). Důležité je, že kromě zadání dostává každý student ještě formulář (testový list), do kterého vyznačuje své odpovědi. Tento testový list je již vytištěn na jméno a obsahuje i strojově zpracovatelný identifikační údaj studenta (čárový kód) a kód testu. Jediné, co musí (kromě odpovědí) vyplnit student sám je identifikace varianty testu, protože tento údaj není při tisku testových listů znám. Seznam studentů pro které se testové listy tisknou musí být v současné době do systému importován. Do budoucna počítáme ještě s přímým propojením s informačním systémem fakulty tak, aby bylo možné přímo vytisknout testové listy pro studenty patřící do skupiny přihlášených na zkouškový termín, nebo do vybraného kurzu. Seznam studentů je pak využit i pro vytvoření sestavy s výsledky testu po jejich vyhodnocení. 3.3.2 On-line přístup Při tomto postupu odpadá tištění zadání i testových listů. Do popředí se ale dostává problematika identifikace studenta. V případě, kdy by se sice jednalo o využití on-line přístupu, ale byla by možná kontrola totožnosti studenta, je situace poměrně snadno řešitelná rozdáním jednoznačných identifikačních údajů (jméno, heslo) pro přístup do systému. Bohužel právě pro distanční formu výuky je však důležitější ten případ, kdy student vyplňuje testový formulář přes WWW rozhraní prakticky odkudkoli a osobní kontrola tak samozřejmě není možná. Není tak možné zabránit situaci, kdy by se u testu student nechal zastoupit někým jiným. Právě z tohoto důvodu zatím vidím hlavní využití tohoto přístupu pro zadávání cvičných testů a kontrolních testů, jejichž úspěšné složení umožní studentovi například postoupit do další distanční dávky. Velkou výhodou je možnost okamžitého vyhodnocení testu a tedy vlastně okamžité zpětné vazby. Pro skutečnou kontrolu znalostí spojenou např. s absolvováním předmětu není podle mého názoru tento systém možné plně využít. 3.4 Vyhodnocení testů Vyhodnocení testu se provádí z dat získaných z OMR systému, nebo z WWW formuláře (v případě on-line přístupu). Systém podporuje obecný přístup k hodnocení jednotlivých otázek. Jak již bylo zmíněno, každá otázka může mít jiný počet bodů a v případě testových otázek také libovolný počet správných odpovědí (pro testy vyhodnocované přes OMR je ovšem celkový počet všech odpovědí pro otázku omezen na 5). Vyhodnocovací mechanismus používá nejpřísnější
možný přístup k hodnocení. Jako správně zodpovězená otázka je vyhodnocena ta, kde jsou označeny všechny správné a žádná špatná odpověď. Bylo by možné uvažovat i o mírnějším přístupu, ale ten zatím není v systému implementován. Výsledkem vyhodnocení testu je počet dosažených bodů a procentuální úspěšnost. V případě, že se jednotlivé varianty testu skládají z různých otázek nemusí být celkový dosažitelný počet bodů u jednotlivých variant stejný. Součástí hodnocení testu je také (zatím však pouze pro testy vyhodnocované přes OMR) k dispozici také statistika jednotlivých otázek. Pro každou otázku je uvedena procentuální úspěšnost a pro každou odpověď pak četnost zaškrtnutí. Pomocí této statistiky je možné odhalit např. nevhodné formulace otázek, nebo získat přehled o tom, jaká problematika dělá studentům největší potíže. 4 PRAKTICKÉ ZKUŠENOSTI A DALŠÍ VÝVOJ Jak bylo již zmíněno výše, systém je na naší fakultě postupně vyvíjen již delší dobu.část využívající OMR je běžně používána pro vytváření, zadávání a vyhodnocování testů jak v prezenční, tak v kombinované formě výuky. On-line přístup ještě není ve všech aspektech plně dokončen a proto s ním zatím velké praktické zkušenosti nemáme. Předpokládám však jeho brzké nasazení právě v rámci kombinovaného studia na naší fakultě. Hlavní směr vývoje systému vidím zejména ve zdokonalování on-line části systému a jejího propojení se stávajícím systémem pro vytváření testů. Předpokládám také implementaci různých způsobů při vyhodnocování testů a také možnosti dodatečné úpravy již vytvořených testů. Především možnosti některé otázky nahradit jinými, nebo vypustit. 5 ZÁVĚR Největší přínos pro distanční formu výuky ale spatřuji především v možnosti on-line přístupu přes WWW rozhraní. Výhoda spočívá ve snadné dosažitelnosti a použití standardních prostředků (WWW prohlížeč). Systém je koncipován tak, že umožňuje přímou spolupráci se systémem pro správu dokumentů Palladium vyvíjeným Ing. Jelínkem na naší fakultě. Tato spolupráce pak umožňuje využít cvičné testy jako součást distančních dávek publikovaných přes Palladium a hlavně kontrolní testy pro řízení postupu samostudia. Popis systému Palladium je předmětem příspěvku Ing. Jelínka. LITERATURA 1. Morkes, D.: Tvorba aplikací v Microsoft Access 7.0, Computer Press 1997, ISBN 80-85896-79-6 2. Dobson, R.: Programování v Microsft Access 2000, Computer Press 2000, Praha, ISBN 80-7226-271-8 3. Remark Office 4.0 User s Guide, Principia Products, 1999, uživatelský manuál k programu