Metodika pro kurz: Tvorba a evaluace E-learningu

Transkript

1 Číso projektu: CZ.1.07/3.2.04/ Metodika pro kurz: Tvorba a evauace E-earningu Progresivní Pastové Konstrukce AURO, spo. s r.o. Moravany u Brna Obsah Evauace e-earningu 3 Vymezení pojmu evauace 3 Formuace specifických výstupů 3 Znaosti a porozumění 4 Dovednosti 4 Hodnoty a postoje 6 Chování 7 Druhy Evauace 7 Design evauace 8 Sběr dat 12 Anaýza a interpretace dat 16 Metodika tvorby 20 Učení jako přenos informace 20 Paměť 21 Názornost zásady názorného vyučování 23 Moderní přístupy ke strukturování učiva 24 Teorie grafů a strukturání anaýzu učiva 25 Metodika pro tvorbu e-earningu 27

2 Úvod 27 Vytvoření kurzu a zákadní funkce 27 VÝKLAD 27 Zákadní funkce v editaci kurzu a testu 27 Navigační stránky 31 Akce stránky 32 Historie 32 Pojmy 32 Editace 33 Vkádání příoh 33 Obrázek nebo fash 33 YouTube video 34 Odkaz 34 Zvuk 34 Ostatní 35 Daší funkce a nastavení 35 Import a export kurzů 35 Daší nastavení 36 Testy a testování 36 Pokročiá editace otázek 36 Bazén otázek 37 Reporty 37 Administrace a uživateské roe 38 Přidávání a zvaní uživateů 39 Často kadené otázky 40 2

3 Evauace e-earningu Pravděpodobně byste o programu výchovy ke čtení neřeki, že je úspěšný, pokud na jeho konci většina účastníků neumí číst, nebo o řidičském kurzu že je uspokojivý, pokud jeho absoventi neumějí řídit auto. Přesto je mnoho vedoucích ekocenter, kteří tvrdí, že mají kompetní program environmentání výchovy, i když většina dětí po jeho ukončení neděá nic pro to, aby méně zatěžovay Zemi. (Matre, 1999: 16). Vymezení pojmu evauace Evauace je výzkumný proces sběru a anaýzy dat, ze kterého se vyvozují závěry. Tím hodnotí efektivitu a kvaitu programů. Evauace systematicky a objektivně anayzuje cíe programu, získává informace o aktivitách, výstupech a v neposední řadě pomáhá ke zdokonaení programu. Také napomáhá ektorovi programu, jenž chce učit efektivněji, a to se také odráží na kvaitě a důvěryhodnosti programů. Evauace není jednorázová záežitost, nýbrž proces, který se vyvíjí na zákadě průběžně získaných dat. Evauace může rovněž posuzovat úspornost programu, neboť program může být efektivní, avšak neúsporný. Může být také výstupem pro zřizovatee, sponzory a zároveň také může poskytovat informace pro cíovou skupinu a tím Pubic Reations (Mertens, 2010; Bennett, 1984; Department of Environment and Conservation, 2004; Stokking, H.; van Aert, L.; Meijberg, W; Kaskens, A, 1999). Formuace specifických výstupů Na úpném začátku je potřeba správně formuovat cíe, které po té budou moci projít evauací. Pro formuaci specifických očekávaných výstupů existuje někoika sad pravide, které se v řadě ohedů setkávají. Asi nejznámější je doporučení, aby výstupy byy tzv. SMART (Henton, 1996): Specifické (Specific) Měřitené (Measurabe) Dosažitené (Achieveabe) Reevantní (Reevant) Zpětně sedovatené (Trackabe). Někteří autoři formuují zásady SMART s díčími odišnostmi. Simmons (2008) vymezuje A a T jako Účastníci (Audience) definovat výstupy z pohedu účastníka; Časové ohraničení (Time-Bounded) jasné vymezení časového rámce 3

4 Stokking et. a. (Stokking, van Aert, Meijberg, & Kaskens, 1999) doporučují držet se násedujících zásad: Nedefinuj tématem, ae aktivitou studenta; Nepopisuj aktivitu učitee, ae studenta; Nepopisuj to, co se po žácích chce v průběhu ekce; Neodkazuj se na učebnice, ae přesně vymez, co student spní; Výstupy formuuj přesně a jednoznačně, aby nebyy předmětem interpretací; Používej krátké a jednoduché věty; Rozděuj sožité ceky na jednoduché; Užívej taková sovesa, které referují k pozorovateným úspěchům; Upřesni podmínky, za kterých ze úko považovat za spněný. Příkady vhodných formuací specifických očekávaných výstupů se v jednotivých metodických zdrojích trochu iší. Někteří autoři (zejména Bennett, 1989; W.K. Keog Foundation, 2004) specifikují výstupy takovým způsobem, že mohou být využity i jako indikátory. V takovém případě jsou ve výstupech přesně vymezena kritéria jejich dosažení. Jiní autoři (např. Marcinkowski, 1997, Stokking, van Aert, Meijberg, & Kaskens, 1999; Simmons, 2004) ve vymezení výstupu nekvantifikují a předpokádají jejich zpřesnění pro účey evauace pomocí navazujících indikátorů. Znaosti a porozumění Osvojení určitých znaostí bývá jedním z nejčastějších cíů programů. Znaosti chápeme jako zvnitřněné poznatky, které zpravida ověřujeme schopností žáka vybavit si je ve vhodné situaci. Oproti tomu porozumění je již určitou kognitivní dovedností předpokádající schopnost interpretace znaostí. (Průcha, Waterová & Mareš, 2003) V angičtině se dáe používá pojem awareness, který je překádán jako uvědoměost či uvědomění si (Mareš & Gavora, 1999), případně vědomí, povědomí. Dovednosti Na dovednostní cíe se díváme ze dvou hedisek. První je vztah dovedností k jednotivým cíovým obastem. Zde rozišujeme mezi výzkumnými dovednostmi zařazenými do Úrovně 3 a souvisejícími s vastnickými proměnnými a akčními dovednostmi zařazenými do Úrovně 4 a souvisejícími s proměnnými vivu (Hungerford, Peyton a Wike, 1980). Pode druhého hediska bychom mohi rozišit kognitivní (myšenkové) dovednosti od manuáních. Kognitivní dovednosti žáků jsou často odvozovány od Boomovy taxonomie kognitivních cíů, resp. od jejích vyšších úrovní. Protože původní Boomova taxonomie bya revidována, je dnes uváděna v různých verzích (Hudecová, 2003; Forehand, 2005). Marcinkowski (1997) spojuje kognitivní dovednosti s teorií Hungerforda a Vokové (1990) a uvádí jako havní obasti dovednosti související s anaýzou environmentáních probémů a konfiktů a s reaizací akčních strategií. 4

5 Manuání dovednosti souvisí s praktickými činnostmi, které žáci vykonávají zejména v souvisosti se zkoumáním určitého probému. Často se týkají zvádnutí určitého mechanického postupu či práce s měřící či jinou technikou. Z hediska Boomovy taxonomie se zpravida jedná o rovinu apikace. Marcinkowski (1997) dáe zmiňuje afektivní dovednosti, které zahrnují hodnocení, organizaci hodnot do systému či integraci hodnot do světového názoru. Po ukončení programu když žáci dostanou seznam zásad, jak vést veřejné diskuse, 75 procent z nich je seřadí pode míry efektivity se správností aespoň 80 procent (apikace);... při četbě názorů týkajících se řešení environmentáních probémů bude 75 procent žáků schopno rozpoznat zmatené nebo chybné předpokady jejich autorů (anaýza);... žáci anayzují zadané příkady environmentáních probémů a určí, koho se týkají, jakou pozici jednotiví aktéři k probému zaujímají a jaký k tomu mají důvod (anaýza); procent žáků vytvoří pán na zkrášení škoních pozemků, který bude vyhovovat daným minimáním standardům (syntéza, resp. tvoření) procent žáků vyhodnotí, zda se jednotivé zadané typy půdy hodí k daným způsobům jejího využití (evauace);... žáci vysvětí a odůvodní svůj vastní názor na řešení daného environmentáního probému (evauace).... když žáci dostanou potřebné vybavení, 60 procent z nich správně naměří hodnoty rozpuštěného kysíku (manuání dovednost, apikace);... při práci v terénu žáci najdou na mapě svoji pozici a dojdou pode ní na daší stanoviště (manuání dovednost, apikace);... žáci správně zformuují výzkumnou otázku (apikace);... v rámci škoní prezentace žáci přesvědčivě obhájí výsedky vastního výzkumu (apikace). 5

6 Hodnoty a postoje Afektivní rovina cíů zahrnuje hodnoty a postoje žáků. Hart (1993) definuje postoje jako skony ustáeným způsobem reagovat na předměty, osoby, situace a na sebe sama. Hodnoty pak jako názory na to, co je žádoucí, dobré, a co nežádoucí, zé. V angofonní iteratuře, která je kíčová např. pro teorii environmentání výchovy, se ae dostáváme s touto definicí do konfiktu, neboť koreace mezi postoji a chováním je zpravida hodnocená jako pravděpodobná, ae ne zcea jasná. (Hungerford & Vok, 1990) V textu se proto budeme držet Marcinkowského (1997) vymezení postojů jako pozitivních, negativních, neutráních či ambivaentních názorů na objekty. Druhý probém se týká způsobu měření postojových a hodnotových posunů žáků a souvisejících formuací očekávaných výstupů. Bennett (1989) doporučuje vyjadřovat a vyhodnocovat afektivní výstupy pomocí chování. To je postup využívaný napříkad pro měření environmentání senzitivity. Jinou možností je použití psychoogických testů zaožených napříkad na Likertově škáe. Ta se používá také pro měření interního či externího ohniska kontroy. Po ukončení programu procent studentů se dobrovoně zúčastní brigády na stavbu ptačích budek;... počet výpůjček knih o divoké přírodě ve škoní knihovně vzroste o 25 procent;... třetina studentů si vybere jako téma závěrečné práce přírodu Liberecka; procent žáků si na pětibodové stupnici indikující míru jejich přesvědčení o možnosti pomoci divoké přírodě v Liberci vybere hodnoty čtyři či pět 6

7 Chování Při stanovení změny chování jako cíe výchovy je důežité uvědomit si jistý paradox. Afektivní dispozice, nemohou být nikdy povinně vyžadovány a hodnoceny, rozhodnutí k určitému chování je chápáno jako svobodný akt jednotivce. Na druhé straně, pro evauaci programů environmentání výchovy je stanovení výstupů na rovině chování zcea reevantní (Marcinkowski, 1997). V rámci programů proto sice usiujeme o změnu chování žáků, tuto změnu ae nevynucujeme a ponecháváme ji na svobodném rozhodnutí absoventů programu. Měsíc po ukončení programu......žáci dooží, že v průběhu posedního týdne aespoň jednou použii na poznámky jednostranně potištěný papír. Druhy Evauace Nástroje pro hodnocení efektivity environmentání výchovy se dají rozděit do dvou havních kategorií: Formativní evauace: probíhá v průběhu programu za účeem zkvaitnění a zvýšení efektivity programu. Snaží se o impementaci změn programu, aby co nejefektivněji dosahova vytyčených cíů (Mertens, 2010). Sumativní evauace: probíhá po skončení programu, aby vyhodnotia efektivitu procesu napňování cíu s ohedem na využívání prostředků, kterými se jich dosahuje (Mertens, 2010). Spokojenost Učení Chování Dopady Obrázek: Rozděení evauací de obastí měření a náročnosti na jejich zjištění 7

8 Dáe také můžeme rozděit evauace pode jejich cíů a obasti působení (Simmons, 2008). Zde patí, že čím níže jdeme k zákadně pyramidy, tím těžší a náročnější výzkum čeká na evauátora: Reaktivní a krátkodobá rovina spokojenosti. Probíhá bezprostředně po ukončení programu nebo jeho části. Zjišťuje spokojenost účastníků, resp. míru, s jakou akce napnia jejich očekávání. Součástí jsou dotazy na návrhy změn pro příští program. Rovina učení. Měří, jak byy napněny očekávané výstupy programu v rovině znaostí, dovedností a postojů. Rovina chování. Měří míru transferu programu do vastního života, tedy především změny v jednání účastníků. Rovina dopadů. Poměřuje nákady a zisky programu a zaměřuje se na douhodobé dopady programu např. zvýšení kvaity práce (Činčera, 2010). Design evauace Po vyjasnění cíů evauace a indikátorů je daším krokem rozhodnutí o designu evauace. Tím se rozumí rozhodnutí o typu sbíraných dat a postupu pro jejich sběr. Z hediska typu dat můžeme muvit o designu kvantitativním, kvaitativním či smíšeném. Kvantitativní přístup je charakteristický využíváním numerických dat a statistických metod. Standardní postup kvantitativního pedagogického výzkumu postupuje od stanovení probému k formuaci hypotéz a jejich testování k vyvození závěrů. Tomu v evauačním procesu odpovídá sekvence jeho čtyř zákadních fází (Barch, Duva, Higgs; Woske & Zint, 2007; Chrástka, 2007). V kvantitativním designu evauace používáme přesně formuované indikátory a specifické očekávané výstupy. Nejpoužívanější formou jsou dotazníky či testy absoventů. Kvantitativně orientovaná evauace nám odpoví na otázky typu Do jaké míry byo dosaženo očekávaných výstupů programu? Je vhodná zejména tehdy, pokud máme reativně standardizovaný program, který se opakuje ve více skupinách a umožňuje nám proto sebrat větší množství dat. Programy, pro které se používá kvantitativní evauace jsou zpravida orientovány na výstupy, nikoiv na procesy. Kvaitativní přístup užívá v evauaci narativní formy, jako jsou vyjádření pocitů či myšenek účastníků programu. Kvaitativní výzkumy zpravida nejsou chápány jako ověřování hypotéz, ae začínají sběrem dat ze zkoumaného prostředí a postupují formuování nových hypotéz či teorií. (Švaříček & Šeďová, 2007) Data jsou často sbírána pomocí pozorování, rozhovorů či videonahrávek. 8

9 Kvaitativně orientovaná evauace nám např. odpoví na otázky: Proč účastníci reagovai při programu tak, jak reagovai? Jak účastníci interpretují to, co se dozvěděi? Kvaitativní přístup je vhodný zejména tehdy, pokud chceme anayzovat program do houbky, nebo když pracujeme s reativně maými skupinami a program neze dostatečně standardizovat, aby by opakovatený. Kvaitativní přístup je vhodný také tehdy, pokud program používá obecné očekávané výstupy či pracuje s výstupy, které jsou průběžně definovány ve spoupráci s žáky. Programy, které je vhodné vyhodnocovat kvaitativně, se ve své metodice zpravida soustředí na proces, nikoiv na výstupy. Design evauace Design evauace můžeme dáe rozděit pode postupu, v jakém jsou sbírána data. Můžeme rozišit násedující typy designu (které se mohou dáe vzájemně kombinovat): (Bennett, 1989; Barch, Duva, Higgs,Woske & Zint, 2007) Program Posttest Obrázek: Evauační design program-posttest Vemi jednoduchý design vhodný pro krátké programy a v situacích, kdy omezené zdroje a časové možnosti neumožňují zvoit jinou možnost. Nevýhodou je zejména to, že nemůžeme ověřit, zda se hodnoty naměřené posttestem iší od předchozích znaostí, postojů, hodnot a dovedností účastníků, ani zda (v případě deších programů) nemoha být změna vyvoána jiným faktorem. Design je často reaizován tak, že jako posttest je využit úko či aktivita na konci programu. Využívá se zde posední fáze procesu učení, kterou může být v závisosti na využitém modeu učení (Činčera, 2007b) apikace nově naučeného konceptu (např. mode IAA), refektivní přeformuování původního konceptu (mode EUR) nebo debriefing. Výhodou je nenásiné zapracování evauace do toku programu. Sabinou je naopak určité smísení procesu učení s evauací. Lze předpokádat, že např. při prezentaci nového porozumění probematice (v EUR modeu) dochází ve skupině stáe ještě k ujasňování nově konstruovaného významu a monitorované výsedky nemusí proto přesně odrážet skutečný cíový stav. Určitou aternativou k program posttestu designu je varianta, kdy v posttestu žádáme účastníky, aby sami hodnotii svůj posun oproti stavu před programem. V dotaznících se k tomu někdy používají dopňovací tvrzení typu 9

10 Nauči jsem se... Nové pro mě byo,... Pro některé účastníky ae může být takové vyjádření obtížné, často se objevují odpovědi: Asi nic, všechno už jsem znaa. Jenom jsem si uvědomia, že... Program s formativním testováním a posttestem Program Posttest Obrázek: Evauační design s formativním testováním a posttestem. Formativní evauace je výhodná zejména pro deší programy, protože nám umožňuje zaznamenávat postupný pokrok účastníků programu. V navrženém modeu budou pravděpodobně špatně odišitené ostatní faktory nesouvisející s programem. Může být vhodné kombinovat kvaitativní metody měření ve formativní evauaci s kvantitativními v sumativní, tj. např. v průběhu pracovat s pozorováním, rozhovory, refexemi či měřením spokojenosti účastníků a po ukončení programu zvoit určitou formu dotazníku či testu. Pretest-program-posttest Pretest Program Posttest Obrázek: Evauační design pretest- program-posttest Varianta umožňující jednoduše vyhodnotit posun účastníků v měřených znaostech, postojích či dovednostech. Stejně jako v předešém modeu není ae ani zde zřejmé, zda za naezeným rozdíem nemohou být nějaké jiné příčiny. Pokud upatňujeme kvaitativní postupy, mohou účastníci v posttestu paradoxně vyjádřit horší míru sebehodnocení. To proto, že se účastníci před programem často z důvodu neznaosti tématiky nadhodnocují a teprve v jeho průběhu si uvědomují zjednodušenost svých prekonceptů. V takovém případě posttestem de facto zjišťujeme, zda došo k narušení původních prekonceptů a k důežité zpochybňující fázi procesu učení. 10

11 Pretest program posttest 1 posttest 2 Pretest Program Posttest 1 Posttest 2 Obrázek: Evauační design pretest- program-posttest posttest 2 Vhodná varianta pro měření střednědobých výstupů a douhodobých dopadů programu. Důežitá zejména tehdy, pokud kademe důraz na změny v chování účastníků programu nebo na dopady programu. Srovnání s kontroní skupinou Pretest Program Posttest Pretest Posttest Obrázek: Evauační design experimentání skupina kontroní skupina Srovnání účastníků programu a srovnatené skupiny, která programem neproša, je metoda umožňující dobře vyhodnotit efektivitu programu a současně eiminovat riziko vedejších faktorů nezahrnutých do evauace. Předpokadem je, že máme možnost najít skupinu, která je ve všech důežitých parametrech srovnatená (např. věk, počet, škoa atd.). 11

12 Šaamounův test čtyř skupin Pretest Program Posttest Pretest Posttest Program Posttest Posttest Obrázek: Evauační design Šaamounův test čtyř skupin Tento typ testu doporučuje pro evauace environmentání výchovy Smith-Sebasto (2005). Je výhodný zejména tehdy, pokud můžeme očekávat, že výsedky posttestu testovaných skupin budou ovivněny předchozím pretestem. Program prokáže svoji efektivitu tehdy, pokud obě experimentání skupiny projeví statisticky významné rozdíy v posttestu oproti pretestu, výsedky přitom budou srovnatené. Současně budou srovnatené výsedky obou kontroních skupin. Sběr dat Písemné dotazníky a studentské zprávy Používají se nejčastěji pro měření postojů, hodnot, výpovědí respondentů o jejich chování. Přestože se v nich nejčastěji používají uzavřené otázky (např. různé škáy) vhodné ke kvantitativnímu zpracování, zpravida se dopňují i otázkami otevřenými, jejichž zpracování může být částečně kvaitativní. Výhodou dotazníků je snadná administrace, nevýhodou náročnost jejich vytvoření. Daší nevýhodou je vyšší časová i finanční náročnost evauace. Nevýhodou může být také určité zkresení výpovědí (Bennett, 1989; Stokking, van Aert, Meijberg, & Kaskens, 1999; Simmons, 2008). 12

13 Typem dotazníku je tzv. studentská zpráva (earner report). Studentské zprávy se zpravida používají bezprostředně po ukončení programu nebo jeho části. Jejich cíem je zjistit, jak účastník hodnotí svoji zkušenost s programem a co se domnívá, že se v rámci programu nauči. Jejich využití je tedy zejména na reaktivní úrovni evauace. Využívají buď uzavřené (výběrové), otevřené (Co jsi se v programu nauči?) nebo semi-otevřené otázky (Nauči jsem se, že..., Tři nové věci, které jsem si uvědomi, jsou...) (Stokking, van Aert, Meijberg, & Kaskens, 1999; Cachein, Paisey & Banchard, 2009). Testy Testy můžeme rozděit na písemné vědomostní a dovednostní testy. Písemné vědomostní testy se používají k měření znaostí a kognitivních dovedností. Výhody i nevýhody jsou obdobné, jako u písemných dotazníků. Testy a dotazníky mohou být administrovány obdobným způsobem, dotazník někdy může obsahovat testové otázky. Typické příkady otázek jsou otázky s vícečetným výběrem (mutipe choice), otázky pravda / nepravda, dopňovací otázky, přiřazování a daší. Jiným typem jsou otázky zaožené na amaýze textu nebo probémové úkoy (Bennett, 1989; Stokking, van Aert, Meijberg, & Kaskens, 1999; Simmons, 2008; Marcinkowski, 1997). Dovednostní testy se používají pro evauaci praktických dovedností, tj. v kontextu environmentání výchovy např. měření, zpracovávání vzorků, orientace v terénu (Bennett, 1989). Rozhovory a ohniskové skupiny Rozhovory i ohniskové skupiny jsou typicky kvaitativní nástroje, jejichž cíem je porozumět pocitům, prožitkům či houbce porozumění účastníka. Zatímco rozhovory se vedou s jednotivými účastníky, ohniskové skupiny jsou zaoženy na řízeném rozhovoru mezi maou skupinou vybraných účastníků programu. V obou případech je nezbytností úpný záznam, který potom bude dáe zpracováván (Simmons, 2008; Frechting, 2002). Pozorování Cenná technika zejména pro formativní hodnocení nebo pro měření dovedností. Bennett (1989) rozišuje mezi systematickým pozorováním, zaoženým na práci s připraveným seznamem kritérií, které pozorovate hodnotí, a informáním pozorováním, ve kterém si pozorovate poznamenává zaznamenané postřehy. Aternativou k písemnému zaznamenávání pozorovaného může být použití videozáznamu nebo zvukové nahrávky. Systematické (standardizované) pozorování je zpravida zaoženo na principu ratingu, kde pozorovate hodnotí míru pozorovaných jevů do předem připraveného formuáře přiřazováním určitých kvantitativních jevů. (Chráska, 2007) 13

14 Pozorování je při evauaci zpravida tzv. zúčastněné (Švaříček & Šeďová, 2007) Při pném zúčastněném pozorování je pozorovate přímo součástí dění a je v pné interakci s účastníky. Častější je ae situace, kdy se pozorovate neúčastní přímo aktivit a seduje chování skupiny. Chráska (2007) rozišuje jako pozorování standardizované a nestandardizované, případně Švaříček & Šeďová (2007) muví o pozorování strukturovaném a nestrukturovaném. O nezúčastněném pozorovatei by skupina neměa vědět může být např. skrytě snímána kamerou. V praxi jsou často jako výstupy z pozorování využívány postřehy pedagoga. To je ae probematická metoda, protože pro vedoucího programu je vemi náročné, aby současně program ved, monitorova a děa zápis z pozorování. Praxe ukazuje, že postřehy vedoucího programu a pozorovatee jsou často rozdíné. Je proto vemi vhodné, aby pozorovateem by někdo jiný než pedagog, který program vede. Nevýhodou pozorování také je, že přítomnost pozorovatee může ovivnit chování skupiny (Simmons, 2008). To patí zejména tehdy, pokud je z pozorování pořizován fimový záznam. Anaýza artefaktů V rámci programů environmentání výchovy studenti často vyrábí různé artefakty, které demonstrují určitý stupeň porozumění probematice, zvádnutí kognitivních či manuáních dovedností či osvojení určitých postojů. Artefakty mohou být napříkad postery, které účastníci prezentují v závěru programu, eektronické prezentace, nástěnky, studentské noviny či čánky v nich, výtvarná día, sohové práce, eseje či voný text na dané téma, zkrášený škoní pozemek, vyrobené cedue naučné stezky atd. Zajímavým typem evauace je využití pojmových map, které umožňují kompexně zachytit porozumění určitému jevu a související postoje (Simmons, 2008). Pro využití v kvantitativní evauaci je třeba připravit seznam hodnocených kritérií (např. prezentovaných dovedností) s hodnotící škáou. (Bennett, 1989) Průběžné písemné refexe Zejména v rámci deších programů jsou účastníci často požádáni o vedení určité formy samostatných písemných refexí. Ty se zpravida označují jako ogbook či portfoio. Logbook je strukturovaný či nestrukturovaný sešit, do kterého si účastník zapisuje, jaké programy absovova a refektuje je (Stokking, van Aert, Meijberg, & Kaskens, 1999). Příkadem strukturovaného ogbooku jsou napříkad pasažérské pasy, používané v programu Sunship Earth (Matre, 1979). 14

15 Portfoia mohou mít více typů, ae zpravida se chápou jako sožka materiáů, vytvářená studentem, dokumentující jeho posun v obasti, nejepší práce, proces řešení projektu, atd. (Jančaříková, 2007). Portfoia i ogbook umožňují sedování douhodobého vývoje žáka a jejich význam eží především ve využití pro kvaitativní evauaci. Pro krátké programy může podobnou úohu hrát závěrečná písemná zpětná vazba, do které účastníci formou voného textu píší své pocity a objevy z programu. Zpětné vazby by pak měy být anayzovány kvaitativním způsobem na principu kategorizace. Neobtěžující metody Určitým typem pozorování jsou metody, při kterých je zaznamenáváno chování studentů mimo program. Příkadem může být např. evidence výpůjček knih o environmentání tématice ve škoní knihovně, přehed zboží zakoupeného ve škoním bufetu, účast na nepovinném kroužku či akci. Některé situace, vyžadující po studentech samostatné rozhodování, mohou být učiteem předem připraveny např. na trávník, koem kterého děti půjdou, může učite umístit odpadky a pak vyhodnocovat, zda je děti samy od sebe začnou sbírat (Bennett, 1989). Evauační aktivity V rámci programů se často používají aktivity, které umožňují účastníkům přímo se vyjadřovat k programu. U programů ovivněných metodikou Prázdninové škoy Lipnice (Franc, Zounková & Martin, 2007; Hoec, 1994) je obvyké bodování programu pode spokojenosti účastníků či jiných kritérií, tzv. hitace. Technika je tedy určena pro hodnocení na reaktivní rovině. Jiné metody mohou souviset s upatněním Kobova cyku, resp. cyku učení prožitkem (Kob, 1984; Henton, 1996). Pode tohoto modeu učení je účastník veden od konkrétní zkušenosti k jejímu refektivnímu a zobecňujícímu zpracování až k pánování dašího postupu. Konkrétní techniky procesu zpracovávání zkušenosti, tzv. debriefingu je možné využít i pro evauaci získaných znaostí, dovedností či postojů z ceého programu. (Činčera, 2007b; Reitmayerová & Broumovská, 2007). Např. při technice 4F (Greenaway, 2007) účastníci postupně formuují, jaká fakta (Facto) a emoce (Feeings) se v programu objeviy, co pro ně byo nové (Findings) a jaké změny na zákadě programu pánují uděat (Future). Debriefingových technik je veké množství a není možné se zde jimi podrobně zabývat. Je ae třeba si uvědomit, že debriefing je součástí cyku učení, protože pomáhá účastníkům formuovat nové porozumění a pán příštích kroků. Ve využití pro evauaci programu je nezbytné pokusit se postřehy účastníků z této fáze zaznamenávat, např. metodou pozorování. 15

16 Pro evauaci pak je dáe možné využít diskusní aktivity, ve kterých studenti vyjadřují své postoje. Příkadem jsou u nás vemi známé aktivity krok vpřed či idské kontinuum, při kterém se účastníci staví na pomysnou čáru vyjadřující míru jejich souhasu či nesouhasu s prezentovaným tvrzením (Thomson & Hoffman, 2008). V modeu EUR (Činčera, 2007b; Grecmanová & Urbanovská, 2007), který u nás používá v programech někoik středisek ekoogické výchovy, může být tato aktivita se stejnými otázkami použita v evokační a v refektivní fázi. Tím máme šanci měřit případný posun účastníků na čáře. Předpokadem je ae opět možnost prvotní a konečné postavení studenta zaznamenat. Zajímavou evauační technikou vhodnou napříkad na měření postojů je také využití řízené imaginace žáků. Metoda bya vyzkoušena napříkad pro evauaci programu zaměřeného na probematiku mokřadů. Žáci si představovai cestu mokřadem a pak zaznamenávai své pocity. Výzkumníci ae narazii na obtíže v rozišení mezi prožitkem imaginárního a skutečného mokřadu (Cachein, Paisey & Banchard, 2009). V České repubice tuto metodu použi napříkad Krajhanz (2007). Anaýza a interpretace dat Po naměření či získání dat pro evauaci je třeba je vhodným způsobem zpracovat. Zpracování dat pro kvantitativní design vychází ze statistických metod, zatímco v kvaitativním výzkumu zpravida anayzujeme texty, kategorizujeme a interpretujeme. V kvantitativních evauacích se používají dva druhy statistiky: deskriptivní a inferenční (Benett, 1989; Barch, Duva, Higgs; Woske & Zint, 2007). Deskriptivní statistika se zabývá popisem dat. Ta mohou mít charakter buď: nominání (také kategorický), ve kterých čísa nemají kvantitativní význam a jsou používána jako náepky pro určité charakteristiky; ordinání (pořadový), ve kterých čísa vyjadřují pořadí určitého kritéria; metrický či intervaový, kdy čísa vyjadřují rozdíy mezi objekty (Chráska, 2007). V rámci deskriptivní statistiky zpravida vyhodnocujeme četnost a modus (pro nominání data), pro metrická data dáe aritmetický průměr, median a směrodatnou (také standardní) odchyku. Deskriptivní statistika může být v některých případech pro anaýzu dat dostačující. To patí zejména tehdy, pokud jsme specifické očekávané výstupy programu formuovai tak, že v sobě zahrnují procentuáně vyjádřený minimání stupeň úspěšnosti. Takovému kritériu se někdy říká také miník (Department of Environment and Conservation, 2004). Vrátíme-i se k již uvedenému příkadu specifického výstupu, vidíme, že k jeho ověření nám stačí prostý aritmetický průměr: Pokud skupina obdrží set kartiček s obrázky environmentáních probémů a kartiček s obrázky idí, kteří se podíejí na jejich řešení, přiřadí 70 procent studentů správně k sobě 75 procent kartiček (Bennett, 1989). 16

17 Pokud používáme evauační design typu pretest program posttest nebo srovnání s kontroní skupinou, budeme potřebovat nástroje inferenční statistiky pro porovnání výsedků před programem a po něm a mezi experimentání a kontroní skupinou. Nejčastěji porovnáváme, s jakou pravděpodobností mohy naměřené rozdíy mezi průměry či četnostmi obou či více skupin vzniknout náhodně (a jsou-i tedy rozdíy tzv. statisticky významné) a zda jsou podstatné či zanedbatené (tzv. veikost efektu, effect size). Obecný postup při vyhodnocování je takový, že rozhodujeme, zda je oprávněné zamítnout tzv. nuovou hypotézu (mezi oběma skupinami není žádný statisticky významný rozdí) ve prospěch hypotézy aternativní (v měřené proměnné existuje mezi skupinami statisticky významný rozdí). Při vyhodnocování mohou nastat chyby dvou typů: může se stát, že neoprávněně odmítneme nuovou hypotézu ve prospěch aternativní (myně tvrdíme, že mezi oběma skupinami je rozdí), nebo že naopak neoprávněně odmítneme hypotézu aternativní ve prospěch nuové (myně tvrdíme, že mezi skupinami není rozdí). Protože ve statistických výzkumech nemáme jistoty, ae pouze větší či menší míru pravděpodobnosti, musíme nejprve určit tzv. hadinu významnosti (α), která vyjadřuje maximání přípustnou míru rizika, že neoprávněně odmítneme nuovou hypotézu. V evauačních výzkumech se zpravida hadina významnosti stanovuje na α=0,05 (pravděpodobnost, že omyem přijmeme aternativní hypotézu je maximáně pět procent), případně α=0,01 (Chráska, 2007; Barch, Duva, Higgs; Woske & Zint, 2007). 17

18 Před samotným výzkumem či zpětně po fázi sběru dat je možné určit ještě tzv. síu testu (power anaysis, β), která určuje pravděpodobnost vzniku chyby druhého typu (myné odmítnutí aternativní hypotézy ve prospěch nuové) při dané hadině α, veikosti výzkumného vzorku a použité technice zpracování dat.za vhodnou hodnotu se považuje β>0,8. Zvýšit síu testu je možné použitím jiné metody zpracování dat, ae zejména zvětšením vzorku (Barch, Duva, Higgs; Woske & Zint, 2007). Pro vyhodnocení míry statistické významnosti rozdíů mezi skupinami se při evauaci programů používá někoik typů testů v závisosti na počtu testovaných skupin a charakteru měřených dat. Pro porovnávání procentuání míry četnosti dvou či více skupin nomináních (kategorických) dat se nejčastěji používá chí kvadrát, kontingenční tabuka nebo Fisherův test. Pro práci s pořadovými daty se často používá Wicoxonův test nebo Mann-Whitneyho test. Pro srovnání průměrů dvou skupin intervaových dat se nejčastěji používá t-test. Porovnáváme-i více skupin, než dvě, používá se zpravida ANOVA či ANCOVA. Výstupem testů statistické významnosti je vypočtená hodnota pravděpodobnosti (p), že rozdíy mezi skupinami mohy vzniknout náhodně. Je-i hodnota p rovna či nižší než zvoená hadina statistické významnosti, můžeme naměřený rozdí považovat za signifikantní. Testy statistické významnosti ae nehodnotí, jakou váhu statisticky významný rozdí má. Tu měří tzv. veikost efektu. Veikost efektu se počítá jako rozdí průměrů obou skupin děený směrodatnou odchykou kontroní skupiny. Výsedná hodnota se zpravida interpretuje pode rozmezí (Barch, Duva, Higgs; Woske & Zint, 2007): <0.1 triviání efekt 0,1-0,3 maý efekt 0,3-0,5 střední efekt >0.5 veký efekt. Pro všechny uvedené funkce je možné na internetu najít řadu voně přístupných kakuátorů. T-test i některé daší testy mohou být tzv. jednostranné či oboustranné. Oboustranné testy se používají tehdy, pokud aternativní hypotéza bya formuována tak, že výsedky experimentání skupiny mohou být stejné, vyšší i nižší, než skupiny kontroní. Jednostranné testy předpokádají, že patit může pouze jedna z možností. Při evauaci programů je vhodnější uvažovat raději o oboustranných testech. T-test dáe může být párový a nepárový. Nepárový test užíváme pro porovnání dvou různých skupin, tj. např. experimentání a kontroní. Párový test se užívá při opakovaném měření na stejné skupině, tj. např. pretest-posttest. (Chráska, 2007) ANOVA na porovnání rozptyu mezi skupinami s rozptyem uvnitř skupin. ANCOVA se používá při vícenásobném měření. 18

19 Pro zpracování kvaitativních dat v evauaci programů existuje více doporučených postupů. Některé jsou zaoženy na převodu textu do kvantifikovatené podoby, jiné se snaží získaná data uspořádat a interpretovat. Stokking et. a. (Stokking, van Aert, Meijberg, & Kaskens, 1999) doporučuje odpovědi na otevřené otázky kategorizovat, tj. rozděit do cca 5-8 kategorií a v nich pak kvantifikovat četnost. Daší postup pak může být anaogický, jako u zpracování kvantitativních dat. Pro hodnocení testů kognitivních znaostí či esejů je vhodné používat předem připravené hodnotící kategorie, pode kterých jsou pracím přiděeny body, které pak mohou být dáe porovnávány. Pro kvaitativní výzkum Barch et. a. (2007) uvádí násedující doporučený postup: Redukce dat výběr významových ceků, korespondujících s evauačními otázkami; Zobrazení dat v takové organizaci či uspořádání, které umožňuje identifikovat spoečné motivy, struktury a vazby; Shrnutí závěrů a ověření. Při obsahové anaýze se doporučuje všímat si především opakujících se motivů, vzorců a toho, jak se vztahují k evauačním otázkám, odišnostem, zajímavostem, shodám či rozdíům oproti iteratuře, atd. Spoečným jmenovateem metod je opět kategorizace textu. Kategorie mohou být vytvořeny před zpracováváním textu nebo mohou být vytvářeny postupně (emerging categories) (Tayor-Powe & Renner, 2003). Často se využívá prvků tzv. zakotvené teorie (Švaříček & Šeďová, 2007), ve které se k významově nosným částem textu nejprve přiřazují tématicky odpovídající kódy, ty jsou dáe shukovány do obecnějších kategorií, mezi kterými jsou nakonec hedány vztahy a souvisosti, vedoucí k formuování nových teorií. Z kategorií je pak vybrána jedna centrání, která umožňuje interpretovat vztahy mezi ostatními kategoriemi. 19

20 Metodika tvorby Na začátek je potřeba vymezit některé pojmy a určit si zákadní cíe výuky a tudíž výukového textu. Učení jako přenos informace Na předávání poznatků při výuce se ze hedět jako na výměnu informací mezi učiteem a žákem. Pedagogické jevy, které odrážejí jistou formu myšenkových pochodů v typických pedagogických situacích, ze kvantifikovat pomocí nástrojů z oboru teorie systémů a teorie informací. Zákadním parametrem pro kvantitativní úvahy je přitom veičina, kterou v teorii informací nazýváme informace, épe řečeno míra množství informace I. Škoní výuku ze - jak již byo řečeno - z hediska teorie informací charakterizovat jako výměnu údajů mezi prvky informačního systému, mezi učiteem a žáky. Smysem výměny údajů je přitom přenos informace I od učitee k žákovi, přičemž informace je v teorii definována jako reace mezi údajem a stavem apriorní znaosti příjemce (prof. Vček: Informační systémy,1997). Přeoženo do pedagogické terminoogie můžeme definovat výsedek učení veičinou zvanou množství informace Ip, která určuje míru, respektive množství nových poznatků přenesených z učitee na žáka v průběhu vyučovacího procesu. Proces přenosu informace znázorňuje násedující obrázek. šum Učite zdroj informace Přenášená I Přenášená I Žák (žáci) příjemce V schématu je vyznačena známá zkušenost, že žák (přijímač) nepřijme obecně tu informaci, kterou vyše učite(vysíač). Část vysíané informace se ztratí v průběhu přenosu šumy. Komunikační šumy ( informační ztráty) jsou energetické ztráty vznikající v komunikačních kanáech v průběhu reáného přenosu informace. Diagnostika výuky z hediska teorie informací spočívá ve stanovení poměrného množství přenesené informace od učitee k žákovi, v určení míry informačních ztrát. Spnění výukových cíů předpokádá v průběhu výuky co nejvíce eiminovat informační šumy a je jedním z aspektů pedagogického mistrovství. Jedním ze zákadních předpokadů, který vede ke snižování informačních ztrát je jazyková srozumitenost přenášených informací. 20