Pokyny EALTA (European Assotiation for Language Testing and Assessment) pro kvalitní testování a hodnocení jazykových dovedností

Transkript

1 Pokyny EALTA (European Assotiation for Language Testing and Assessment) pro kvalitní testování a hodnocení jazykových dovedností Výkonný výbor EALTA zřídil pracovní skupinu, která měla zvážit a posoudit návrh pravidel zpracovaný v rámci projektu ENLTA. Úkolem této pracovní skupiny bylo vypracovat pravidla nebo soubor pokynů pro kvalitní testování a hodnocení jazykových dovedností, a to v souladu s posláním EALTA. Poslání EALTA je definováno takto: Cílem EALTA je rozvíjet chápání teoretických principů testování a hodnocení jazykových dovedností, zlepšovat a propojovat praxi testování a hodnocení v Evropě. Zásady, kterými se pracovní skupina řídila, jsou tyto: Evropa je mnohojazyčný kontinent, který přikládá velkou důležitost různosti jazyků, kultur a tradic. Jedním z prvků této rozmanitosti je i různost vzdělávacích systémů a také různost priorit a tradic v hodnocení. Členové EALTA se proto vynasnaží, aby byly zásady průhlednosti, odpovědnosti a kvality uplatňovány s ohledem na různé kontexty a oblasti její činnosti. V rámci dodržování politiky otevřenosti má EALTA odpovídat požadavkům široké členské základny. Pokyny pro kvalitní testování a hodnocení jsou proto adresovány především třem skupinám osob. Jedná se o osoby, které - jsou zapojeny do vzdělávání učitelů v oblasti testování a hodnocení, - se testováním a hodnocením zabývají ve školní praxi, - tvoří testy v národních nebo institucionálních testovacích centrech. Pro všechny tři skupiny platí určitý soubor zásad: respekt vůči studentům/zkoušeným, zodpovědnost, objektivita, spolehlivost, validita a součinnost všech zúčastněných. Tyto obecné zásady jsou zakotveny v již existujících souborech postupů, které by měli členové EALTA respektovat, aby byla zachována profesionalita a kvalita jejich práce. Více informací najdete na těchto stránkách: Vlastní pokyny EALTA k zajištění kvality testování a hodnocení jsou tyto: 1

2 A. Otázka testování a hodnocení v kontextu přípravy a dalšího vzdělávání učitelů Členové EALTA, kteří jsou zapojeni do vzdělávání učitelů v oblasti testování a hodnocení nechť upřesní sami pro sebe a další zúčastněné (budoucí a stávající učitele, osoby odpovídající za zpracování učebních programů) následující body: 1. Do jaké míry odpovídá vzdělávání učitelů způsobu hodnocení, se kterým se v současné době setkávají a který budou v budoucnu používat? 2. Jaká je úroveň informovanosti budoucích a stávajících učitelů o všech způsobech hodnocení, jež by mohly sloužit jejich stávajícím a budoucím potřebám? 3. Nakolik zřejmá je souvislost mezi zásadami testování a hodnocení (tj. validita, reliabilita, objektivita, vliv na učební proces) a potřebami budoucích a stávajících učitelů? 4. Jak vyvážená je teorie a praxe v přípravě a vzdělávání učitelů? 5. Do jaké míry jsou učitelé zapojeni do tvorby, ověřování a evaluace způsobů hodnocení? 6. Jak dalece jsou budoucí a stávající učitelé zapojeni do klasifikace a hodnocení výkonů žáků/studentů? 7. Jaká pozornost je věnována zevrubné analýze výsledků hodnocení? 8. Jak dalece je zohledňován názor učitelů na přiměřenost a přesnost způsobů hodnocení? 9. Jak dalece se způsoby hodnocení aplikované při hodnocení budoucích a stávajících učitelů shodují se zásadami, které jim jsou v procesu vzdělávání vštěpovány? B. Poznámky k testování a hodnocení ve školní praxi Členové EALTA, kteří jsou pověřeni testováním a hodnocením ve školách, nechť sami pro sebe a pro další zúčastněné (především žáky/studenty a pokud možno i rodiče) upřesní následující body: 1. Účel a specifikace hodnocení 1. Co je účelem hodnocení? 2. V jakém vztahu se nachází účel hodnocení a kurikulum? 3. Existují specifikace testů? 4. Do jaké míry se test kryje s kurikulem? 5. Jakým způsobem se zveřejňují a diskutují účely hodnocení a testové specifikace? 2. Postup při hodnocení 1. Kdo navrhuje metody hodnocení? 2. Do jaké míry je způsob hodnocení přizpůsoben cílové skupině? 3. Jak se shromažďují informace o učebním procesu? 4. Jak se informace o učebním procesu hodnotí a uchovávají? 5. Co se dělá pro to, aby hodnocení bylo přesné a objektivní? 6. Co se dělá pro to, aby různí učitelé a různá vzdělávací zařízení používali jednotný způsob klasifikace? 7. Jaká důležitost se přikládá názorům studentů/žáků na způsob hodnocení? 3. Důsledky 1. K čemu výsledky testů slouží? 2. Co se dělá pro zlepšení učebního procesu? 3. Jakou zpětnou vazbu dostávají studenti/žáci? 4. Jaké možnosti mají studenti/žáci nebo jejich zákonní zástupci, chtějí-li vyjádřit nesouhlas s výsledky nebo žádat o přehodnocení? 5. Jaký dopad má hodnocení na výuku? 2

3 6. Jaké důsledky má výsledek hodnocení pro studenty/žáky? C. Poznámky k tvorbě testů v národních a institucionálních testovacích centrech Členové EALTA, kteří se podílejí na tvorbě testů, nechť sami sobě a příslušným zainteresovaným skupinám (učitelům, studentům/žákům, veřejnosti) vyjasní následující otázky a nechť dají k dispozici odpovědi na ně. Tvůrci testů jsou dále vyzýváni, aby iniciovali dialog s činiteli s rozhodovací pravomocí v rámci svých ministerstev nebo institucí, a zajistili tak, aby tito činitelé byli uvědoměni o existenci jak dobrých tak špatných postupů, aby se tak mohla zlepšovat kvalita systémů a způsobů hodnocení. 1. Účel a specifikace testu 1. Jak přesně je definován účel testu? 2. Jaká opatření proti možnému zneužití testu existují? 3. Jsou stanoveny a vymezeny všechny zainteresované skupiny? 4. Existují specifikace testu? 5. Existují různé verze specifikací pro různé adresáty? 6. Existuje vymezení cílové skupiny? 7. Je pro každý test, případně subtest, definován konstrukt? 8. Jsou metody/způsoby testování a testové úlohy vysvětleny na příkladech? 9. Jsou popsány a demonstrovány na příkladech různé výkony studentů/žáků? 10. Je popsána hodnoticí škála a kritéria hodnocení? 11. Je úroveň testu specifikována v souladu se Společným evropským referenčním rámcem? Jaké jsou předloženy důkazy pro takovou shodu? 2. Tvorba testu a testových úloh 1. Mají tvůrci testů, testových úloh a položek učitelskou praxi na úrovni, na kterou je test zaměřen? 2. Jakou mají tvůrci testů, testových úloh a položek kvalifikaci? 3. Existují pokyny pro tvorbu testů a testových úloh? 4. Existují systematické postupy pro kontrolu a revizi testových úloh, které mohou potvrdit, že tyto úlohy odpovídají specifikaci testu a zohledňují směrnice pro tvorbu testových úloh? 5. Jakou zpětnou vazbu dostávají tvůrci testových úloh a položek? 3. Kontrola kvality a testová analýza 1. Jak se postupuje při kontrole kvality testů? 2. Provádí se pilotní testování? 3. Jak početný je obvykle vzorek pro pilotní testování a do jaké míry je reprezentativní pro populaci, jíž se test týká? 4. Jaké informace se získávají během pilotního testování? (názory učitelů, názory studujících, výsledky ) 5. Jak se informace získané během pilotního testování analyzují? 6. Jak se provádějí změny v testu po analýze výsledků pilotního testování? 7. Pokud jsou používány různé verze testu (například každý rok), jakým způsobem se ověřuje, zda jsou ekvivalentní? 8. Jsou před každým zadáním testu instruování všichni, kteří budou výkony studentů/žáků posuzovat? 9. Jsou příklady výkonů, které dobře ilustrují úroveň, na kterou je test zaměřen, použity jako pomůcka při školení hodnotitelů? 10. Posuzují výkony u subjektivně skórovatelných testů vždycky dva různí hodnotitelé? Vypočítává se vzájemná reliabilita intra- a interhodnotitelů? 11. Jaký typ statistické analýzy se používá? 3

4 12. Které výsledky se sdělují? Jak? Komu? 13. Jaké možnosti mají studenti nebo jejich zákonní 4. Administrace/zadávání testů 5. Kontrola 1. Jaké nástroje pro zajištění bezpečnosti testu jsou k dispozici? 2. Jsou osoby pověřené administrací proškoleny? 3. Kontroluje se administrace testů? 4. Podává osoba zodpovědná za průběh testování zprávu ročně anebo po každé administraci testu? 1. Jak často se reviduje obsah testů, jak často se upravují? 2. Provádí se validizace testů? 3. Jakým způsobem se ověřuje, že test odpovídá změnám provedeným v kurikulu? 6. Dopad na stávající praxi ve výuce jazyků 1. Má test iniciovat změny v dosavadní praxi? 2. Jaký dopad má test na dosavadní praxi? Jak se tento dopad zkoumá? 3. Jsou k dispozici nástroje pro přípravu na test? 4. Jsou učitelé školeni, jak studenty na test připravit? 7. Souvislost se Společným evropským referenčním rámcem 1. Jaké jsou důkazy o kvalitě propojování testů a zkoušek se Společným evropským referenčním rámcem (SERR)? 2. Jsou vhodně aplikovány postupy doporučované v příručce SERR a jeho doplňku? 3. Jsou k dispozici veřejně dostupné informace o propojenosti se SERR? D. Přiřazení ke Společnému evropskému referenčnímu rámci SERR Přiřazení k SERR je složitý proces, který může často probíhat i po dobu několika let. Přiřazení zkoušek nebo testů ke standardům typu SERR vyžaduje vědecký přístup, tvrzení musí být založena na výsledcích výzkumu, pokud možno předložených k oponentnímu posouzení. Pokud instituce/poskytovatelé zkoušek tvrdí, že došlo k přiřazení k SERR, jsou zodpovědní za poskytnutí dostatečného počtu přesvědčivých důkazů takového přiřazení. Při shromažďování těchto důkazů může být užitečné vzít do úvahy níže uvedené body. Členové EALTA zapojení do procesu přiřazení zkoušek k SERR objasní sami sobě a patřičným zainteresovaným stranám (učitelům, studentům, činitelům s rozhodovací pravomocí, veřejnosti) tyto otázky: 1. Splňuje test veškeré náležitosti z hlediska kvality? Byly plně zohledněny otázky jeho dopadu? (viz Pokyny EALTA, část C). Jsou informace o kvalitě testu veřejně dostupné? 2. Jsou všichni ti, kteří se podílejí na vývoji testu, obeznámeni se SERR? Postupovalo se při obeznamování podle doporučovaných postupů? Jakými důkazy lze doložit tyto postupy a výsledky vzešlé z procesu obeznamování? 3. Byly testové specifikace a obsah testu analyzovány ve vztahu k deskriptorům SERR? Jakými důkazy lze doložit tyto postupy a výsledky vzešlé z analýzy? 4. Byla provedena standardizace testování psaní a mluvení? Jakými postupy? Kým? Jakými důkazy lze doložit tyto postupy a výsledky vzešlé z procesu standardizace? 4

5 5. Jsou ukázky výkonů psaní a mluvení, které prošly procesem benchmarkingu vůči SERR, veřejně dostupné? 6. Byla provedena standardizace testových položek ověřujících receptivní dovednosti? Jakými postupy? Kým? Jakými důkazy lze doložit tyto postupy a výsledky vzešlé z procesu standardizace? 7. Jsou testové položky a testové úlohy přiřazené k SERR veřejně dostupné? 8. Jaké metody stanovení standardu (standard setting) byly použity pro určení hraničních skórů (cut-off scores) pro relevantní úrovně SERR? Kolik panelistů se zúčastnilo? Existuje veřejně dostupná zpráva o stanovení standardu? 9. Byly shromážděny důkazy validity vztahující se k procesu přiřazení? Jsou veřejně dostupné? 10. Je k dispozici schéma stanovení úrovně, které garantuje dodržování standardů kvality a přiřazení k SERR? Je veřejně dostupné? 5