Hodnocení psaní Seminář Brno 5.6.2013 1
Obsah a cíle semináře Hodnotící škály pro psaní - vývoj Hodnotící škály pro psaní - představení Ukázky hodnocení Kalibrace vzorků psaní Diskuse 2
Hodnotící škály pro psaní - vývoj 5 členný tým napříč jazyky (A, N, F) napříč fakultami (LF, FF-FSS-ESF, PedF, PrF) B z t období: květen 2012 únor 2013 etapy: 1. dotazník existující škály diskuse (jaká kritéria?) 1. verze pilotáž členek týmu vyhodnocení - úprava (2. verze) 2. dotazník úpravy současná verze 3
B1 C1: kritéria hodnocení splnění úkolu organizace textu lexikální prostředky gramatické prostředky 4
Analytická škála B1 / B2 / C1 5
B1 - Kritérium splnění úkolu 6
Dodržení tématu klíčový komponent může rozhodnout o absolutní nule dále se nehodnotí rozhodnutí na fakultách? 7
Žánr Žánr lze definovat jak z hlediska zamýšlené formy psaní, tak z hlediska jeho funkce: Forma: dopis (osobní, obchodní), laboratorní zpráva, esej, článek, příběh Funkce: komunikativní funkce: popis, omluva, vysvětlení, diskurzivní modus: vyprávěcí, popisný, vysvětlovací, argumentační 8
Rozsah tolerance intervaly 80-90 slov, interval = 10 slov tolerovaná odchylka 70 79; 91-100 tolerovaná odchylka 60 69; 101-110 9
Rozsah Co se běžně počítá za 1 slovo? víceslovná vlastní jména a názvy (Liam McGee, Great Britain.) české víceslovné názvy, které nemají ekvivalent v angličtině (Lomnice nad Popelkou) datum plně rozepsané (June 5 th 2013) adresa (e-mailová, poštovní) složeniny (pokud jsou psány se spojovníkem: follow-up questions) 10
Rozsah Co se běžně počítá za 1 slovo? řadové číslovky (1 st, 22 nd ) členy zkratky předložky spojky zájmena citoslovce 11
Rozsah Co se běžně počítá jako jednotlivá slova? stažené tvary (don t, he s ) výjimka can t frázová slovesa složeniny pokud jsou psány zvlášť (bez spojovníku): office manager 12
Rozsah Co se běžně jako slovo nepočítá? číslovky psané číslicí (2013) opakovaná vlastní jména 13
B1 - Kritérium organizace textu 14
Struktura grafická plus obsahová očekávání (úvod závěr, členění na odstavce ) 15
Linearita jednoduchý (lineární) sled myšlenek napomáhá porozumění textu? 16
Základní spojovací prostředky očekávání: vzhledem k povaze testové úlohy napomáhají porozumění textu? 17
B1 - Kritérium lexikální prostředky 18
Rozsah očekávaná obecná / akademická / odborná SZ vzhledem k povaze úlohy 19
Správnost brání chyby porozumění? 20
B1 - Kritérium gramatické prostředky 21
Rozsah očekávané gramatické prostředky vhledem k povaze úlohy 22
Správnost brání chyby porozumění? 23
Pravopis četnost chyb 24
B2 - odlišnosti 25
B2 - odlišnosti 26
B2 - odlišnosti 27
C1 - odlišnosti 28
C1 - odlišnosti 29
C1 - odlišnosti 30
C1 - odlišnosti 31
Klasifikační tabulky 32
Hodnocení - výsledek 33
Hodnocení B1, B2, C1 34
Benchmarking kalibrace vzorků psaní vybrat z pretestačních vzorků asi 10 tak, aby představovaly široké spektrum výkonů od nejlepšího po nejhorší nechat hodnotit členy týmu samostatně otevřít diskusi procházet jednotlivé vzorky kritérium po kritériu a diskutovat, proč kdo jak hodnotil koordinátor je ten, který diskusi řídí, ale nedělá výsledná rozhodnutí, členové týmu si dělají poznámky 35
Benchmarking kalibrace vzorků psaní po skončení diskuse nechat členy týmu hodnotit ještě jednou opět porovnat výsledky (třeba i tabulkou v Excelu ) ty úlohy, u nichž nastane největší shoda, vybrat a snažit se pořídit slovní hodnocení 36
Benchmarking kalibrace vzorků psaní inspirace pro slovní hodnocení: projekt EMBED (University of Groningen) http://www.erk.nl/docent/training/engels 37
Empirické stanovení hraničních skórů hodnocení psaní samostatně bodově ohodnotit větší množství vzorků psaní tak, aby bodové hodnoty měly velký rozsah postupně procházet nižší a nižší hodnoty a dohodnout se, která je ještě přijatelná pro danou úroveň pokud se celý tým shodne na minimálním přijatelném počtu bodů, bude to hraniční skór pro danou testovou úlohu 38
O T Á Z K Y? 39
Děkuji za pozornost Eva Složilová lektorka a metodička testování Centrum jazykového vzdělávání Masarykovy univerzity Komenského nám. 2 601 77 Brno, tel. fax: 549 496 447, e-mail: cjv@rect.muni.cz