Jazykové centrum Aktuální trendy ve výuce a testování cizích jazyků v akademickém prostředí 15. 1. 2018 Projekt Zvýšení kvality vzdělávání a jeho relevance pro potřeby trhu práce CZ.02.2.69/0.0/16_015/0002362
Building Practical Assessment Skills for Teachers Pořadatel: University of Bedfordshire, CRELLA (Centre for English Language Learning and Assessment ) a IATEFL TEASIG Termín: 28. a 29. 10. 2017, Luton, GB Plenární přednášky: shrnutí aktuálních poznatků z testování ve výuce a v rámci high-stakes exams, digital literacy v testování Konferenční příspěvky: zkušenosti z univerzitního prostředí Oblasti: akademické čtení, ústní projev a poslech
Plenární řečníci Program konference: https://tea.iatefl.org/recent-teasig-events/ Lynda Taylor /The University of Bedfordshire, UK + freelance consultant: Hodnocení ústního projevu John Fields / The University of Bedfordshire, UK : Hodnocení poslechu Thom Kiddle /NILE, UK: Využití online aplikací pro hodnocení v rámci výuky Anthony Green / The University of Bedfordshire, UK: Postavení testování ve výuce cizích jazyků
Referát plenární přednášky Název: Re-examining Speaking for teaching and testing :theory in practice Autorka: Professor Lynda Taylor Pracoviště: CRELLA, University of Bedfordshire, UK
Teoretické modely (konstrukty) ovládání jazyka a jeho hodnocení Evidence-Centred Design (ECD), Mislevy, Almond and Steinberg, 2003 Assessment Use Argument (AUA), Bachman and Palmer, 2010 (model komunikativní kompetence) Socio-Cognitive Framework (Weir, 2005) Propojuje praktické testování s teorií testování, poskytuje praktický základ pro tvorbu testů, jejich analýzu a vyhodnocování, reaguje na odchylky od úrovní ovládání jazyka (CEFR)
Mluvený projev jako socio-kognitivní akt Mluvený projev je produktem a kognitivních a metakognitivních procesů (plánování, monitorování, kompenzace apod.) Testovaný Hodnotitel Kontextová validita Kognitivní validita Účel Jazykové nároky Konstrukce testové úlohy
Validita hodnocení Stanovení škály Hodnotící proces Charakteristika hodnotitele Proškolení hodnotitele Post testové úpravy Zpracování výsledků hodnocení
Klíčové otázky Jak má vypadat testová úloha a co má testovat? Jak vypadá očekávaná odpověď? Podle čeho ji budeme hodnotit? Jak zajistíme relialibilitu? Tj. hodnotí všichni hodnotitelé stejným metrem? (ideálně 0,83 0,86 ) Příklad: ústní část IELTS Slabiny: kontextový a kognitivní obsah úlohy a otázky hodnotitele nedokáží spolehlivě stimulovat ústní projev s deskriptory na vyšší úrovni než B2 (Nakatsuhara, 2012)
Impulzy pro konstrukci ústní zkoušky B2 v JC FF UK (kognitivní validita) Co chceme testovat? Schopnost logicky uspořádaně prezentovat obsah nastudovaného odborného textu? Schopnost vysvětlit odborné pojmy, klasifikovat problém, vysvětlit pozadí problému, klasifikovat pojem, porovnat výhody a nevýhody? Schopnost odpovědět na doplňující dotazy: postoj autora, vlastní názor?
Srovnání mezinárodních zkoušek na základě Weirova sociokognitivního modelu (GMC, 2015) IELTS Cambridge Advanced Pearson Test of English Academic TOEFL-iBT Lexical level? (>)?(=)?(=)? (>) Occupational English Test Grammatical/structural level? (>)?(=)?(=)?(=) Functional range > < > >
Konference zaměřené na testování a zajišťování kvality 2018 Eaquals International Conference, Praha, 26. - 28. dubna 2018 IATEFL Conference + TEASIG Pre-Conference Event / Assessment of Listening. 9. - 13. dubna 2018, Brighton, Velká Británie Letní škola na Lancaster University: Modern Test Theory, 6. - 10. srpna 2018
Bibliografie TAYLOR, Lynda. Testing Reading through Summary. Investigating summary completion tasks for assessing reading comprehension ability. CUP: 2013. ISBN: 9781107695702 KHALIFA, Hanan & WEIR, Cyril J. Examining Reading Research and practice in assessing second language reading, CUP: 2009. ISBN: 9780521736718 TAYLOR, Lynda. Examining Speaking. Research and Practice in Assessing Second Language Speaking. CUP: 2011. ISBN: 9780521736701 CARR, N. T. Designing and analysing language tests with workbook. OUP ELT: 2011 ISBN: 9780194422976 BACHMANN, Lyle, Palmer, Adrian. Language Assessment in Practice. OUP: 2010. ISBN: 9780194422932
Referát zpracovala: Mgr. Ivana Mičínová ivana.micinova@ff.cuni.cz Jazykové centrum FF UK