KONCEPT TESTU ANGLICKÉHO JAZYKA PROJEKT ESKALÁTOR, SCIO

Transkript

1 KONCEPT TESTU ANGLICKÉHO JAZYKA PROJEKT ESKALÁTOR, SCIO 1

2 1. POPIS TESTU Co testuje Východiska testu Srovnatelnost výsledků s jinými zkouškami, stupnicemi CÍLOVÁ SKUPINA Typ školy Ročníky VÝSTUPY Z TESTU PRO UŽIVATELE VÝSLEDKŮ TESTOVÁNÍ Využití výsledků testování pro jednotlivé uživatele Žáci Učitelé Ředitelé Rodiče Scio PARAMETRY ÚLOH AJ V TESTECH ESKALÁTORU Obtížnost Rozlišovací schopnost (diskriminace) Uhádnutelnost Úspěšnost Chyba měření CHARAKTERISTIKY ÚROVNÍ TESTŮ Úrovně testů, testované dovednosti, úrovně úloh Popis úrovní testů SPECIFIKACE TESTOVÝCH ÚLOH Společný evropský referenční rámec pro jazyky (SERRJ) Jazykový obsah podle testovaných úrovní Kontext, domény, typy textů a situace v testových úlohách Typy úloh podle obsahu Typy úloh podle formy TERMÍNY TESTOVÁNÍ, VERZE TESTŮ, PARALELNÍ VERZE Termíny testování Verze testů, paralelní verze ORGANIZACE TESTOVÁNÍ Forma testování Čas na řešení testu Pomůcky SOUVISEJÍCÍ METODICKÉ MATERIÁLY A PRODUKTY Instrukce k testování E-learning Demo test Mapa učebního pokroku (MUP)

3 1. POPIS TESTU 1.1. Co testuje V testech anglického jazyka je kladen důraz na rozvoj slovní zásoby, porozumění a komunikačních dovedností v běžných situacích, nikoli na gramatiku. Stejnou měrou jsou rozvíjeny dvě základní jazykové dovednosti poslech a čtení Východiska testu Testy angličtiny Eskalátoru vycházejí z RVP ZV, sylabů běžně používaných učebnic AJ. Výkon žáků (úroveň) měří podle Společného evropského referenčního rámce pro jazyky (SERRJ); Při formulaci jazykového obsahu testových otázek nám značně pomohly příručky již zavedených testů, např. Cambridge KET for Schools (Key English Test), PET for Schools (Preliminary English Test), YLE (Young Learners English) a London Tests of English for Children (úrovně Firstwords a Springboard) Srovnatelnost výsledků s jinými zkouškami, stupnicemi Vzhledem k použité metodě IRT není test porovnávací, ale ověřovací. Pracuje s jednotnou pevnou škálou, na které zobrazujeme výsledky. Výsledky se vypočítávají ze statistických parametrů jednotlivých testových otázek. A tak není důležité, zda žák správně zodpověděl testovou otázku, ale také jak obtížná otázka byla a co testovala. Výsledkem je zařazení do škály jazykových úrovní dle Společného evropského referenčního rámce pro jazyky (SERRJ). Výhodou takového vykazování výsledků je, že umožňuje dlouhodobě sledovat rozvoj znalostí a dovedností žáka, a to nikoli jen na základě prostého srovnání s ostatními či součtového skóre. 3

4 2. CÍLOVÁ SKUPINA 2.1. Typ školy základní, malotřídní školy a odpovídající ročníky víceletých gymnázií ve Středočeském kraji zapojené do projektu Eskalátor 2.2. Ročníky 9. ročníky základních a malotřídních škol a odpovídající ročníky víceletých gymnázií Testy se nepřiřazují na základě ročníku, ale podle úrovně jazykových znalostí a dovedností. Učitelův expertní odhad úrovně žáka je ověřen v 1. testování. V každém dalším testování učitel přiřadí vhodnou úroveň na základě výsledků z minulého testování. Více informací k úrovni testů AJ je uvedeno v kapitole 5 a 7. 4

5 3. VÝSTUPY Z TESTU PRO UŽIVATELE VÝSLEDKŮ TESTOVÁNÍ Zprávy z testování jsou v online podobě, dostupné na projektovém webu po přihlášení registrovaného uživatele. Zpráva pro žáka obsahuje grafy zobrazující umístění na škále théta. Dosažený bodový výsledek je interpretován pomocí SERRJ jako jazyková úroveň (A0 B1), připojen je slovní popis výsledku a popis všech testovaných úrovní. V případě umístění žáka mimo rozsah měření testu následuje doporučení na přiřazení vhodnější testové úrovně. Graf zobrazuje také vývoj výsledků žáka od započetí testování. Zpráva pro žáka nabízí také srovnání výsledků žáka se všemi testovanými žáky jeho třídy, školy a žáky jeho ročníku v rámci zapojených škol SČK. Srovnávací grafy pro školy zachycují umístění třídy mezi všemi zapojenými třídami daného ročníku ve škole a v zapojených školách SČK Využití výsledků testování pro jednotlivé uživatele Žáci zjištění úrovně znalostí a dovedností, zpětná vazba k vlastnímu pokroku v jednotlivých dovednostech, nástroj k rozvoji Učitelé zjištění úrovně znalostí a dovedností žáků, jejich pokroku v jednotlivých dovednostech, nástroj k cílenému rozvoji žáků jejich slabších míst i nadprůměrných stránek, srovnání výsledků žáků i třídy mezi kmenovými třídami ve škole a v kraji, zpětná vazba k vlastní práci Ředitelé srovnání výsledků kmenových tříd a identifikace nadprůměrných i podprůměrných tříd v rámci školy i kraje, zpětná vazba k práci učitelů. 5

6 Rodiče zjištění úrovně znalostí a dovedností dítěte, jeho pokroku v jednotlivých dovednostech, možný nástroj k práci s dítětem rozvoji jeho slabších míst i nadprůměrných stránek, srovnání výsledků žáků i třídy mezi kmenovými třídami ve škole a v kraji, zpětná vazba k práci učitele a školy Scio data pro výzkum a další rozvoj použitých technologií. 6

7 4. PARAMETRY ÚLOH AJ V TESTECH ESKALÁTORU Jedná se o testy IRT (Item Response Theory, neboli teorie odpovědi na položku). Vyhodnocujeme položku po položce, každá má svoje parametry, které se zobrazují na grafu se stupnicí bodů théta. Sledujeme následující parametry: 4.1. Obtížnost Podle toho, na jak obtížné položky odpovídá proband správně a špatně, vypočítá se jeho výsledek úroveň na škále théta. Úroveň interpretujeme pomocí stupnice jazykových znalostí a dovedností SERRJ. A2 je výstupní úrovní ze ZŠ, B1 (výstupní úroveň ze SŠ) je pravděpodobně nejvyšší úroveň, jakou můžeme od žáků ZŠ očekávat. Testy měří výkon i pod úrovní A1 (výstupní úroveň z 5. třídy ZŠ). Tuto úroveň jsme pojmenovali A0 a definovali požadované jazykové dovednosti. Formulace SERRJ (MŠMT ČR) jsme upravili s ohledem na věk cílové skupiny Rozlišovací schopnost (diskriminace) Rozlišovací schopnost znamená schopnost úlohy rozlišit žáky, kteří jsou na téměř stejné úrovni dovednosti. co nejvyšší 4.3. Uhádnutelnost méně než 20 % 4.4. Úspěšnost % 4.5. Chyba měření co nejnižší v měřeném rozsahu obtížnosti na škále théta (< 10%) 7

8 5. CHARAKTERISTIKY ÚROVNÍ TESTŮ Každá testová úloha je po pilotním testování zkalibrována a je určena její úroveň. Úroveň úloh určuje úroveň testů Úrovně testů, testované dovednosti, úrovně úloh Anglický jazyk A0/A1 snadný 25 poslechových úloh, 25 úloh na čtení, každá dovednost cca. napůl A0 a A1 Anglický jazyk A1/A2 - středně obtížný 25 poslechových úloh, 25 úloh na čtení, každá dovednost cca. napůl A1 a A2 Anglický jazyk A2/B1 obtížný 25 poslechových úloh, 25 úloh na čtení, každá dovednost cca. napůl A2 a B Popis úrovní testů Úroveň A0/A1 Test je určen pro začátečníky a nachází se pod a na jazykové úrovni A1 SERRJ. Pohybujeme se na úrovni slov, často podstatných jmen. Jedná se o izolované výrazy nebo fráze, krátké seznamy a jednoduché věty. Oproti vyšším úrovním obsahuje test větší podíl otázek na slovní zásobu typickou pro děti daného věku/začátečníky (rodina, škola, hra, sport, domov). Časté jsou spellingové otázky, v krátkých větách se objevuje čas přítomný prostý a průběhový, zejména slovesa can, have, be. Přítomny jsou i základní konverzační situace (např. seznámení) a otázky na vyhledávání konkrétních informací (číslo, jméno). Úroveň A1/A2 Test se svým jazykovým obsahem nachází na úrovni A1 a A2 SERRJ. Pohybujeme se částečně stále na úrovni slov, krátké texty mohou obsahovat i několik vět jednoduchých bez výraznější vzájemné závislosti a krátká souvětí bez vztahu podřízenosti. Gramatika je stále základní (např. slovesný čas minulý a budoucí běžných pravidelných a nepravidelných sloves, způsobová slovesa, spelling běžných slov). Témata textů již pokrývají základní konverzační situace (např. koníčky, každodenní situace jako je nakupování, režim dne, zdraví, cestování). Úroveň A2/B1 Test je svým obsahem na jazykové úrovni A2 a B1 SERRJ. Nacházíme se stále v úrovni vět, začínají se ale již objevovat strukturované texty. V gramatice již běžně používáme čas předpřítomný, nepravidelná slovesa, souvětí jsou spojena složitějšími spojovacími výrazy. Slovní zásoba je více komplexní (témata zahrnují vztahy s jinými lidmi, zvyky, společenské události, kulturní a společenská témata na úrovni zemí, média, služby). Vše je procvičováno zejména formou porozumění v kontextu mluvní situace/autentického textu. 8

9 6. SPECIFIKACE TESTOVÝCH ÚLOH 6.1. Společný evropský referenční rámec pro jazyky (SERRJ) Úroveň B1 je pravděpodobně nejvyšší, jakou můžeme od žáků ZŠ očekávat. Na druhé straně by testy měly být schopny měřit výkon i pod úrovní A1. Pro testy Eskalátoru jsme tuto úroveň pojmenovali A0 a definovali požadované jazykové schopnosti. Formulace SERRJ (verze MŠMT ČR) jsme upravili s ohledem na věk cílové skupiny. Poslech A0 A1 A2 B1 Žák začíná sledovat řeč, která je zřetelná, pečlivě vyslovovaná a s dlouhými pomlkami, aby mohl pochopit význam. Čtení Žák dokáže sledovat řeč, která je zřetelná, pečlivě vyslovovaná a s dlouhými pomlkami, aby mohl pochopit význam. Žák rozumí frázím a výrazům, které se vztahují k jeho nejnaléhavějším potřebám. Tématem jsou např. základní informace o něm, jeho rodině, nakupování, škole, popis místa. Řeč je pomalá, zřetelná a jasně formulovaná. A0 A1 A2 B1 Žák začíná rozumět jednoduchým frázím ve velmi krátkých, jednoduchých textech. Začíná umět vyhledávat známá jména, slova a základní fráze a podle potřeby se ve čtení vracet zpět. Žák rozumí jednoduchým frázím ve velmi krátkých, jednoduchých textech. Dokáže vyhledat známá jména, slova a základní fráze a podle potřeby se ve čtení vracet zpět. Žák rozumí krátkým, jednoduchým textům. Texty obsahují nejčastěji užívanou slovní zásobu včetně slov, která existují s obdobným významem i v češtině a dalších jazycích. Žák dokáže porozumět hlavním myšlenkám textu na běžná témata, se kterými se setkává ve škole, ve volném čase atd., a to včetně krátkých vyprávění. Řeč je spisovná, zřetelná a s všeobecně známým přízvukem. Žák dokáže číst s porozuměním na uspokojivé úrovni. Texty jsou již odbornější, popisné, ale stále ne příliš komplikované a vztahují se k tématům jeho zájmu. 9

10 6.2. Jazykový obsah podle testovaných úrovní Rámcové definice schopností SERRJ (úrovně A1, A2 a B1) a námi nadefinované úrovně A0 jsme pro cílovou věkovou skupinu doplnili s použitím zahraničních metodických materiálů (viz kap. 1) o konkrétní jazykový obsah (slovní zásobu a gramatiku). Jazykové úrovně Texty Úkoly Témata/ slovní zásoba Gramatika A0 Texts are very simple; at the word level; often isolated words or small groups of words, very short lists. Tasks consist of recognizing alphabetical sounds and a small number of simple words, usually nouns. Colours Family Pets / Animals School / Classroom (objects, instructions) Numbers (1-20) Self (body, moods, appearances) Toys Clothes Food/Drinks Simple Description of Animals Home/Houses Calendar (days) Time (hours only) Weather Seasons Spare time (Sports, Computers, Hobbies) Has / Have got I ve got a dog. Has he got a dog? He hasn t got a cat. The imperative and negative imperative Get up. Sit down. Be quiet. Don t touch. The verb to be in the present tense He s John. Are you Mary? I m not tired. The Present Continuous Mr Brown is watching television. Are you sleeping? The simple present tense for habits (affirmative only) Lions eat meat. Can for ability and requests Mrs Brown can swim. The elephants can't fly. Can you write your name, please? Let s for simple suggestions Let s go to the cinema. Basic question words What? Where? What colour? Who? How many? How much? Which? Demonstratives - pronouns and adjectives This is That s Is this/that? This book is good. Possessive s Ben s book. Personal and possessive pronouns and adjectives I, mine, my etc Plural of nouns books, cats, classes, houses, children, men, women Prepositions of place The book is on/under/by the chair. Simple conjunctions and, but, or formulaic use of I like (+ noun) and I don t like (+ noun) ask and answer yes/no questions ask and respond to wh- questions articles There is / are How many dogs are there? There are... Simple sentence structure A1 Texts are very simple; at the word level; often lists, or isolated words, or i.e. a simple sentence. Tasks require recognizing the most high-frequency words and frazes, usually nouns. Tasks do not require the user to relate the noun to a verb. All previous topics plus: Numbers (1-100) Places (i.e. Town Facilities) Jobs Daily Routines Shopping (Shops and Basic Shopping Items) Likes and Dislikes Calendar (Months) Time (Hours and Minutes) Transport Holidays Basic Geografical Features (i.e.river, countries) Street Directions Like + ing Ben doesn t like getting up early Sophie loves school The simple present tense for habits - negative and interrogative The baby doesn t eat hamburgers Does Mrs Brown start work at 8.00? Can for permission Can we go to the cinema? Adverbs of frequency Sometimes, always, never, often Other question words How often? What kind? What time? How much? Verb + infinitive want to, help to, plan to, decide to Simple ordinals First, second, third Simple subordinating conjunctions When, before, after + then (adverb) Conjuction because Billy was late for school because he missed the bus. Prepositions of place and time Opposite, between, in front of, next to On Monday, in January, at night Past tense of to be Was, were The simple past tense of high frequency verbs I walked. I didn t walk.did you walk? Irregular past forms of most common verbs went, got up, ate, drank, slept, came Present continuous for future use She s going out tonight. Will all basic uses We think Ben s team will win. Comparatives of adjectives Ben is older than Sophie. Superlatives of adjectives 10

11 Spelling Word order Expressing negative in the sentence Copying a letter/word with correct spelling without understanding it. Filling a missing letter in the blank. Recognizing recorded sounds/words. Anna is the youngest girl in her class. Would for polite offers Would you like a cup of tea? Copying a word with correct spelling. Choosing an option of a familiar word/very simple phrase with correct spelling. Filling a missing letter/word with correct spelling in the blank. Spelling of personal details. Spelling inaccuracies are very often. Recognizing a sound/simple word from a record. 11

12 Jazykové úrovně Texty Úkoly Témata/ slovní zásoba A2 Texts are at the sentence level, with very basic grammar, and high-frequency vocabulary. Texts may consist of more than one sentence, but with only the loosest discourse structure. Sentences are joined by conjunctions, with no embedding or subordination often the sentences can be reordered without affecting the message. Tasks require understanding simple sentences, and in contrast to Level A1 tasks, the user must understand how the subject and object relate to the verb. All previous topics plus: Numbers ( ) Nature Travel/Holiday Music (types, instruments) Space and Space Travel Future plans Health/Illness The Senses Gramatika past simple and continuous of regular and irregular verbs in all forms past continuous in narratives Mr Brown was having breakfast when the phone rang. some basic uses of present perfect simple in all forms Have you ever been to London? I have never been to New York. Going to, to express future plans and intentions I am going to visit my aunt next week. I am going to work hard this year. future simple in all forms modals for obligation and permission can/be able to, must/have to, may, will etc. modals for polite requests could, would etc. comparative of adjectives (3+syllables) and adverbs More beautiful than... More slowly than... adverbs of time, place, manner and frequency early, far, well, often etc. First conditional form with if If Annie finishes her homework, she will go out. Would (rather) for preferences I would rather go to I wouldn t like to go to The infinitive to indicate purpose Grandmother made a cake to give to Diana. relative pronouns, adverbs+word order I don t know which colour it is. intensifiers compound sentences Tag questions She is, isn t she? They will, won t they? Spelling Choosing a correct option of a well known words/short simple fraze with a correct spelling. Fill a word/phrase, consisting of familiar, high frequency vocabulary, spelled correctly in the blank. Spelling inaccuracies are often. Recognizing sounds and simple words in a short recorded passage. Zdroje: CAE, LTEfC, LTE, YLE, CEFR, RVP ZV B1 Texts are still at the sentence level, with little grammatical complexity, but the sentences tend to be more organized structured paragraphs are starting to emerge. Tasks still largely consist of understanding simple and compound sentences, but may require understanding and connecting information from more than one sentence/paragraph. All previous topics plus: Numbers ( ) Services Media and their impact on individuals and society Current affairs and events of greater significance Authentic materials press, radio, film Relations with Other People Social Interaction political and economic position in the world Characteristics of the economy, society and culture of English speaking countries Their relations with the Czech Republic Literature, important works and authors Science, technology, sport, art, significant personalities, works, achievements Life and traditions, family, education, national pastimes and specialties Language peculiarities and differences used to in all forms He used to be an architect. compound and multiple compound sentences zero, first and second conditional forms If he comes, I will call you. If he came, I would call you. If he had come, I would have called you. some basic uses of present perfect continuous in all forms The man has been living here for three years. future continuous in all forms The French will be playing play-off next week. sense of formality or informality in situations using appropriate reactions some basic uses of past perfect in all forms He had not told me before he left. Choosing a correct option of words/phrases, which are not simplistic, yet, range from common, familiar topics areas. Can fill in correctly spelled words/phrazes in the blank. Spelling inaccuracies may occur. Recognizing sounds, words, and phrases in shorter recorded passages on common everyday topics. 12

13 6.3. Kontext, domény, typy textů a situace v testových úlohách Kontext/Domény Osobní Veřejná Pracovní Vzdělávací Situace (rámec pro slovní zásobu) Typy textů (texty souvislé i nesouvislé) notes, message, post card, short letter, , diary entry, fiction, comic, invitation to a party advertisement, leaflet, map, announcement, shop opening hours, ticket, bill, catalogue, restaurant menu, price list, sign, school timetable, list of students, school certificate, diploma directions, instructions, recipe, contract, diagram children's magazine, newspaper article, simplified encyclopedia entry locations, institutions, persons, objects, events, operations, texts Zdroje:kontextové kategorie, domén, situacey Tb 5,CEFR 4.1,texty a typy textů CEFR a 4.6.3, typy textů PISA Typy úloh podle obsahu Gist/Detail pochopení podstaty textu, identifikace hlavní myšlenky, analyzování textu podle daných kritérií, zvolení správné interpretace, identifikace kontextu dané situace (kde můžeme text vidět/slyšet), zjištění specifické informace. Konverace procvičování běžných konverzačních situací, výběr vhodné otázky/odpovědi pro doplnění konverzace. Slovní zásoba procvičování slovní zásoby definované pro dílčí jazykové úrovně (viz kap. 6. 2), důraz kladen na podporu komunikačních dovedností prostřednictvím rozšiřování vlastní slovní zásoby o výrazy z běžného života. Gramatika procvičování gramatiky definované pro dílčí jazykové úrovně (viz kap. 6. 2), důraz kladen na používání vazeb z běžného života, pouze otázky na čtení, uzavřené úlohy. 13

14 Spelling procvičování psaní s použitím správného pravopisu (poslechové úlohy), identifikace pravopisně správně napsaných slov/slovních spojení (otázky na čtení) Typy úloh podle formy Uzavřené s nabídkou odpovědí (multiple choice) a) výběr jedné správné odpovědi, b) výběr více správných odpovědí o náročnější úlohy, o počet správných odpovědí není explicitně stanoven; úlohy typu gist/detail, konverzace, slovní zásoba, gramatika (neplatí pro b), spelling (čtení), 5 variant A E ve slovní nebo obrázkové formě. Krátké otevřené úlohy typu spelling (poslechové), 1 5 políček pro vepsání písmena, slova či slovní spojení. Přiřazovací úlohy typu gist/detail, konverzace, slovní zásoba, gramatika, přiřazování slova/fráze k obrázku, slova k popisu, dvou synonym/antonym, dvou vět s podobným/opačným významem; a) 2 sloupce po 5 políčkách, přetahování políček v 1 řadě pomocí myši, b) výběr slova/fráze chybějícího v textu z rozbalovací nabídky (5 možností). Seřazovací úlohy typu gist/detail, grammar, seřazování událostí vět v příběhu, obrázků situací popsaných v textu, seřazení slov ve větě, přetahování políček se slovy/obrázky nebo vepisování čísel do políček vedle vět, až 9 položek pro seřazení. 14

15 7. TERMÍNY TESTOVÁNÍ, VERZE TESTŮ, PARALELNÍ VERZE 7.1. Termíny testování 1 termín testování dvakrát za rok, listopad a květen 7.2. Verze testů, paralelní verze existují tři verze, po posledním termínu, jarním testování 2011 (Eskalátor IV), budou celkově čtyři, v každém termínu je každá úroveň zastoupena jednou verzí: Eskalátor I - Anglický jazyk A0/A1 snadný Eskalátor I - Anglický jazyk A1/A2 - středně obtížný Eskalátor I - Anglický jazyk A2/B1 obtížný Eskalátor II - Anglický jazyk A0/A1 snadný Eskalátor II - Anglický jazyk A1/A2 - středně obtížný Eskalátor II - Anglický jazyk A2/B1 obtížný Eskalátor III - Anglický jazyk A0/A1 snadný Eskalátor III - Anglický jazyk A1/A2 středně obtížný Eskalátor III - Anglický jazyk A2/B1 obtížný 15

16 8. ORGANIZACE TESTOVÁNÍ 8.1. Forma testování testování probíhá pouze online 8.2. Čas na řešení testu čas se neodpočítává, doporučená minimální doba testování je 45 minut nebo nechat žáky test dopracovat do konce, žáky s SPU či jiným handicapem je vhodné nechat na testu pracovat déle, úlohy není nutné řešit tak, jak po sobě následují v testu. Naopak je dobré nejprve vyřešit úlohy, které žákovi připadají snazší, a až poté se vrátit k úlohám obtížnějším Pomůcky sluchátka, papír na poznámky, pero/tužka, další pomůcky jako slovníky, internet nejsou povoleny. 16

17 9. SOUVISEJÍCÍ METODICKÉ MATERIÁLY A PRODUKTY 9.1. Instrukce k testování dostupné online na projektovém webu E-learning k dispozici jsou 3 úrovně, žákovi je podle výsledku v testování přiřazena odpovídající úroveň e-learningových lekcí, každý žák má zároveň přístup i do ostatních úrovní, lekce jsou určené k práci v hodinách, v zájmových kroužcích organizovaných školou, pro samostatnou práci žáků domácí přípravu, důraz je kladen na motivační charakter lekcí a na rozvoj komunikačních dovedností Demo test obsahuje příklady všech typů testových úloh včetně detailního popisu, do demo testu se přihlásíte na login i heslo demo Mapa učebního pokroku (MUP) připravuje se, MUP AJ bude obsahovat znalostní část a část čtenářské gramotnosti v anglickém jazyce. 17