EVALUACE 2006/2007 TVORBA EVALUAČNÍCH A AUTOEVALUAČNÍCH POSTUPŮ PRO ZŠ A SŠ NA ÚZEMÍ HL. MĚSTA PRAHY Tento materiál obsahuje výklad a podrobný návod ke studiu výsledků srovnávacích testů pro 6. třídy základních škol a odpovídající ročníky víceletých gymnázií. Testy proběhly v rámci projektu Evaluace. Každá škola, která se testování účastnila, najde v této zprávě souhrnné výsledky celého testování a dotazníkového šetření, komentovaný návod k interpretaci analytické zprávy a detailní výsledky svých žáků. Vložené listy (analytická zpráva) obsahují souhrnné výsledky školy a celkové výsledky všech tříd. SOUHRNNÁ ZPRÁVA pro 6. třídy a primy říjen 2006
STRUKTURA ZPRÁVY Souhrnná zpráva 1. jak číst výsledky (návod) základní pojmy otázky, na které dostanete odpověď 2. souhrnná část (souhrnné výsledky v textové a grafické podobě a jejich interpretace) zapojené školy výsledky testování výsledky dotazníkového šetření 3. návod k interpretaci tabulek a grafů (analytické zprávy) -vaše pomoc při interpretaci grafů příklady typů grafů a tabulek výsledků testů příklady grafů výsledků dotazníkového šetření ukázka individuální zprávy žáka s komentářem 4. rozdělení jednotlivých testů do tematických a dovednostních částí Analytická zpráva (samostatné listy) : I. část tabulka souhrnných informací o škole graf průměrných percentilů pro školu a pro všechny třídy graf relativního postavení školy pro každý předmět pro školu tabulky podrobných výsledků žáků za každou třídu v každém testu tabulka extrémních výsledků pro každou třídu II. část Grafy výsledků testů graf analýzy tematických a dovednostních částí pro každou třídu a předmět graf analýzy po úlohách pro každý předmět graf využití potenciálu ve třídě pro každou třídu a každý předmět graf porovnání využití potenciálu v rámci všech škol pro každý předmět a každou třídu graf průměrného výsledku podle známek každou třídu a pro matematiku a český jazyk graf závislosti výsledků testu na známce pro každou třídu a matematiku a český jazyk graf porovnání problémů při přechodu na 2. stupeň pro každou třídu Grafy výsledků dotazníků graf názory na výuku českého jazyka graf problémy při přechodu na 2. stupeň (názor rodičů) graf názory na výuku matematiky (rozdělené do dvou grafů) graf názory na výuku českého jazyka (rozdělené do dvou grafů) graf zájmy a koníčky žáků
graf zvládnuté dovednosti a kompetence žáků graf spokojenost rodičů se školou 1. JAK ČÍST VÝSLEDKY? Začněte zde! Prostudujte si úvodní část (pojmy a otázky, na které dostanete odpověď) a projděte si souhrnnou část, kde najdete celkové výsledky testů a dotazníkového šetření. Dobře se zorientujete v používané terminologii a získáte podklady pro interpretaci vaší analytické zprávy (samostatné vložené listy), a to také díky uvedeným souhrnným výsledkům testů a dotazníkového šetření. ZÁKLADNÍ POJMY Tato část vysvětluje některé důležité pojmy a termíny, které se objevují v následujícím textu. Doporučujeme vám seznámit se s ní ještě před samotným čtením zprávy. S podrobnějším komentářem těchto pojmů a s návodem k interpretaci se setkáte také u některých grafů. Skupiny škol V testování jsme školy rozdělili na dvě základní skupiny : GYM ZŠ víceletá gymnázia základní školy Percentil Pořadí účastníka testu přepočtené na stupnici 0 až 100 (čím vyšší, tím lepší: 0 = nejhorší, 50 = přesný střed, 100 = nejlepší). Percentil lze též interpretovat jako počet procent ostatních, které účastník předstihl. Jde o základní hodnotu, kterou ve zprávě užíváme pro vyjádření výsledků. Průměrný percentil je vždy 50, proto někde používáme pro přesnější určení výsledků i celkový průměrný percentil a skupinový percentil. Pokud se např. testu zúčastnilo 500 žáků, pak účastník s percentilem 80 předstihl 80 %, tj. 400 ostatních a umístil se na 100. místě. Pokud je percentil 6.A 40 a percentil 6.B 50, je rozdíl jejich výsledků 10 percentilových bodů (10 pcb). Skupinový percentil Pro porovnání škol stejného typu je nutné vzít v úvahu pouze žáky z těchto škol a ostatní pominout. Skupinový percentil tedy označuje percentil, který se vztahuje jen k žákům stejného typu školy, je počítán v rámci určité skupiny. Např. žák GYM s percentilem 70 a skupinovým percentilem 55 předstihl 70 % všech ostatních účastníků testování, avšak jen 55 % žáků z víceletých gymnázií. Průměrný percentil, celkový průměrný percentil Vysvětluje, jaký je průměrný percentil určité skupiny žáků (např. gymnázií, jazykových škol atd.). Počítá se jako průměr z percentilu. Není tedy totožný jako skupinový percentil. Čistá úspěšnost (úspěšnost) Vyjadřuje poměr mezi skóre dosaženým v celém testu a maximálním možným počtem bodů, kterého lze v testu dosáhnout (odpovídá počtu úloh v testu). Čistá úspěšnost může nabývat i záporných hodnot, pokud je dosaženo záporného skóre (při velkém počtu chybných odpovědí). Čistá úspěšnost je vždy nižší než hrubá úspěšnost. V rámci zprávy používáme hodnoty čisté úspěšnosti. Hrubá úspěšnost
Vyjadřuje poměr mezi počtem správných odpovědí a počtem všech úloh. Hrubá úspěšnost není nikdy menší než čistá a nemůže nabývat záporných hodnot. Hrubou úspěšnost používáme jen v grafu analýzy po úlohách. Skóre Je dáno součtem bodů za test. Za každou správně vyřešenou úlohu žák získává 1 bod, za nesprávně vyřešenou úlohu se odečítá bod nebo část bodu: u úloh se čtyřmi možnostmi (A) až (D) jedna třetina bodu (např. ČJ), u úloh s pěti možnostmi jedna čtvrtina bodu (například některé úlohy OSP), u úloh s rozhodováním ano-ne jeden bod (např. některé úlohy ČJ). Pokud žák úlohu vynechá, nic se nepřičítá ani neodečítá. Důvodem tohoto na pohled složitého výpočtu je eliminace vlivu tipování. Penalizace za nesprávnou odpověď je stanovena tak, aby náhodně tipující žák získal v průměru 0 bodů; pokud však dokáže v úloze vyloučit některé možnosti jako nesprávné a mezi ostatními hádá, již v průměru část bodu získá. Využití studijního potenciálu Porovnáním percentilů žáka v testu z určitého předmětu a v testu obecných studijních předpokladů (OSP) můžeme přibližně zjistit, zda dosažené studijní výsledky odpovídají jeho předpokladům. Využití potenciálu je spočteno jako rozdíl percentilu v testu z daného předmětu a v testu OSP. Kladné hodnoty znamenají, že žák dosáhl lepšího výsledku, než jaký odpovídá jeho předpokladům škola tedy přidala k jeho předpokladům více než průměrné množství vědomostí. Záporné hodnoty naopak ukazují, že žák dosáhl horšího výsledku, než jaký odpovídá jeho předpokladům škola jeho předpoklady pravděpodobně nerozvíjí dostatečně. Využití potenciálu ovšem ovlivňuje mnoho dalších faktorů, např. motivace. Směrodatná odchylka Jde o poměrně složitě vypočítanou veličinu. Vyjadřuje, nakolik se sledovaná hodnota vzdaluje od průměru. (Je to kladná odmocnina rozptylu, což je průměr čtverců odchylek od průměru).
OTÁZKY, NA NĚŽ DOSTANETE ODPOVĚĎ Tato část je určena hlavně těm, kteří čtou zprávu poprvé. Doporučujeme vám, abyste si před četbou následujícího textu připravili grafy, které jste od nás obdrželi. Která třída z naší školy je nejlepší v českém jazyce? Mezi grafy, které jste dostali v rámci souhrnné zprávy, vyhledejte celostránkový graf s průměrnými percentily vašich tříd (graf pro školu) a v něm český jazyk. Každé třídě odpovídá jeden sloupeček, třída s nejvyšším sloupečkem je nejlepší. Spočítáte-li rozdíl čísel dvou tříd, zjistíte, o kolik je jedna třída lepší nebo horší. Uvedenou informaci lze zjistit i ze souhrnné tabulky českého jazyka pro školu. U každé třídy jsou uvedeny průměrné hodnoty všech důležitých veličin (percentil, úspěšnost), jejichž porovnáním zjistíte, která třída je nejlepší. Jak jsou na tom třídy naší školy v matematice ve srovnání s jinými školami? Odpověď poskytnou hodnoty průměrného percentilu (celostránkové grafy percentilů nebo tabulky výsledků za školu) z matematiky, pokud chcete třídy porovnávat se všemi ostatními účastníky testování. Průměrná hodnota percentilu všech škol je 50, čím vyšší číslo, tím je třída lepší a naopak. Je zde uveden i celkový průměrný pecentil základních škol a celkový průměrný percentil gymnázií pro jemnější srovnání. V čem jsou naše třídy v českém jazyce lepší a v čem horší než ostatní? Jak dopadli jednotliví žáci a kdo je nejlepší v jednotlivých částech testu? Informace o výsledcích jednotlivých částí vám poskytne tabulka podrobných výsledků žáků zkoumané třídy v českém jazyce. V řádku Průměr je ve sloupci Percentily za části uveden za každou část průměrný percentil žáků třídy. Graficky tyto výsledky prezentuje graf Analýza tematických a dovednostních částí. Percentil je v tabulce uveden také u každého žáka, takže lze snadno zjistit, kdo je nejlepší v gramatice, komu dělají největší potíže úlohy z literatury apod. Zajímavé informace můžete vyčíst i v tabulce extrémních výsledků, z níž rychle poznáte nejlepší a nejhorší žáky, případně zjistíte, kteří žáci dosáhli nejméně a nejvíce vyrovnaných výsledků. Využívá naše škola přiměřeně studijní potenciál žáků? Odpověď na tuto otázku není jednoduchá. Předpokládáme-li, že test OSP měří předpoklady žáků ke studiu a že se tyto předpoklady během docházky do školy nemění, lze porovnat umístění žáka v předmětovém testu a v testu OSP. Žáci, kteří se umístí v předmětu lépe než v testu OSP, dosáhli lepšího výsledku, než jaký odpovídá jejich studijním předpokladům škola tedy k jejich předpokladům přidala nadprůměrné množství vědomostí. Porovnání výsledku obou testů poskytuje hodnota využití potenciálu, kterou lze nalézt v grafu za třídu a předmět, kde jsou zobrazeni jednotliví žáci, i v grafu porovnání s ostatními třídami. Zde můžete porovnat, nakolik vaše škola využívá potenciál svých žáků v porovnání s ostatními školami. Informaci můžete také vyčíst z tabulky podrobných výsledků žáků.
2. SOUHRNNÁ ČÁST a. výsledky testování b. výsledky dotazníkového šetření
I. ZAPOJENÉ ŠKOLY Zpráva komentuje výsledky testování 6. ročníků ZŠ nebo prim víceletých gymnázií, které proběhlo v rámci projektů Komplexní evaluační analýza (KEA), Srovnávací testování (STZŠ), do kterých jsou zapojeny školy z celé ČR, a také v rámci projektu Evaluace, který probíhá na školách na území Prahy. Tyto projekty realizovala společnost Scio v říjnu 2006, školy zapojené do těchto tří projektů testovaly své žáky z českého jazyka, matematiky a obecných studijních předpokladů (použity byly stejné testy), školy zapojené do KEA a do projektu Evaluace navíc vyplňovaly dotazníky žáků, rodičů a učitelů. Celkové počty zúčastněných (včetně rozložení do jednotlivých projektů i regionů) zahrnuje poslední řádek v tabulce Počet žáků, tříd a škol podle zastoupení v jednotlivých krajích. K porovnání výsledků byla použita data škol zapojených do všech tří projektů. Díky tomu jsme mohli k porovnání použít téměř trojnásobný objem dat (do souhrnu byla zahrnuta jen data škol, které je odevzdaly ve správném termínu). Všechny grafy a tabulky tedy vychází z dat všech projektů, ale navíc vám předkládáme dva typy grafů (Průměrné percentily a Relativní postavení školy). Pro ty jsme brali v úvahu pouze data pražských škol. Tyto grafy vám umožní porovnání pouze v rámci hl. města Prahy. Počet žáků, tříd a škol podle zastoupení v jednotlivých krajích školy celkem KEA STZŠ žáci celkem KEA STZŠ třídy Hlavní město Praha 101 6 95 3 740 185 3555 179 Jihočeský kraj 14 9 5 382 206 176 19 Jihomoravský kraj 21 13 8 757 433 324 36 Karlovarský kraj 11 11 0 424 424 0 18 Královéhradecký kraj 16 8 8 555 231 324 26 Liberecký kraj 6 3 3 167 118 49 9 Moravskoslezský kraj 49 22 27 1 630 769 861 81 Olomoucký kraj 28 20 8 846 620 226 41 Pardubický kraj 6 2 4 235 112 123 11 Plzeňský kraj 10 5 5 293 85 208 16 Středočeský kraj 46 33 13 1 713 1231 482 82 Ústecký kraj 14 12 2 494 446 48 24 Vysočina 16 11 5 514 355 159 25 Zlínský kraj 11 8 3 338 255 83 15 celkem 349 163 186 12 088 5 470 6 618 582 V celorepublikovém měřítku nejde o zcela vyvážený vzorek. Svědčí o tom i podíly v jednotlivých krajích. Nejvíce žáků testy vyplnilo v Praze (projekt Evaluace), ve Středočeském a Moravskoslezském kraji, nejméně v Pardubickém a Libereckém. Podíl testovaných žáků a všech žáků 6. tříd v jednotlivých krajích dokládá následující graf. Nejvíce žáků z celkové populace bylo kromě Prahy otestováno ve Středočeském, Karlovarském a Olomouckém kraji, nejméně v Libereckém a Pardubickém.
Hlavní město Praha Jihočeský kraj Jihomoravský kraj Karlovarský kraj Královéhradecký kraj Liberecký kraj Moravskoslezský kraj Olomoucký kraj Pardubický kraj Plzeňský kraj Středočeský kraj Ústecký kraj Vysočina Zlínský kraj 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% II. VÝSLEDKY TESTOVÁNÍ Následující tabulky odpovídají hlavně na otázky: Jak dopadly testy celkově, jak byly náročné, jaká je jejich spolehlivost? Můžete si s nimi také porovnat svou analytickou zprávu (vložené listy). 1. Celkové výsledky jednotlivých testů podle typu školy Víceletá gymnázia počet úlohprůměrné skóre průměrná čistá úspěšnost % max. dosažené skóre (max. možné)min. dosažené skóre (min. možné)reliabilita český jazyk 50 35,8 71,7 50 (50) -0,67 (-20,7) 0,819 matematika 30 21,8 72,8 30 (30) -0,67 (-10) 0,813 obecné studijní předpoklady 60 29,8 49,7 51,2 (60) -0,25 (-15,6) 0,811 hrubá úspěšnost (správně) % vynechané % neřešené % český jazyk 79,2 2,7 0,4 matematika 78,3 4,8 0,2 obecné studijní předpoklady 57,6 9,1 3,1 Základní školy počet úloh průměrné skóre průměrná čistá úspěšnost %max. dosažené skóre (max. možné) min. dosažené skóre(min. možné) reliabilita český jazyk 50 22,263 44,53 50 (50) -11,33 (-20,7) 0,821 matematika 30 11,662 38,87 30 (30) -8,67 (-10) 0,797 obecné studijní předpoklady 60 15,238 25,40 47,9 (60) -12,58 (-15,6) 0,769 hrubá úspěšnost (správně) % vynechané % neřešené % český jazyk 57,9 7,4 2,5 matematika 51,2 11,0 0,7 obecné studijní předpoklady 37,1 12,6 5,1
Tyto tabulky charakterizují především samotné testy jejich průměrnou čistou a hrubou úspěšnost. Zajímavý je údaj o maximálním a minimálním dosaženém skóre a o počtu vynechaných a neřešených úloh (ty, které žáci nestihli). Nejtěžší byl pro žáky test z obecných studijních předpokladů. Svědčí o tom nejnižší průměrná čistá úspěšnost. Nikdo ze studentů (základních škol, ale i víceletých gymnázií) nedosáhl plného počtu bodů (narozdíl od matematiky a českého jazyka). Největší je i podíl úloh, které studenti vynechali (neodpověděli na ně) a vůbec nečetli (závěrečné úlohy v testu). Naopak nejlehčí test byl pro žáky ZŠ test z českého jazyka. Pro víceletá gymnázia byl lehčí test z matematiky (podle čisté úspěšnosti), ale v českém jazyce studenti dosáhli vyšší hrubé úspěšnosti a vynechali nejméně odpovědí, což znamená, že se často snažili odpověď odhadnout (to se jim ne vždy vyplatilo). Všechny testy vykazují výborné psychometrické parametry - reliabilitu. Tato hodnota slouží k měření přesnosti testování. Reliabilita je teoreticky číslo mezi -1 a 1, v praxi bývá mezi 0 a 1. Čím je reliabilita vyšší, tím menší vliv na výsledek má náhoda. Při reliabilitě 0 by šlo o výsledky zcela náhodné, při reliabilitě 1 by byly výsledky zcela přesné. Protože měříme intelektuální dovednosti, přesnosti 1 a ani jí blízké se nikdy nedosahuje. Zpravidla se reliabilita pohybuje mezi 0,5 a 0,95. Všeobecně uznávané hranice reliability: test s reliabilitou nad 0,95 je pokládán za vynikající, reliabilita nad 0,85 někdy nad 0,90, se pokládá za dostatečnou, pokud chceme činit rozhodnutí na základě jedné zkoušky, při třech testech je postačující reliabilita nad 0,7. Kvalita dat - Garbage in, garbage out V nadpisu je slogan, který před mnoha lety vymysleli programátoři. Znamená, že když vstupní data pro program (zpracování) nejsou v pořádku (doslovně odpadky), nemůže být v pořádku ani výsledek zpracování. Naprostá většina škol zasílá data v pořádku nebo jen s drobnými chybami, které se nám často podaří odstranit. U některých škol však jde o chyby závažnější, které často odstranit nelze. Neumíme např. řešit situaci, kdy dva žáci v jednom předmětu vyplní v záznamovém archu stejné číslo, nebo naopak žádné číslo, ani situaci, kdy ve ScioDatu jsou založeny 4 různé třídy, z nichž každá skládá zkoušku z jednoho předmětu apod. Takové chyby samozřejmě vedou k tomu, že chybující škola dostává poněkud zmatené výsledky (je pak bohužel její věcí, jak se v nich vyzná). Horší je, že v některých případech taková závadná data poškozují i zpracování pro ostatní školy. Z toho důvodu jsme také museli některá zaslaná data vyřadit. 2. Výsledky testů a jejich částí podle jednotlivých projektů Průměrná čistá úspěšnost za jednotlivé části předmětů (%) Český jazyk gramatika větný rozbor sloh a literatura jazyk znalost porozumění aplikace KEA 33 52 49 44 39 47 56 PRAHA 37 61 56 52 44 54 64 STZŠ 31 50 47 42 37 45 53 celkem 34 54 51 46 40 49 57 Matematika Obecné studijní předpoklady přirozená čísla a číslo nula zlomky geometrie znalost porozumění aplikace KEA 40 70 32 59 43 26 PRAHA 47 75 39 66 50 35 STZŠ 38 68 31 59 40 25 celkem 41 71 34 61 44 29
verbální část analytická část kvantitativní část slovní zásoba KEA 36 32 12 42 1 9 41 22 8 10 PRAHA 41 38 16 46 6 12 48 28 12 14 STZŠ 34 31 10 40-0 7 39 17 7 9 celkem 37 34 13 43 2 9 42 23 9 11 porozumění textu analýza informací orientace v grafu a tabulce orientace v obrázku porovnávání hodnot číselné operace Výsledky ukazují, že nejlépe si s testy poradili žáci ze škol zapojených do projektu Evaluace (projekt probíhající na území Prahy), rozdíl však není velký a lze jej vysvětlit mimo jiné vyšší koncentrací žáků s vyššími studijními předpoklady. Lepších výsledků dosáhli i školy v Komplexní evaluační analýze - KEA (je to zřejmě dáno tím, že do tohoto projektu jsou zapojené školy, které se (auto)evaluaci věnují cíleně a více než ostatní školy, které si objednávají jen testy pro jednotlivé ročníky v rámci projektu STZŠ). Projekt KEA je dlouhodobý a komplexní (škola testuje všechny ročníky v několika následujících letech, dostává podrobnější výsledky a také doplňuje testování dotazníkovým šetřením, které umožňuje mimo jiné nacházet možné příčiny špatných výsledků a hodnotit podmínky výuky a např. klima školy). Český jazyk Percentily za jednotlivé předměty ZŠ PRAHA ostatní ZŠ GYM PRAHA ostatní GYM 90 80 70 60 50 % 40 30 20 10 0 celkem gramatika větný rozbor sloh a literatura jazyk znalost porozumění aplikace Matematika ZŠ PRAHA ostatní ZŠ GYM PRAHA ostatní GYM 100 90 80 70 60 % 50 40 30 20 10 0 celkem přirozená čísla a číslo nula zlomky geometrie znalost porozumění aplikace OSP
100 90 80 70 60 % 50 40 30 20 10 0 celkem verbální část ZŠ PRAHA ostatní ZŠ GYM PRAHA ostatní GYM analytická část kvantitativní část slovní zásoba porozumění textu analýza informací orientace v obrázku orientace v grafu a tabulce porovnávání hodnot číselné operace III. ANALÝZA VÝSLEDKŮ TESTOVÁNÍ Tato část analyzuje výsledky testování v rámci širšího kontextu, hledá souvislosti mezi jednotlivými prvky školního života a všímá si jejich vzájemných vztahů (tomuto procesu se také říká vytěžování dat ). Cílem celé zprávy, a tedy i této analýzy, je pomoci škole interpretovat co nejlépe své výsledky s přihlédnutím k těm souhrnným a díky tomu co nejlépe ohodnotit práci školy, případně naplánovat opatření vedoucí k jejímu zlepšení. Výsledky vychází z údajů dotazníkového šetření (souhrnné údaje i s počtem respondentů najdete v části IV. Dotazníkové šetření). 1. Výsledek podle typu třídy Následující graf poskytuje podrobnější rozčlenění výsledků jednotlivých skupin (rámců). Zaměření třídy jsme zjišťovali z dotazníku pro učitele. Graf pouze potvrzuje očekávanou skutečnost, že ve všech testech má větší výběrovost třídy za následek lepší průměrný výsledek testu. Nejlépe si pochopitelně vedli žáci víceletých gymnázií s průměrným percentilem ze všech testů nad 85. Ze základních škol dopadli nejlépe žáci tříd s rozšířenou výukou matematiky (průměrné percentily okolo 70), průměrné percentily žáků s rozšířenou výukou cizích jazyků se pohybovaly okolo 55. Může překvapit, že matematici porazili (o více než 10 bodů) jazykovky i v testu z českého jazyka. Vysvětlením je zřejmě přísnější výběrovost do tříd s rozšířenou výukou matematiky, kam se zpravidla dostávají skutečně nadané děti, zatímco jazyková třída bývá někdy spíše odrazem přání rodičů než skutečných schopností žáka. Žáci tříd bez zaměření dopadli podle očekávání nejhůře a jejich tři průměrné percentily (Čj, Ma, OSP) se vměstnaly do půl bodu od 45.
Výsledek testu podle zaměření třídy průměrný percentil dosažený v testu 90 80 70 60 50 40 30 20 ZŠ, bez zaměření ZŠ, rozšířená výuka cizích jazyků ZŠ, rozšířená výuka matematiky víceleté gymnázium 10 0 český jazyk matematika obecné studijní předpoklady test 2. Výsledek podle zájmů žáků Následující grafy nám dávají odpověď na otázku, jak ovlivňuje zájem (zájmy) u žáka jeho výsledek v předmětovém testu. První sloupec udává průměrný dosažený percentil u těch, kteří deklarovali daný zájem, druhý sloupec u těch, kteří jej popřeli. Zájmy, které jednoznačně rozdělují žáky (z hlediska výsledku testu) na lepší a horší, můžeme identifikovat tři četbu + literaturu, cizí jazyky a matematiku + logické hry (nazveme je hlavní zájmy ). Z ostatních zjištění můžeme ještě zmínit negativní závislost výsledku testu z češtiny na zájmu o počítače a elektroniku; k deklaraci tohoto zájmu se asi uchylovali často horší žáci, kteří např. hrají počítačové hry. Výsledek testu z českého jazyka podle zájmů žáků průměrný percentil testu z českého jazyka 70 60 50 40 30 20 10 baví mě, dělám rád nebaví mě, nedělám rád 0 sport malování, keramika divadlo, film četba, psaní literatury hudba, zpěv cizí jazyky počítače matematika, logické hry příroda historie technika, elektronika zájmová oblast
Význam zájmu o český jazyk a literaturu je jistě pochopitelný, ale zajímavý je i vysoký percentil z matematiky u těchto žáků (následující graf). Svědčí pravděpodobně o tom, že dobrých výsledků dosahují žáci s všestrannými zájmy. Výsledek testu z matematiky podle zájmů žáků Výsledek testu z obecných studijních předpokladů podle zájmů žáků 70 baví mě, dělám rád 70 baví mě, dělám rád průměrný percentil testu z matematiky 60 50 40 30 20 10 nebaví mě, nedělám rád průměrný percentil testu z OSP 60 50 40 30 20 10 nebaví mě, nedělám rád 0 sport malování, keramika divadlo, film četba, psaní literatury hudba, zpěv zájmová oblast cizí jazyky počítače matematika, logické hry příroda historie technika, elektronika 0 sport malování, keramika divadlo, film četba, psaní literatury hudba, zpěv zájmová oblast cizí jazyky počítače matematika, logické hry příroda historie technika, elektronika Podívejme se, s jakou silou diskriminují tři výše uvedené hlavní zájmy (četba + literatura, cizí jazyky, matematika + logické hry) výsledky dovednostních testů u žáků. Následující graf zobrazuje průměrný dosažený percentil žáků rozdělených podle počtu deklarovaných hlavních zájmů (nula až tři). U všech tří testů jde o jednoznačnou lineární závislost. Žáci, kteří nemají žádný z uvedených hlavních zájmů, dosáhli ve všech testech průměrného percentilu pod 40, zatímco žáci se všemi třemi hlavními zájmy jsou vždy nad percentilem 60. Úspěšnost žáků v testech podle počtu hlavních zájmů 65 60 český jazyk matematika OSP průměrný percentil testu 55 50 45 40 35 žádný zájem jeden zájem dva zájmy tři zájmy skupiny žáků podle počtu hlavních zájmů (literatura, cizí jazyky, matematika) 3. Výsledek podle zvládnutých kompetencí a dovedností žáka
Graf dává další pohled na závislost výsledku testů na údajích z dotazníkového šetření. Sledujeme kompetence a dovednosti žáků důležité pro studium a výuku. Graf ukazuje průměrné percentily všech tří testů ve skupinách žáků se stejným počtem zvládnutých dovedností. Vidíme, že od jedné dovednosti výše jde opět o monotónní průběh, podobný u všech tří testů. (Podobnost hezky ilustruje stěží uvěřitelná shoda u žáků se šesti dovednostmi, kde se všechny tři testy vešly do rozsahu tří desetin procenta!) Zajímavý je pohled na průměrné percentily u těch žáků, kteří neovládají (podle vlastního názoru) ani jedinou dovednost. Zatímco u českého jazyka nevybočuje z očekávání, u matematiky a obecných studijních předpokladů je zde patrná výrazná anomálie, protože tito žáci se v průměru nacházejí ve výsledku testu z matematiky a OSP okolo středního percentilu 50. Bližší pohled na data nám řekne, že právě v této skupině (početně nevelké, 10 žáků) se nacházejí žáci s extrémními rozdíly ve výsledku jednotlivých testů (u jednoho žáka např. Čj=36,4, Ma=81,0, OSP=62,4). Můžeme udělat závěr, že se do této skupiny často zařadili velmi nesebevědomí žáci s vyhraněnou orientací na nehumanitní předměty. Zdůrazněme ještě, že tento graf vychází pouze z dat žáků, kteří se nějak vyjádřili (ano/ne) ke všem nabízeným dovednostem. Nemůže tedy jít o ovlivnění těmi, kteří některé otázky 26-32 ignorovali. Úspěšnost žáků v testech podle počtu zvládnutých dovedností 60 55 český jazyk matematika OSP 50 průměrný percentil testu 45 40 35 30 25 0 1 2 3 4 5 6 7 skupiny žáků podle počtu zvládnutých dovedností (připravit referát, využít více zdrojů, vystoupit bez trémy, pořídit si výpisky, zeptat se na učivo, pracovat ve skupině, vyhledat si informace) 4. Výsledek podle pohledu na výuku V následujících grafech jsme naznačili závislost mezi pohledem žáka na výuku a výsledkem jeho testu z daného předmětu. Žáky jsme rozdělili podle dosaženého percentilu do pěti stejně početných skupin. Každá čára v grafu představuje jeden výrok o výuce (např. výuka mě baví ) a ukazuje, jak na něj odpovídaly uvedené skupiny žáků. Stoupající křivka znamená, že žáci s lepším testovým výsledkem s výrokem souhlasí častěji než ti horší.
100% 90% Pohled žáků na výuku českého jazyka podle úspěšnosti v testu výuka mě baví učitel umí navodit dobrou atmosféru v hodinách se nenudím nemusím se příliš učit nazpaměť podíl žáků souhlasících s výrokem 80% 70% 60% 50% 40% nejhorších 20% čtvrtých 20% třetích 20% druhých 20% nejlepších 20% skupiny žáků podle úspěšnosti v testu z českého jazyka učitel mě nechá objevovat nové věci učitele vysvětlí proč se co učíme v hodině jsem zažil pocit úspěchu je mi jasné na co se učitel ptá vím co se mám naučit učitel kontroluje domácí úkoly chápu co mě mají domácí úkoly naučit učitel komentuje vypracované domácí úkoly doma mi s domácími úkoly pomáhají V obou předmětech je mírná, ale zřetelná kladná závislost míry pochopení výuky ( je mi jasné, na co se učitel ptá, vím, co se mám naučit apod.) na výsledku testu. Očekávané závislosti vykazuje dojem zábavnosti výuky. Žáci, které výuka baví a v hodinách se nenudí, dosahují lepších výsledků. Lepších výsledků dosahují také žáci, kteří se nemusí v hodinách učit nazpaměť. Překvapivé asi není ani to, že pomoc s úkoly potřebují nejvíce naopak ti nejslabší žáci. Větší kritičnost lepších žáků se projevuje u výroku učitel vysvětlí, proč se co učíme, se kterým spíše souhlasí horší žáci. Zajímavý je pohled na výrok učitel komentuje vypracované domácí úlohy, kde křivka klesá na obou koncích (zejména u ČJ) horší žáci zřejmě komentář nezaznamenají či nepochopí, pro ty lepší je nedostatečný. Potěšující je, že i ti nejslabší žáci zažívají v hodině pocit úspěchu (přes 70 % z nich v českém jazyce, v matematice dokonce přes 80 %).
100% 90% Pohled žáků na výuku matematiky podle úspěšnosti v testu výuka mě baví učitel umí navodit dobrou atmosféru v hodinách se nenudím nemusím se příliš učit nazpaměť podíl žáků souhlasících s výrokem 80% 70% 60% učitel mě nechá objevovat nové věci učitele vysvětlí proč se co učíme v hodině jsem zažil pocit úspěchu je mi jasné na co se učitel ptá vím co se mám naučit učitel kontroluje domácí úkoly chápu co mě mají domácí úkoly 50% naučit učitel komentuje vypracované domácí úkoly doma mi s domácími úkoly 40% pomáhají nejhorších 20% čtvrtých 20% třetích 20% druhých 20% nejlepších 20% skupiny žáků podle úspěšnosti v testu z matematiky IV. DOTAZNÍKOVÉ ŠETŘENÍ Dotazníkové šetření bylo součástí projektu KEA a Evaluace pro žáky 6. tříd ZŠ (respektive prim osmiletých gymnázií). Šetření bylo realizováno formou papírových dotazníků pro žáky a jejich rodiče a internetového dotazníku pro příslušné učitele českého jazyka a matematiky. Cílem šetření bylo kvantifikovat některé subjektivní názory na výuku, její průběh a výsledky, včetně souvisejících aspektů, např. mimoškolních zájmů žáků, a porovnat je s výsledky testů příslušných žáků. Počty Do zpracování dotazníkového šetření bylo zahrnuto celkem 5 218 dotazníků žáků, 5 708 dotazníků rodičů a 548 dotazníků učitelů. U žáků jsme mohli analyzovat odlišnosti obou pohlaví, učitelé byli pochopitelně rozděleni podle vyučovaného předmětu (český jazyk, matematika). Použité veličiny a metody Při vypracování souhrnné zprávy jsme vycházeli z četností odpovědí na jednotlivé otázky dotazníku (vyjádřené v procentech), přičemž jako základní soubor (100%) jsme brali pouze ty respondenty, kteří na danou otázku skutečně odpověděli. Při porovnání s výsledkem znalostních testů (z českého jazyka, matematiky a obecných studijních předpokladů) jsme vycházeli z dosaženého percentilu žáka v daném testu. Zdůrazněme, že používáme percentil z testování všech testovaných žáků, tedy i těch, kteří se dotazníkového šetření nezúčastnili. Při vypracování závěrečné zprávy jsme využívali znázornění pomocí grafů se slovním popisem. Omezili jsme se na popisnou statistiku bez toho, že bychom nalezené závislosti testovali metodami matematické statistiky. Hovoříme-li tedy dále o výrazném rozdílu, zřetelné závislosti apod., není tím myšleno prokázání statistické významnosti (ve smyslu např. t-testu atd.). Hodnocení výuky
Žáci měli ve svém dotazníku zhodnotit, zvlášť pro český jazyk a matematiku, 13 faktorů výuky daného předmětu (otázky 2-14). Tam, kde to bylo účelné, dostali porovnatelnou otázku i učitelé (otázky 1-13) a rodiče (12-19, zvlášť Čj a Ma). Grafy porovnávají odpovědi chlapců a dívek a srovnávají je s odpověďmi rodičů a učitelů příslušného předmětu. Mezipředmětové srovnání zde ukazuje, že žáci mají raději hodiny matematiky (více odpovědí výuka mě baví, nenudím se apod.). Přitom příčinou tohoto rozdílu je zejména výsledek chlapců, kteří matematiku preferují jednoznačně (79 % chlapců baví matematika, pouze 55 % český jazyk). Pohled dívek je mnohem vyrovnanější (75 % vs. 71 %). I v dalších otázkách souvisejících s průběhem vyučovacích hodin dopadá matematika lépe než český jazyk. Pohled žáků na výuku matematiky výuka mě baví učitel umí navodit dobrou atmosféru v hodinách se nenudím nemusím se příliš učit nazpaměť učitel mě nechá objevovat nové věci učitel vysvětlí proč se co učíme v hodině jsem zažil pocit úspěchu chlapci dívky názor učitelů názor rodičů je mi jasné na co se učitel ptá vím co se mám naučit učitel kontroluje domácí úkoly chápu co mě mají domácí úkoly naučit učitel komentuje vypracované domácí úkoly doma mi s domácími úkoly pomáhají 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100 podíl žáků souhlasících s daným výrokem % Srovnáme-li odpovědi žáků s příslušnými odpověďmi učitelů, nalezneme patrnou odlišnost u názoru, zda žáky baví výuka českého jazyka učitelé zábavnost předmětu přeceňují. Dále lze obecně říci, že učitelé obou předmětů vidí svoji práci v lepším světle než žáci viz rozdíl v odpovědích na otázky učitel vysvětlí, proč se co učíme a učitel komentuje vypracované domácí úkoly.
Pohled žáků na výuku českého jazyka výuka mě baví učitel umí navodit dobrou atmosféru v hodinách se nenudím nemusím se příliš učit nazpaměť učitel mě nechá objevovat nové věci učitel vysvětlí proč se co učíme chlapci dívky názor učitelů názor rodičů v hodině jsem zažil pocit úspěchu je mi jasné na co se učitel ptá vím co se mám naučit učitel kontroluje domácí úkoly chápu co mě mají domácí úkoly naučit učitel komentuje vypracované domácí úkoly doma mi s domácími úkoly pomáhají 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% podíl žáků souhlasících s daným výrokem Porovnáme-li odpovědi žáků a rodičů, můžeme konstatovat v podstatě dobrý soulad, snad s výjimkou otázky na nudu v hodinách, kde rodiče výuku obecně přeceňují. Názor učitelů Učitelé se prostřednictvím otázek 15-22 svého dotazníku vyjadřovali ke svému vlastnímu vedení výuky. Mohli zvolit jednu ze škály odpovědí ( ano spíše ano spíše ne ne ). Názory učitelů českého jazyka na svoji výuku mé vztahy s žáky jsou dobré žákům poradím s tím čemu nerozumí žákům vysvětlím domácí přípravu žáci si mohou sami vybírat cvičení žáci si mohou vybrat způsob práce mám již přehled o úrovni žáků zadávám různé úkoly podle možností žáků snažím se o individualizaci výuky 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% určitě ano spíše ano spíše ne určitě ne podíl odpovědí učitelů na daný výrok Popisné grafy ukazují četnosti jednotlivých odpovědí. Nepřekvapí, že převládá kladné hodnocení vlastní práce, spíše se můžeme divit, že na výrok žákům poradím s tím, čemu nerozumí vůbec někdo odpověděl ne. Jednostrannost dat ztěžuje i porovnání učitelů obou předmětů. Z odlišného charakteru českého jazyka a matematiky zřejmě plyne fakt, že žáci si mohou sami vybrat cvičení častěji v českém jazyce, zatímco žáci si mohou vybrat způsob práce spíše v matematice. I individualizace je, zdá se, o něco snazší při vyučování českého jazyka.
Názory učitelů matematiky na svoji výuku mé vztahy s žáky jsou dobré žákům poradím s tím čemu nerozumí žákům vysvětlím domácí přípravu žáci si mohou sami vybírat cvičení žáci si mohou vybrat způsob práce mám již přehled o úrovni žáků zadávám různé úkoly podle možností žáků snažím se o individualizaci výuky 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% určitě ano spíše ano spíše ne určitě ne podíl odpovědí učitelů na daný výrok Charakteristika žáků Žáci měli v dotazníku možnost uvést jednotlivě u jedenácti předepsaných aktivit, zda je baví a rádi je dělají (otázky 15-25). Jejich odpovědi lze srovnat s pohledem rodičů na aktivity svých dětí (otázky 20-30 rodičovského dotazníku). Následující graf je pouze popisný, ukazuje četnost příslušného zájmu mezi chlapci a děvčaty, včetně porovnání s pohledem rodičů. Potvrdila se očekávaná výrazná převaha uměleckých a humanitních zájmů u dívek (malování, literatura, hudba) a technických zájmů u chlapců (technika, elektronika, počítače). Zájmy žáků sport malování, keramika divadlo, film chlapci dívky názor rodičů četba, psaní literatury hudba, zpěv cizí jazyky počítače matematika, logické hry příroda historie technika, elektronika 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% podíl žáků s daným zájmem