Metodologie pedagogického výzkumu I

Transkript

1 Metodologie pedagogického výzkumu I vyučující Hana Voňková, Katedra pedagogiky a Ústav výzkumu a rozvoje vzdělávání (zde uveden odborný profil), PedF UK h.vonkova@gmail.com, hana.vonkova@pedf.cuni.cz konzultace během zimního semestru čtvrtek 10:30-11:15, budova Rettigova, R222 kód v SISu OKN povinný kurz pro studenty navazujícího magisterského programu oboru pedagogika, kombinovaná forma výuka dle SIS čtvrtek 17:10-19:25, cesta výuka odpadá, zahraniční webové stránky ke kurzu ryba.cz/hanicka/metodologie1 zakončení kurzu: zkouška a zápočet požadavky ke zkoušce ústní zkouška a článek výsledek zkoušky: 60% známky tvoří ústní zkouška a 40% známky tvoří článek Ústní zkouška z metod pedagogického výzkumu a statistiky využívané v pedagogickém výzkumu zkouška založena na látce diskutované o přednáškách, studijní materiály k přednáškám jsou dostupné na internetové stránce ryba.cz/hanicka/kombinovanametodologie1 1

2 v části ústní zkoušky z metod pedagogického výzkumu si vylosujete dvě otázky, které budeme následně po Vaší přípravě diskutovat v části ústní zkoušky ze statistiky budete na počítači s využitím statistického softwaru Gretl nebo Excel zpracovávat data pomocí zadaných statististických metod, jež budou diskutovány na přednáškách (můžete si přinést vlastní notebook s jiným statistikým softwarem, který umíte ovládat a zpracovávat data v něm) Článek: Výstižně popsat realizaci vlastního výzkumu lze pracovat ve skupinkách po max 6 osobách - na konec článku za Seznam literatury pak napsat, kdo je za jakou část článku/výzkumu zodpovědný (X sbírala data na dané škole a podílela se na statistickém zpracování dat, Y sbírala data na další škole a je zodpovědná za část o literatuře,...); pokud nebude na konci článku toto uvedeno a autorů bude více, pak bude článek oznámkován pouze jednou známkou, která se započítá všem autorům rozsah a formát článku: bude možné odvezdat maximálně dva dokumenty = první dokument s vlastním článkem (formát PDF(preferovaný) či DOC, nikoli DOCX) a případně druhý dokument s datovým souborem (formát CSV či XLS)) vlastní článek - max 20 normostran, tj. max znaků (1 normostrana=1800 znaků) a to včetně literatury, tabulek a jejich popisů, popisů obrázků a poznámek pod čarou struktura vlastního článku - záleží samozřejmě na obsahu, obecně se liší teoreticky a empiricky zaměřené články, vždy však je nutné uvést - a) název článku + autor; b) abstrakt + klíčová slova (alespoň v češtině, v angličtině vítáno, avšak není povinné), rozsah abstraktu - 2

3 1200 znaků, počet klíčových slov - max 7; c) úvod s přehledem literatury a vymezením cílů; d) pro empirické studie - popis výzkumného šetření a vzorku; e) prezentace výsledků; f) závěr, shrnutí, doporučení, diskuze; g) seznam použité literatury tabulky a grafy vkládejte za seznam použité literatury části nazvané Příloha projděte si pedagogické časopisy, z nichž lépe pochopíte, jakou strukturu má článek mít Způsob odevzdání: na webových stránkách ke kurzu naleznete své jméno a vedle něj bude kolonka na nahrání(upload) Vašeho článku, tam Váš článek nahrajete, případnou přílohu (datový soubor, který byl použit) bude možné nahrát též své články odevzdávejte ve formátu PDF(preferovaný formát) či DOC (nikoli DOCX) práce NEposílejte em, nahrávejte je na tuto stránku ve vlastním výzkumu je možné využít diskutovaných metod během kurzu, popř. jiných relevantních metod, které odpovídají povaze zkoumaného problému téma práce nechám na Vás, mělo by se však jednat o vlastní, originální výzkumné šetření požadavky k zápočtu návrh vlastního výzkumu pro Váš článek vyjděte ze šesti kroků provedení výzkumu viz obrázek metodologie scanner tables graphs/f igure 1 1 research steps.jpg lze si ho stáhnout, stejně jako všechny ostatní materiály ke kurzu, na ryba.cz/hanicka/kombinovanametodologie1 3

4 citace literatury může odpovídat požadavkům na citaci literatury pro časopis Pedagogická orientace http : // = com content&view = article&id = 117&Itemid = 96 přibližně na jednu až dvě stránky popište dle výše uvedených šesti kroků návrh vlastního výzkumu krok 5 je analyzování a interpretování dat - zde např. můžete napsat, že hodláte využít regresní analýzy pro vysvětlení vztahů mezi Vámi zkoumanými proměnnými návrh mohu vrátit k přepracování způsob odevzdání: podobný jako u článku ke zkoušce, u svého jména na webových stránkách ke kurzu budete moci nahrát Váš dokument deadline pro odevzdání návrhu výzkumu k získání zápočtu půlnoc deadline pro odevzdání článku ke zkoušce půlnoc termíny ústní zkoušky ještě se domluvíme výklad metod pedagogického výzkumu je založen především na dvou knihách: Gay, L.R., Mills, G.E., Airasian, P. Educational Research. Competencies for Analysis and Application. Upper Saddle River, NJ : Pearson Higher Education, Chrástka, M. Metody pedagogického výzkumu. Praha : Grada, Hopkins, K. D. Educational and Psychological Measurement and Evaluation. Needham Heights, MA : Allyn and Bacon,

5 Shults, K.S., Whitney, D.J., Measurement Theory in Action. Thousand Oaks, CA: Sage Publications, Švaříček, R., Šeďová, K. a kol. Kvalitativní výzkum v pedagogických vědách. Praha : Portál, 2007, výklad statistiky je založen především na knize: Hinkle, D.E., Wiersma, W., Jurs, S.G. Applied Statistics for the Behavioral Sciences. Boston : Houghton Mifflin, Studijní materiály, na něž se tyto slajdy odkazují a které jsou povinné ke zkoušce lze najít na internové adrese ryba.cz/hanicka/kombinovanametodologie1 naskenované tabulky a obrázky z knih Gay (2008) a Chrástka (2009) v souboru metodologie scanner tables graphs.zip (15 jpg souborů) Část přednášek též na prezentace m1.pdf mezinárodní srovnávací výzkumy v oblasti vzdělávání: VOŇKOVÁ, H. Vliv vybraných faktorů na matematickou gramotnost žáků v zemích střední Evropy: Sekundární analýza dat PISA 2003, disertační práce.(disertační práce) Praha: Univerzita Karlova v Praze - Pedagogická fakulta, příklady dotazníků v souboru metodologie dotazniky priklad.zip (4 příklady - dotazník o kázni, manipulaci, PISA dotazník a SHARE dotazník) teoretické a praktické základy pojmového mapování v souboru metodologie pojmove mapy.pdf datové soubory používané v příkladech diskutovaných během kurzu v souboru metodologie data.zip (12 datových souborů, které jsou odděleně uloženy v csv souborech, všechny datové soubory jsou v excelovskem souboru data.xls na jednotlivých listech) datový soubor k analýze didaktických testů didtest data analyza.xls 5

6 Statistika v pedagogickém výzkumu je v našem kurzu vysvětlována s minimálním použitím vzorečků a s důrazem na konkrétní využití v reálných příkladech. Teorie statistiky je vysvětlena pomocí teoretických pouček a/nebo pomocí příkladů. K porozumění obsahu (především statistiky) je pro většinu studentů velmi vhodné chodit na přednášky a sledovat výklad. Statistický software, který budeme využívat, se nazývá Gretl. Je to free software (nic nestojí) a lze si ho stáhnout z následující internetové adresy: na první řádce této stránky naleznete soubor gretl exe, stáhněte (uložte) si ho na svůj počítač. Následně ho otevřete - spustí se tím instalace. Velmi doporučuji si software stáhnout a provést v něm všechny příklady a cvičení, které budeme diskutovat během přednášky! 6

7 1 Metody pedagogického výzkumu Jednotlivé kroky v empirickém kvalitativním i kvantitativním výzkumu - na prezentace m1.pdf) Charakteristika dobře zvoleného výzkumného tématu - na prezentace m1.pdf Typy kvalitativního výzkumu metodologie scanner tables graphs/table-1-2-research-qualitative.jpg Dotazník - jak formulovat položky 1 - prezentace m1.pdf Typy škál pro měření postojů 1 - Likertova škála metodologie scanner tables graphs/scales1-likert.jpg Typy škál pro měření postojů 2 - bipolární škála, hodnotící škála metodologie scanner tables graphs/scales2-differencial-rating.jpg Typy měření - prezentace m1.pdf Příklady dotazníků metodologie dotazniky priklad.zip (dotazníky PISA, SHARE, kázeň, manipulace) Pozorování - příklad standardizovaného pozorování metodologie scanner tables graphs/pozorovani1.jpg., Pozorovani2.jpg, Pozorovani3.jpg a Pozorovani4.jpg Pojmové mapování metodologie pojmove mapy.pdf 2 Mezinárodní srovnávací výzkumy ve vzdělávání z práce VOŇKOVÁ, H. Vliv vybraných faktorů na matematickou gramotnost žáků v zemích střední Evropy: Sekundární analýza dat PISA 2003, 7

8 disertační práce.(disertační práce) Praha: Univerzita Karlova v Praze - Pedagogická fakulta, 2008., kterou jsem umístnila taktéž na internetové stránky k tomuto kurzu prostudujete : sekci 1.1 Organizace pořádající výzkumy sekci 1.2 Příklady výzkumů - PISA a TIMSS (pokud dáváte přednost jiné než matematické gramotnosti, můžete místo kritérií rozdělení úloh z matematiky diskutovat kritéria pro rozdělení úloh pro Vámi vybranou oblast) sekci 5.2, pouze část Výsledky v mezinárodních výzkumech vzdělávání TIMSS a PISA - strana 52 a 53 Tabulka 5.1 Výsledky žáků České republiky ve výzkumech TIMSS a PISA - strana 59 Příloha A Výsledky zemí ve výzkumech PISA a TIMSS (prostudovat tabulky s cílem zjistit: Jaké země dopadají v určitých oblastech v PISA či TIMSS nejlépe? Jaké naopak nejhůře? Jak dopadá Česká republika? (toto je diskutováno i v tabulce 5.1)) Příloha B Ukázky úloh PISA 2003 (prostudovat příklady s cílem zjistit, jak se liší od úloh probíraných na konci základní školy či na začátku střední školy, u zkoušky se nebudu ptát přesně na tyto úlohy, jde spíše o získání orientační představy úloh používaných ve výzkumu PISA) Příloha C Žákovský a školní dotazník PISA 2003 (Na jaké části je rozdělen Žákovský a Školní dotazník?) Informace o dalších vlnách mezinárodních srovnávacích výzkumů lze najít na webových stránkách České školní inspekce (jedná se např. o výzkumy PISA 2006, PISA 2009, PISA 2012, TIMSS 2007, TIMSS 2011). 8

9 3 Statistika v pedagogickém výzkumu 3.1 Úvod, základní pojmy Populace zahrnuje všechny členy definované skupiny. Výběr je podmnožina členů populace. Deskriptivní statistika je kolekce metod pro klasifikování a sumarizování numerických dat. Inferenční statistika je kolekce metod, která umožňuje činit závěry o charakteristikách populace na základě příslušných charakteristik příslušného výběru. Proces kódování zahrnuje připisování numerických hodnot kategoriálním proměnným. (Zopakuj rozdíly mezi kategoriální, oridinální, intervalovou a poměrovou proměnnou.) Data jsou v datovém souboru většinou organizována tak, že každý řádek odpovídá jednomu individuu a sloupec obsahuje data for měřenou proměnnou. 3.2 Deskriptivní statistika Tabulka absolutních, relativních a kumulativních četností Příklad Učitel bilogie zadal ve své třídě test z bilogie, v němž žáci dopadli následujícím způsobem (uvedeny známky z testu): 1,2,3,2,2,5,4,2,2,3,2,1,4,5,4,3,1,1,2,2. Sestavte tabulku absolutních, relativních a kumulativních četností pro zpřehlednění výsledků žáků z testu. 9

10 Řešení četnosti známka absolutní relativní (v %) kumulativní (v %) celkem Cvičení Sestavte tabulku četností pro následující hodnoty: 0,1,1,2,2,0,1,1,2,0,1,1,2,0,2,2,2,0,2,1,2,1,1,1,1,1,1,1,1, Míry polohy Míry polohy indikují centrální tendenci naměřených hodnot proměnné. Průměr Průměr(mean) vypočítáme ho tak, že všechny hodnoty sečteme a tento součet podělíme počtem hodnot. Průměr je nejčastější používanou mírou polohy dat. 10

11 Průměr je velmi ovlivněn extrémními hodnotami, tj. buď extrémně malými či extrémně velkými hodnotami. (Průměr není robustní statistikou.) příklad: průměr z hodnot 1, 2, 1, 1, 2, 1, 1 je roven 1.29; průměr z hodnot 1, 2, 1, 1, 2, 1, 1000 je roven 144 jedna hodnota v datech zcela změnila průměr Průměr nemá význam počítat u nominálních a ordinálních proměnných. Využíváme ho u intervalových a poměrových proměnných. Medián Medián je bod, pod kterým leží 50 procent hodnot (z toho vyplývá, že nad ním leží taktéž 50 procent hodnot). Medián lze také nazvat 50ti procentním percentilem. příklad: urči medián pro skóry 1000, 18, 3, 6, 12, 19, 21 řešení: data nejprve uspořádáme podle velikosti od nejmenší po největší hodnotu 3,6,12,18,19,21,1000 ; prostřední hodnota je 18 (před ní jsou 3 hodnoty, za ní jsou 3 hodnoty), medián je tudíž roven 18 příklad: urči medián pro skóry 1000, 18, 3, 6, 1, 12, 19, 21 řešení: data nejprve uspořádáme podle velikosti 1, 3, 6, 12, 18, 19, 21, 1000, vzhledem k tomu, že máme lichý počet hodnot, tak medián vypočítáme jako průměr dvou prostředních hodnot 12 a 18. Medián je tedy roven (12+18)/2=15 Medián je oproti průměru robustní statistikou, tj. není citlivý na extrémní hodnoty. Viz první příklad pro medián. cvičení: Porovnej průměrný a mediánový plat v České republice. Je průměrný plat nižší, stejný, či vyšší než mediánový plat? 11

12 Medián nemá význam počítat u nominálních a ordinálních proměnných. Využíváme ho u intervalových a poměrových proměnných. Modus Modus je nejčastější hodnota v datech. příklad: urči modus pro následující data 1,2,1,3,2,7,1000,2,2,6,2 řešení: nejčastěji se vyskytuje hodnota 2, modus je tedy roven 2. Modus je robustní statistikou, viz předchozí příklad (extrémní hodnota nemá na modus vliv). Modus můžeme určit pro všechny typy proměnných, tj. nominální, ordinální, intervalové i poměrové proměnné. Minimum a maximum Minimum je nejmenší hodnota, maximum je největší hodnota. příklad: urči minimum a maximum pro následující data 2,-4,3,- 50,20,13,-14,23,-41 řešení: minimum je -50, maximum je 23. Minimum i maximum nemá význam počítat u nominálních a ordinálních proměnných. Využíváme je u intervalových a poměrových proměnných Míry variability Míry variability indikují, jak naměřené hodnoty kolísají, tj. jakou mají variabilitu. 12

13 Rozptyl, standardní odchylka Rozptyl je definován jako průměr čtvercových odchylek jednotlivých hodnot od průměrné hodnoty. Postup výpočtu rozptylu: Máme-li dané hodnoty, musíme nejprve spočítat průměr z těchto hodnot. Následně spočítáme rozdíl naměřených hodnot od vypočítané průměrné hodnoty. Dále každý rozdíl vynásobíme sám sebou (je-li rozdíl roven 3, pak spočítáme 3*3=9). Z těchto hodnot spočítáme průměr. příklad: mějme naměřené hodnoty 1,3,5. Spočítejte rozptyl. řešení: průměr z naměřených hodnot je roven (1+3+5)/3=3 rozdíly hodnot od průměru jsou 1-3,3-3,5-3, tj. -2,0,2 každý rozdíl vynásobíme sám sebou -2*(-2), 0*0, 2*2, tj. 4,0,4 průměr z předchozích hodnot 4,0,4 je roven (4+0+4)/3 = 2.67 rozptyl je roven 2.67 Rozptyl je citlivý na extrémní hodnoty. cvičení: spočítej rozptyl z hodnot 1,1,1,10 cvičení: spočítej rozptyl z hodnot 1,1,1,1 Směrodatná odchylka Směrodatná odchylka je rovna odmocnině z rozptylu. Postup výpočtu: Nejprve spočítáme rozptyl, následně z rozptylu spočítáme druhou odmocninu. 13

14 příklad: mějme naměřené hodnoty 1,3,5. Spočítejte směrodatnou odchylku. řešení: rozptyl je roven 2.67 (viz předchozí příklad) druhá odmocnina z 2.67 je rovna 2.67 = 1.63 směrodatná odchylka je rovna 1.63 Směrodatná odchylka je oproti rozptylu vyjádřena v původních jednotkách měření, tj. na té samé škále, na které měříme hodnoty proměnné. Směrodatná odchylka je citlivá na extrémní hodnoty. cvičení: spočítej směrodatnou odchylku z hodnot 1,1,1,10 cvičení: spočítej směrodatnou odchylku z hodnot 1,1,1,1 Variační rozpětí Variační rozpětí je rovno rozdílu maxima a minima, k němuž přičteme 1. příklad: spočítej variační rozpětí z hodnot -2,3,-10,6,9 řešení: variační rozpětí je rovno 9 - (-10) +1 =20 cvičení: spočítej variační rozpětí z hodnot -4,9,0,63,5,-50,-31,2 Gretl a datové soubory Pro splnění všech následujících příkladů je nutné využít nějaký statistický software. V našich přednáškách využijeme Gretl. 14

15 natáhnutí dat do Gretlu: File Open data Import Zvolte formát, ve kterém máte data uložená (např..xls pro Excel,.csv pro comma separated soubor) Gretl se Vás může při natahování dat zeptat The imported data have been interpreted as undated (cross-sectional). Do you want to give the data a time-series or panel interpretation? Ve všech datových souborech, se kterými budeme během hodin pracovat, nejsou data uspořádána ani jako časová řada ani jako panel. Je tedy nutno zvolit odpověď No. všechny datové soubory, které budeme používat, lze najít v excelovském souboru metodologie data.xls na jednotlivých listech; jednotlivé datové soubory lze najít jako.csv soubory (viz zla ryba.cz/hanicka/kombinovanametodologie1) Příklad (data 01 descriptive normal IQ.csv) V datovém souboru jsou hodnoty IQ pro pět set individuí. 1. Sestavte tabulku četností (absolutních, relativních a kumulativních), kde velikost jednoho třídícího intervalu je rovna 5 a minimální hodnota je rovna 50. Určete modus. 2. Sestavte tabulku četností (absolutních, relativních a kumulativních), kde je počet intervalů roven Reprezentujte data graficky pomocí histogramu, v němž velikost jednoho třídícího intervalu je rovna 5 a minimální hodnota je rovna Reprezentujte data graficky pomocí histogramu, v němž je počet intervalů roven Znázorněte data graficky pomocí boxplot. Určete minimum, první kvartil (hodnota, po níž leží 25 % všech hodnot), medián, 15

16 třetí kvartil (hodnota, pod níž leží 75 % všech hodnot) a maximum. 6. Spočítejte průměr, medián, minimum, maximum, standardní odchylku a roztyl. 7. Zvonovitý tvar histogramu indikuje normální rozložení zkoumané veličiny. Na základě histogramu pro IQ posuďte, zda má tato veličina tendenci být normálně rozložená. Řešení 1. Gretl: Variable Frequency distribution Minimum value, left bin zvol 50 a Bin width zvol 5 Frequency distribution for IQ, obs number of bins = 20, mean = , sd = interval midpt frequency rel. cum. < % 0.00% % 0.60% % 1.00% % 2.00% % 3.20% % 9.00% ** % 16.60% ** % 27.00% *** % 39.40% **** % 53.20% **** % 66.20% **** % 76.60% *** % 85.20% *** % 92.40% ** % 95.60% * % 98.40% * % 98.80% % 99.60% % 99.80% 16

17 >= % % Modus je roven 97.5 (střední bod=midpoint intervalu, který má největší četnost). 2. Gretl: Variable Frequency distribution Number of bins zvol 11 Frequency distribution for IQ, obs number of bins = 11, mean = , sd = interval midpt frequency rel. cum. < % 0.80% % 2.60% % 11.80% *** % 27.80% ***** % 52.40% ******** % 74.00% ******* % 89.60% ***** % 97.00% ** % 99.20% % 99.80% >= % % 3. Gretl: Variable Frequency plot Minimum value, left bin zvol 50 a Bin width zvol 5 17

18 Figure 1: Histogram IQ 1 4. Gretl: Variable Frequency plot Number of bins zvol 11 18

19 Figure 2: Histogram IQ 2 5. Gretl: View Graph specified vars Boxplot 19

20 Figure 3: Boxplot IQ Klikni myší na obrázek boxplotu, zvol Numerical summary Numerical summary mean min Q1 median Q3 max IQ (n=500) 6. Gretl: Variable Summary statistic Summary Statistics, using the observations for the variable IQ (500 valid observations) 20

21 Mean Median Minimum Maximum Standard deviation C.V Skewness Ex. kurtosis Histogram IQ má zvonovitý tvar, což indikuje normální rozdělení. Cvičení (data 02 descriptive test oblibenost atd.csv) Výzkumník má záměr zkoumat vztah mezi skórem v testu z matematiky a dalších proměnných jako je hodnocení respondentů o jejich oblíbenosti matematiky (škála: 1=velmi oblíbená až 5=zcela neoblíbená), hodnocení respondentů toho, jak jim přijde matematika obtížná (škála: 1=velmi obtížná až 5=velmi snadná), bydliště (1=město, 0=vesnice) a pohlaví (1=žena, 0=muž). Výzkumník provedl náhodný výběr 33 studentů, od kterých sebral všechny údaje. Zpřehledněte data pomocí deskriptivní statistiky. Konkrétně se můžete zaměřit na následující: Sestavte tabulku četností (absolutních, relativních a kumulativních) pro všechny proměnné. Spočítejte průměr, medián, minimum, maximum, standardní odchylku a roztyl. Reprezentujte data pomocí vhodně zvoleného grafu (histogram, sloupcový graf atd.) Deskriptivní statistika je deskriptivní. Používej jen takové míry polohy a variability, které slouží k zpřehlednění dat a účelu tvé studie. 21

22 3.2.4 Korelační koeficient Korelační koeficient udává míru lineárního vztahu mezi dvěma proměnnami. Jeho hodnoty se pohybují mezi -1 a 1. Podle znaménka korelace ( + či - ) můžeme usoudit, zda je vztah mezi proměnnými kladný či záporný. Negativní hodnota korelačního koeficientu naznačuje, že vztah mezi dvěma proměnnými je záporný, tj. zvětšíme-li hodnotu jedné proměnné, zmenší se hodnoty druhé proměnné. Pozitivní hodnota korelačního koeficientu naznačuje, že vztah mezi dvěma proměnnými je kladný, tj. zvětšíme-li hodnotu jedné proměnné, zvětší se hodnota i druhé proměnné. Vzdálenost korelačního koeficientu od nuly indikuje těsnost lineárního vztahu mezi dvěma proměnnými: do lineární vztah je zandebatelný od 0.2 do lineární vztah je nepříliš těsný od 0.4 do lineární vztah je středně těsný od 0.7 do lineární vztah je velmi těsný vztah od lineární vztah je extrémně těsný Je-li hodnota korelačního koeficientu nízká až nulová, neznamená to, že mezi proměnnými nemůže být žádný vztah. Znamená to pouze, že mezi veličinami je lineární vztah zanedbatelný. Vysoká hodnota korelačního koeficientu nemusí znamenat, že je mezi proměnnými kauzální vztah. Znamená pouze predikční vztah. 22

23 Figure 4: Korelace - zdroj Příklad (data 03 korelace vek plat.csv) Výzkumník chtěl zjistit míru lineárního vztahu mezi věkem a platem. Náhodně vybral 19 respondentů, kterých se dotázal na jejich věk a hodinový plat. Následující tabulka shrnuje získané údaje: 23

24 respondent vek plat Vypčítejte korelační koeficient. Jaký směr má vztah mezi věkem a platem (kladný, záporný)? Jak těsný je vztah mezi věkem a pohlavím (zanedbatelný, nepříliš těsný vztah, středně těsný vztah, velmi těsný vztah a extrémně těsný vztah)? Řešení Gretl: View Correlation matrix corr(vek, plat) = Under the null hypothesis of no correlation: t(17) = , with two-tailed p-value

25 Korelační koeficient mezi věkem a platem je v našem příkladu roven Směr vztahu je kladný. Vztah je extrémně těsný. 3.3 Inferenční statistika Úvod do testování hypotéz opakovaný náhodný výběr z normalního rozdělení, viz graf (Normální rozdělení a Příklad náhodných výběrů z normálního rozdělení N(100,15) o velikosti 225) představme si, ze si máme vybrat ze dvou alternativ, pričemž máme k dispozici určitá data, co je v každém ze tří připadů pravděpodobnější? Normal Distribution and Standardization 2.28% 13.59% 34.13% 34.13% 13.59% 2.28% z=(x 100)/ X~N(100,15) z~n(0,1) 25

26 Průměr je signifikantně odlišný od nuly yes no yes 2.5% 95% 2.5% mean=97.05 sd=14.93 p value= mean=100 sd=14.81 p value= mean= sd=14.05 p value=7e 04 Chyby chyba prvního druhu = hypotézu H0 zamítneme, ačkoli platí H0 chyba druhého druhu = hypotézu H0 nezamítneme, ačkoli platí hypotéza H1 Statistický test stanovime nulovou hypotezu H0 a alternativni hypotezu H1 stanovime hladinu spolehlivosti (znacime alpha) = pravdepodobnost, ze hypotezu H0 zamitneme ackoli plati; obvykle volime alpha=0.05 vypocitame p-hodnotu = pravdepodobnost, ze testovaci kriterium (my jsme meli napr. prumer) dosahne sve hodnoty a pripadne hodnot jeste vice extremnejsich, tj. svedcicich proti H0, za predpokladu platnosti H0!Je-li p-hodnota menší než předem stanovené alpha, nulovou hypotézu zamítáme. 26

27 3.3.2 Jednovýběrový t-test Jednovýběrový t-test se používá pro testování toho, zda-li je střední hodnota (průměr) v nějaké populaci rovna předem stanovené hodnotě. Příklad (data 04 ttest pocetzaku.csv) Výzkumník chtěl zjistit, zda-li je průměrný počet žáků v jedné třídě odlišný od 20. Zaměřil se na populaci žáků v osmých ročnících na základních školách. Aby mohl provést tento test, provedl náhodný výběr ze všech tříd osmých ročníků základních škol. U těchto tříd zjistil počet žáků ve třídě: 27

28 třída počet Na hladině významnosti 10 procent testujte, zda-li je průměrný počet žáků ve třídě odlišný od

29 Řešení Nulová hypotéza H0 : µ = 20, alternativní hypotéza H1 : µ 20 Gretl: Tools Test statistic calculator mean Null hypothesis: population mean = 20 Sample size: n = 29 Sample mean = , std. deviation = Test statistic: t(28) = ( )/ = Two-tailed p-value = (one-tailed = ) Na hladině významnosti 10 procent nemůžeme zamítnout nulovou hypotézu, protože p-hodnota je větší než 0.1 (10 procent), tj. nemůžeme říci, že průměrný počet žáků v jedné třídě je odlišný od 20. (Žáky myslíme žáky osmých ročníků základních škol.) Cvičení (data 05 ttest obtiznost.csv) Výzkumník chtěl zjistit, jak hodnotí studenti prvních ročníků gymnázií obtížnost předmětu bilogie. Provedl náhodný výběr těchto studentů. Následně jim položil otázku, jak hodnotí obtížnost předmětu bilogie na rating škále od 1(velmi snadný předmět) do 10(velmi obtížný předmět). Hodnocení studentů je shrnuto v následující tabulce: 29

30 zak obtiznost Na hladině významnosti 5 procent testujte, zda-li se hodnocení obtížnosti biologie liší od 5 (ani snadný, ani obtížný předmět) Dvouvýběrový t-test Dvouvýběrový t-test se používá (mimo jiné) pro porovnání středních hodnot (průměrů) ve dvou základních populacích (nezávislých populacích). Toto porovnání provádíme na základě náhodného výběru z jedné a následně náhodného výběru z druhé populace. Příklad (data 06 ttest spokojenost pohlavi.csv) Výzkumník chtěl zjistit, zda-li se liší spokojenost se vzdělávacím systémem v dané zemi mezi ženami a muži. Provedl náhodný výběr jedenácti žen a osmi mužů a zeptal se jich zda-li jsou spokojeni se vzdělávacím systémem. Své hodnocení měli respondenti uvést na rating škále od jedné do pěti, na níž jedna reprezentovuje velmi nespokojen a pět velmi spokojen. Data, která výzkumník získal jsou následující: 30

31 ženy muži Na hladině významnosti 5 procent testujte, zda-li je spokojenost mužů a žen se vzdělávacím systémem odlišná. Řešení Testováním odlišnosti průměrné spokojenosti mužů a žen musíme nejprve provést jiný test, abychom určili, zda je variance (rozptýlenost) spokojenosti mužů a žen odlišná či nikoli. Závěr testu pro porovnání dvou variancí použijeme jako předpoklad pro testování průměrné spokojenosti mužů a žen. Test pro porovnání dvou rozptylů nazýváme F-test pro porovnání dvou rozptylů. Provedení F-testu pro porovnání rozptylu jedné populace σ 2 1 a rozptylu druhé populace σ 2 2 na hladině významnosti 5 procent Nulová hypotéza H0: σ 1 = σ 2, alternativní hypotéza H1: σ 1 σ 2 Gretl: Tools Test statistic calculator 2 variances Null hypothesis: The population variances are equal Sample 1: n = 11, variance =

32 Sample 2: n = 8, variance = Test statistic: F(10, 7) = Two-tailed p-value = (one-tailed = ) P-hodnota je větší než Na hladině významnosti 5 procent tudíž nemůžeme zamítnout nulovou hypotézu o shodnosti rozptylů. T-test pro porovnání průměrů dvou populací provedeme s předpokladem, že rozptyly (standardní odchylky) v těchto dvou populacích jsou shodné. Provedení t-testu pro porovnání dvou průměrů na hladině významnosti 5 procent Nulová hypotéza H0: µ 1 = µ 2, alternativní hypotéza H1: µ 1 µ 2 Gretl: Tools Test statistic calculator 2 means (Předpoklad: Zaškrtni okénko u Assume common population standard deviation ) Null hypothesis: Difference of means = 0 Sample 1: n = 11, mean = , s.d. = standard error of mean = % confidence interval for mean: 1.83 to Sample 2: n = 8, mean = 2.375, s.d. = standard error of mean = % confidence interval for mean: to Test statistic: t(17) = ( )/ = Two-tailed p-value = (one-tailed = 0.253) P-hodnota je větší než Na hladině významnosti 5 procent tudíž nemůžeme zamítnout nulovou hypotézu o shodnosti průměrů, tj. nemůžeme říci, že průměrná spokojenost se vzdělávacím systémem je mužů a žen odlišná. 32

33 Cvičení (data 07 ttest esej mapa.csv) Výzkumník chtěl porovnat účinek dvou vyučovacích metod (psaní esejů a využití concept mapping) na to, jak studenti na konci kurzu rozumí vyučované látce. Aby mohl účinek těchto dvou metod porovnat, provedl experiment. Rozdělil náhodně studenty do dvou skupin. Jedna skupina měla během kurzu využívat ke strukturaci učiva eseje (během kurzu museli studenti napsat dvě eseje) a druhá skupina měla využívat metodu pojmového mapování (během kurzu museli studenti sestavit dvě pojmové mapy). Studenti tak během kurzu získávali nové vědomosti, zamýšleli se nad novými otázkami a ke strukturaci a shrnutí svých znalostí používali buď eseje či mapy. Na konci kurzu šli ke zkoušce, kde měli prokázat porozumění nově naučené látce. (Jako měřítko porozumění látce byla zvolena známka u zkoušky.) Výsledky studentů u zkoušky (známka 1 až 5) shrnuje následující tabulka: 33

34 esej mapa Přepokládejte, že studenti v obou skupinách jsou náhodným výběrem z populace studentů. Na hladině významnosti 10 procent testujte, zda-li je účinek těchto dvou vyučovacích metod v populaci studentů odlišný T-test pro korelační koeficient Příklad (data 08 koreltest vzdelani prijem.csv) Často zkoumaným vztahem v sociálních vědách je vztah mezi příjmem a vzděláním. Abychom tento vztah mohli zkoumat, byl proveden náhodný výběr patnácti osob z ekonomicky aktivních lidí (populace), kteří byli dotázáni na jejich vzdělání (měřeno počtem let vzdělání) a jejich příjem (měřeno v tisících). Následující tabulka shrnuje získaná 34

35 data: individum vzdělání příjem vypočítej korelační koeficient mezi vzděláním a příjmem 2. testuj na hladině významnosti 5 %, zda-li je korelační koeficient signifikantně odlišný od nuly nulová hypotéza H0 : ρ = 0, alternativní hypotéza H1 : ρ 0 Řešení Gretl: View Correlation corr(vzdelani, prijem) = Under the null hypothesis of no correlation: t(13) = , with two-tailed p-value korelační koeficient mezi vzděláním a příjmem je roven

36 2. korelační koeficient je signifikantně odlišný od nuly na hladině významosti 5%, protože p-hodnota je menší než Cvičení 1. Z populace žáků osmých ročníků byli náhodně vybráni tři žáci, u nichž byla zjištěna známka z českého jazyka na vysvědčení na konci osmého ročníku a známka z testu, kterou dostali z posledního písemného testu z českého jazyka. známka žák vysvědčení test Vypočítej korelační koeficient a testuj, zda-li je na hladině významnosti 5 % signifikantně odlišný od nuly. 2. (data 09 koreltest vysvedceni test.csv) Z populace žáků osmých ročníků bylo náhodně vybráno patnáct žáků, u nichž byla zjištěna známka z českého jazyka na vysvědčení na konci osmého ročníku a známka z testu, kterou dostali z posledního písemného testu z českého jazyka. 36

37 známka žák vysvědčení test Vypočítej korelační koeficient a testuj, zda-li je na hladině významnosti 5 % signifikantně odlišný od nuly. 3. Porovnej korelační koeficienty v předchozích dvou cvičeních. Porovnej závěry testů (na hladině významnosti 5 %) o odlišnosti korelačního koeficientu od nuly. Porovnej tyto dva závěry! Chí-kvadrát test Příklad (data 10 chitest nazor pohlavi.csv) Vyučující chtěl zjistit, zda-li souvisí názor studentů o obtížnosti kurzu s pohlavím studenta. Náhodně vybral 166 studentů, u kterých zaznamenal názor na obtížnost kurzu (obtížné, snadné) a jejich pohlaví (viz 37

38 datový soubor nazor pohlavi). Na hladině významnosti 10 % testuj, zda-li názor ohledně obtížnosti kurzu souvisí s pohlavím studenta. Řešení Nulová hypotéza H0 : názor a pohlaví navzájem nesouvisí, alternativní hypotéza H1 : názor a pohlaví spolu souvisí Gretl: View Cross Tabulation Cross-tabulation of nazor (rows) against pohlavi (columns) [ 0][ 1] TOT. [ 0] [ 1] TOTAL Pearson chi-square test = (1 df, p-value = ) Na hladině významnosti 10 %(=0.1) zamítáme nulovou hypotézu, protože p-hodnota je menší než 0.1. Na hladině významnosti 10 %(=0.1) lze říci, že názor ohledně obtížnosti kurzu a pohlaví spolu navzájem souvisí Lineární regrese slouží k predikci či odhadu jedné proměnné Y na základě znalosti další proměnné X (proměnných) slovo lineární označuje, že předpokládáme lineární vztah mezi proměnnou Y a X, tj. proměnné mohou být reprezentovány grafem scatterplot, v němž se body mají tendenci nacházet kolem přímky tato přímka je nazývána přímkou lineární regrese tato přímka reprezentuje, jak souvisí změna proměnné X se změnnou proměnné Y 38

39 Příklad (data 11 regrese seminar zkouska.csv) Vysokoškolský učitel chtěl zjistit, zda-li souvisí počet seminářů, které student během semestru navštívil, s výsledným počtem bodů v zkouškovém testu. U náhodného výběru 20 studentů si zaznamenal počet navštívených seminářů během semestru (rozmezí 0-13) a počet bodů v zkouškovém testu (rozmezí procent): student pocet seminaru vysledek zk Uveďte popisné statistiky (průměr, medián, minimum, maximum a standardní odchylka) pro obě zkoumané proměnné (počet 39

40 seminářů, výsledek u zkoušky) 2. Reprezentujte data pomocí grafu scatterplot, zakreslete výběrovou regresní přímku (odhad regresní přímky) 3. Na hladině významnosti 5 procent testujte, zda-li je koeficient u počtu navštívených seminářů signifikantně odlišný od nuly, tj. zda-li počet navštívených seminářů pomáhá signifikantně vysvětlit výsledek ve zkouškovém testu 4. Interpretujte koeficient u počtu navštívených seminářů. 5. Jaký výsledek (počet bodů) ve zkouškovém testu může dle našeho regresního modelu očekávat student, který navštívil 7 seminářů? Jaký výsledek může očekávat student, který navštívil 9 seminářů? 6. Porovnej predikci výsledku v testu pro studenta, který navštívil 9 seminářů se sebranými údaji vysokoškolského profesora. (Je predikce výsledku shodná s daty, které učitel naměřil? Proč tomu tak je?) 7. Je mezi početem navštívených seminářů a výsledku v zkouškovém testu kauzální vztah? Řešení 1. Gretl: View Summary statistics Summary Statistics, using the observations 1-20 for the variable pocet_seminaru (20 valid observations) Mean Median Minimum Maximum Standard deviation C.V

41 Skewness Ex. kurtosis Summary Statistics, using the observations 1-20 for the variable vysledek_zk (20 valid observations) Mean Median Minimum Maximum Standard deviation C.V Skewness Ex. kurtosis Gretl: View Graph specified vars 41

42 Figure 5: Scatterplot 3. Gretl: Model Ordinary least squares Model 1: OLS estimates using the 20 observations 1-20 Dependent variable: vysledek_zk coefficient std. error t-ratio p-value const pocet_seminaru E-08 *** Mean of dependent variable = 50.8 Standard deviation of dep. var. = Sum of squared residuals = Standard error of the regression = Unadjusted R-squared =

43 Adjusted R-squared = Degrees of freedom = 18 Log-likelihood = Akaike information criterion (AIC) = Schwarz Bayesian criterion (BIC) = Hannan-Quinn criterion (HQC) = Výběrová regresní přímka je: V = S, kde S je počet seminářů a V je výsledek u zkoušky Koeficient u počtu seminářu je tedy roven Tento koeficient je signifikantně odlišný od nuly na hladině významnosti 5 procent, protože p-hodnota 1.01E 08 je menší než 0.05 (5 procent). (Porovnej tento závěr se záverem testu o tom, zda je korelační koeficient mezi počtem seminářů a výsledkem u zkoušky signifikantně odlišný od nuly na hladině významnosti 5 %.) 4. Pokud se počet navštívených seminářů zvýší o jeden, lze očekávat, že percentuální výsledek ve zkouškovém testu v průměru o 6.34 procentního bodu. 5. Predikce výsledku testu pro studenta, který navštívil 7 seminářů je roven *7=47.84 procent. Predikce výsledku testu pro studenta, který navštívil 9 seminářů je roven *9=60.58 procent. 6. Vysokoškolský učitel má ve svém výběru jednoho studenta, který navštívil 9 seminářů. Jeho výsledek ve zkouškovém testu je 80 procent. Dle našeho modelu lze pro studenta, který navštívil 9 seminářů predikovat výsledek procent. Rozdíl mezi těmito závěry lze vysvětlit např. chybou měření výsledku studenta. Je možné, že při opravě testu či zaznamenávání výsledku tohoto studenta udělal učitel chybu. Dalším důvodem by mohlo být, že použitý model linearní regrese není správným modelem pro tuto situaci. Je možné, že jiný model vysvětluje výsledek testu na základě počtu seminářů přesněji. 43

44 7. Daný vztah mezi počet seminářů a výsledkem v testu je predikčním vztahem. Na základě počtu seminářů predikujeme výsledek v testu. O kauzálním vztahu nelze jednoznačně nic říci. Nemůžeme tedy říci, že zvýšení počtu seminářů o jeden je příčinnou zvýšení výsledku v testu o 6.34 procentního bodu. (Příčinou dobrého výsledku u zkoušky může být např. velká píle studenta. Proměnná pilnost studenta však v našem regresním modelu není zahrnuta. Tato proměnná je však korelována s počtem navštíveným seminářů, který v našem modelu je zahrnut. Reálně tak může být vliv počtu seminářů na výsledek u zkoušky nesiginifikantní (nevýznamný; není signifikantně odlišný od nuly). Ale vzhledem ke korelaci s nepozorovanou proměnnou píle studenta vyjde v modelu koeficient u počtu navštívených seminářů nadhodnocený a signifikantně odlišný od nuly.) Cvičení (data 12 regrese test IQ konzultace.csv) 1. Učitel chtěl zjistit vztah mezi počtem hodin, které s ním student konzultoval, a výsledkem v testu z matematiky. Provedl náhodný výběr dvaceti studentů, u kterých si zaznamenal percentuální výsledek v testu a počet hodin, které student využil pro konzultování příkladů, kterým v průběhu semestru méně nerozuměl. Proměnnou, kterou učitel nepozoroval je výše IQ. Všechna data (tj. ta, které učitel měl i neměl k dispozici) shrnuje následující tabulka: 44

45 student test IQ konzultace (a) Uveďte popisné statistiky (průměr, medián, minimum, maximum a standardní odchylka) pro proměnné, které učitel měl i neměl k dispozici (výsledek v testu, počet konzultačních hodin a IQ). (b) Reprezentujte data pro výsledek v testu a počet konzultačních hodin pomocí grafu scatterplot, na vodorovnou osu naneste počet konzultačních hodin a na svislou osu výsledek v testu. Zakreslete výběrovou regresní přímku (odhad regresní přímky). (c) Na hladině významnosti 5 procent testujte, zda-li je koeficient u počtu konzultačních hodin signifikantně odlišný 45

46 od nuly, tj. zda-li počet konzultačních hodin pomáhá signifikantně vysvětlit počet bodů ve testu (d) Interpretujte koeficient u počtu konzultačních hodin. (e) Jaký výsledek (počet bodů) ve zkouškovém testu může dle našeho regresního modelu očekávat student, který konzultoval s učitelem 50 minut? (f) Nyní se zaměříme na proměnnou, kterou učitel nepozoroval, tj. IQ. Znázorněte graficky vztah mezi IQ a výsledkem v testu z matematiky. Odhadněte model lineární regrese pro IQ jako vysvětlující proměnnou a výsledek v testu jako vysvětlovanou proměnnou. Je koeficient u výsledku v testu signifikantní na hladině významnosti 5 procent? (g) Model lineární regrese lze použít i v případě, kdy máme více než jednu vysvětlující proměnnou. V našem případě budeme chtít vysvětlit výsledek v testu pomocí počtu konzultačních hodin i IQ. Odhadněte model lineární regrese, kde jako vysvětlující proměnné (independent variables) použijete počet konzultačních hodin a IQ, tj. odhadni parametry a,b,c v rovnici vysledek = a + b*iq + c*konzultace. Jsou jsou odhadnuté koeficienty u IQ a počtu hodin konzultací signifikantně odlišné od nuly. Jaká je interpretace těchto koeficientů? Porovnej signifikanci a interpretaci koeficientu u konzultačních hodin v dvou regresních modelech: modelu, který má jednu vysvětlující proměnnou (počet konzultačních hodin), a modelu, který má dvě vysvětlující proměnné (počet konzultačních hodin i IQ). Je vztah mezi počtem konzultačních hodin a výsledkem v testu kauzální? 46

47 4 Testy 4.1 Druhy didaktických testů testy rychlosti testy úrovně testy standardizované testy nestandardizované testy kognitivní a psychomotorické testy výsledků výuky a testy studijních předpokladů testy rozlišující (testy relativního výkonu) testy ověřující (testy absolutního výkonu) testy vstupní, průběžné a výstupní testy monotématické a polytématické testy objektivně skórovatelné testy subjektivně skórovatelné 4.2 Typy testových úloh Následující materiál je kopií z publikace a je taktéž umístněn na webových stránkách k tomuto předmětu CHRÁSTKA, M. Metody pedagogického výzkumu. Praha: Grada, 2007, s sedm naskenovanych obrazku chrastka-typy-uloh1.png, chrastkatypy-uloh2.png, chrastka-typy-uloh3.jpg, chrastka-typy-uloh4.png, chrastka-typy-uloh5.png, chrastka-typy-uloh6.png,chrastka-typyuloh7.png nebo tez prezentace m1.pdf 47

48 poznámky k návrhům položek Test-items1.jpg Cvičení Ke každému z deseti uvedených typů úloh uveďte vlastní příklad. Diskutujte: Jaký typ úloh bylo pro Vás nejobtížnější sestavit? Je daný typ úlohy pro testovaný obsah vhodný? Nebylo by vhodné zvolit jiný typ úlohy? Pokud ano, jak byste danou úlohy reformulovali? Jakým způsobem byste jednotlivé úlohy vyhodnocovaly? 4.3 Postup konstrukce didaktického testu úrovně (uvedeno též na prezentace m1.pdf) nezačínat navrhováním testových úloh začínat promyšlením účelu testu a dále stanovením obsahu testu - viz obrázek fig-4-1-illustration-of-topic-and-process.jpg pro úroveň osvojení poznatků je vhodné použít Bloomovu taxonomii výukových cílů (znalost, pochopení, aplikace, analýza, syntéza a hodnocení) stanovíme časový limit dále lze přistoupit k formulaci jednotlivých úloh, přičemž je nutné mít neustále na paměti, k jakému účelu úlohy slouží a na základě toho vybírat i vhodný typ testových úloh (otevřené, uzavřené atd.) test je vhodné nechat posoudit jiným hodnotitelem (posuzování obsahové validity) 48

49 po sběru dat provedeme analýzu vlastností testových úloh a celého testu (výpočet obtížnosti a citlivosti položek, analýza nenormovaných odpovědí a reliability testu - viz další část) záporná diskrim- vyřadíme úlohy, které nejsou vhodné (např. inační síla) pokud má test úrovně, u nějž chceme mít obsahově homogenní úlohy, nízkou reliabilitu, pak výsledky žáků získaných pomocí tohoto testu nemůžeme považovat za spolehlivé a přesné následně provedeme standardizaci testu (podle počtu bodů z testu zařadíme žáka do určitého žebříčku) Vlastnosti testových úloh - obtížnost, citlivost a analýza nenormovaných odpovědí (uvedeno též na prezentace m1.pdf) zopakovat základní pojmy popisné statistiky - průměr, směrodatná odchylka, normální rozdělení a korelace na základě slajdů z Metodologie pedagogického výzkumu Obtížnost položky - Hodnota obtížnosti položky Q = 100 n n N n n je počet žáků, kteří NEodpověděli na položku správně N celkový počet žáků Obtížnost položky - Index obtížnosti položky Q = 100 n s N n s je počet žáků, kteří odpověděli na položku správně N celkový počet žáků 49

50 Citlivost položek - Koeficient ciltivosti ULI(upper-lower index) d = n L n H 0.5N n L je počet žáků z lepší poloviny, kteří odpověděli na položku správně n H je počet žáků z horší poloviny, kteří odpověděli na položku správně N celkový počet žáků Pro hodnoty obtížnosti se doporučuje, aby d bylo aspoň 0.25 pro hodnoty obtížnosti a se doporučuje, aby d bylo aspoň 0.15 Analýza nenormovaných odpovědí = rozbor vynechaných nebo nesprávných odpovědí u otevřených úloh věnujeme pozornost těm, ve kterých vynechalo odpověď více než 30-40% žáků, u uzavřených úloh je to pak více než 20% u úloh uzavřených s výběrem odpovědi zkontrolujeme atraktivnost distraktorů - neatraktivní distraktor nahradíme jiným u uzavřených úloh rozdělíme nesprávné odpovědi do dvou kategorií - základní chyby (způsobené neznalostí učiva) a vedlejší chyby (způosbené náhodnými vlivy), odstraníme úlohy, kde převáží vedlejší chyby nad základními chybami Reliabilita testu Didaktický test má dobrou reliabilitu, pokud poskytuje spolehlivé a přesné výsledky. Pokud bychom test neustále opakovali za stejných podmínek, měli bychom v případě testu s dobrou reliabilitou získat velmi podobné výsledky. 50

51 Hodnota se pohybuje od 0 do 1 test s dobrou reliabilitou má hodnotu alespoň 0.7 vysoká VALIDITA vysoká RELIABILITA vysoká VALIDITA vysoká RELIABILITA Kuder-Richardsonův vzorec pro výpočet reliability pro položky skórované 0,1 vhodný pro testy úrovně r kr = K počet úloh v testu K K 1 ( 1 k p kq k s 2 p k podíl žáků, kteří řešili danou úlohu k správně q k podíl žáků, kteří řešili danou úlohu k chybně (q k = 1 p k ) s 2 výběrový rozptyl pro celkové výsledky žáků v celém testu Reliabilita vypočtená metodou půlení skórování položek není omezeno vhodný jak pro testy úrovně, tak pro testy rychlosti ) r sb = 2.r b 1 + r b r b korelační koeficient mezi výsledekem žáků v sudých a lichých úlohách Standardizace testu počet bodů v testu neříká, zda je výkon žáka dobrý či slabý; jeden žák může získat v jednom testu relativně hodně bodů a v jiném relativně málo bodů 51

52 u standardizovaných testů se výkon žáka provnává s výkonem jiných žáků z reprezentativního vzorku dané skupiny (v takovémto vzorku jsou zpravidla stovku žáků) standardizovat výsledky testu znamená vyjádřit je vzhledem k výsledkům standardizačního vzorku žáků Percentilová škála udává, kolik procent žáků dosáhlo horšího výsledku P R = 100 n k n i 2 N n k kumulativní četnost daného výsledku n i četnost daného výsledku N celkový počet žáků z-škála vychází z předpokladu normálního rozdělení vyjadřuje, jak daleko je výsledek od aritmetického průměru, jako jednotka vzdálenost je vzata směrodatná odchylka X určitý testový výsledek z = X X S X aritmetický průměr všech výsledků S směrodatná odchylka všech výsledků Z-škála vychází ze z-škály T-škála vychází ze z-škály Z = z T = z 52

53 Cvičení Použij didtest data analyza.xls s daty o vysledcích 40 žáků z 10ti položkového testu. Proveď analýzu vlastností položek, vypočítej reliabilitu pomocí obou výše diskutovaných metod a proveď standardizaci testu (předpokládej, že se jedná o reprezentativní vzorek žáků, o jejichž výsledcích lze předpokládat, že jsou normálně rozdělené) 4.4 Validita a reliabilita testů - podrobnější diskuze (uvedeno též na prezentace m1.pdf) při analýze didaktického testu jsme hovořili o obsahové validitě a reliabilitě měřené pomocí Kuder-Richardsonovy formule a metodou půlení, které se užívají především u učitelských testů podrobnější diskuze k různým typům validity a reliability lze nalézt na obrázcích Table-6-2-validity.jpg a Table-6-3-reliability.jpg 4.5 Modely srovnávání testů tato část je převzata z webových stránek organizace Scio z internetové adresy Srovnávací model náhodných skupin (Random Groups Design) Tento model je využíván, pokud máme v jednom termínu dvě varianty stejného testu (např. testu OSP). Skupina testovaných je náhodně rozdělena na dvě poloviny, z nichž každá řeší jednu variantu testu. Obvyklá metoda rozdělení je tzv. spiraling, kdy jsou obě varianty v jedné místnosti rozděleny střídavě. První testovaný píše variantu A, druhý variantu B, třetí variantu A atd. Při takovémto náhodném 53

54 rozdělení můžeme obě podskupiny považovat za rovnocenné (equivalent) a rozdíly ve statistických parametrech obou variant testu dosažených příslušnou podskupinou (průměrná úspěšnost, rozptyl skóre) přímo považujeme za rozdíly těchto dvou variant (bez vlivu úrovně testované skupiny). Tato metoda je použita pro potřeby NSZ. Srovnávací model společných úloh pro neekvivalentní skupiny (Common -Item Nonequivalent Groups Design) Tento model je užíván v případech, kdy dvě varianty testu řeší dvě různé (neekvivalentní) skupiny. Typickým příkladem jsou dva různé termíny jednoho testu, kdy ekvivalent skupin nejsme schopni nijak zaručit (např. hypotéza, že na první termíny se hlásí zodpovědnější uchazeči než na poslední. Dopad tohoto vlivu není možné předem odhadnout). Rozdíly v průměrné úspěšnosti a dalších statistických charakteristikách obou variant jsou ovlivněny nejen rozdílností variant, ale také rozdílností testovaných skupin. V tomto modelu varianta A a varianta B mají společnou podmnožinu úloh. Na těchto společných úlohách se porovnávají rozdílné úrovně obou testovaných skupin. A poté je možné provést srovnání obou variant očištěné od vlivu rozdílnosti skupin. Tato metoda je použita pro potřeby NSZ. Další užívané srovnávací modely Mezi další užívané srovnávací modely patří Model jedné skupiny (Singel Group Design), kdy obě varianty testu jsou distribuovány stejné skupině testovaných, a Vyvážený model jedné skupiny (Singel Group Design with Counterbalancing), kdy jsou obě varianty opět testovány na jedné skupině, ale polovina testovaných absolvuje nejprve variantu A a poté variantu B, zatímco druhá polovina řeší testy v opačném pořadí. Tento model eliminuje vliv zkušenosti s testem, který ovlivňuje úspěšnost druhého testu v pořadí. Oba tyto modely nejsou pro NSZ vhodné. 54