Univerzita Karlova v Praze - Pedagogická fakulta. Voňková Metodologie pedagogického výzkumu I 1

Transkript

1 Metodologie pedagogického výzkumu I Část materiálů k přednáškám Hana Voňková Univerzita Karlova v Praze - Pedagogická fakulta Voňková Metodologie pedagogického výzkumu I 1

2 Kroky v provádění výzkumu Kvantitativní výzkum Kroky v provádění výzkumu Kvalitativní výzkum orientován na popis a vysvětlení určitého jevu Formulace výzkumného problému orientován na detailní prozkoumání určitého jevu podstatná role odůvodnění volby výzkumného problému a jeho specifikace pro účely studie Práce s literaturou méně důležitá role odůvodnění volby výzkumného problému velký vzorek úzce definovaný obvykle reprezentativní za populaci, k níž je vztažen výzkumný problém Sestavování výzkumného vzorku obvykle menší vzorek obecně definovaný volba metod sběru dat jako např. dotazníky numerická data Sběr dat volba metod sběru dat ako např. pozorování vedení si záznamů statistická analýza dat popis trendů, porovnání skupin, analýza vztahu proměnných srovnání s výsledky v literatuře Analýza a interpretace dat analýza a interpretace textů, nahrávek atd. interpretace zjištění, posun v porozumění tématu standardní formát Psaní výzkumné zprávy flexibilní formát Voňková Metodologie pedagogického výzkumu I 2

3 Formulace výzkumného problému I lineární forma výzkumného plánu poskytuje je velmi vhodný pro první orientaci při provádění výzkumů, výzkum však obvykle není tak přímočarý velmi často se stává, že výzkumný problém, který jste definovali na začátku, je v průběhu výzkumu shledán jako nejasný, příliš široký či nemožný zkoumat přeformulovat problém Voňková Metodologie pedagogického výzkumu I 3

4 Formulace výzkumného problému II není snadné nalézt relevantní výzkumné téma - použijte např. následující zdroje teorie - Piagetova teorie, teorie vzdělávání dospělých atd. osobní zkušenost - otázky vyplývající z pedagogických časopisů, kurikulárních dokumentů atd. studie, které mohou být replikovány - např. využití informačních technologíı ve výuce zúžení výzkumného problému: široké: Jaký je vztah mezi využitím různých přístupů ve vyučování a úspěchem dětí ve škole? užší: Jaký je vztah mezi využitím strategie nalézání podobností a rozdílů a výsledkem dětí v testu z českého jazyka? Voňková Metodologie pedagogického výzkumu I 4

5 Formulace výzkumného problému III Volba relevantního výzkumného problému: téma musí být zajímavé - představte si, jak dlouho na něm budete pracovat téma musí být zkoumatelné - musíte být schopni ho zkoumat skrz analýzu sebraných dat téma musí být významné - měli byste přispět k již publikovaným výsledkům téma musí být etické - nesmíte zranit, ani nijak ztrapnit participanty výzkumu téma musí být zvladatelné - odpovídá vašim schopnostem, časovému plánu a finančním zdrojům Voňková Metodologie pedagogického výzkumu I 5

6 Formulace výzkumného problému IV Formulace hypotézy hypotéza je tvrzení obsahující výzkumníkovo očekávání o vztahu mezi proměnnými v rámci zkoumaného tématu příklad stanovení hypotézy v experimentálních studíıch: P který dostane X vykoná lépe Y než P, který nedostane X P je participant, X je ošetření, Y je výsledek proměnné v hypotéze či výzkumném problému musí být měřitelné - musí být zcela jasné, co je měřeno (výsledek žáků v testu, frekvence využívání otázek během vyučování atd.) Voňková Metodologie pedagogického výzkumu I 6

7 Formulace výzkumného problému V ani jedno z následujících tvrzení neplatí hypotéza není sebranými daty podpořena, a tudíž studie je neúspěšná hypotéza je sebranými daty podpořena, a tudíž studie je úspěšná nesměšuj vaší hypotézu s nulovou hypotézou statistického testu jako je např. t-test, F-test, chí-kvadrát test atd. nulová hypotéza statistického testu má vždy stejný tvar, jinak test nejde odvodit Voňková Metodologie pedagogického výzkumu I 7

8 Škály měření 1 nominální - údaje můžeme kategorizovat příklad: pohlaví, barva očí, západní a východní země 2 ordinální - údaje má smysl seřadit, vzdálenost mezi údaji nemá smysl porovnávat příklad: seřazení žáků podle času v určitém běhu; rozdíl mezi časem prvního a druhého žáka může být odlišný od času pátého a šestého žáka) 3 intervalové - údaje má smysl seřadit, vzdálenost mezi údaji má smysl porovnávat, neexistuje přirozený nulový bod příklad: měření IQ 4 poměrové - údaje má smysl seřadit, vzdálenost mezi údaji má smysl porovnávat, existuje přirozený nulový bod příklad: váha, výška Voňková Metodologie pedagogického výzkumu I 8

9 Metody sběru dat I - dotazníkové šetření Několik doporučení sestav atraktivní, výstižný a stručný dotazník uvědom si jakou informaci potřebuješ a z jakého důvodu (uvědom si cíl dotazníku a stručně ho popiš na úvodní stránce) zahrň pouze takové položky, které se vztahují k tvému cíli na začátek se pokus zahrnout zajímavé a nekomplikované položky nedávej velmi důležité položky až na konec pokud je to potřeba, zahrň demografické a socio-ekonomické charakteristiky Voňková Metodologie pedagogického výzkumu I 9

10 Metody sběru dat II- dotazníkové šetření Doporučení ohledně formulace položek I by měly být jasné pro danou cílovou skupinu např. zvolené pojmy by měly být pro danou populaci pochopitelné by neměly předpokládat fakt, který není nutně pravdivý např. Kdy jsi naposledy četl nějakou odbornou knihu? evokuje v respondentovi pocit, že by měl odbornou knihu číst by neměly vyvolat v respondentovi pocit, že nějaká odpověd je vhodnější než jiná např. Souhlasíš s většinou lidí že... by neměly vést k neupřímné odpovědi např. Snažíš se své studenty co nejvíce naučit? - většina učitelů by odpověděla ano, ale z toho nevyplývá, kolik času stráví přípravou na výuku, diskuzí se studenty atd. Voňková Metodologie pedagogického výzkumu I 10

11 Metody sběru dat III - dotazníkové šetření Doporučení ohledně formulace položek II by měly obsahovat příklad, pokud se jedná o nějakou neběžnou, netriviální situaci či pojem by měly mít dostatečný prostor pro odpověd (pokud používáš otevřené položky) by měly mít formulaci položky a nabídku odpovědí pokud možno u sebe, na jedné stránce by měly být specificky formulovány příklad: není vhodné: Strávíš přípravou na výuku hodně času?, lépe: Kolik času strávíš v průměru během jednoho týdne přípravou na výuku? - méně než 1 hodinu, atd. Voňková Metodologie pedagogického výzkumu I 11

12 Didaktický test - stručný popis postupu konstrukce I nezačínat navrhováním testových úloh začínat promyšlením účelu testu a dále stanovením obsahu testu pro úroveň osvojení poznatků je vhodné použít Bloomovu taxonomii výukových cílů (znalost, pochopení, aplikace, analýza, syntéza a hodnocení) stanovíme časový limit dále lze přistoupit k formulaci jednotlivých úloh, přičemž je nutné mít neustále na paměti, k jakému účelu úlohy slouží a na základě toho vybírat i vhodný typ testových úloh (otevřené, uzavřené atd.) Voňková Metodologie pedagogického výzkumu I 12

13 Didaktický test - stručný popis postupu konstrukce II test je vhodné nechat posoudit jiným hodnotitelem - posuzování obsahové validity po sběru dat provedeme analýzu vlastností testových úloh a celého testu (výpočet obtížnosti a citlivosti položek, analýza nenormovaných odpovědí a reliability testu) vyřadíme úlohy, které nejsou vhodné (např. záporná diskriminační síla) pokud má test s obsahově homogenními úlohami nízkou reliabilitu, výsledky žáků získaných pomocí tohoto testu nemůžeme považovat za spolehlivé a přesné následně lze provést standardizaci testu Voňková Metodologie pedagogického výzkumu I 13

14 Didaktický test - testové úlohy I Testové úlohy děĺıme dle způsobu řešení (Chrástka, 2007) 1 otevřené úlohy otevřené široké úlohy otevřené úlohy se stručnou odpovědí 2 uzavřené dichotomické s výběrem odpovědi(í) přiřazovací uspořádací Voňková Metodologie pedagogického výzkumu I 14

15 Didaktický test - testové úlohy II Otevřené široké úlohy od testovaného vyžadují rozsáhlejší odpověd (1/2 strany, ale i více) Které byly hlavní příčiny vzniku druhé světové války? Popište činnost jaderné elektrárny. vhodné pro zkoušení komplexních vědomostí, vyšších úrovní osvojení učiva doporučuje se vymezení struktury požadované odpovědi pro snadnější vyhodnocování výhoda: snadno se navrhují nevýhoda: nemožnost objektivního skórování Voňková Metodologie pedagogického výzkumu I 15

16 Didaktický test - testové úlohy III Otevřené úlohy se stručnou odpovědí od testovaného vyžadují vytvoření vlastní krátké odpovědi - např. uvedení určitého slova, čísla, symbolu, vzorce, jednoduchého grafu, několik slov či krátkých vět atp. děĺıme je na: produkční úlohy Napište Archimédův zákon. doplňovací testové úlohy Dne 6. července 1415 byl v Kostnici upálen kazatel... Muži mlčel..., ženy hovořil..., děti se smál... a štěňta si hrál.... výhody: snadno se navrhují a nejde snadno uhodnout odpověd správná odpověd Voňková Metodologie pedagogického výzkumu I 16

17 Didaktický test - testové úlohy IV Dichotomické úlohy testovaným jsou předkládány dvě alternativy odpovědi s tím, že jedna je správná často označovány jako true-false items Jan Amos Komenský se narodil roku ano - ne Při vypařování kapaliny se teplo spotřebovává - uvolňuje výhody: snadno se navrhují a vyhodnocují nevýhody: často testování pouze zapamatování (1. stupeň Bloomovy taxonomie), možnost uhodnutí správné odpovědi je 50ti procentní Voňková Metodologie pedagogického výzkumu I 17

18 Didaktický test - testové úlohy IV Úlohy s výběrem odpovědí (příklady dle Chrástka, 2007) testovaný vybírá odpověd (odpovědi) z několika nabídnutých alternativ děĺıme je na: úlohy typu jedna správná odpověd Cesta vlakem nám velmi rychle uběhla. Podtržený větný člen je: A podmět B přísudek C předmět D příslovečné určení výhody: relativně snadno se navrhují, snadno se vyhodnocují nevýhody: v praxi často testují pouze zapamatování Voňková Metodologie pedagogického výzkumu I 18

19 Didaktický test - testové úlohy V úlohy typu jedna nejpřesnější odpověd Které z následujících tvrzení nejlépe odpovídá na otázku Co je chemický prvek? A Prvek je látka, která je se skládá z atomů stejného druhu. B Prvek je látka, kterou již dále nejde dělit. C Prvek je látka složená z atomů, které mají stejné protonové číslo. D Žádné z předchozích tvrzení není správné. pro testované obvykle bývají obtížné výhody: snadné na vyhodnocování nevýhody: často je obtížné je zkonstruovat Voňková Metodologie pedagogického výzkumu I 19

20 Didaktický test - testové úlohy VI úlohy typu jedna nesprávná odpověd Který z následujících dějů není formou oxidačního procesu? A dýchání B hnití C destilace D rezivění výhody: snadné na vyhodnocování nevýhody : konstrukce distraktorů Voňková Metodologie pedagogického výzkumu I 20

21 Didaktický test - testové úlohy VI úlohy s vícenásobnou odpovědí Kterými státy protéká řeka Odra? A Německo B Rusko C Česká republika D Slovensko E Polsko nevýhody: mohou se objevit problémy při skórování - lze zvolit např. metodu všechno nebo nic Voňková Metodologie pedagogického výzkumu I 21

22 Didaktický test - testové úlohy VI situační úlohy nabídky nejsou předkládány ve formě seznamu, vyplývají ze situace Na místo označené hvězdičkou napiš číslici, aby výsledné šesticiferné číslo bylo dělitelné sedmi: 823*43 nepoužívají se často výhody: snadné na vyhodnocování Voňková Metodologie pedagogického výzkumu I 22

23 Didaktický test - testové úlohy VII Korekce na hádání správných odpovědí, s o s n opravené skóre s o = s n neopravené skóre n y 1 n počet nesprávných odpovědí y počet nabízených odpovědí doporučení ohledně počtu nabízených odpovědí: 4-5 (menší pravděpodobnost uhodnutí, únosný počet při konstrukci) Voňková Metodologie pedagogického výzkumu I 23

24 Didaktický test - testové úlohy IX Přiřazovací úlohy úkolem testovaného je přiřadit pojmy z jedné množiny k pojmům z množiny druhé K názvům států v levém sloupci přiřad te názvy hlavních měst z pravého sloupce. Švýcarsko A Dublin F Rejkjavík Norsko B Oslo G Helsinky Island C Bonn Nizozemsko D Bern Finsko E Amsterdam počet nabízených odpovědí v pravém sloupci je záměrně větší, aby zamezil ohodnutí správného přiřazení na základě předchozích přiřazení výhody: omezují možnost uhodnutí správné odpovědi nevýhody: využití jen v omezeném okruhu učiva Voňková Metodologie pedagogického výzkumu I 24

25 Didaktický test - testové úlohy X Uspořádací úlohy úkolem testovaného je seřadit prvky do řady podle zadaného kritéria Seřad te uvedená města podle počtu obyvatel. Seřazení proved te pomocí pořadových čísel 1 až 6, aby město s největším počtem obyvatel mělo číslo 1. Londýn... Tokio... Káhira... New York... Sao Paulo... Sydney... nevýhoda: obtížné skórování Voňková Metodologie pedagogického výzkumu I 25

26 Didaktický test - vlastnosti testových úloh I Obtížnost položky - Hodnota obtížnosti položky Q = 100 n n N n n je počet žáků, kteří NEodpověděli na položku správně N celkový počet žáků Obtížnost položky - Index obtížnosti položky Q = 100 n s N n s je počet žáků, kteří odpověděli na položku správně N celkový počet žáků Voňková Metodologie pedagogického výzkumu I 26

27 Didaktický test - vlastnosti testových úloh II Citlivost položek - Koeficient ciltivosti ULI (upper-lower index) d = n L n H 0.5N n L je počet žáků z lepší poloviny, kteří odpověděli na položku správně n H je počet žáků z horší poloviny, kteří odpověděli na položku správně N celkový počet žáků pro hodnoty obtížnosti se doporučuje, aby d bylo aspoň 0.25 pro hodnoty obtížnosti a se doporučuje, aby d bylo aspoň 0.15 Voňková Metodologie pedagogického výzkumu I 27

28 Didaktický test - vlastnosti testových úloh III Analýza nenormovaných odpovědí = rozbor vynechaných nebo nesprávných odpovědí u otevřených úloh věnujeme pozornost těm, ve kterých vynechalo odpověd více než 30-40% žáků, u uzavřených úloh je to pak více než 20% u úloh uzavřených s výběrem odpovědi zkontrolujeme atraktivnost distraktorů - zvážíme, zda-li nenahradíme neatraktivní distraktor jiným distraktorem u uzavřených úloh rozděĺıme nesprávné odpovědi do dvou kategoríı - základní chyby (způsobené neznalostí učiva) a vedlejší chyby (způosbené náhodnými vlivy), odstraníme úlohy, kde převáží vedlejší chyby nad základními chybami Voňková Metodologie pedagogického výzkumu I 28

29 Didaktický test - posouzení vnitřní konzistence testu Reliabilita testu didaktický test má dobrou reliabilitu, pokud poskytuje spolehlivé a přesné výsledky. Pokud bychom test neustále opakovali za stejných podmínek, měli bychom v případě testu s dobrou reliabilitou získat velmi podobné výsledky. hodnota se pohybuje od 0 do 1 test s dobrou reliabilitou má hodnotu alespoň 0.7 Reliabilita vypočtená metodou půlení r sb = 2.r b 1 + r b r b korelační koeficient mezi výsledekem žáků v sudých a lichých úlohách Voňková Metodologie pedagogického výzkumu I 29

30 Posuzování kvality měření I - Validita Validita = vystihuje, zda-li měříme skutečně to, co jsme zamýšleli měřit Obsahová validita (Content validity) - porovnává se obsah testu (či jiného měřícího nástroje) s doménou, která je měřena Kriteriální validita (Criterion-related validity) - porovnej testové skóry s určitým kritériem pokrývající oblast, kterou studuješ souběžná validita (concurrent validity) - porovnání s kritériem v tom samém čase (např. jiným testem, jinou mírou oblasti, na níž se zaměřuješ) predikční validita (predictive validity) - porovnání s kritériem probíhá v budoucnu (např. predikční validita testových skórů u přijímacích zkoušek se může porovnávat s výsledky na vysoké škole) Voňková Metodologie pedagogického výzkumu I 30

31 Posuzování kvality měření II - Validita Konstruktová validita (Construct validity) - porovnání toho, do jaké míry pokrývá konstrukt oblast, kterou má měřit příklad konstruktu je inteligence, konstruktová validita - pokrývá test inteligence oblasti, jež inteligenci definují Následná validita (Consequential validity) - uvádí do jaké míry způsobuje měření nežádoucí, škodlivé efekty příklad - Jaké jsou efekty testování žáků pomocí testů s uzavřenými položkami? Voňková Metodologie pedagogického výzkumu I 31

32 Posuzování kvality měření III - Reliabilita Reliabilita = vystihuje, do jaké míry je naše měření spolehlivé a konzistentní Stabilita (Stability) - reliabilita vypočítaná na základě stability testových skórů zadej test jedné skupině v dvou různých časech a vypočítej korelaci těchto skórů Ekvivalence (Equivalence) - reliabilita vypočítaná na základě porovnání dvou verzí testu, které lze považovat za ekvivalentní zadej alternativní formy testu jedné skupině a koreluj jejich výsledky Stabilita a evivalence (Stability and equivalence) - reliabilita vypočítaná na základě porovnání dvou verzí testu, jež lze považovat za ekvivalentní, které jsou zadané v dvou různých časech zadej testy jedné skupině v dvou různých časech Voňková Metodologie pedagogického výzkumu I 32

33 Posuzování kvality měření IV - Reliabilita Vnitřní konzistence (Internal consistency) - udává do jaké míry jsou položky v testu podobné ostatním položkám v testu, měříme je pomocí Kuder-Richardsonova vzorce, Cronbachova alfa, metodou půlení Hodnotitel - Scorer/Rater - udává, do jaké míry se nezávisĺı hodnotitelé nebo jeden hodnotitel v různém čase shodnou/shodne na skórování (např. skórování otevřených úloh) Voňková Metodologie pedagogického výzkumu I 33