Jak zpracovat pehledovou studii?

Jak zpracovat pehledovou studii? Jií Mareš Univerzita Karlova v Praze Lékaská fakulta v Hradci Králov lové Výchozí pedpoklad vhodn zvolené téma pro výzkum tento krok je zásadnz sadní pro celou další práci na volb tématu se podílej lejí: sám m badatel (u zaáte teníka spíš íše školitel) vedení pracovišt spolupracovníci ci z výzkumného týmu kolegové z obdobných institucí,, kteí ho mohou oslovit se žádostí o spolupráci vypisovatelé grant s uritou tematikou (MŠMT) MT) 1

Vstupní úvahy 1 Každý autor : než zane sám s m zkoumat urit ité téma, musí zhodnotit dosavadní stav bádání doktorand mám za povinnost zpracovat pehledovou p studii Krom toho: pro pokrok v daném m oboru je nutnéas od asu zmapovat dosavadní výzkumné úsilí a podat zprávu vdeckv decké obci pehledová studie typu review Vstupní úvahy 2 Je nepravdpodobn podobné,, aby platil výrok nkterých n zaáte teník: tohle téma t ješt nikdo nezkoumal Zpracování pehledové studie je pracná a asov nároná innost Je to vdeckv deckáinnost, která se dád popsat, analyzovat, nacviovat, rozvíjet 2

Typy pehledových studií Systematický pehled p deskriptivn analytický a hodnotící pístup (ten( dlád to a ten zas tohle ); riziko tasemnice Integrativní pehled pokus o syntézu Meta-analýza analýza soubor metod usilujících ch o statistické zobecnní Kvalitativní pehled snaha o souhrnný pohled na kvalitativní výzkumy Ped zahájením práce nutno definovat kritéria ria výbru tj. nikoli to, na co narazím, co se mn líbí apod. kritéria: ria: klíov ová slova vymezují téma asové období jazyk publikací žánr publikací: : dílíd výzkumné studie, pehledovp ehledové studie, diskusní píspvky podobu publikací: lánky, knihy, výzkumné zprávy, doktorské disertace 3

Konkrétní píklad: psychosociální klima tídy asové období od r. 1970 do souasnosti jazyky: eština, slovenština, polština, ruština, anglitina, francouzština Zaadit: adit: nástroj se týká školní tídy nebo vyuovan ované skupiny žák/student (class, classroom) v jeho názvu n se vyskytuje termín n klima (climate( climate) nebo prosted edí (environment) zjišuje charakteristiky uebnu ebního prosted edí (learning environment) ) vetnv etn netradiních distanní uení,, e-learninge rozhoduje vk v žák/student (od 6 let výše) rozhoduje stupe a typ školy (zahrnují se nástroje n uren ené od základnz kladní školy, pes stedn ední školy aža po školy vysoké) nerozhoduje povaha vyuovac ovacího pedmp edmtu (naukové pedmty, ale i tlesnt lesná výchova) Konkrétní píklad: psychosociání klima tídy Nezaadit: adit: nástroj se týká matesk ské školy (kindergarten( kindergarten), i když se v jeho názvu n se vyskytují termíny tída t (classroom( classroom), termín n klima (climate( climate) nebo prosted edí (environment); nástroj se týká školy jako celku (school( school), i když se v jeho názvu n se vyskytuje termín n klima (climate( climate) nebo prosted edí (environment) 4

Co je to vlastn pehled? Kdo rozhoduje o tom, co je a co není pehledová studie? Mní se její podoba v ase? redakní rady asopis (definováním m redakních kritéri rií,, výbrem recenzent,, publikováním i i odmítáním) m) recenzenti (zpsobem posuzování,, vyhranným ným osobním m názorem) n konzultanti-specialist specialisté (vyjaduj ují se k úzce odborným ástem textu) tenái i (žádostmi,( dopisy do redakce; odebíráním asopisu) autoi i (psaním m píspp spvk,, reagováním m na posudky, citováním asopisu) Zpracování pehledové studie (Dunkin, 1996) 1. primárn rní fáze (píprava prava podklad) 2. sekundárn rní fáze (vlastní analýza) 3. terciárn rní fáze (formulování obecnjší ších závr) z v každé z nich se zaáte teníci mohou dopustit chyb 5

Píprava podklad pro pehled 1. tradiní knihovnické služby 2. zdroje si vyhledává autor sám: s obecn koncipované databáze (Web( od Science, ProQuest, Ovid, EBSCO, ScienceDirect) ) USA, Kanada, Anglie atd. specializované databáze: pro pedagogiku ERIC,, pro psychologii PsycINFO,, pro medicínu Medline, PubMed atd. obecn koncipovaná databáze zachycují též evropské publikace Scopus databáze elektronicky dostupných knih vyhledáva vae e typu Google Formulovat si výzkumnou otázku píklad (Davies( Davies,, 2004): Jak ovlivní skupinové uení zaangažovanost žák na uenu ení a školní výkony u žák 2. stupn základní školy na státn tních školách v Anglii? (intervence) (výsledek.1) (výsledek.. 2) (zkoumaná populace) (kontext) 6

Nutno definovat kritéria kritéria ria pro zaazen azení výzkumné práce do pehledu p (píklad) jen výzkumné práce jen práce z posledních X let jen práce kvantitativn orientované jen práce, v nichž je použit standardizovaný nástroj n nebo nástroj, n u nhon hož jsou popsány všechny v psychometrické charakteristiky jen práce z obdobných socio-ekonomických a kulturních podmínek jen výzkum, jehož soubor je vtšív než Y osob atd. kritéria ria pro vyazen azení z pehledup Výchozí podklady zaít t pracemi typu pehledovp ehledové studie, pehledovp ehledová sdlen lení (v angl. review) pátrat po meta-analýz analýzách u zvoleného tématut pátrat po diskusích a polemikách ke zvolenému tématut teprve potom pejp ejít t k jednotlivým konkrétn tním m výzkumm 7

Zdroje pehledových studií specializované pehledovéasopisy pro daný obor pro pedagogiku Review of Educational Research (vychází od r.1931)- plné texty poskytuje: databáze ProQuest 5000 bžné odbornéasopisy mívajm vají zvláš áštní rubriku nazvanou pehledové studie, pehledovp ehledová sdlen lení monografie na dané téma (zahraniní) ) doktorské disertace handbooky a (zahraniní) ) specializované encyklopedie Hotové pehledové studie ím m jsou pro zaáte teníky užiteu itené? 1. ukazují,, co se v daném m oboru i i tématu t oboru považuje za klíov ové práce 2. kdo jsou asi klíov oví a nejcitovanjší autoi 3. co se považuje za okrajové pístupy a slepé uliky 4. jak se formáln ln lení pehledová studie (oddíly, titulky, mezititulky, poznámky, typy tabulek) 5. jak vypadá jazyk pehledovp ehledové studie, jaký je to textový žánr 8

Goulding et al., 2010 9

Typické chyby pi píprav podklad Autor nevyhledává všechny relevantní prameny skrytá selektivita (Dunkin( Dunkin,, 1994) jen eské a slovenské prameny, doplnné nkolika náhodnn hodn vyhledanými zahraniními prameny pevážn práce školitele a práce ze školicího pracovišt jen zahraniní práce - ignorují se domácí jen nejerstv erstvjší práce ignorují se starší výzkumy jen v tom cizím m jazyce, který autor zná 10

Typické chyby pi píprav podklad Autor nerozlišuje mezi kvalitou rzných r publikací (Dunkin, 1994) v každém m oboru vychází široké spektrum publikací existujíasopisy s vysokou náron roností,, velkým odborným renomé a velkou mírou m vlivu na výzkumnou komunitu (impact( factor - detaily Web of Science) asopisy málo m náron roné > > texty málo m kvalitní sborníky z konferencí (problém m s recenzováním) sborníky fakult internetové zdroje velmi rozdíln lná kvalita asopisy uznávané Radou vlády pro výzkum a vývoj (pedagogika) název ISSN vydavatel prim.kód sek.kód AULA 1210-6658 Centrum pro studium vysokého AM AE školství, v.v.i. Envigogika 1802-3061 Univerzita Karlova v Praze AM AA e-pedagogium (on-line) 1213-7499 Univerzita Palackého v Olomouci AM AA e-pedagogium (print) 1213-7758 Univerzita Palackého v Olomouci AM AI Hudební výchova 1210-3683 Univerzita Karlova v Praze AM AL Media4u Magazine 1214-9187 Ing. Jan Chromý, PhD. AM IN Orbis scholae 1802-4637 Univerzita Karlova v Praze AM - Pedagogická orientace 1211-4669 eská pedagogická spolenost AM - Pedagogika 0031-3815 Univerzita Karlova v Praze AM - Speciální pedagogika 1211-2720 Univerzita Karlova v Praze AM - Výtvarná výchova 1210-3691 Univerzita Karlova v Praze AM AL Zpravodaj pedagogickopsychologického poradenství 1214-7230 Institut pedagogicko-psychologického poradenství R AM AN 11

asopisy uznávané Radou vlády pro výzkum a vývoj (pedagogika na druhém míst) název ISSN vydavatel prim.kód sek.kód Acta Universitatis Carolinae, 0323-0562 Univerzita Karlova v Praze AB AM Historia Universitatis Carolinae Pragensis Acta Universitatis Carolinae, 1212-1428 Univerzita Karlova v Praze AK AM Kinantropologica eská kinantropologie 1211-9261 eská kinantropologická spolenost AK AM eský jazyk a literatura 0009-0786 SPN pedagogické nakladatelství a.s. AI AM European Journal of Adapted 1803-3857 o.s. European Federation of Adapted AK AM Physical Activity Physical Activity Journal of Outdoor Activities 1802-3908 Univerzita J.E. Purkyn Ústí nad AK AM Labem Matematika fyzika - 1210-1761 Jednota eských matematik a fyzik BA AM informatika Naše spolenost (Bulletin Centra 1214-438X Sociologický ústav AV R v.v.i. AO AM pro výzkum veejného mínní) Paideia 1214-8725 Univerzita Karlova v Praze AA AM Rekonstrukce a experiment 1213-1628 Spolenost experimentální archeologie AC AM v archeologii (Živá archeologie) Sborník prací Pedagogické 1211-6068 Masarykova univerzita v Brn AB AM fakulty Masarykovy univerzity v Brn. ada spoleenských vd. Sociální práce (Sociálna práca) 1213-6204 Asociace vzdlavatel v sociální práci AO AM Hlediska pro posouzení kvality pehledové studie (Oxman, 1994) 1. Formulace problému Je výzkumná otázka jasn formulována? 2. Identifikace zdroj Jsou prameny, z nichž studie vychází, peliv liv vybrány? 3. Zaazen azení studií Jsou kritéria ria pro zaazen azení studií do pehledu (píp. p. jejich odmítnut tnutí, nezaazen azení) ) stanovena správn vn? 12

Hlediska pro posouzení kvality pehledové studie (Oxman, 1994) 5. Úplnost dat 6. Syntéza dat Pokud nktern které informace chybly, pokusil se autor pehledu p získat z je pímo od autor výzkumu? Jak dalece mohl zpsob zpracování dat, který byl v dané pehledové studii použit, ovlivnit pedklp edkládané výsledky? Pokud by se zvolil jiný zpsob zpracování,, došlo by se k podobným výsledkm? Hlediska pro posouzení kvality pehledové studie (Oxman, 1994) 7. Interpretace výsledk Vyplývají závry pehledovp ehledové z analyzovaných prací? studie skuten Jsou navrhovaná doporuen ení jednoznan doložena výsledky analyzovaných prací? Jsou stanoviska o tom, co je lepší ší,, vhodnjší formulována v pehledu explicitn? Pokud se v pehledové studii objeví formulace nebyl prokázán n rozdíl, nebyl prokázán n vliv je z prvodn vodního komentáe e jasné, že e to není totéž jako rozdíl l vbec v neexistuje, tato promnn nná vbec neovlivuje uje? 13

Chyby pi vlastní analýze prací : terminologicko-koncepní chyby nerozpoznané rozdíly v používání téhož pojmu u rzných r autor; stejné oznaen ení,, ale rzný r obsah (jiná výchozí teorie, jiná operacionalizace, jiný mrný m nástroj) n týž výchozí pojem figuruje v eských a slovenských pekladech p pod rznými názvy, n nap. self-efficacy efficacy, subjective well-being vcn tém shodný koncept je slovn oznaov ován n rozdílnými výrazy rozdíly ve slovním m oznaen ení mohou být zpsobeny: rozdílnými teoretickými východisky, snahou autora po originalit,, ale i posunem vdeckých názorn zor bhem desítek let Ignorování sociokulturních rozdíl autoi i konkrétn tních výzkum se asto orientují na majoritní populaci autor pehledovp ehledové studie nezkoumá detailn složen ení sledovaného souboru u jednotlivých výzkum autor neoprávn vnn spojuje závry z studií,, které byly provádny u sociokulturn rozdílných vzork osob autor nebere v úvahu rozdíly ve školských systémech a kulturních zvyklostech jednotlivých zemí 14

Ignorování historického asu autor pehledovp ehledové studie myln pedpokládá, že e rozdíly mezi generacemi v jedné zemi jsou zanedbatelné citují se pedagogické výzkumy desítky let staré,, ale determinanty se zmnily; zmnily se kulturní podnty, zdravotní stav, rodinné zázemí, zpsob tráven vení volného asu, hrozby; stoupla heterogenita populace (sociáln lní,, etnická) autor myln pedpokládá, že e zmny jsou zpsobeny jen velkými djinnými d událostmi v dané zemi nejde je o rozdíly typu do r.1990, po r.1990; do r.1993 po r.1993 výzkum Pražsk ské skupiny školní etnografie ukázal posun po 10 letech (1991-2001) jiná generace, jiné kulturní modely, hodnoty, móda, m hry Další chyby (Dunkin, 1994) 1 Chybné referování o podrobnostech výzkum: v láncích ch o konkrétn tních výzkumech chybí dležité údaje (nap.. není specifikován n zpsob výbru zkoumaného souboru; otázka zobecnitelnosti výsledk) autor pehledovp ehledové studie nespecifikuje, podle kterých kritéri rií vybral lánky, které do svého pehledu p zaadil adil 15

Další chyby (Dunkin, 1994) 2 Zapoítávání téhož výzkumu vícekrv cekrát: z jednoho rozsáhl hlého ho výzkumu bývají postupn publikovány dílíd výsledky protože e jde o velké týmy, autoi i mohou být rznr zní,, ale jde poád d o tentýž výzkum (u nás n s málo m astý pípad) p pad) jeden autor publikuje tentýž výzkum pod rznými r názvy n v rzných r asopisech v rzných r letech, ale jde stále jen o jeden jediný výzkum Další chyby (Dunkin, 1994) 3 Nerozpoznání chyb v autorových závrech: z publikovaný lánek, výzkumná zpráva i i doktorská disertace nemusí být bez chyb je zález ležitostí vdecké poctivosti autora pehledovp ehledové studie, aby si prostudoval výzkumníkovy kovy závry z zjistil, zda nedošlo k vcnému posunu nebo neoprávn vnnému zobecnní výzkumných nálezn lez nkdy se autor pehledovp ehledové studie nemž že e dostat k plnému znní lánku, ale jen k abstraktu znní abstraktu nelze brát t jako plnohodnotný zdroj informací o výzkumu - ne vždy v ho píšp íše e autor, nkdy n knihovníci 16

Další chyby (Dunkin, 1994) 4 Neoprávn vnné zaazen azení výzkumu do urit ité skupiny prací: nelze dát d t pouze na autora lánku, co o svém m výzkumu prohlašuje existuje mnoho typ výzkumných projekt (design výzkumu) a každý z nich mám své pednosti a limity autor pehledu p by ml m l prozkoumat podstatu projektu, na nmžn je daný výzkum postaven nap.. u experimentu: Existuje kontrolní skupina? Jak byly osoby zaazov azovány do experimentáln lní a do kontrolní skupiny? Jsou ob skupiny vyrovnané? atd. Další chyby (Dunkin, 1994) 5 Potlaen ení nebo vynechání autor i i názorn zor,, které se nehodí: Autor pehledovp ehledové studie mžm že e být v osobním m sporu s nkterými n další šími badateli; není však korektní o nich vbec v nepsat a tváit se, že e neexistují Autor pehledovp ehledové studie neuznává nkteré výzkumné smry nebo výzkumné snahy; musí je však v uvést a okomentovat Autor pehledovp ehledové studie nezná nkteré výzkumné smry; musí si své mezery doplnit, aby píslup slušná bádání zasadil do kontextu 17

Chyby pi formulování obecnjších závr (Dunkin, 1994) 6 Konsekventn vzniklé chyby, chyby logicky vyplývající z pedchozp edchozích pochybení: chyby pi p i pípravp prav podklad + chyby pi p i zpracování podklad = nekvalitní syntéza Chyby pi formulování obecnjších závr (Dunkin, 1994) 7 Nezahrnutí všech relevantních nálezn lez do závrez reného zobecnní: Autor pehledovp ehledové studie zjistí, že e výsledky nkterých n výzkum jsou v rozporu s jeho pedpoklady, p že e se mu nehodí pro zobecnní; ; musí je však v uvést Autor pehledovp ehledové studie zjistí, že e vtšina v badatel zkoumajících ch uritý problém, dospívá ke obdobným závrm, z avšak ak jeden nebo dva další publikovali naprosto odlišné výsledky; je teba t tyto práce analyzovat, okomentovat a zaadit adit do pehledup Je teba t se podívat, kdo výzkum finann podpoil; u studií sponzorovaných firmami je teba t se mít m t na pozoru 18

Formulá pro pípravu pehledové studie (modifikovan podle Eiserová, Morseová, 2001) A. Údaje o publikaci Autor, autoi Název práce Citace zdroje Instituce autora, autor stát t (státy), ty), kde výzkum probhl Formulá pro pípravu pehledové studie (modifikovan podle Eiserová, Morseová, 2001) B. Výzkumná otázka, výzkumný problém Konstruování výzkumného nástroje Zpsob stanovení vlastností mrného nástrojen Porovnání výsledk dosažených u rzných r skupin respondent (žáci, uitelu itelé,, rodie e apod.) Porovnání výsledk s výzkumy jiných autor Porovnání nam ených výsledk s úinností výuky (s výsledky vyuov ování/uení) Posouzení úinnosti intervencí Jiné (specifikujte) 19

Formulá pro pípravu pehledové studie (modifikovan podle Eiserová, Morseová, 2001) C. Popis mrnm rného nástrojen Mrné nástroje, z nich autor vycházel Byly v daném m výzkumu modifikovány; jak? V kterých fázích f probhla konstrukce a ov ování nové metody? Referuje autor o pedvýzkumu? Jakým postupem se konstruovaly položky mrnm rného nástroje? n (vybráním m z existujících ch metod, rozhovory s pokusnými osobami ) Kdo jsou v daném m výzkumu respondenti/ informandi?? (dti, uitelé,, rodie, vrstevníci, psychologové,, zdravotníci ci ) Jak zní definice klíov ového pojmu pro daný výzkum? Jde o definici deskriptivní, operacionalizovanou; definici jednodimenzionáln lní, multidimenzionáln lní atd. Formulá pro pípravu pehledové studie (modifikovan podle Eiserová, Morseová, 2001) Vkové rozmezí,, pro nžn je mrný m nástroj uren; bylo dodrženo? Poet oblastí,, promnných, které nástroj obsahuje Oznaen ení oblastí,, promnných podle autora výzkumu Celkový poet položek daného nástroje as potebný k vyplnní Vyžadovaný zpsob odpovídání: ano-ne, ne, verbáln lní škála, numerická škála, vizuáln lní analogová škála apod. Vyžaduje odpov od respondenta: aktuáln lní hodnocení (jak se te cítíte, te, jak te hodnotíte) te) nebo retrospektivní hodnocení v pesn zadaném asovém m intervalu (poslední týden, poslední msíc) i i neurit it zadaném m intervalu nejastji, obvykle anebo asový rámec r není vbec specifikován? 20

Formulá pro pípravu pehledové studie (modifikovan podle Eiserová, Morseová, 2001) D. Výzkumný projekt Typ projektu, nap.: Experiment s náhodným n výbrem Experiment s vyrovnávání skupin, párovp rování jedinc, maování (z angl. matching) Prospektivní studie Kohortová studie s vyrovnáním skupin Retrospektivní studie atd. Kriteria pro zaazen azení jedinc do výzkumu Kritéria ria pro nezaazen azení/vylouení jedinc z výzkumu Zpsob získz skávání respondent Zpsob motivování jedinc pro úast ve výzkumu Co bylo jedincm ešeno eno o úelu výzkumu a práci s výsledky? Formulá pro pípravu pehledové studie (modifikovan podle Eiserová, Morseová, 2001) Charakteristika vzorku: Poet osob v každé zkoumané skupin a úbytek bhem b zkoumání Prmrný rný vk v k (aritm( aritm.. prmr, r, medián), vkovv kové rozptí (od-do) do) Zastoupení pohlaví v % Etnické složen ení skupin Vk k v dob stanovení diagnózy Doba od stanovení diagnózy Doba od skonen ení léby/intervence Uvažovaný základnz kladní soubor a jeho složen ení Reprezentativnost zkoumaného vzorku osob Zpsob administrování metody: osobn,, pes p pomocníky (studenty), pes p uitele, u pes p editele, pes p kolegy; poštou, elektronicky; individuáln ln, skupinov,, hromadn Doba od posledního šetení u tohoto souboru osob (pi longitudináln lním m výzkumu) 21

Formulá pro pípravu pehledové studie (modifikovan podle Eiserová, Morseová, 2001) Hodnocení výzkumu: Ov ování nové metody Poznatky u žák Poznatky u uitelu itel Poznatky u rodi atd. Zkoumání validity: obsahová validita soubž žná validita predikní validita konstruktová validita Zkoumání reliability: Vnitní konzistentnost (Cronbach( Cronbach) Opakované mení (test-restest restest) Cross-sectional sectional studies Longitudináln lní výzkum Formulá pro pípravu pehledové studie (modifikovan podle Eiserová, Morseová, 2001) Použit ité statistické metody zdvodn vodnní jejich výbru ov ení,, zda jsou splnny ny pedpoklady jejich korektního použit ití Jak byly ešen en pípady p pady chybjících dat? Jak byly ešeny eny pípady p pady úbytku osob bhem b výzkum, kdy se opakovan zadávaly rznr zné metody? Kvantitativní výsledky Nam ené rozdíly mezi zkoumanými skupinami Nam ené rozdíly mezi jednotlivými oblastmi (promnnými), které zjišuje mrný nástrojn Kolísání hodnot v ase? Stanovisko autora výzkumu ke zjištným závrm. z Formuluje njaké pochybnosti, upozornní na slabiny? 22