Statistická a věcná významnost Statistická významnost Petr Soukup 5.11.2009 Fisher (1925) Historie hypotézy a testů Null and alternative hypothesis (NHST) (Neyman&Pearson, 1937) Dnes běžná praxe a součást výuky Hypotézy a statistické testy Nulová a alternativní hypotéza Statistický test a testové kritérium Rozhodnutí na základě statistických testů Běžné testy-t-testy, analýza rozptylu, regrese, korelace apod. 1
Co je to statistická významnost? Rozhodnutí Platí H0 H1 H0 OK (P=1- α) Chyba prvního druhu (P= α) H1 Chyba druhého druhu (P= β) OK (P= 1-β) Síla testu Definice: Statistická významnost je pravděpodobnost, že náš výběrový soubor pochází ze základního souboru, ve kterém platí nulová hypotéza. P(D/H0) ne P(H0/D) Předpoklady použití stat. významnosti Základní vymezení: Velký náhodný výběr z velkých základních souborů Velký (nekonečný) základní soubor (min.100krát větší než výběr) Výběr proveden pravděpodobnostně (všechny jednotky stejná P vybrání) Výběr dostatečně velký (cca 30-50) Specifické situace (limity) úplná zjišťování, nenáhodné výběry, malé výběry, výběry z malých populací a velké výběry, agregace dat, mezinárodní datové soubory Základní nedostatky stat. významnosti a) nedostatečná výpověď o základním souboru, b) nereálnost nulových hypotéz (viz r), c) mechanická práce s klasickou 5% hladinou (hvězdičky, stepwise, nejlepší modely apod.), d) statisticky významné neznamená důležité, e) nepublikování statisticky nevýznamných výsledků 2
Literatura o problémech Harlow, L., L., S. A. Mulaik, M., L. Steiger. 1997. What if there were no significance tests? Mahwah (NJ): Erlbaum Morisson, D. E., R., E. Henkel. 1970. The significance test controversy a reader 1970 Chicago: Aldine Statistické alternativy ke statistické významnosti a mnoho (cca stovky) článků Možné alternativy stat. významnosti Intervaly spolehlivosti (r), Síla testu, Odhad minimální velikosti výběrového souboru, what if strategie (Openstat), Porovnání více modelů pomocí informačních kritérií (AIC, BIC), Slovní řešení problémů (návrhy) Problémy alternativ stat. významnosti aplikace často chybí v SW neučí se nikdo to nevyžaduje (redakční rady) a tak to nikdo nepoužívá JE NA NÁS TO ZMĚNIT! 3
Terminologie Věcná významnost Česky neustálená Anglicky: Practical significance Substantive significance Logical significance Scientific significance a někdy též: result importance či result meaningfulness Pokusy měřit věcnou významnost Absolutní věcná významnost Effect size - třídění Dle toho co měří (rozdíl vs. rozptyl) Relativní věcná významnost Příklad: Příjmy jedince u mužů a žen Dnes zejm. tzv. Effect size measures Dle vychýlenosti (zkreslenosti) Dle situace pro níž slouží 4
R 2 (i adj. R 2 ) Eta 2 Effect size - známé Effect size - známé regresní koeficienty i standardizované řádková či sloupcová procenta Korelace dle Pearsona Kontingenční koeficient Effect size méně známé Šance a poměry šancí či RR (loglineární modely, logistická regrese) Lambda, kanonická korelace (diskriminační analýza) Effect size téměř neznámé Cohenovo d Hedgesovo g Glassovo delta Haysovo omega 5
Cohenovo d Effect size ukázky výpočtů Effect size problémy Jde o charakteristiky pro výběr Hedgesovo g Pro zobecnění vhodné intervaly spolehlivosti Glassovo delta Nemají běžně tabelovaná stat. rozdělení Haysovo omega nutno užít speciální SW Problémy effect size neučí se nikdo to nevyžaduje (redakční rady) a tak to nikdo nepoužívá JE NA NÁS TO ZMĚNIT? Nebezpečí effect size Mechanická aplikace (hranice pro d,r, apod.) Nucení do výpočtů jako striktní (příp. i nepsaný) požadavek JAK TO MŮŽE SKONČIT? TO UŽ TUŠÍME NA HISTORII STAT. VÝZNAM. 6
Kombinace věcné a stat. význam. Doporučení Nejdřív P, pak d Nejdříve d, pak P Další významnosti A CO SI VYBRAT? HLAVNÍ JE NAD VÝSLEDKY PŘEMÝŠLET A NE JEN MECHANICKY POČÍTAT! Další významnosti Ekonomická Klinická A CO PŘIJDE DÁLE? PLATÍ ŠALAMOUNOVO TVRZENÍ, ŽE VŠE JIŽ BYLO ŘEČENO! DÁVÁME JEN NOVÉ NÁZVY STARÝM KONCEPCÍM? DÍKY ZA POZORNOST I DOTAZY 7