Modul Analýza síly testu Váš pomocník při analýze dat.

Transkript

1 6..0 Modul Analýza síly testu Váš pomocník při analýze dat. Power Analysis and Interval Estimation Analýza síly testu Odhad velikosti vzorku Pokročilé techniky pro odhad intervalu spolehlivosti Rozdělení pravděpodobnosti STATISTICA: Analýza síly testu STATISTICA: Odhad velikosti vzorku Pro danou velikost výběru, pravděpodobnost α a typické parametry konkrétního testu spočte sílu testu. Pro požadovanou sílu testu, pravděpodobnost α a typické parametry konkrétního testu spočte minimální rozsah výběru. Vytvoří grafy závislosti síly testu na a)velikosti výběru b)velikosti efektu c)hodnotě α Vytvoří grafy závislosti velikosti vzorku na a)minimální požadované hodnotě síly testu b)velikosti efektu c)hodnotě α 0..0 Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 4

2 6..0 STATISTICA: Odhad intervalu spolehlivosti Pro daný rozsah výběru, zvolenou spolehlivost -α a hodnotu příslušné statistiky získané na základě výběru, vypočte (-α)% interval spolehlivostipro odhadovaný parametr. STATISTICA: Rozdělení pravděpodobnosti Doplňuje pravděpodobnostní kalkulátor o necentrální rozdělení t, F a chí-kvadrát, a také o binomické rozdělení. Umožňuje výpočet teoretických hodnot korelačního koeficientu a koeficientu determinace pro zadaný rozsah výběru a pozorovanou hodnotu parametru a zvolenou pravděpodobnost Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 6 Kde hledat informace? Kde hledat informace? Jacob Cohen Statistical power analysis for the behavioral sciences P. D. Ellis The EssentialGuide to Effect Sizes: StatisticalPower, Meta-Analysis, and the Interpretation of Research Result Christopher L. Aberson Applied Power Analysis for the Behavioral Sciences Učebnice STATISTICA Analýza síly testu ve STATISTICA 7

3 6..0 Kde hledat informace? Co nás dnes čeká? Úvod do analýzy síly testu T-testy ANOVA jednoduchého a dvojného třídění Nápověda STATISTICA Pearsonův korelační koeficient Testy homogenity (χ, McNemarův) Koeficient determinace R Zobecněná rozdělení F, χ a t Motivace Statistické šetření Pro konečnou populaci (=soubor jednotek) chceme ověřit pravdivost nějaké hypotézy (výroku, tvrzení). Šetření lze zpravidla podrobit jen část populace kvůli faktu, že populace je značně rozsáhlá, měření jsou časově a finančně náročná, jednotky nemají zájem na účasti ve výzkumu Analýza síly testu ve STATISTICA 3

4 6..0 Náhodný výběr (Random sampling) Velikost vzorku (Sample size) Na základě analýzy vybraných jednotek, chceme vyslovit závěr pro celou populaci. Výběr by měl být reprezentativní, náhodný (stanovení výběrového plánu existuje více typů náhodných výběrů). dostatečně rozsáhlý pro dosažení dostatečné spolehlivosti odvozených závěrů. Příliš malý vzorek Příliš rozsáhlý vzorek Nedostatečná přesnost. Nespolehlivé závěry. Plýtvání časem a dalšími zdroji výměnou za často pouze minimální zpřesnění Analýza síly testu ve STATISTICA 4 Testování hypotéz Co je síla testu? Test: Pravidlo, které na základě výsledků zjištěných z náhodného výběru předepisuje rozhodnutí o zamítnutí nebo nezamítnutí nulové hypotézy týkající se celé populace z níž výběr pochází. Závěry jsou platné vždy jen s určitou pravděpodobností Analýza síly testu ve STATISTICA 5 4

5 6..0 Testová hypotéza Nulová hypotéza H 0 : Parametr θ je z množiny Θ H. Průměr je roven dvěma. (Průměr je menší/větší nebo roven dvěma.) Alternativní hypotéza H : Parametr θ je z množiny Θ A. Oboustranná Průměr není roven dvěma. Jednostranná a) Průměr je větší než dvě. b) Průměr je menší než dvě. Závěr: Zamítnutí či nezamítnutí testové hypotézy H 0 (ve prospěch alternativy) na základě testové statistiky spočtené z dat. Chyba prvního druhu Hypotézu zamítneme, ačkoli platí. Pravděpodobnost chyby.druhu omezujeme hodnotou α (nejčastěji α =0.05), které říkáme hladina významnosti testu (significance level). p-hodnota (p-value) pravděpodobnost, že získáme stejné nebo extrémnější testové kritérium než je vypočítané, za předpokladu, že ve skutečnosti platí nulová hypotéza. Chyba druhého druhu Hypotézu nezamítneme, ačkoli neplatí. Pravděpodobnost chyby.druhu označujeme β. Síla testu (Power): Pravděpodobnost, že správně zamítneme hypotézu, která ve skutečnosti neplatí, -β. Minimalizovatchybu druhého druhu znamená maximalizacisíly testu. Je-li k dispozici více různých statistických testů pro testování stanovené hypotézy se stejnou hladinou chyby prvního druhu, volíme ten z nich, který má největší sílu. Vtah mezi chybami. a. druhu a silou testu Ve většině případů snižování chyby jednoho druhu vede ke zvyšování chyby druhého druhu a naopak. Vzájemný vztah je ovlivněn velikostí výběru a velikostí efektu. Velikost výběru Pravděpodobnost chyby I.druhu Velikost efektu Pravděpodobnost chyby II.druhu 5

6 6..0 Praktická versus statistická významnost Test Statisticky významný (dle p-hodnoty) Statisticky nevýznamný (dle p-hodnoty) Prakticky důležitý rozsah výběru OK rozsah výběru příliš malý Prakticky nedůležitý rozsah výběru příliš velký rozsah výběru OK Apriorní analýza síly testu Faktory ovlivňující sílu testu Odchylka (velikost efektu, ES effect size) čím větší ES, tím je síla testu vyšší. Variabilita(směrodatná odchylka) základního souboru. Čím je menší variabilita, tím je vyšší síla testu.variabilitu odhadujeme na základě náhodného výběru. Rozsah n výběru. Čím větší je rozsah souboru, tím vyšší je síla testu. Velikost chyby.druhu α Čím je vyšší α, tím je nižší β a tedy tím je vyšší síla testu. Typ statistického testu Některé testy mají přirozeně větší sílu testu než jiné alternativní testy. Určení velikosti výběru Určení síly testu Apriorní analýza (před provedením pokusu) Aposteriorní analýza (po provedení pokusu) Zjišťujeme Známe (zadáváme) Zjišťujeme Známe (zadáváme) Potřebnou velikost výběru n. Hladinu významnosti testu pro chybu prvního druhu α. Požadovanou sílu testu -β. Velikost efektu, kterou potřebujeme detekovat. Skutečnou sílu testu. Hladinuvýznamnosti testu pro chybu prvního druhu α. Velikost výběru n. Velikost efektu, kterou potřebujeme detekovat. 6

7 6..0 Síla testu Sílu testu -β je třeba zkoumat pro všechny možné hodnoty parametru θ z množiny Θ A. Jde vlastně o analýzu silofunkce -β(θ). Apriorní Typy analýzy síly testu Může zajistit, že neplýtváme časem a zdroji na výzkum, který má jen malou naději na prokázání signifikantního efektu a také zabrání zahrnutí zbytečně mnoha jednotek. Post hoc Pomáhá správně interpretovat výsledky testování, kde nevyšel průkazný efekt (nedošlo k zamítnutí nulové hypotézy). Konkrétní aplikace Test o proporci znaku v populaci 0..0 Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 8 7

8 6..0 Ilustrační příklad: volební preference Otázka: Má politická strana mezi voliči většinu? Opora analýzy: anketa náhodného vzorku 00 lidí (odpověď ANO-NE). π... skutečné procento voličů p...odhad hodnoty π Nulová hypotéza: π 0.5 Alternativa: π > 0.5 Testové pravidlo: zamítá H 0 pro p (tzv. reject-support přístup) Ilustrační příklad: volební preference Počet voličů strany se řídí binomickým rozdělením n X k k ( ) n P( = ) = π π k k Pokud ve vzorku n=00 napočítáme více něž k=58 voličů strany, zamítáme nulovou hypotézu a prohlásíme, že strana má většinu hlasů. Test hypotézy o parametru π alternativního rozdělení (normální aproximace) H : π π 0 0 H : π > π 0 Kritický obor W α Testová statistika U = p π π π ) 0 ( 0 n má za platnosti nulové hypotézy asymptoticky normální rozdělení N(0, ). = { U u α} 0 U = Ilustrační příklad: volební preference p π 0 π ( 0 π 0) n u 0.95 =.645 p=0.58 π 0.5 p = min. 645 π ( 0,) Analýza síly testu ve STATISTICA 3 8

9 6..0 Situace A: π=0.5 Ve skutečnosti nulová hypotéza platí. Pravděpodobnost, že ji zamítneme, je rovna hodnotě 00 * 00 k 00 k α = 0.5 ( 0.5) = k= 59 k Chyba prvního druhu má tedy pravděpodobnost nebo menší, vyhovuje podmínce 5 %. Pozn.Hraniční hodnota pro testové kritérium p=0.58 je nejnižší možná, která zaručuje pravděpodobnost chyby prvního druhu menší než 5 %. Situace B: π=0.55 Ve skutečnosti nulová hypotéza neplatí. Pravděpodobnost, že ji zamítneme, je rovna hodnotě k β = k= k 00 k ( 0. ) = 0.4. Síla testu je tedy velmi malá. Naše, byť správná, domněnka, že politickou stranu preferuje většina voličů, bude potvrzena pouze ve 4. % případů analýz náhodného výběru. Tento test je proto nevhodný pro zodpovězení otázky ze zadání. Ilustrační příklad: volební preference Jaká je vhodná velikost vzorku N abychom dosáhli rozumně veliké síly testu při zachování nízké hladiny testu v této situaci? STATISTICA předpokládá v podobných případech použití spíše χ testu než přesného binomického testu. Chí-kvadrát test dobré shody H :, 0 π i = π i0 i =, K, k H : non H 0 Kritický obor W α Testová statistika G = ( ni n i nππ i= i0 má za platnosti nulové hypotézy asymptoticky chí-kvadrát rozdělení s (k-) stupni volnosti. nπ 5 i0 = { G χ α } k ) Analýza síly testu ve STATISTICA 36 9

10 6..0 Ilustrační příklad: volební preference Ilustrační příklad: volební preference Aproximace normálním rozdělením Pro velká N a hodnoty α, které nejsou blízké 0 nebo, lze binomické rozdělení aproximovat normálním rozdělením Bi( N, π ) N( π, π ( π ) N) ). Volba t-statistika používá pro výpočet přesné hodnoty pravděpodobnosti zamítnutí H 0 binomické rozdělení. Volba Přibližný používá normální aproximaci binomického rozdělení a počítá přibližnou hodnotu pravděpodobnosti zamítnutí H 0. Aproximace normálním rozdělením Testová statistika pro testování hypotézy H 0 : π=π 0 je rovna p π 0 Z =. π ( 0 π 0) N U malých vzorků se uplatňuje oprava na spojitost: ( p + C) π Z C = N π 0( π 0) C = N 0.5 N pro p π pro p < π 0 0 0

11 6..0 Ilustrační příklad: volební preference Ilustrační příklad: volební preference Ilustrační příklad: volební preference Ilustrační příklad: volební preference Stanovili jsme rozsah výběru pro detekci efektu 0.05, je tento rozsah výběru dostatečný i pro efekt jiné velikosti? V praxi neprovádíme výpočet síly testu pouze pro jedinou hodnotu efektu, ale zabýváme se rozsahem výběru pro různě velké efekty... Vypočtená velikost vzorku je 607, dosažená síla testubude přesně a pravděpodobnost chyby prvního druhu bude Při této velikosti vzorku jsme schopni detekovat efekt 0.55.

12 6..0 Ilustrační příklad: volební preference Síla testu v závislosti na velikosti efektu při pevném rozsahu výběru. Ilustrační příklad: volební preference Síla testu v závislosti na rozsahu výběru pro několik velikostí efektu. Jednovýběrový t-test T-testy 0..0 Analýza síly testu ve STATISTICA 47

13 6..0 Test hypotézy o střední hodnotě H 0 : µ = µ 0 H : µ µ 0 Kritický obor W α = { T t α } x µ T = 0 Testová statistika sn n má za platnosti nulové hypotézy Studentovo t-rozdělení s (n-) stupni volnosti. Obecně má testová statistika necentrální t rozdělení s (n-) stupni volnostia parametrem necentrality δ=n / E S, kde E S µ µ 0 =. σ Index BMI BMI je podíl váhy[kg] a druhé mocniny výšky[m]. Hodnocení BMI: 0-5 optimum 6-30 mírná nadváha 3-35 obezita.stupně obezita.stupně Trpí v průměru populace nadváhou nebo obezitou? Jaká je síla testu, je-li skutečná průměrná hodnota BMI v populaci rovna 5.3 a populační směrodatná odchylka BMI je 4.? 0..0 Analýza síly testu ve STATISTICA 49 BMI Index BMI index - síla testu H H 0 : X 5 : X > 5 Vaha.sta 3

14 6..0 BMI index síla testu BMI index velikost výběru Jak velký výběr zaručí sílu testu 0.8 i pro malý efekt? (E s =0.) BMI optimální rozsah výběru Dvouvýběrový t-test 4

15 6..0 Test hypotézy o shodě středních hodnot dvou nezávislých výběrů H H : µ = µ 0 µ : µ Testová statistika T = x x má za platnosti nulové hypotézy Studentovo t-rozdělení s (n +n -) stupni volnosti. s s + n n Příklad: t-test, nezávislé vzorky Plánované rozsahy skupin jsou 5 pro každý výběr. Populační směrodatná odchylka u obou skupin nechť je 5. Nechť skupina je kontrolní, a lze předpokládat, že populační průměr sledované charakteristiky je roven 00. Kritický obor W α = { T t α } Obecně má testová statistika necentrální t rozdělení s (n-) stupni volnostia parametrem necentrality µ δ=(n n /(n +n )) / E S, kde µ E S =. σ Populační průměr u skupiny je předmětem experimentu, nicméně z hlediska prováděného experimentu nebude provedené ošetření u této skupiny shledáno efektivním, pokud nezvýší populační průměr alespoň na hodnotu Analýza síly testu ve STATISTICA 57 Příklad: t-test, nezávislé vzorky Mí, Mí populační průměry pro první a druhou skupinu N, N rozsahy vzorků pro první a druhou skupinu Sigma populační směrodatná odchylka (shodné rozptyly skupin) Příklad: t-test, nezávislé vzorky V praxi většinou neznáme populační průměry skupin ani hodnotu jejich společné populační směrodatné odchylky. Velikost síly testu závisí na tzv. velikosti efektu (effect size) E s µ µ = σ Informace o konkrétních hodnotách populačních charakteristik lze převést na velikost tohoto efektu. 5

16 6..0 Velikost efektu E s µ µ = σ V literatuře (např. Cohen, 983: Statistical Power AnalysisfortheBehavioral Sciences) jsou pro tento test doporučována následující pravidla: Es Příklad: t-test, nezávislé vzorky µ µ = σ Při zachování N, N a α je síla testu stejná, pokud se nezmění velikost efektu.. Malý efekt. Středně velký efekt 3. Velký efekt E s E s E s = 0. = 0.5 = 0.8 Příklad: t-test, nezávislé vzorky V našem příkladě je dosažená síla rovna 0.8. Obvyklá nejmenší akceptovaná hodnota je kolem 0.8. Pro detekci středně velkého efektu na hladině α=5 % je tedy velikost skupin 5 nedostatečná. Grafická analýza velikosti síly testu Diagramy síly testu: Síla vs. N Minimální potřebná velikost skupin pro dosažení síly testu alespoň 0.8 je přibližně 64. 6

17 6..0 Grafická analýza velikosti síly testu Diagramy síly testu: Síla vs. α Grafická analýza velikosti síly testu Diagramy síly testu: Síla vs. Es (středně velký efekt) Síla testu roste s rostoucí chybou prvního druhu. Malá změna αsílu zvýší jen minimálně, navíc již používáme největší přípustnou hodnotu pro chybu prvního druhu. Minimální potřebná velikost skupin pro dosažení síly testu alespoň 0.8 je přibližně 64. Grafická analýza velikosti síly testu Výpočet velikosti vzorku Diagramy síly testu: Síla vs. Es (středně velký efekt) Vykreslíme i graf pro N=N=35. Zvýšením rozsahu skupin o 0 získáme test se silou vyšší o 0.0 až

18 6..0 Výpočet velikosti vzorku Výpočet velikosti vzorku Výpočet velikosti vzorku Jednofaktorová ANOVA 0..0 Analýza síly testu ve STATISTICA 7 8

19 6..0 Jednofaktorová ANOVA H µ = µ = K = µ k H : i, j : µ µ 0 : i j Porovnáváme průměrnou úroveň spojité veličiny u k skupin. Celkovou variabilitu zkoumané proměnné rozdělíme na meziskupinovou a vnitroskupinovou. s T = sa + se Testová statistika n k sa má za platnosti nulové hypotézy centrální F F = k s rozdělení s k- a n-k stupni volnosti. e Za platnosti alternativní hypotézy, má testová statistika necentrální F rozdělení s parametrem necentrality δ. Jednofaktorová ANOVA síla testu Síla testu: pravděpodobnost oprávněného zamítnutí nulové hypotézy P( F F α ( k, n k)) = Fδ ( F α ( k, n k)). Jednofaktorová ANOVA Jednofaktorová ANOVA Zajímá nás efekt nového léku, který je vylepšenou verzí léku testovaného před dvěma lety. Jakou sílu testu požadovat? Jaká velikost vzorku je potřeba pro dosažení této síly? 9

20 6..0 i Jednofaktorová ANOVA Y = µ + α + e j ij Pevné efekty porovnáváme ošetření, které jsme pozorovali v experimentu. Náhodné efekty konkrétní ošetření dosažená v experimentu (hodnoty faktorové proměnné) jsou náhodným výběrem z nějaké větší množiny možných hodnot. RMSSE (Root Mean Square Standardized Effect) RMSSE = J j= α j σ J f = J j= α j σ J Jednofaktorová ANOVA RMSSE nemění se, pokud ke všem skupinovým průměrům přičteme stejnou konstantu. Nicméně je těžké určit hodnoty efektu představující malý, střední a velký rozdíl porovnávaných populačních průměrů. Jednofaktorová ANOVA Jednofaktorová ANOVA 0

21 6..0 Jednofaktorová ANOVA Jednofaktorová ANOVA RMSSE a f jsou invariantní vůči lineární transformaci skupinových průměrů. Průměrný efekt je v obou případech 0., ale RMSSE se podstatně liší. Jednofaktorová ANOVA Cohen doporučení f=0. malý efekt f=0.5 středně velký efekt f=0.40 velký efekt - Pouze hrubé vodítko. Je třeba zkoumat nějaký širší rozsah hodnot RMSSE, resp. f. StatSoft doporučení pro RMSSE RMSSE=0.5 malý efekt RMSSE=0.3 středně velký efekt RMSSE=0.5 velký efekt RMSSE = J f J Pro 4 sk. je odpovídající RMSSE rovno 0,886. Výpočet síly testu

22 6..0 Výpočet síly testu Grafická analýza síly testu ANOVA Nejstrmější nárůst síly testu pro N mezi 5 a 50. Síla testu je příliš malá, zvětšíme počáteční N na 5 a konečné na 00. Velký efekt Velký efekt

23 6..0 Model s interakcí Dvoufaktorová ANOVA Odezva se pro hodnoty faktorů liší jen posunutím. Odezva se pro hodnoty faktorů liší i jinak než posunutím 0..0 Analýza síly testu ve STATISTICA 89 kvalitativní znaky: k kategorií prvního faktoru l kategorií druhého faktoru H 0A : α = α = =α k H 0B : β = β = = β l H 0AB : γ = γ = = γ kl F A Model dvojného třídění T n kl s = k Y = µ + α + β + λ + e jgp řádkové efekty sloupcové efekty interakce s = s + s + s + s A j B n kl s g AB A B AB F B = F AB = se l se ( k )( l ) se jg e jgp n kl s Síla testu Předpoklad stejně velkých skupin o rozsahu N. Další parametry: počet kategorií obou faktorů RMSSE pro řádky RMSSE pro sloupce RMSSE pro interakci Steiger and Fouladi(997) 3

24 6..0 RMSSE pro řádky RMSSE pro sloupce RMSSE pro interakci Síla testu RMSSE RMSSE RMSSE α β γ = = = k i= l j= αi σ k β j σ l k l γ ij i= j= σ ( k )( l ) Parametr necentrality a RMSSE Fstatistiky pro test řádkového, sloupcového efektu a efektu interakcí mají obecně necentrální Frozdělení. Parametr necentrality δ úzce souvisí s RMSSE, např. F statistika pro řádkový efekt má necentrálnífrozdělení s k- a kl(n-)stupni volnosti a parametr necentrality je dán předpisem: k αi δα = nl i= σ = nl ( k )( RMSSEα ) Síla testu Síla testu 4

25 6..0 Pearsonův korelační koeficient Test nulovosti korelace ρ X, Y = cov ( X, Y ) var X var Y = E( X E X )( Y E Y ) var X var Y - 0 Silná negativní závislost Y = -k X Silná pozitivní závislost Y = k X Mezi veličinami není lineární závislost 0..0 Analýza síly testu ve STATISTICA 97 Pearsonův korelační koeficient Pearsonův korelační koeficient ρ X, Y = cov ( X, Y ) var X var Y = E( X E X )( Y E Y ) var X var Y Nezávisí na jednotkách ρ ρ X, Y = sign( ac ) ax + b, cy + d - 0 Silná negativní závislost Y = -k X Silná pozitivní závislost Y = k X Mezi veličinami není lineární závislost Výběrový korelační koeficient r = X, Y S S XY X S Y S S X XY = n = n n i = n i = ( X X ) i ( X X )( Y Y ) i i 5

26 6..0 Test nulovosti korelace H 0 : ρ=0 proti H : ρ >0 r T = n r Jestliže je (X, Y) výběr z dvourozměrného norm. rozdělení a ρ=0, potom má testová statistika T t-rozdělenís n- stupni volnosti. Příklad Jaká je síla testu nulovosti korelace pro rozsah výběru 45, pokud skutečná korelace dosahuje hodnoty 0.30? V případě, že je síla testu příliš malá, jaká velikost výběru zaručí sílu 0.90? Síla testu Síla testu t-statistika:přesný výpočet, pomalý, ale pro rozsahy vzorků typické pro výzkumné práce je dostatečný. Fisherovo Z (uprav.): metoda užívající Fisherovu transformaci s upravenými vzorci pro výpočet průměru a rozptylu (Fouladi, 99). Fisher Z (původ.): používá tradiční aproximaci založenou na Fisherově transformaci. Předpokladá, že Fisherova aproximace r je v průměru rovna skutečné hodnotě ρ a rozptyl Fisherovy transformace r je roven (N-3) /. 6

27 6..0 FisherovaZ-transformace R. A. Fisher postup pro testování nulovosti korelačního koeficientu + r Z = ln r Test významnosti korelace 0..0 S rostoucím rozsahem výběru n se rozdělení náhodné veličiny Z blíží normálnímu rozdělení: N ln + ρ ρ + ; ρ ( n ) N n 3 ln + ρ ; ρ n 3 Za platnosti nulové hypotézy (nulovost korelačního koeficientu) má Z rozdělení N(0; /(n-3)) a veličina U má přibližně rozdělení N(0,) n 3 + r U = ln r Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 06 Síla testu Výpočet vhodného rozsahu výběru Dosažená síla testu je 0.575, tato hodnota je nedostatečná Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 08 7

28 6..0 Výpočet vhodného rozsahu výběru Přesný interval spolehlivosti pro korelační koeficient Vhodná velikost výběru je místo Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 0 Přesný interval spolehlivosti pro korelační koeficient Přesný interval spolehlivosti pro korelační koeficient Závěr: Za předpokladu, že skutečná hodnota korelace v populaci je 0.30 jsme stanovili rozsah výběru N=, který zaručí sílu testu (hladina testu α=5 %). Pokud je v tomto výběru hodnota pozorovaného korelačního koeficientu 0.0, jsme schopni kromě testu nulovosti korelace (p=0.0343) stanovit i 95% interval spolehlivosti pro odhad korelačního koeficientu, který nám poskytne přesnější informaci než uvedená p-hodnota. Můžeme porovnat vhodnost rozsahu výběru i podle šířky získaného intervalu spolehlivosti Analýza síly testu ve STATISTICA 0..0 Analýza síly testu ve STATISTICA 8

29 6..0 Přesný interval spolehlivosti pro korelační koeficient Použijeme-li přesný výpočet intervalu spolehlivosti, bude takto získaný interval spolehlivosti pro korelační koeficient obsahovat nulu právě tehdy, když (oboustranný) test nulovosti korelace zamítne nulovou hypotézu. Pearsonův korelační koeficient Interval spolehlivosti asymptotický interval spolehlivosti C L, U α u( ) = exp Z ± n 3 C C L L C, + C U U Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 4 Test pro konkrétní nenulovou hodnotu korelace Příklad Chceme testovat hypotézu, že populační korelační koeficient je roven 0.6 proti oboustranné alternativě. H 0 : ρ=a=0.60 proti H : ρ-a = ρ-0.6 >0 Pro experiment jsme použili výběr o rozsahu N=00 a hodnota výběrového korelačního koeficientu byla 0.7. Jaká je síla testu, je-li skutečná hodnota korelace v populaci 0.45? 0..0 Analýza síly testu ve STATISTICA 6 9

30 6..0 Pravděpodobnostní kalkulátor STATISTICA Pravděpodobnostní kalkulátor STATISTICA Pro výpočet kritických hodnot r pro oboustranný test na hladině α=0.05 spočteme r pro hodnoty kum. p. 0.05a 0.975: Kritické hodnoty jsou tedy a Pro oboustranný test, kdy pozorovaná hodnota korelace je 0.7, spočteme p-hodnotu testu: *P(T>0.7) =* = Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 8 Výpočet síly testu Výpočet síly testu Předpokládáme, že skutečná hodnota korelace je 0.60, spočteme kritické hodnoty testu: Kritické hodnoty jsou a Ponecháme vždy kritickou hodnotu jako hodnotu pozorovaného r a hodnotu Ró nastavíme na Pravděpodobnost, že výběrová korelace bude nižší než dolní kritická hodnota, je za předpokladu ρ=0.45 rovna Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 0 30

31 6..0 Pravděpodobnost, že výběrová korelace bude za předpokladu ρ=0.45 vyšší než horní kritická hodnota, je rovna Výpočet síly testu Výpočet síly testu Je-li hodnota populační korelace 0.60 a výběrová korelace dosahuje hodnoty 0.45, pak pravděpodobnost, že zamítneme nulovou hypotézu, která neplatí, (tedy síla testu) je rovna součtu obou získaných podmíněných pravděpodobností: P( r < ) + P( r > ) = = = = Analýza síly testu ve STATISTICA 0..0 Analýza síly testu ve STATISTICA Příklad Test pro porovnání dvou korelací Zajímá nás síla testu, zda korelace mezi váhou a výškou je přibližně stejná ve čtvrté i osmé třídě ZŠ. Předpokládáme, že hodnoty populačních korelačních koeficientů jsou rovny ρ =0.45, ρ =0.8. Rozsahy výběrů, které máme k dispozici jsou N =50, N =60, výběrové korelace jsou r =0.67, r = Analýza síly testu ve STATISTICA 4 3

32 6..0 Testy rovnosti korelačních koeficientů k nezávislých výběrů z dvojrozměrných normálních rozdělení H 0 : ρ =ρ =...=ρ k + ri Zí = ln k=: ri Za platnosti H 0 má Z -Z má přibližně N(0, /(n -3)+/(n -3)) Výsledky pro oboustranný test k>=3: U = Z Z + n 3 n 3 U α u Q = k ( n i 3 ) ( Z i b ) i = k b = ( n i 3 ) Z Q χ i k ( α ) n 3 k i = 0..0 Analýza síly testu ve STATISTICA 6 Síla testu Síla testu 0..0 Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 8 3

33 6..0 Síla testu v závislosti na ρ Jaké jsou vhodné rozsahy vzorků pro dosažení síly testu alespoň 0.70? Pozn. Přípustné rozmezí pro požadovanou sílu testu je Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 30 Rozsah výběru McNemarův test 0..0 Analýza síly testu ve STATISTICA 3 33

34 6..0 McNemarův test Neparametrický test pro dvě závislé nominální veličiny (čtvercová kontingenční tabulka x). Testujeme, zda jsou marginální četnosti stejné (test homogenity): Test A pozitivní Test A negativní Sloupcové součty Test B pozitivní Test B negativní Řádkové součty a b a+b c d c+d a+c b+d McNemarův test H 0 : p b =p c proti H : p b -p c >0 Nulová hypotéza říká, že marginální pravděpodobnosti pro obě veličiny jsou shodné, tedy p a + p b =p a + p c a p c + p d =p b +p d. Testová statistika χ =( b-c -) /(b+c) Test B pozitivní Test B negativní Řádkové součty Test A pozitivní a b a+b Test A negativní c d c+d Sloupcové součty a+c b+d 0..0 Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 34 McNemarův test Příklad: McNemarův test Porovnání dvou dichotomických proměnných (např. počet studentů, kteří zvládli testy základních matematických schopností na začátku semestru a na jeho konci). Jaký je vhodný rozsah výběru pro McNemarův test, který chceme použít pro testování zda spolu souvisí kouření a pití alkoholu, chceme-li sílu testu alespoň 0.80? Máme-li k dispozici výběr celkem 50 jedinců, jakou můžeme očekávat sílu testu? 0..0 Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 36 34

35 6..0 Rozsah výběru Rozsah výběru Delta Hodnota mezi 0 a, je rovna rozdílu relativních četností (b-c)/n. H 0 :δ=0. Éta (Nuisance parameter) udává celkový součet četností (b+c)/n. Alfa Hladina testu, default je Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 38 Rozsah výběru Síla testu 0..0 Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 40 35

36 6..0 McNemarův test síla testu Koeficient determinace R 0..0 Analýza síly testu ve STATISTICA 4 Regresní analýza Lineární regrese modeluje závislost spojité proměnné pomocí spojitých nezávisle proměnných. Model je zpravidla hodnocen na základě p-hodnot testů nulovosti regresních koeficientů a tzv. koeficientu determinace (druhá mocnina vícenásobného korelačního koeficientu), který udává procento variability závisle proměnné vystižené daným modelem. Regresní analýza Podrobnější informaci o kvalitě modelu lze získat z intervalu spolehlivosti pro hodnotu populačního koeficientu determinace P Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 44 36

37 6..0 Předpokládejme, že jsme vytvořili model vícenásobné regrese s 5 nezávisle proměnnými pro výběr o velikosti N=04 a získali jsme koeficient determinace R =0.30. Příklad: regrese Příklad: regrese Interval spolehlivosti pro P Dolní hranice je hodnota odhadu dolní meze intervalu spolehlivosti pro jednostrannou hypotézu. Hranice pro sílu testu jsou post-hoc odhadem intervalu spolehlivosti pro sílu testu, požadované síle pak odpovídá odhad pro potřebný rozsah vzorku. Koeficient determinace sice vyšel signifikantní, ale jeho interval spolehlivosti je poměrně široký a obsahuje i hodnoty blízké nule, proto lze očekávat, že i síla testu bude dosahovat velkých nebo malých hodnot Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 46 Testy o koeficientu determinace Koeficient deterninace kritické hodnoty Zajímavým testem je test hypotézy H 0 : P a. Cíle: Kritické hodnoty pro testy libovolných hypotéz o P p-hodnota pro pozorované R Stanovení síly testu pro testování hypotézy pro konkrétní alternativu, že P =0.30. Kritická hodnota pro jednostrannou hypotézu je Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 48 37

38 6..0 Koeficient determinace p-hodnota Zobecněná rozdělení 0..0 Analýza síly testu ve STATISTICA 49 Necentrální χ -rozdělení Náhodné veličiny X i nechť jsou nezávislé a mají normální rozdělení N(µ i,σ i ). Potom náhodná veličina k i= X i σ i má necentrální χ dané počtem stupňů volnosti k a parametrem necentrality δ, definovaným často jako k µ i δ = i=. σ i Hustota pravděpodobnosti Příklad: Necentrální chí-kvadrát Chí-kvadrát test dobré shody Chí-kvadrát test nezávislosti pro kontingenční tabulky Chí-kvadrát test homogenity Testové statistiky mají při splnění H 0 chí-kvadrát rozdělení s ν stupni volnosti Pokud H0 neplatí, mají testové statistiky necentrální chí-kvadrát rozdělení se stejným počtem stupňů volnosti ν a s parametrem necentrality δ, který závisí na tvaru uvažované alternativní hypotézy 0..0 Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 5 38

39 6..0 Příklad: Necentrální chí-kvadrát Uvažujme chí-kvadrát test dobré shody s nulovou hypotézou a alternativou H H : 0 p i = pi0 : i : p i p 0. i k x 0 Testová statistika i npi G k = má asymptoticky chíkvadrát rozdělení s k- stupni i= npi 0 volnosti. Příklad: Necentrální chí-kvadrát Pro výpočet síly testu P( G k > χ k, α potřebujeme parametr necentrality δ = n ) k ( pi pi0 ), i= i0 kde p i jsou hodnoty pravděpodobností dané konkrétní specifikovanou alternativou. p Nulovou hypotézu zamítáme, když G > k χk, α Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 54 Příklad: Necentrální chí-kvadrát Příklad: Necentrální chí-kvadrát Uvažujme konkrétně test hypotézy H 0 : pi = pi0 =, i =, K,6 6 Jestliže ve skutečnosti platí, že p 6 =/4, a všechny ostatní pravděpodobnosti jsou homogenní. A) najděte sílu testu pro tuto alternativu, pro hladinu spolehlivosti α=0.05 a rozsah výběru n=0. B) Najděte také minimální n, tak aby dosažená síla testu pro danou alternativu byla alespoň Jestliže je p 6 =/4 a zbylé pravděpodobnosti jsou stejné, platí p i =3/0, pro i=,, 5. Parametr necentrality je tedy roven 6 δ = n ( p p ) i= i = n n = 0 i i0 = p Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 56 39

40 6..0 Příklad: Necentrální chí-kvadrát P( Gk > χk, ) = P( Gk >.07) = Χk, α δ (.07) Nulovou hypotézu zamítáme pro hodnotu testové statistiky větší než 95% kvantil chí-kvadrát rozdělení s 5 stupni volnosti:.07. Síla testu je tedy Příklad: Necentrální chí-kvadrát Při změně velikosti rozsahu výběru se změní i parametr necentrality. Spočteme tedy nejprve jeho novou hodnotu pro sílu testu -p=0.90 Nová hodnota parametru necentrality je rovna 6.5, protože platí n δ =, 0 dostáváme minimální rozsah výběru 0 δ = = Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 58 Příklad: Chí-kvadrát test nezávislosti H 0 : π ij = π i. π. j, i =, K, r, j =, K, s H : non H 0 Testová statistikag = Kritický obor W α k = i.. j má za platnosti nulové hypotézy asymptoticky chí-kvadrát rozdělení s (k-) stupni volnosti. nπ 5 i0 = { G χ α } rs ( n nπ π ij nπ π i.. j ) Necentrální t-rozdělení Parametr necentrality delta(v případě jednovýběrového testu je roven populačnímu průměru, v případě dvouvýběrového rozdílu populačních průměrů). Nechť je Znáhodná veličina s rozdělenímn(0,)a Vnáhodná veličina s rozdělením χ s νstupni volnosti, pak má T necentrální t- rozdělení s parametrem necentrality δ a ν stupni volnosti. Z + δ T = V ν 0..0 Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 60 40

41 6..0 Necentrální F-rozdělení Má-li náhodná veličina X necentrální χ s parametrem necentrality δ a ν stupni volnosti a Y je náhodná veličina s χ rozdělením s ν stupni volnosti, pak statistika X / ν F = Y / ν má necentrální F rozdělení s ν a ν stupni volnosti a parametrem necentrality δ. Příklad: Vyvážená jednofaktorová ANOVA Uvažujme test hypotézy H 0 : µ = µ = µ 3 při skutečných hodnotách µ =59, µ =66a µ 3 =4a dále σ=, α=0.05a n =n =n 3 =4. Testová statistika je porovnávána s 95% kvantilem F-rozdělení s a 9 stupni volnosti, tj. s hodnotou Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 6 Příklad: Vyvážená jednofaktorová ANOVA Příklad: Vyvážená jednofaktorová ANOVA Při µ =59, µ =66 a µ 3 =4 a σ=, n =n =n 3 =4 je parametr necentrality roven P( F > F (; )) = P( F > 4.56) = F(; 9; δ = 8.463) δ = n k j= ( µ j µ ) k σ = 3 j= = ( µ j ) 3 44 = Síla testu je Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 64 4

42 6..0 Příklad: Vyvážená jednofaktorová ANOVA Pro srovnání f = 3 j= µ j µ σ 3 RMSSE = = j= j= µ j µ σ = 3 µ j σ =.085 Příklad: Nevyvážená ANOVA V případě nevyvážené analýzy rozptylu (tj. rozsahy skupin se liší) je třeba pro výpočet parametru necentrality použít vzorec: k n j δ = n j= n ( µ µ ) j σ váhy jednotlivých skupin 0..0 Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 66 Příklad: Nevyvážená ANOVA Testujeme hypotézu Příklad: Nevyvážená ANOVA Testovou statistiku porovnáváme s hodnotou kvantilu F 0.95 (; 47)=3.95. H : µ = µ =. 3 0 µ Určete sílu testu, jsou-li skutečné hodnoty µ =3, µ =7 a µ 3 =8 a dále σ=4, n =0, n =0, n 3 = Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 68 4

43 6..0 µ Příklad: Nevyvážená ANOVA 3 = j= n µ = j n j 50 ( ) = 6. 6 Parametr necentrality k n ( ) j µ j µ δ = n = j= n σ = = = = 0.75 Příklad: Nevyvážená ANOVA Jaký je minimální rozsah výběru, jestliže požadovaná síla je 0.9? Váhy jednotlivých skupin zachováme. Výsledná síla testu je Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 70 Příklad: Nevyvážená ANOVA Spočteme delta: Ze vztahu 0.5n = δ = 3.5 vyjádříme n, n=6.78. Aby rozsahy skupin byly celá čísla, vezmeme nejbližší vyšší násobek pěti, tedy n=65. Nevyvážená ANOVA Návrh experimentu Jednotlivé skupiny mají nějaké konkrétní relativní četnosti n i v rámci celé populace n Výběr Náhodně vybereme n jednotekz celé populace (relativní četnosti jsou zachovány) Vybereme vždy n i =n/k jednotek v každé skupině (relativní četnosti zachovány nejsou) Výsledek Předpokládejme, že v populaci je skupina malého rozsahu, n i =p, která má extrémní hodnoty (tj. průměr sledované charakteristiky je významně vyšší než v ostatních skupinách). V prvním případě bude f, resp. RMSSEmenší než ve druhém případě, a tedy ve druhém případě získáme větší sílu testu Analýza síly testu ve STATISTICA Analýza síly testu ve STATISTICA 7 43

44 6..0 Děkuji za pozornost Analýza síly testu ve STATISTICA 73 44