Analýza rozptylu. Ekonometrie. Jiří Neubauer. Katedra kvantitativních metod FVL UO Brno kancelář 69a, tel

Transkript

1 Analýza rozptylu Ekonometrie Jiří Neubauer Katedra kvantitativních metod FVL UO Brno kancelář 69a, tel Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 1 / 30

2 Analýza rozptylu je nástroj pro zkoumání vztahu mezi vysvětlovanými a vysvětlujícími proměnnými. Vysvětlované proměnné jsou vždy kvantitativní, u vysvětlujících proměnných (označují se jako faktory) na typu nezáleží. Faktory nabývají pouze malého počtu obměn (úrovní), podle nichž lze hodnoty vysvětlovaných proměnných třídit do skupin. jednofaktorová ANOVA vliv jednoho faktoru na vysvětlovanou proměnnou vícefaktorová ANOVA vliv více faktorů (dvojné, trojné třídění, atd.) vícerozměrná analýza rozptylu MANOVA vliv jednoho či více faktorů na několik vysvětlovaných proměnných současně Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 2 / 30

3 Prokázat závislost vysvětlované proměnné Y (kvantitativní proměnná) na vysvětlujících proměnných (faktorech), znamená prokázat rozdílné úrovně proměnné Y v jednotlivých podsouborech skupinách, vzniklých tříděním podle faktoru A. Předpokládejme, že máme k nezávislých náhodných výběrů z normálních rozdělení N(µ 1, σ 2 ), N(µ 2, σ 2 ),..., N(µ k, σ 2 ), kde µ 1, µ 2,..., µ k jsou střední hodnoty veličiny Y v jednotlivých skupinách. Testujeme hypotézu H : µ 1 = µ 2 = = µ k proti alternativě A : µ i µ j, pro alespoň jednu dvojici i j, i = 1, 2,..., k, j = 1, 2,..., k, která znamená, že alespoň některá rovnost mezi středními hodnotami neplatí. Východiskem jsou naměřené hodnoty proměnné Y roztříděné do k skupin podle úrovní (variant) faktoru A. Náhodný výběr z rozdělení N(µ i, σ 2 ) označíme Y i1, Y i2,..., Y i,ni, kde n i je jeho rozsah. Všechny výběry potom mají rozsah n = n 1 + n n k = k n i. Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 3 / 30

4 V jednotlivých skupinách určíme tzv. podmíněné charakteristiky Označme podmíněný průměr v i-té skupině Ȳ i. = 1 n i ni podmíněný rozptyl v i-té skupině S 2 i. = 1 n i 1 celkový průměr Ȳ.. = 1 n k ni celkový rozptyl S 2.. = 1 n 1 k Dále definujme j=1 Y ij j=1 Y ij ni j=1 (Y ij Ȳ..) 2 ni j=1 (Y ij Ȳ i. ) 2 rozptyl podmíněných průměrů S 2 Ȳ i. = 1 k n 1 (Ȳi. Ȳ..)2 n i průměr podmíněných rozptylů S i. 2 = 1 k n S i.n 2 i Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 4 / 30

5 Příklad: U 42 zákrsku jabloní bylo zaznamenáno stáří stromu v letech (faktor A) a roční sklizeň (znak Y ). x i y j n i Ȳ i. Si. 2 (n i 1)Si ,200 1,200 4, ,143 1,810 10, ,333 1,467 7, ,500 0,700 3, ,667 1,067 5, ,667 1,867 9, ,000 2,000 10, ,157 Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 5 / 30

6 Podstatou analýzy rozptylu je rozklad celkového rozptylu na složku objasněnou známý zdroj variability, a na složku neobjasněnou reziduální, chybovou, o níž se předpokládá, že je náhodná. Zřejmě platí Y ij Ȳ.. = (Y ij Ȳi.) + (Ȳi. Ȳ..). Umocněním a sumací přes i a j dostáváme n k i n k i n k i n k i (Y ij Ȳ..)2 = (Y ij Ȳi.) 2 +2 (Y ij Ȳi.)(Ȳi. Ȳ..)+ j=1 Lze ukázat, že člen 2 k n k i j=1 (Y ij Ȳ..)2 j=1 ni j=1 j=1 j=1 (Y ij Ȳi.)(Ȳi. Ȳ..) je roven nule. Potom platí n k i n k = (Y ij Ȳi.) i 2 + (Ȳi. Ȳ..)2. j=1 }{{}}{{}}{{} S c = S e + S A S c značí celkovou variabilitu, S c = k ni j=1 (Y ij Ȳ..) 2 = (n 1)S.., 2 S A je variabilita vysvětlená faktorem A, S A = k ni j=1 (Ȳi. Ȳ..)2 = k n i(ȳi. Ȳ..)2 = (n 1)S 2 Ȳ i., S e je variabilita reziduální (vnitřní), S e = k j=1 (Ȳi. Ȳ..)2. ni j=1 (Y ij Ȳi.) 2 = k (n i 1)S 2 i.. Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 6 / 30

7 Z analyzovaného datového souboru dostáváme: S A = 77,248 S e = 51,157 S c = 128,405 Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 7 / 30

8 Důležitým předpokladem použití analýzy rozptylu je, že každý z k nezávislých výběrů (což odpovídá k řádkům v korelační tabulce) proměnné Y pochází z normálního rozdělení N(µ i, σ 2 ) se stejným rozptylem σ 2. Předpoklad normality lze ověřit testy normality, avšak s přihlédnutím k rozsahům výběrů se v praxi se od toho často upouští a posuzuje se pouze, zda se ve skupinách hodnot proměnné Y, zjištěných na jednotlivých úrovních faktoru X, nevyskytují výslovně extrémní hodnoty a zda se hodnoty blízké podmíněným průměrům vyskytují častěji než hodnoty, jejichž vzdálenost od podmíněných průměrů je větší. K ověření hypotézy o stejných rozptylech k normálních rozdělení lze použít Bartlettův test (je velmi citlivý na porušení předpokladu normality), lze použít i jiné testy, např. Hartleyův nebo Cochranův test (předp. se stejné četnosti ve třídách) případně Fligner-Killeenův test. Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 8 / 30

9 Jestliže k nezávislých výběrů pochází z normálních rozdělení se stejnými rozptyly, lze kolísání - variabilitu podmíněných průměrů interpretovat jako závislost proměnné Y na faktoru X, zatím co kolísání hodnot proměnné Y uvnitř jednotlivých skupin budeme vnímat jako závislosti proměnné Y na dalších činitelích (v analýze nesledovaných). Koeficient determinace p 2 je definován vztahem p 2 = S A S c. p 2 0, 1, udává, jaké % rozptylu závisle proměnné Y lze vysvětlit vlivem faktoru A, neshoda mezi středními hodnotami µ i, i = 1,..., k se považuje za tím silnější, čím více se p 2 blíží k 1 a naopak Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 9 / 30

10 Test o shodě podmíněných středních hodnot: H : µ 1 = µ 2 = = µ k A : µ i µ j pro nějaké i, j = 1,..., k, i j Testové kritérium je statistika F = S A k 1 S e n k = (n k) S A (k 1) S e, které má při platnosti hypotézy H Fisherovo-Snedecorovo rozdělení F (k 1, n k). Kritický obor je dán W α : F F 1 α(k 1, n k). Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 10 / 30

11 Z analyzovaných dat (velikost sklizně v závislosti na stáří stromu) jsme získali následující údaje: n = 42, počet skupin (hodnot faktorů) k = 7, S A = 77,248, S e = 51,157 a S c = 128, 405. Koeficient determinace má hodnotu p 2 = S A S c = 0,602. Budeme testovat hypotézu (na hladině významnosti 0,05) H : µ 1 = µ 2 = = µ 7 A : µ i µ j pro nějaké i, j = 1,..., 7, i j F = S A k 1 S e n k = (n k) S A (42 7) 77,248 = (k 1) S e (7 1) 51,157 = 8,808. Kritický obor je W α : 8,808 F 0,95(6, 35) = 2,372, na hladině významnosti 0,05 zamítáme nulovou hypotézu o rovnosti středních hodnot. S pravděpodobností 95 % můžeme tvrdit, že stáří stromu ovlivňuje velikost sklizně. Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 11 / 30

12 Možnosti výpočtu: Excel Analýza dat Anova: jeden faktor R funkce aov, (Bartlettův test bartltett.test, Fligner-Killeenův test fligner.test) Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 12 / 30

13 v Excelu Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 13 / 30

14 v R Datový soubor anova sklizen.txt obsahuje 2 sloupce se záhlavím stari a sklizen > data<-read.table("anova sklizen.txt",header=t) > attach(data) > names(data) > stari<-factor(stari) > summary(aov(sklizen stari)) Df Sum Sq Mean Sq F value Pr(>F) stari e-06 *** Residuals Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 14 / 30

15 v R Obrázek: Bodový diagram Obrázek: Krabicové diagramy boxplot Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 15 / 30

16 v R Ověření předpokladu homoskedasticity (stejné rozptyly ve všech skupinách) je možné provést pomocí Bartlettova nebo Fligner-Killeenůvova testu. > bartlett.test(sklizen stari) Bartlett test of homogeneity of variances data: sklizen by stari Bartlett s K-squared = , df = 6, p-value = > fligner.test(sklizen stari) Fligner-Killeen test of homogeneity of variances data: sklizen by stari Fligner-Killeen:med chi-squared = , df = 6, p-value = Předpoklad homoskedasticity je přijatelný. Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 16 / 30

17 Mnohonásobné porovnávání v R Tukeyho metoda Jedná se v podstatě o řadu dvouvýběrových t-testů, u nichž je upravena hladina významnosti > TukeyHSD(aov(sklizen stari)) > plot(tukeyhsd(aov(sklizen stari))) Tukey multiple comparisons of means 95% family-wise confidence level Fit: aov(formula = sklizen stari) diff lwr upr p adj Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 17 / 30

18 Mnohonásobné porovnávání v R Tukeyho metoda Obrázek: Mnohonásobné porovnávání Tukeyho metoda Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 18 / 30

19 Dvoufaktorová ANOVA Dvoufaktorová ANOVA Často je třeba zkoumat závislost kvantitativní proměnné na více faktorech. omezíme se na případ dvou faktorů. Možnosti výpočtu: Excel Analýza dat Anova: dva faktory s opakováním, dva faktory bez opakování R funkce aov Příklad: Cílem experimentu je zkoumat vliv dvou typů benzínu a tří různých aditiv na spotřebu automobilu. Výsledky jsou uvedeny v tabulce. Aditivum A1 A2 A3 Typ B1 B2 8,58 7,06 8,22 6,82 7,13 6,61 7,35 6,84 7,02 7,04 7,28 7,11 Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 19 / 30

20 Dvoufaktorová ANOVA Dvoufaktorová ANOVA Budeme se zabývat vlivem dvou vysvětlujících proměnných (faktorů A, B) na proměnnou vysvětlovanou Y. Označme a počet úrovní faktoru A, podobně b bude označovat počet úrovní faktoru B. Předpokládejme, že pro každou dvojici hodnot faktorů máme r 2 pozorování. Pro pozorování s i-tou hodnotou faktoru A a j-tou hodnotou faktoru B platí Y ij1,..., Y ijr N(µ ij, σ 2 ). Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 20 / 30

21 Dvoufaktorová ANOVA Dvoufaktorová ANOVA bez interakcí Označme: Ȳ ij. = 1 r r k=1 Y ijk, Ȳ i.. = 1 br b j=1 r k=1 Y ijk, Ȳ.j. = 1 ar a r k=1 Y ijk, Ȳ... = 1 abr a b j=1 r k=1 Y ijk Pro celkovou variabilitu lze psát S c = S A + S B + S e. S c = a b j=1 r k=1 (Y ijk Ȳ...)2 celková variabilita S A = br a (Ȳi.. Ȳ...)2 variabilita vysvětlenou faktorem A S B = ar b j=1 (Ȳ.j. Ȳ...)2 variabilita vysvětlenou faktorem B S e = a b j=1 r k=1 (Y ijk Ȳij.) 2 variabilita reziduální Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 21 / 30

22 Dvoufaktorová ANOVA Dvoufaktorová ANOVA bez interakcí Při dvoufaktorové analýze rozptylu bez interakcí nás bude zajímat vlivu faktorů A a B na vysvětlovanou proměnnou Y viz tabulka. Zdroj variability Součet čtverců Stupně volnosti Testová statistika Faktor A S A f A = a 1 F A = S A/f A S e /f e Faktor B S B f B = b 1 F B = S B /f B S e /f e Reziduální S e f e = n a b + 1 Celkový S c f c = n 1 Kritické hodnoty jednotlivých testů jsou kvantily rozdělení F. Vliv faktoru A je statisticky významný, je-li F A F 1 α(f A, f e), podobně vliv faktoru B je významný, pokud F B F 1 α(f B, f e). Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 22 / 30

23 Dvoufaktorová ANOVA Dvoufaktorová ANOVA s interakcemi Označme: Ȳ ij. = 1 r r k=1 Y ijk, Ȳ i.. = 1 br b j=1 r k=1 Y ijk, Ȳ.j. = 1 ar a r k=1 Y ijk, Ȳ... = 1 abr a b j=1 r k=1 Y ijk Pro celkovou variabilitu lze psát S c = S A + S B + S AB + S e. S c = a b j=1 r k=1 (Y ijk Ȳ...)2 celková variabilita S A = br a (Ȳi.. Ȳ...)2 variabilita vysvětlenou faktorem A S B = ar b j=1 (Ȳ.j. Ȳ...)2 variabilita vysvětlenou faktorem B S AB = r a b j=1 (Ȳij. Ȳi.. Ȳ.j. + Ȳ...)2 variabilita příslušející interakci S e = a b j=1 r k=1 (Y ijk Ȳij.) 2 = S c S A S B S AB variabilita reziduální Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 23 / 30

24 Dvoufaktorová ANOVA Dvoufaktorová ANOVA s interakcemi Při dvoufaktorové analýze rozptylu s interakcemi nás bude zajímat kromě vlivu faktorů A a B na vysvětlovanou proměnnou Y, také vliv interakce obou faktorů viz tabulka. Zdroj variability Součet čtverců Stupně volnosti Testová statistika Faktor A S A f A = a 1 F A = S A/f A S e /f e Faktor B S B f B = b 1 F B = S B /f B S e /f e Interakce S AB f AB = (a 1)(b 1) F AB = S AB /f AB S e /f e Reziduální S e f e = n ab Celkový S c f c = n 1 Kritické hodnoty jednotlivých testů jsou kvantily rozdělení F. Vliv faktoru A je statisticky významný, je-li F A F 1 α(f A, f e), podobně vliv faktoru B je významný, pokud F B F 1 α(f B, f e). Mezi faktory A a B je významná interakce když F AB F 1 α(f AB, f e). Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 24 / 30

25 Dvoufaktorová ANOVA Dvoufaktorová ANOVA s interakcemi Pro data z příkladu dostaneme (a = 3, b = 2, r = 2) S c = a b r j=1 k=1 (y ijk y... ) 2 = 3,650, S A = br a (y i.. y... ) 2 = 1,067, S B = ar b j=1 (y.j. y... ) 2 = 1,401, S AB = r a b j=1 (y ij. y i.. y.j. + y... )2 = 1,002, S e = a b r j=1 k=1 (y ijk y ij. ) 2 = S c S A S B S AB = 0,181. Testovací statistiky: F A = 17,737, F B = 46, 565, F AB = 16,647. Kritické hodnoty pro hladinu významnosti 0,05 jsou postupně: F 0,95(2, 6) = 5,143, F 0,95(1, 6) = 5,987, F 0,95(2, 6) = 5,143. Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 25 / 30

26 Dvoufaktorová ANOVA Dvoufaktorová ANOVA v Excelu Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 26 / 30

27 Dvoufaktorová ANOVA Dvoufaktorová ANOVA v R Datový soubor anova2 spotreba.txt obsahuje 3 sloupce se záhlavím typ, aditivum a spotreba > data<-read.table("anova2 spotreba.txt",header=t) > attach(data) > names(data) > tapply(spotreba,list(aditivum,spotreba),mean) B1 B2 A A A Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 27 / 30

28 Dvoufaktorová ANOVA Dvoufaktorová ANOVA v R Obrázek: Průměrná spotřeba benzínu v závislosti na typ benzínu a aditivu Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 28 / 30

29 Dvoufaktorová ANOVA Dvoufaktorová ANOVA v R > data<-read.table("anova2 spotreba.txt",header=t) > model <-aov(spotreba aditivum*typ) > summary(model) Df Sum Sq Mean Sq F value Pr(>F) aditivum ** typ *** aditivum:typ ** Residuals Na základě vypočtených p-hodnot můžeme tvrdit, že vliv typu benzínu i aditiva na spotřebu byl prokázán. Vliv interakce byl také prokázán. Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 29 / 30

30 Dvoufaktorová ANOVA Dvoufaktorová ANOVA v R Obrázek: Interakce dvou faktorů Jiří Neubauer (Katedra UO Brno) Analýza rozptylu 30 / 30