Statistická analýza jednorozměrných dat

Transkript

1 Univerzita Pardubice Fakulta chemicko-technologická, Katedra analytické chemie Licenční studium GALILEO Interaktivní statistická analýza dat Semestrální práce z předmětu Statistická analýza jednorozměrných dat Vypracoval Ing. Ladislav Menšík, Ph.D. Ústav ekologie lesa Mendelova univerzita v Brně Lesnická a dřevařská fakulta Brno srpen, 2015 Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 1

2 Obsah Úvod Statistická analýza velkých výběrů Statistická analýza malých výběrů dle Horna Statistické testování Použitá literatura Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 2

3 Úvod Při lesnickém výzkumu dochází k pořizování různých typů výzkumných dat s velkými výběry (n > 30) i data velmi malých výběrů (n > 10; n > 4). Pro hodnocení musí být použity různé korektní postupy a metody statistické analýzy dat včetně různých typů software. Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 3

4 1. Statistická analýza velkých výběrů Zadání V rámci řešení projektu COST LD Udržitelné hospodaření smíšených lesů vrchovin Toky látek a biogeochemické koloběhy živin v roce 2014 byla změřena výčetní tloušťka (d 1,3 ) všech stromů ve smíšeném porostu modřínu s bukem ve věku cca 33 let v oblasti Drahanské vrchoviny. Cílem úlohy je na větším výběru dat (n > 30) aplikovat obecný postup analýzy jednorozměrného výběru. Data - výčetní tloušťky (d 1,3 ) stromů dřeviny modřín (MD) v cm Tab. 1: Vstupní data - výčetní tloušťky (d 1,3 ) stromů dřeviny modřín (MD) v cm, n = Užitý program - ADSTAT - QC Expert - Průzkumová analýza dat (EDA) - průzkum statistických zvláštností dat symetrie, špičatost, lokální koncentrace, přítomnost odlehlých bodů. Obrázky Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 4

5 Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 5

6 Četnost 30 Histogram - Sheet1 - A Kvantil-Data 40 Q-Q Graf - Sheet1 - A A Kvantil-Norm Diagramy rozptýlení - Sheet1 - A Hustota Odhad hustoty - Sheet1 - A A A Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 6

7 Krabicový graf - Sheet1 - A r Autokorelace - Sheet1 - A A Řád A 40 Trendy vyhlazení - Sheet1 - A A 40 Kvantilový graf - Sheet1 - A Data Průměr Medián i P P-P Graf - Sheet1 - A Normal Uniform Laplace p-data p-teor A Graf rozptýlení s kv antily - Sheet1 - A P Poloha 27.0 Graf polosum - Sheet1 - A Poloha 27.0 Graf symetrie - Sheet1 - A A x y Graf špičatosti - Sheet1 - A x Kruhový Graf - Sheet1 - A y x Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 7

8 Output 1) Klasické odhady parametrů: Parametr ADSTAT QC Expert Průměr 25,33 25,33 Medián 26,05 26,05 Šikmost -0,39-0,39 Špičatost 3,11 3,11 Směrodatná odchylka 5,93 5,93 2) Test normality: Tabulkový kvantil Chi^2(1-alfa,2): E+00 Chi^2-statistika: E+00 Závěr: Předpoklad normality přijat Vypočtená hladina významnosti: E-01 3) Test nezávislosti: Tabulkový kvantil t(1-alfa/2,n+1): E+00 Test autokorelace: E-01 Závěr: Předpoklad nezávislosti přijat Vypočtená hladina významnosti: E-01 Předpoklad homogenity výběru: Aritmetický průměr: E+01 Rozptyl: E+01 Směrodatná odchylka: E+00 Vnitřní meze: Spodní mez: E+00 Horní mez: E+01 4) Minimální velikost vývěru: pro 25% relativní chybu směrodatné odchylky: n = 9 pro 10% relativní chybu směrodatné odchylky: n = 54 pro 5% relativní chybu směrodatné odchylky: n = 212 5) Detekce odlehlých bodů: Ve výběru nejsou odlehlé body. 6) Porovnání rozdělení: LINEARITA V GRAFU KVANTIL-KVANTIL (Q-Q): Rozdělení Směrnice Úsek Korelační koeficient 0 Laplaceovo E E E-01 1 Normální E E E-01 2 Exponenciální E E E-01 3 Rovnoměrné E E E-01 4 Lognormální E E E-01 5 Gumbelovo E E E-01 6Weibullovo( 0.5) E E E-01 Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 8

9 6Weibullovo( 1.0) E E E-01 6Weibullovo( 1.5) E E E-01 6Weibullovo( 2.0) E E E-01 6Weibullovo( 2.5) E E E-01 6Weibullovo( 3.0) E E E-01 6Weibullovo( 3.5) E E E-01 6Weibullovo( 4.0) E E E-01 6Weibullovo( 4.5) E E E-01 6Weibullovo( 5.0) E E E-01 6Weibullovo( 5.5) E E E-01 6Weibullovo( 6.0) E E E-01 6Weibullovo( 6.5) E E E-01 6Weibullovo( 7.0) E E E-01 6Weibullovo( 7.5) E E E-01 6Weibullovo( 8.0) E E E-01 7 Logistické E E E-01 8 Cauchyho E E E-01 7) Transformace dat: PROSTÁ MOCNINNÁ TRANSFORMACE: Optimální mocnina: E+00 pro šikmost: E-02 Optimální mocnina: E+00 pro asymetrii: E-03 Optimální mocnina: E+00 pro asymetrii, rob.: E-03 Optimální mocnina: e+00 pro Hinkley-asymetrii: E-06 Zvolená mocnina: 1.60 Průměr: E+02 Rozptyl: E+03 Směrodatná odchylka: E+01 Šikmost: E-02 Špičatost: E+00 Opravený průměr: E+01 BOX-COXOVA TRANSFORMACE: Optimální mocnina: E+00 pro šikmost: E-02 Optimální mocnina: E+00 pro špičatost: E+00 Optimální mocnina: E+00 pro asymetrii: E-03 Optimální mocnina: E+00 pro asymetrii, rob.: E-03 Optimální mocnina: e+00 pro Hinkley-asymetrii: E-06 Optimální mocnina: E+00 pro věrohodnost: e+02 Zvolená mocnina: 1.60 Průměr: E+02 Rozptyl: E+03 Směrodatná odchylka: E+01 Šikmost: E-02 Špičatost: E+00 Opravený průměr: E+01 Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 9

10 Závěr Z diagnostických grafů vyplynulo, že rozdělení dat je blízké normálnímu, což bylo prokázáno například analýzou špičatosti. Průzkumová analýza dat dále potvrdila homogenitu dat a byl přijat předpoklad normality dat, dále test nezávislosti prokázal, že data jsou nezávislá. Klasické odhady parametrů programy ADSTAT i QC Expert přinesly shodné údaje. Test odlehlých bodů programem ADSTAT i QC Expert ne našel odlehlý bod, ale na krabicových grafech jsou zobrazeny. Rozdíl mezi průměrem a mediánem není významný, což ukazuje na normální rozdělení. Stanovená hypotéza, že transformace dat byla nutná, se zamítá, a to pomocí dvou metod transformace - prostá mocninná, Box- Coxova. Jelikož výsledkem každé transformace byla jiná hodnota průměru. Doporučením je uvádět aritmetický průměr, který se výrazně neliší od mediánu, ani od opravených průměrů vypočtených transformací. Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 10

11 2. Statistická analýza malých výběrů dle Horna Zadání V oblasti Drahanské vrchoviny jsou měřeny a hodnoceny koncentrace (mg.l -1 ) rozpustného organického uhlíku (DOC) v průsakových vodách pod nadložním humusem ve smrkovém porostu. Cílem úlohy 2 je pomocí Hornovy metody pivotů určit parametry polohy a rozptýlení. Výsledky budou porovnány s klasickými a robustními odhady polohy a rozptýlení pomocí zvoleného software. Pro zpracování dat bude využito programu ADSTAT a QC Expert.. Data - koncentrace DOC (mg.l -1 ) v průsakových vodách pod nadložním humusem v letech Tab. 1: Vstupní data - koncentrace DOC (mg.l -1 ) v průsakových vodách pod nadložním humusem v letech , n = 8, sudé Užitý program - MS Excel Řešení 1) Uspořádání dat vzestupně i x(i) ) Hloubka pivotu H = (int ((n + 1) / 2)) / 2 H = (int ((8 + 1) / 2)) / 2 = 2, ) Pivoty Dolní pivot: = = (3) = 41,2 Horní pivot: = ( +1 ) =58,9 4) Pivotová polosuma PL = ( + ) / 2 = 50,05 5) Pivotové rozpětí RL = = 17,7 6) 95% interval spolehlivosti střední hodnoty μ K výpočtu byla použita tabulka kvantilů dle Meloun, Militký (2012) str. 154:,1 2( ) = 0,564.,1 2( ) μ +,1 2( ) Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 11

12 50,05 17,7 0,564 μ 50, ,7 0,564 40,0672 μ 60,0328 7) Ověření vypočtených hodnot programem QC Expert Střední hodnota: 50,05 Spodní mez (2,5 %): 40,0672 Horní mez (97,5 %): 60,0328 Pivotové rozpětí: 17,7 Závěr Bodový odhad polohy v případě odhadu míry polohy obsahu DOC v průsakových vodách pod nadložním humusem ve smrkovém porostu je 50,05 mg.l -1. Míra rozptýlení je 17,7 mg.l -1. Lze konstatovat, že s 95% statistickou jistotou leží obsah DOC v průsakových vodách pod nadložním humusem ve smrkovém porostu v intervalu 40,1 až 60,0 mg.l -1. Porovnání s klasickými a robustními odhady polohy a rozptýlení Užitý program - ADSTAT - QC Expert Output Základní předpoklady (1) KLASICKÉ ODHADY PARAMETRŮ Medián: E+01 Průměr: E+01 Rozptyl: E+01 Šikmost: E-01 Špičatost: E+00 Směrodatná odchylka: E+00 (2) TEST NORMALITY: Tabulkový kvantil Chi^2(1-alfa,2): E+00 Chi^2-statistika: E+00 Závěr: Předpoklad normality přijat Vypočten hladina významnosti: E-01 (3) TEST NEZÁVISLOSTI: Tabulkový kvantil t(1-alfa/2,n+1) : E+00 Test autokorelace : E+00 Závěr: Předpoklad nezávislosti přijat Vypočtená hladina významnosti: E-02 Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 12

13 Předpoklad homogenity výběru: Aritmetický průměr: E+01 Rozptyl: E+01 Směrodatná odchylka: E+00 Vnitřní meze: Spodní mez: E+01 Horní mez: E+01 (4) MINIMÁLNÍ VELIKOST VÝBĚRU: pro 25% relativní chybu směrodatné odchylky: n = 3 pro 10% relativní chybu směrodatné odchylky: n = 13 pro 5% relativní chybu směrodatné odchylky: n = 48 (5) DETEKCE ODLEHLÝCH BODŮ: Ve výběru nejsou odlehlé body (6) POROVNÁNÍ ROZDĚLENÍ: Rozdělení Směrnice Úsek Korelační koeficient 0 Laplaceovo E E E-01 1 Normální E E E-01 2 Exponenci lní E E E-01 3 Rovnoměrné E E E-01 4 Lognormální E E E-01 5 Gumbelovo E E E-01 6Weibullovo( 0.5) E E E-01 6Weibullovo( 1.0) E E E-01 6Weibullovo( 1.5) E E E-01 6Weibullovo( 2.0) E E E-01 6Weibullovo( 2.5) E E E-01 6Weibullovo( 3.0) E E E-01 6Weibullovo( 3.5) E E E-01 6Weibullovo( 4.0) E E E-01 6Weibullovo( 4.5) E E E-01 6Weibullovo( 5.0) E E E-01 6Weibullovo( 5.5) E E E-01 6Weibullovo( 6.0) E E E-01 6Weibullovo( 6.5) E E E-01 6Weibullovo( 7.0) E E E-01 6Weibullovo( 7.5) E E E-01 6Weibullovo( 8.0) E E E-01 7 Logistick E E E-01 8 Cauchyho E E E-01 Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 13

14 9 Paretovo( 0.5) E E E-01 9 Paretovo( 1.0) E E E-01 9 Paretovo( 1.5) E E E-01 9 Paretovo( 2.0) E E E-01 9 Paretovo( 2.5) E E E-01 9 Paretovo( 3.0) E E E-01 9 Paretovo( 3.5) E E E-01 9 Paretovo( 4.0) E E E-01 9 Paretovo( 4.5) E E E-01 9 Paretovo( 5.0) E E E-01 9 Paretovo( 5.5) E E E-01 9 Paretovo( 6.0) E E E-01 9 Paretovo( 6.5) E E E-01 9 Paretovo( 7.0) E E E-01 9 Paretovo( 7.5) E E E-01 9 Paretovo( 8.0) E E E Gamma( 0.5) E E E Gamma( 1.0) E E E Gamma( 1.5) E E E Gamma( 2.0) E E E Gamma( 2.5) E E E Gamma( 3.0) E E E Gamma( 3.5) E E E Gamma( 4.0) E E E Gamma( 4.5) E E E Gamma( 5.0) E E E Gamma( 5.5) E E E Gamma( 6.0) E E E Gamma( 6.5) E E E Gamma( 7.0) E E E Gamma( 7.5) E E E Gamma( 8.0) E E E-01 (7) ROBUSTNÍ ODHADY PARAMETRŮ: Medián: E+01 Směrodatná odchylka mediánu: E+01 Rozptyl mediánu: E % spolehlivost: Spodní mez: E+01 Horní mez: E+01 Závěr Výsledky byly porovnány s klasickými a robustními odhady polohy a rozptýlení pomocí zvoleného software ADSTAT. Z výsledků ověření dat vyplývá, že data vykazují rozdělení normální (rovnoměrné). Ve výběru nejsou odlehlé body. Z tabulky vyplývá, že všechny metody uvádí obdobné hodnoty. Celkově bližší jsou si hodnoty vypočtené Hornovým postupem a hodnoty klasických odhadů. Mírně se od těchto dvou hodnot odchylují hodnoty robustních odhadů. Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 14

15 Porovnání parametrů Metoda Odhad polohy Odhad míry Interval spolehlivosti rozptýlení Spodní Horní Hornův postup 50,05 17,7 40,06 60,03 Klasické odhady 49,16 7,84 41,32 57,00 Robustní odhady 47,40 12,72 35,52 59,28 Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 15

16 3. Statistické testování Test správnosti Zadání Byl testován nový výškoměr Vertex, kdy byla dána kontrolní výška stromu 10 m a pak byla měřena výška v 30-ti opakováních. Cílem úlohy je posoudit, zda výškoměr měří správně. Data - naměřené kontrolní výšky v m stromu o dané výšce 10 m Tab. 1: Vstupní data - naměřené kontrolní výšky v m stromu o dané výšce 10 m, n = Užitý program - QC Expert Output Analýza jednorozměrného výběru Klasické odhady parametrů Průměr = 10,0866 Směrodatná odchylka = 0,3919 Dolní mez 95 % intervalu spolehlivosti = 9,9403 Horní mez 95 % intervalu spolehlivosti = 10,2330 Robustní odhady parametrů Medián = 10,00 Směrodatná odchylka = 0,0510 Dolní mez 95 % intervalu spolehlivosti = 9,8956 Horní mez 95 % intervalu spolehlivosti = 10,1043 Závěr S 95 % statistickou jistotou byly nalezeny intervalové odhady měření výšky novým výškoměrem pro aritmetický průměr v rozmezí 9,94 10,23 m, pro medián 9,89 10,10 m. Naměřené výsledky vyhovují pro měření novým výškoměrem Vertex v případě klasických i robustních postupů. Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 16

17 Test shodnosti Zadání V rámci řešení projektu COST LD Udržitelné hospodaření smíšených lesů vrchovin Toky látek a biogeochemické koloběhy živin v roce 2014 byla změřena výčetní tloušťka (d 1,3 ) všech stromů ve smíšeném porostu modřínu s bukem (MD/BK) a smrku s bukem (SM/BK) ve věku cca 33 let v oblasti Drahanské vrchoviny. Cílem úlohy je posoudit zda dřevina buk (BK) je stejně tloušťkově vyspělá ve smíšení se smrkem i modřínem. Data - výčetní tloušťky (d 1,3 ) stromů dřeviny buk (BK) v cm v porostu SM/BK a MD/BK Tab. 1: Vstupní data - tloušťky (d 1,3 ) stromů dřeviny buk (BK) v cm v porostu SM/BK, n = Tab. 2: Vstupní data - tloušťky (d 1,3 ) stromů dřeviny buk (BK) v cm v porostu MD/BK, n = Užitý program - ADSTAT - QC Expert Output Pro řešení úlohy byly stanoveny hypotézy: - H0: Dřevina buk (BK) je stejně tloušťkově vyspělá ve smíšení se smrkem i modřínem - HA: Dřevina buk (BK) není stejně tloušťkově vyspělá ve smíšení se smrkem i modřínem Hladina významnosti je stanovena na 0,05, tj. pro zamítnutí nulové hypotézy je třeba pravděpodobnost nejméně 95%. Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 17

18 (1) KLASICKÉ ODHADY PARAMETRŮ: Parametr Výběr 1 Výběr 2 Celkem Velikost výběru Průměr E E E+00 Rozptyl E E E+01 Šikmost E E E-01 Špičatost E E E+00 (2) TEST HOMOGENITY ROZPTYLU (hypotézy H0: s1^2=s2^2): Fisher-Snedecor F-test: Počet stupňů volnosti Df1: 96 Df2: 96 Tabulkový kvantil F(1-alfa/2,Df1,Df2): E+00 F-statistika: E+00 Závěr: Rozptyly se považují za shodné, H0 přijata Vypočtená hladina významnosti: Korigovaný F-test : Počet stupňů volnosti Df1: 96 Df2: 96 Tabulkový kvantil F(1-alfa/2,Df1,Df2): E+00 F-statistika: E+00 Závěr: Rozptyly se považují za shodné, H0 přijata Vypočtená hladina významnosti: Jacknife F-test Počet stupňů volnosti Df1: 2 Df2: 192 Tabulkový kvantil F(1-alfa/2,Df1,Df2) : E+00 F-statistika: E-01 Závěr: Rozptyly se považují za shodné, H0 přijata Vypočtená hladina významnosti: (3) TEST SHODY PRUMĚRU (hypotézaza H0: průměr1=průměr2): Shoda rozptylu se dá předpokládat. t-test (pro shodné rozptyly) Počet stupňů volnosti Df1: 192 Tabulkový kvantil t(1-alfa/2,df1): E+00 t-statistika: E-01 Závěr: Průměry se považují za shodné, H0 přijata Vypočtená hladina významnosti: t-test (pro různé rozptyly) Počet stupňů volnosti Df1: 192 Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 18

19 Tabulkový kvantil t(1-alfa/2,df1): E+00 t-statistika: E+00 Závěr: Průměry se považují za shodné, H0 přijata Vypočtená hladina významnosti: Základní předpoklady výběrů Q-výběr Q-Q graf pro dva výběry - Sheet1 C E E C Krabicový graf - Sheet PDF Jádrový odhad hustoty - Sheet X Q-norm C E PDF Hustota normálního rozdělení - Sheet X C E x2 Empirický FF-graf - Sheet x C E P(Xi<X) Empirické distribuční funkce - Sheet X C E Test dobré shody rozdělení QC Expert dvouvýběrový K-S test Diference DF: 0, Kritická hodnota: 0, Závěr: Rozdělení jsou SHODNÁ Závěr Při porovnání středních hodnot analyzovaných výběrů a shody rozptylů byla zjištěna jejich shoda. Test shodnosti prokázal, že na hladině významnosti 0,05 je tloušťková struktura dřeviny BK shodná jak ve smíšení se smrkem (SM) tak i ve smíšení s modřínem (MD). Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 19

20 Použitá literatura Barilla, J., Smir, P. 2008: Microsoft Excel pro techniky a inženýry. Computer Press, vyd. 1., Brno: 366 s. ISBN (brož.) Meloun, M., Militký, J. 2012: Interaktivní statistická analýza dat. 4. vyd. Praha: Karolinum Praha. 955 s. ISBN Meloun, M., Militký, J. 2012: Kompendium statistického zpracování dat. 3. vyd. Praha: Karolinum Praha. 985 s. ISBN Ladislav Menšík, Ústav ekologie lesa LDF, MENDELU v Brně 20