Mnohorozměrná statistická data

Transkript

1 Mnohorozměrná statistická data Ekonometrie Jiří Neubauer Katedra ekonometrie FVL UO Brno kancelář 69a, tel Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 1 / 33

2 Statistický znak Statistický znak, statistický soubor Jednotlivé objekty nebo subjekty, které jsou při statistickém zkoumání sledované, se nazývají statistické jednotky. Každá statistická jednotka musí být jednoznačně vymezena, aby nemohlo dojít k dvojímu nebo jinak zkreslenému výkladu zjištěných údajů. Statistické jednotky se vymezují z hlediska věcného, prostorového, časového. Množina statistických jednotek stejného typu a shodného vymezení tvoří statistický soubor. V rámci statistického šetření budeme rozlišovat dva typy souborů: základní soubor (populace) množina všech shodně vymezených statistických jednotek, výběrový soubor (výběr, vzorek) podmnožina základního souboru, tj. vybraná část populace. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 2 / 33

3 Statistický znak Statistický znak, statistický soubor Vlastnosti, které u statistických jednotek budeme v rámci statistického šetření sledovat, nazýváme statistické znaky neboli statistické proměnné. Různé hodnoty, kterých může statistický znak nabývat, nazýváme obměny neboli varianty. Podle způsobu vyjadřování hodnot dělíme statistické znaky na kvantitativní číselné a kvalitativní slovní. Podle typu vztahů mezi hodnotami a obměnami budeme rozlišovat statistické znaky metrické, ordinální, nominální. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 3 / 33

4 Jednorozměrné rozdělení Jednorozměrné bodové rozdělení Absolutní a relativní četnost jednorozměrné bodové rozdělení četností Mějme uspořádaný datový soubor o rozsahu n prvků. Absolutní četnost n j představuje počet výskytů varianty x j v souboru. Pro absolutní četnosti platí k j=1 n j = n, kde k je počet variant. Relativní četnost p j je dána vztahem p j = n j n a představuje podíl výskytů varianty x j v souboru. Pro relativní četnosti platí k j=1 p j = 1. Absolutní kumulativní četnost N j je dána vztahem N j = n n j a udává součet četností všech pozorování, která nepřekračují hodnotu x j. Relativní kumulativní četnost F j je určena vztahem F j = N j n = p1 + + p j a udává podíl četností všech pozorování, která nepřekračují hodnotu x j. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 4 / 33

5 Jednorozměrné rozdělení Jednorozměrné bodové rozdělení Absolutní a relativní četnost jednorozměrné bodové rozdělení četností V rámci antropometrického průzkumu bylo podle metodiky lékařské komory provedeno měření tělesné výšky u 15měsíčních dětí. U 50 vybraných chlapců byly naměřeny tyto hodnoty (v cm): Hodnota Absolutní Relativní Abs. kum. Rel. kum. znaku x j četnost n j četnost p j četnost N j četnost F j ,06 3 0, ,10 8 0, , , , , , , , , , , ,00 Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 5 / 33

6 Jednorozměrné rozdělení Jednorozměrné bodové rozdělení Absolutní a relativní četnost jednorozměrné bodové rozdělení četností Obrázek: Polygon četností a součtová křivka výšky 15měsíčních dětí Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 6 / 33

7 Jednorozměrné rozdělení Jednorozměrné bodové rozdělení Absolutní a relativní četnost jednorozměrné bodové rozdělení četností Rozdělení četností je také možné znázornit pomocí empirické distribuční funkce, kterou můžeme definovat vztahem F n(x) = N(x i x), n kde výraz v čitateli značí počet prvků výběru, jejichž hodnota je menší nebo rovna x. Je to neklesající funkce s hodnotami mezi 0 a 1... Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 7 / 33

8 Jednorozměrné rozdělení Jednorozměrné intervalové rozdělení Absolutní a relativní četnost jednorozměrné intervalové rozdělení četností Pokud datový soubor, který máme zpracovat, má větší rozsah (zpravidla n > 30) a data reprezentují spojitý znak nebo diskrétní znak s velkým počtem variant (obměn), je vhodné nejprve data uspořádat podle velikosti a zjistit nejmenší a největší hodnotu x min a x max sledovaného znaku. Odtud lze určit variační rozpětí R = x max x min udávající šířku intervalu, ve kterém se data nacházejí. Pro určení optimálního počtu (k) intervalů existuje několik pravidel, např.: Sturgesovo pravidlo k 1 + 3,32 log n, Yuleovo pravidlo k 2,5 4 n, jiná pravidla k n, příp. k 5 log n. Odtud zvolíme podle uvážení vhodné k a orientačně stanovíme šířku intervalů ze vztahu h = R. Dále stanovíme počátek prvního intervalu (ozn. a) a šířku intervalů zvolíme tak, k aby nejmenší a největší hodnota padly do prvního a posledního intervalu. Číselnou usu tedy rozdělíme na intervaly (, u 1, (u 1, u 2,... (u r, u r+1, (u r+1, ) a budeme zjišťovat četnosti v těchto intervalech. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 8 / 33

9 Jednorozměrné rozdělení Jednorozměrné intervalové rozdělení Absolutní a relativní četnost jednorozměrné bodové rozdělení četností Při kontrole dodržování hygienických norem v kuchyni se prováděl odběr vzduchu a pomocí filtru Pallflex se měřilo množství prachových částic. Ze 60 vzorků vzduchu jsme dostali následující výsledky (v µg/m 3 ): 1,23 1,10 1,54 1,34 1,06 1,09 1,41 1,48 1,52 1,37 1,37 1,63 1,51 1,53 1,31 1,23 1,31 1,27 1,17 1,27 1,34 1,27 1,09 1,01 1,41 1,22 1,27 1,37 1,14 1,22 1,43 1,40 1,41 1,51 1,51 1,47 1,14 1,34 1,16 1,51 1,58 1,33 1,31 1,04 1,58 1,12 1,19 1,17 1,47 1,24 1,45 1,29 1,17 1,63 1,39 1,02 1,38 1,39 1,43 1,28 Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 9 / 33

10 Jednorozměrné rozdělení Jednorozměrné intervalové rozdělení Absolutní a relativní četnost jednorozměrné intervalového rozdělení četností Interval Střed Absolutní Relativní Abs. kum. Rel. kum. intervalu xj četnost n j četnost p j četnost N j četnost F j (1,00; 1,10 1,05 7 0, ,117 (1,10; 1,20 1,15 8 0, ,250 (1,20; 1,30 1, , ,433 (1,30; 1,40 1, , ,667 (1,40; 1,50 1,45 9 0, ,817 (1,50; 1,60 1,55 9 0, ,967 (1,60; 1,70 1,65 2 0, , Tabulka: Tabulka intervalového rozdělení četností množství prachových částic Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 10 / 33

11 Jednorozměrné rozdělení Jednorozměrné intervalové rozdělení Absolutní a relativní četnost jednorozměrné intervalového rozdělení četností Obrázek: Histogram a součtový histogram koncentrace prachu Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 11 / 33

12 Dvourozměrné rozdělení četností Dvourozměrné bodové rozdělení četností Dvourozměrné bodové rozdělení četností Mějme dvourozměrný datový soubor s variant. x 1 y 1.., kde znak X má r variant a znak Y má x n Simultánní absolutní četnost n jk představuje počet výskytů dvojice (x j, y k ) v souboru, tedy n jk = N(X = x j Y = y k ). Simultánní relativní četnost dvojice (x j, y k ) je dána vztahem y n p jk = n jk n. Marginální absolutní četnost varianty x j je definována jako n j. = N(X = x j ) = n j1 + + n js. Marginální relativní četnost varianty x j je definována jako p j. = n j. n = p j1 + + p js. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 12 / 33

13 Dvourozměrné rozdělení četností Dvourozměrné bodové rozdělení četností Dvourozměrné bodové rozdělení četností Marginální absolutní četnost varianty y j je definována jako n.k = N(Y = y k ) = n 1k + + n rk. Marginální relativní četnost varianty y k je definována jako p.k = n.k n = p 1k + + p rk. Sloupcově podmíněná relativní četnost varianty x j za předpokladu y k je dána vztahem p j(k) = n jk n.k. Sloupcově podmíněná relativní četnost varianty y k za předpokladu x j je dána vztahem p (j)k = n jk n j.. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 13 / 33

14 Dvourozměrné rozdělení četností Dvourozměrné bodové rozdělení četností Dvourozměrné bodové rozdělení četností Příklad: U 42 zákrsku jabloní bylo zaznamenáno stáří stromu v letech (znak X ) a roční sklizeň (znak Y ). x j y i Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 14 / 33

15 Dvourozměrné rozdělení četností Dvourozměrné bodové rozdělení četností Dvourozměrné bodové rozdělení četností stáří/sklizeň n j n.k Tabulka: Tabulka bodového rozdělení četností Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 15 / 33

16 Dvourozměrné rozdělení četností Dvourozměrné bodové rozdělení četností Dvourozměrné bodové rozdělení četností Obrázek: Grafické znázornění dvourozměrného bodového rozdělení četností Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 16 / 33

17 Dvourozměrné rozdělení četností Dvourozměrné bodové rozdělení četností Dvourozměrné intervalové rozdělení četností Mějme dvourozměrný datový soubor x 1 y 1.., kde hodnoty znaku X roztřídíme do r x n třídících intervalů (u j, u j+1, j = 1,..., r a hodnoty znaku Y roztřídíme do s intervalů (v k, v k+1, k = 1,..., s. Jednotlivé četnosti jsou potom vztaženy na četnosti hodnot v daných intervalech. y n Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 17 / 33

18 Dvourozměrné rozdělení četností Dvourozměrné bodové rozdělení četností Dvourozměrné intervalové rozdělení četností Bylo provedeno 34 měření ph a množství hydrogenuhličitanového aniontu ve studniční vodě ph HCO 3 ph HCO 3 ph HCO 3 ph HCO 3 7, , , , , , , ,3 76 8, , , ,5 48 7, , , , , , , , , , ,9 53 7, , ,0 81 8,1 56 7,3 87 8, ,5 82 7, , , ,4 35 Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 18 / 33

19 Dvourozměrné rozdělení četností Dvourozměrné bodové rozdělení četností Dvourozměrné intervalové rozdělení četností ph/hco n j. 6,6 7, ,0 7, ,4 7, ,8 8, ,2 8, ,6 9, n.k Tabulka: Tabulka intervalového rozdělení četností Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 19 / 33

20 Dvourozměrné rozdělení četností Dvourozměrné bodové rozdělení četností Dvourozměrné intervalové rozdělení četností Obrázek: Grafické znázornění dvourozměrného intervalového rozdělení četností Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 20 / 33

21 Číselné charakteristiky znaku Číselné charakteristiky Číselné charakteristiky znaku charakteristiky polohy průměry, kvantily, modus charakteristiky variability rozptyl, sm. odchylka, výběrový rozptyl a sm. odchylka, kvantilové rozpětí... charakteristiky koncentrace koeficient šikmosti a špičatosti charakteristiky těsnosti závislostí Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 21 / 33

22 Číselné charakteristiky znaku Charakteristiky polohy průměry: n aritmetický průměr x = 1 x n i i=1 harmonický průměr x H = n n 1 x i=1 i geometrický průměr x G = n x 1 x 2 x n kvantily: x p je hodnota znaku, pro kterou platí, že 100p % jednotek uspořádaného souboru má hodnotu menší nebo rovnu x p a 100(1 p) % jednotek má hodnotu větší nebo rovnu x p. modus: ˆx je hodnota znaku s největší četností Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 22 / 33

23 Číselné charakteristiky znaku Charakteristiky variability variační rozpětí: R = x max x min. kvantilová rozpětí: např. R Q = x 0,75 x 0,25 n rozptyl (momentový): sn 2 = 1 (x n i x) 2 i=1 směrodatná odchylka s n = sn 2 n výběrový rozptyl s 2 = 1 (x n 1 i x) 2 i=1 výběrová směrodatná odchylka s = s 2 n průměrná odchylka d x = 1 x n i x i=1 Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 23 / 33

24 Číselné charakteristiky znaku Charakteristiky koncentrace koeficient šikmosti: a 3 = 1 n koeficient špičatosti: a 4 = 1 n n (x i x) 3 i=1 s 3 n n (x i x) 4 i=1 sn 4 3 Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 24 / 33

25 Číselné charakteristiky znaku Charakteristiky těsnosti závislosti Kovariance hodnot znaků X a Y je definována vztahem s n,xy = 1 n n (x i x)(y i y), i=1 kde n je rozsah souboru, x značí aritmetický průměr znaku X a y značí aritmetický průměr znaku Y. Výběrová kovariance hodnot znaků X a Y je definována vztahem s xy = 1 n 1 n (x i x)(y i y). i=1 Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 25 / 33

26 Číselné charakteristiky znaku Charakteristiky těsnosti závislosti Korelační koeficient (Pearsonův) je definován vztahem r xy = 1 n n i=1 x i x s n,x yi y s n,y, kde s n,x a s n,y jsou směrodatné odchylky hodnot znaků X a Y. Korelační koeficient lze vyjádřit jako podíl kovariance a součinu obou směrodatných odchylek ve tvaru r xy = sn,xy, resp. r xy = sxy, s n,x s n,y s x s y kde s x a s y jsou výběrové směrodatné odchylky hodnot znaků X a Y. Pro korelační koeficient tedy platí r xy = 1 n 1 n n i=1 (x i x)(y i y) n i=1 (x = i x) 2 1 n n i=1 (y i y) 2 n n i=1 x i 2 n n i=1 x i y i n i=1 x n i i=1 y i ) 2 n n ( n i=1 x i což je vzorec vhodný zejména pro praktický výpočet (výpočetní tvar). i=1 y i 2 ( n i=1 y i ) 2, Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 26 / 33

27 Číselné charakteristiky znaku Charakteristiky těsnosti závislosti Vlastnosti Pearsonova korelačního koeficientu: 1 koeficient korelace je symetrický, tedy r xy = r yx, 2 pro koeficient korelace platí 1 r xy 1, 3 koeficient korelace je roven 1, resp. 1, právě když mezi hodnotami x 1, x 2,..., x n a y 1, y 2,..., y n existuje úplná lineární závislost, tedy existují reálné konstanty a, b tak, že y i = a + bx i, i = 1, 2,..., n, přičemž hodnota korelačního koeficientu 1 odpovídá b > 0 a hodnota 1 pak b < 0. Hodnoty korelačního koeficientu blízké nule značí, že mezi znaky neexistuje lineární vazba, může však existovat vazba jiného typu. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 27 / 33

28 Číselné charakteristiky znaku Příklad Určete kovarianci, výběrovou kovarianci a korelační koeficient (Pearsonův) pro hodnotou ph a množství hydrogenuhličitanového aniontu HCO 3 ve studniční vodě. kovariance s n,xy = 9,21964 výběrová kovariance s xy = 9,49902 korelační koeficient r xy = 0,33951 Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 28 / 33

29 Číselné charakteristiky znaku Charakteristiky těsnosti závislosti Těsnost závislosti mezi znaky lze vyjádřit prostřednictvím Spearmanova korelačního koeficientu, který popisuje vazbu mezi dvěma spojitými znaky pomocí pořadí. Je vhodný v případě, kdy vztah mezi dvěma proměnnými může být popsán pomocí monotónní funkce. Hodnotám x i, y i přiřadíme čísla p i, q i udávající pořadí jednotlivých hodnot při vzestupném uspořádaní hodnot znaků podle velikosti. Spearmanův koeficient pořadové korelace je potom definován vztahem rxy s = 1 6 n i=1 (p i q i ) 2. n(n 2 1) Spearmanův korelační koeficient je roven Pearsonovu korelačnímu koeficientu spočítanému pro pořadí p i, q i. I tento korelační koeficient nabývá hodnot od 1 do 1, hodnota blízká 1 značí silnou přímou závislost, hodnota blízká 1 potom silnou nepřímou závislost. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 29 / 33

30 Číselné charakteristiky znaku Příklad V podniku se sledovala závislost vlastních nákladů připadajících na jednotku produkce (znak Y ) na objemu produkce v 1000 ks (znak X ). Zjištěné údaje jsou uvedeny v tabulce. Určete Pearsonův a Spearmanův korelační koeficient. x i y i Dostáváme hodnoty r xy = 0,695, r s xy = 0,988. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 30 / 33

31 Číselné charakteristiky znaku Příklad Obrázek: Závislost vlastních nákladů připadajících na jednotku produkce (znak Y ) na objemu produkce v 1000 ks (znak X ) Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 31 / 33

32 Číselné charakteristiky znaku Charakteristiky těsnosti závislosti Pokud se v měřených datech vyskytuje mnoho shodných hodnot, doporučuje se použít korigovaný Spearmanův korelační koeficient definovaný vzorcem r S xy/kor = 1 6 n i=1 (p i q i ) 2 n (n 2 1) n x n y, kde n x = 1 2 r j=1 (n3 x,j n x,j ) a n y = 1 2 s k=1 (n3 y,k n y,k ). Symbol n x,j značí počty stejně velkých x-ových hodnot a n y,k značí počty stejně velkých y-ových hodnot. Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 32 / 33

33 Číselné charakteristiky znaku Charakteristiky těsnosti závislosti Mějme dvourozměrný datový soubor. Řekneme, že dvojice (x i, y i ) a (x j, y j ) jsou ve shodě (concordant), pokud platí, že x i > x j a zároveň y i > y j nebo x i < x j a zároveň y i < y j. Řekneme, že nejsou ve shodě (discordant), pokud x i < x j a zároveň y i > y j nebo x i > x j a zároveň y i < y j. V případě, že x i = x j nebo y i = y j nemluvíme ani o shodě, ani o neshodě. Označme počet dvoji ve shodě n c a počet dvojic, které ve shodě nejsou n d. Kendallův korelační koeficient je definován vztahem τ = nc n d. 1 n(n 1) 2 Jiří Neubauer (Katedra ekonometrie UO Brno) Mnohorozměrná statistická data 33 / 33