Přednáška 5. Výběrová šetření, Exploratorní analýza

Transkript

1 Přednáška 5 Výběrová šetření, Exploratorní analýza Pravděpodobnost vs. statistika Výběrová šetření aneb jak získat výběrový soubor Exploratorní statistika aneb jak popsat výběrový soubor Typy proměnných Popis kategoriální proměnné (číselné charakteristiky, grafy) Popis numerické proměnné (číselné charakteristiky, grafy)

2 Čím se zabývá teorie pravděpodobnosti? Teorie pravděpodobnosti je matematická disciplína popisující zákonitosti týkající se náhodných jevů, tj. používá se k modelování náhodnosti a neurčitosti. (Náhodnost je spojena s nedostatečnou znalostí počátečních podmínek.)

3 Čím se zabývá statistika? Rozvíjí znalosti na základě empirických dat. Co je to statistika? Google odkazů (čeština), 2, odkazů (angličtina) Uspořádaný datový soubor (statistika přístupů na web. stránky, statistika střel na branku, statistika nehodovosti, ekonomické statistiky, ) Český statistický úřad, Real Time Statistics Project Teoretická disciplína, která se zabývá metodami sběru a analýzy dat (matematická statistika vs. aplikovaná statistika) Číselný údaj syntetizující vlastnosti datových souborů (četnost, průměr, rozptyl, )

4 Proč je dobré znát (alespoň) základy statistiky? Informace, informace. Ó, data! Číslo 5 žije Kvantitativní výzkum Teorie Hypotéza Sběr dat Analýza dat Vyhodnocení Hledání pravdy Zdroj: technet.idnes.cz

5 Proč je dobré znát (alespoň) základy statistiky? Informace, informace. Ó, data! Číslo 5 žije Kvantitativní výzkum Teorie Hypotéza Sběr dat Analýza dat Vyhodnocení Hledání pravdy Zdroj: technet.idnes.cz

6 Základní pojmy ze statistické metodologie Populace (základní soubor) je množina všech prvků, které sledujeme při statistickém výzkumu. Je dána výčtem prvků nebo vymezením jejich společných vlastností. (Statistické) jednotky - prvky populace (Statistické) znaky (proměnné, veličiny) kvantitativní údaje, které u výběrového souboru sledujeme

7 Základní pojmy ze statistické metodologie úplné šetření statistické zjišťování Populace (základní soubor) je množina všech prvků, které sledujeme při statistickém výzkumu. Je dána výčtem prvků nebo vymezením jejich společných vlastností. (Statistické) jednotky - prvky populace (Statistické) znaky (proměnné, veličiny) kvantitativní údaje, které u výběrového souboru sledujeme

8 Základní pojmy ze statistické metodologie statistické zjišťování Exploratorní (popisná) statistika Jak provádět statistické zjišťování? Pokus (kontrolovaný, znáhodněný, slepý, dvojitě slepý pokus) Šetření (výzkumník do průběhu šetření zasahuje co nejméně)

9 Základní pojmy ze statistické metodologie výběrové šetření Exploratorní (popisná) statistika Popisná statistika (angl. Exploratory Data Analysis, EDA) - uspořádání proměnných do názornější formy a jejich popis několika málo hodnotami, které by obsahovaly co největší množství informací obsažených v původním souboru.

10 Základní pojmy ze statistické metodologie výběrové šetření Exploratorní (popisná) statistika

11 Statistické šetření Motto: Chceme-li vědět, jak chutná víno v sudu, nemusíme vypít celý sud. Stačí jenom malý doušek a víme na čem jsme.

12 Způsoby statistického šetření Vyčerpávající šetření Výběrové šetření Výhody: přesnost a detailnost zjištěných informací Výhody: menší personální, finanční a časová náročnost Nevýhody: personální, finanční a časová náročnost Nevýhody: mírou objektivnosti získaných informací je kvalita provedení výběrového šetření

13 Výběrové šetření Výběr by měl být reprezentativní tj. odrážet vlastnosti celé populace vzhledem ke sledovaným znakům. Opakem reprezentativního výběru je výběr selektivní (např. vzorek účastnic soutěže MISS ČR, z něhož chceme dělat závěry o váze v české populaci dívek ve věku let). Náhodný výběr, tj. výběr, v němž má každá statistická jednotka stejnou pravděpodobnost být zařazena do výběru. Reprezentuje všechny známé i neznámé vlastnosti populace. Umožňuje odhadnout velikost chyby, která je způsobena výběrovým šetřením. Opora (rámec) výběru technická dokumentace umožňující výběr stat. jednotek do výběru.

14 Metody náhodného výběru prostý náhodný výběr losováním, pomocí tabulek náhodných čísel systematický výběr založen na předem známém uspořádání populace (riziko souvislosti uspořádání s analyzovaným znakem), vybíráme každý k. prvek. oblastní (stratifikovaný) výběr populace rozdělena do heterogenních podskupin, v jejichž rámci je prováděn prostý náhodný, resp. systematický výběr. skupinový výběr populace je rozdělena do rovnocenných podskupin, tj. variabilita mezi podskupinami musí být co nejmenší. Poté je proveden prostý náhodný výběr podskupiny a následuje její úplné šetření. vícestupňový výběr Založen na hierarchickém popisu jednotek populace (např. krajeměsta-školy).

15 Další metody výběru Anketa tzv. samovýběr, tj. výběr jedinců je založen na rozhodnutí respondenta odpovědět na anketu nelze definovat populaci, na níž se výsledky vztahují Snowball sampling dotázaní uvádějí kontakt na další jedince vhodné pro výzkum dočasných populací (svědkové události, účastníci akce apod.) Záměrný výběr, tj. výběr založený na expertním stanovisku Metoda základního masivu prošetření velkých a středních jednotek

16

17 Exploratorní analýza dat

18 Typy proměnných Typy proměnných Kvalitativní proměnná (kategoriální, slovní...) Nominální proměnná (nelze uspořádat) Ordinální proměnná (lze uspořádat) Kvantitativní proměnná (numerická, číselná...)

19 EDA pro kategoriální veličinu

20 Kategoriální veličina nominální (nemá smysl uspořádání) (např. Typ SŠ, Barva auta, Pohlaví, )

21 Číselné charakteristiky TABULKA ROZDĚLENÍ ČETNOSTI Varianty x i Absolutní četnosti n i Relativní četnosti p i x 1 n 1 p 1 =n 1 /n x 2 n 2 p 2 =n 2 /n x k n k p k =n k /n Celkem: n 1 +n 2 + +n k =n 1 + Modus (název nejčetnější varianty)

22 Číselné charakteristiky TABULKA ROZDĚLENÍ ČETNOSTI Pohlaví Absolutní četnosti Relativní četnosti [%] Muž ,2 Žena ,8 Celkem: ,0 Modus = Muž

23 Grafické znázornění A) Sloupcový graf (bar chart) Počet Výborně Chvalitebně Prospěl Neprospěl můžete vytvořit sloupcový graf a dodat mu zcela nový a přitažlivý vzhled

24 Grafické znázornění A) Sloupcový graf (bar chart) Počet

25 Grafické znázornění A) Sloupcový graf (bar chart) Počet

26 Grafické znázornění A) Sloupcový graf (bar chart) Počet

27 Grafické znázornění A) Sloupcový graf (bar chart) Počet

28 Grafické znázornění A) Sloupcový graf (bar chart) Počet

29 Grafické znázornění A) Sloupcový graf (bar chart) Na co si dát pozor? Subjektivně vnímáme plochu (objem), nikoliv výšku jednotlivých sloupců.

30 Produkce CO2 [kg] na osobu Grafické znázornění A) Sloupcový graf (bar chart) Na co si dát pozor? Sloupcový graf USA ČR zdroj dat:

31 Grafické znázornění A) Sloupcový graf (bar chart) Na co si dát pozor? Subjektivně vnímáme plochu (objem), nikoliv výšku jednotlivých sloupců. Nadbytečné názvy grafu, legendy, Neefektivní nuly A na co ještě?

32 Produkce CO2 [tun] na osobu (% roku 1993) Produkce CO2 [tun] na osobu USA Který ČR z grafů je správný? USA ČR 120% 100% 80% 60% 40% 20% 0% USA ČR 100% 98% 96% 94% 92% 90% USA ČR

33 Grafické znázornění B) Výsečový graf koláčový graf (pie chart) 7; 17% 5; 12% 5; 12% 10; 24% Výborně 7; 17% Výborně 10; 24% Chvalitebně Prospěl Chvalitebně Prospěl Neprospěl Neprospěl 20; 47% 20; 47%

34 Grafické znázornění B) Výsečový graf koláčový graf (pie chart) 7; 17% 5; 12% 5; 12% 10; 24% Výborně 7; 17% Výborně 10; 24% Chvalitebně Prospěl Chvalitebně Prospěl Neprospěl Neprospěl 20; 47% 20; 47%

35 Grafické znázornění B) Výsečový graf koláčový graf (pie chart) Na co si dát pozor?

36 Anketa Jste pro navýšení hodinové dotace Statistiky? TAKHLE NE!!!

37 Grafické znázornění B) Výsečový graf koláčový graf (pie chart) Na co si dát pozor? Neuvádění absolutních četností, resp. celkového počtu respondentů v blízkosti grafu Nadbytečné názvy grafu

38 Výskyt krevních skupin a Rh faktoru v USA Krevní Rh faktor skupina Rh+ Rh- Celkem A B AB Celkem

39 Grafické znázornění B) Výsečový graf koláčový graf (pie chart) Na co si dát pozor? Neuvádění absolutních četností, resp. celkového počtu respondentů v blízkosti grafu Nadbytečné názvy grafu, legendy, Ne vždy je graf přehlednější než tabulka A na co ještě?

40

41 6; 3% 32; 15% Srozumitelnost výkladu 1; 0% 114; 53% 64; 29% Hodnocení 1 Hodnocení 2 Hodnocení 3 Hodnocení 4 Hodnocení 5 2; 1% Srozumitelnost řešených příkladů 37; 17% 103; 47% 0; 0% 76; 35% Hodnocení 1 Hodnocení 2 Hodnocení 3 Hodnocení 4 Hodnocení 5 Množství řešených příkladů 15; 7% 1; 0% 48; 22% 80; 37% 73; 34% Hodnocení 1 Hodnocení 2 Hodnocení 3 Hodnocení 4 Hodnocení 5 Užitečnost úloh k samostatné práci 5; 2% 0; 0% 34; 16% 96; 44% 82; 38% Hodnocení 1 Hodnocení 2 Hodnocení 3 Hodnocení 4 Hodnocení 5 3; 1% Praktické aplikace 18; 9% 81; 39% 75; 36% 31; 15% Hodnocení 1 Hodnocení 2 Hodnocení 3 Hodnocení 4 Hodnocení 5 8; 4% 5; 2% Grafická úprava 25; 11% 92; 42% 89; 41% Hodnocení 1 Hodnocení 2 Hodnocení 3 Hodnocení 4 2 grafy ještě chybí Hodnocení 5

42 Hodnocení modulu PRA (220 respondentů) Dostatečnost textu Míra používání textu Grafická úprava Praktické aplikace Užitečnost úloh k samostatné práci Množství řešených příkladů Srozumitelnost řešených příkladů Srozumitelnost výkladu % 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% % skládaný pruhový graf

43 Grafické znázornění B) Výsečový graf koláčový graf (pie chart) Na co si dát pozor? Neuvádění absolutních četností, resp. celkového počtu respondentů v blízkosti grafu Nadbytečné názvy grafu, legendy, Ne vždy je graf přehlednější než tabulka Jediná věc je horší než výsečový graf několik nebo dokonce mnoho výsečových grafů Van Belle

44 Kategoriální proměnná ordinální (má smysl uspořádání) (např. míra nezaměstnanosti (nízká, střední, vysoká), dosažené vzdělání, )

45 Seřazené podle velikosti Číselné charakteristiky TABULKA ROZDĚLENÍ ČETNOSTI Varianty x i Absolutní četnosti n i Relativní četnosti p i Kumulativní četnosti m i Kumulativní relativní četnosti F i x 1 n 1 p 1 =n 1 /n n 1 p 1 x 2 n 2 p 2 =n 2 /n n 1 +n 2 p 1 +p 2 x k n k p k =n k /n n 1 +n 2 + +n k =n p 1 +p 2 + +p k =1 Celkem: n 1 +n 2 + +n k =n Modus

46 Číselné charakteristiky Míra nezaměstnanosti TABULKA ROZDĚLENÍ ČETNOSTI Absolutní četnosti Relativní četnosti [%) Kumulativní četnosti Kumulativní relativní četnosti [%) nízká 27 13, ,6 střední , ,4 vysoká 25 12, ,0 Celkem: ,0 Modus = střední

47 Grafické znázornění A) Sloupcový graf (bar chart) B) Výsečový graf koláčový graf (pie chart)

48 EDA pro numerická data

49 Číselné charakteristiky A) Míry polohy (úrovně) B) Míry variability

50 Míry polohy

51 Aritmetický průměr x n i 1 n x i

52 1. Průměrný věk 20 osob v místnosti je 25 let. 28 letý člověk odejde z místnosti a 30 letý člověk do místnosti vejde. Změní se průměrný věk osob v místnosti? Pokud ano, jaký je nový průměrný věk osob v místnosti?

53 Aritmetický průměr x n i 1 n x i Pozor na ošidnost aritmetického průměru!

54 Jeden člověk sní celé kuře, druhý nic. V průměru měl každý půlku kuřete, takže se oba dobře najedli.??? Průměr slouží k získání charakteristik velkého souboru objektů, ale ne k popisu jednotlivých objektů z tohoto souboru.

55 Předpokládejme, že v malé vesnici žije 6 lidí, jejichž roční příjem byl: $ $ $ $ $ $ Jaký je jejich průměrný plat? ($31 830) Do vesničky se přistěhoval Bill Gates (roční příjem $ ) Jaký je nyní průměrný plat obyvatel vesnice? ($ )

56 Aritmetický průměr x n i 1 n x Na co si dát pozor? Průměr není rezistentní vůči odlehlým pozorováním! Harmonický průměr (proměnné vyjadřující čas na jednotku výkonu, poměrná čísla) Geometrický průměr (tempa růstu) Vážený průměr Průměrování dat na cirkulární škále Circular Statistics Toolbox i

57 2. Zemědělské družstvo dostalo kuřat s průměrnou váhou 1,37 kg. Cena byla 50,- Kč za kilogram. Během dne se prodalo 300 kuřat za ,- Kč. Jaká byla průměrná váha neprodaných kuřat? Počet kuřat Celková váha [kg] Celková cena [Kč] původně prodáno zůstalo

58 2. Zemědělské družstvo dostalo kuřat s průměrnou váhou 1,37 kg. Cena byla 50,- Kč za kilogram. Během dne se prodalo 300 kuřat za ,- Kč. Jaká byla průměrná váha neprodaných kuřat? Počet kuřat Celková váha [kg] Celková cena [Kč] původně prodáno /50 = zůstalo

59 2. Zemědělské družstvo dostalo kuřat s průměrnou váhou 1,37 kg. Cena byla 50,- Kč za kilogram. Během dne se prodalo 300 kuřat za ,- Kč. Jaká byla průměrná váha neprodaných kuřat? Počet kuřat Celková váha [kg] Celková cena [Kč] původně prodáno /50 = zůstalo

60 2. Zemědělské družstvo dostalo kuřat s průměrnou váhou 1,37 kg. Cena byla 50,- Kč za kilogram. Během dne se prodalo 300 kuřat za ,- Kč. Jaká byla průměrná váha neprodaných kuřat? Počet kuřat Celková váha [kg] Celková cena [Kč] původně prodáno /50 = zůstalo = x 1, kg

61 3. Nákladní automobil jel z města A do města B rychlostí 40 km/h, z města B do města C rychlostí 50 km/h a z města C do města D rychlostí 60 km/h. Vypočítejte průměrnou rychlost, které dosáhl automobil na celé trase, víte-li, že a) vzdálenost všech úseků je stejná 5 km. A B C D AB BC CD Dráha [km] Rychlost [km/h]

62 3. Nákladní automobil jel z města A do města B rychlostí 40 km/h, z města B do města C rychlostí 50 km/h a z města C do města D rychlostí 60 km/h. Vypočítejte průměrnou rychlost, které dosáhl automobil na celé trase, víte-li, že a) vzdálenost všech úseků je stejná 5 km. A B C D AB BC CD Dráha [km] Rychlost [km/h] Čas [h] 5/40 5/50 5/60

63 3. Nákladní automobil jel z města A do města B rychlostí 40 km/h, z města B do města C rychlostí 50 km/h a z města C do města D rychlostí 60 km/h. Vypočítejte průměrnou rychlost, které dosáhl automobil na celé trase, víte-li, že a) vzdálenost všech úseků je stejná 5 km. A B C D AB BC CD AD Dráha [km] Rychlost [km/h] Čas [h] 5/40 5/50 5/60

64 3. Nákladní automobil jel z města A do města B rychlostí 40 km/h, z města B do města C rychlostí 50 km/h a z města C do města D rychlostí 60 km/h. Vypočítejte průměrnou rychlost, které dosáhl automobil na celé trase, víte-li, že a) vzdálenost všech úseků je stejná 5 km. A B C D AB BC CD AD Dráha [km] Rychlost [km/h] Čas [h] 5/40 5/50 5/60 5/40 + 5/50 + 5/ x 48, km/ h

65 3. Nákladní automobil jel z města A do města B rychlostí 40 km/h, z města B do města C rychlostí 50 km/h a z města C do města D rychlostí 60 km/h. Vypočítejte průměrnou rychlost, které dosáhl automobil na celé trase, víte-li, že a) vzdálenost všech úseků je stejná 5 km. A B C D AB BC CD AD Dráha [km] Rychlost [km/h] Čas [h] 5/40 5/50 5/60 5/40 + 5/50 + 5/ x 48, km/ h Harmonický průměr

66 3. Nákladní automobil jel z města A do města B rychlostí 40 km/h, z města B do města C rychlostí 50 km/h a z města C do města D rychlostí 60 km/h. Vypočítejte průměrnou rychlost, které dosáhl automobil na celé trase, víte-li, že b) Vzdálenost z A do B je 15% trasy a vzdálenost z C do D je 60% trasy. A B C D AB BC CD Dráha [km] 0,15AD 0,60AD Rychlost [km/h]

67 3. Nákladní automobil jel z města A do města B rychlostí 40 km/h, z města B do města C rychlostí 50 km/h a z města C do města D rychlostí 60 km/h. Vypočítejte průměrnou rychlost, které dosáhl automobil na celé trase, víte-li, že b) Vzdálenost z A do B je 15% trasy a vzdálenost z C do D je 60% trasy. A B C D AB BC CD Dráha [km] 0,15AD 0,25AD 0,60AD Rychlost [km/h]

68 3. Nákladní automobil jel z města A do města B rychlostí 40 km/h, z města B do města C rychlostí 50 km/h a z města C do města D rychlostí 60 km/h. Vypočítejte průměrnou rychlost, které dosáhl automobil na celé trase, víte-li, že b) Vzdálenost z A do B je 15% trasy a vzdálenost z C do D je 60% trasy. A B C D AB BC CD Dráha [km] 0,15AD 0,25AD 0,60AD Rychlost [km/h] Čas [h] 0,15AD/40 0,25AD/50 0,60AD/60

69 3. Nákladní automobil jel z města A do města B rychlostí 40 km/h, z města B do města C rychlostí 50 km/h a z města C do města D rychlostí 60 km/h. Vypočítejte průměrnou rychlost, které dosáhl automobil na celé trase, víte-li, že b) Vzdálenost z A do B je 15% trasy a vzdálenost z C do D je 60% trasy. A B C D AB BC CD AD Dráha [km] 0,15AD 0,25AD 0,60AD AD Rychlost [km/h] Čas [h] 0,15AD/40 0,25AD/50 0,60AD/60 AD 1 x 53, 3 015, AD 0, 25AD 0, 60AD 015, 0, 25 0, km/ 0,15AD/40 + 0,25AD/50 + 0,60AD/60 h Vážený harmonický průměr

70 4. Cena jedné akcie energetické společnosti vzrostla na burze XY v období od 13. do 15. března téhož roku z 952,50 Kč na 982,00 Kč. Jaký byl průměrný denní relativní přírůstek ceny této akcie? Cena akcie [Kč] 13. března 952, března? 15. března 982,0

71 4. Cena jedné akcie energetické společnosti vzrostla na burze XY v období od 13. do 15. března téhož roku z 952,50 Kč na 982,00 Kč. Jaký byl průměrný denní relativní přírůstek ceny této akcie? Cena akcie [Kč] Koeficient růstu 13. března 952, března??/952,5 15. března 982,0 982,0/? Průměrný denní relativní přírůstek ceny akcie byl 1,5%. x? 982, 0 952, 5? 982, 0 952, , Geometrický průměr

72 Výběrové kvantily 100p %-ní kvantil x p odděluje 100p% menších hodnot od zbytku souboru (100p% hodnot datového souboru je menších než toto číslo.)

73 Význačné výběrové kvantily Kvartily Dolní kvartil x 0,25 Medián x 0,5 Horní kvartil x 0,75 Decily x 0,1 ; x 0,2 ;... ; x 0,9 Percentily x 0,01 ; x 0,02 ; ; x 0,03 Minimum x min a Maximum x max

74 Jak se výběrové kvantily určují? Jedna z používaných metod: 1. Výběrový soubor uspořádáme podle velikosti. 2. Jednotlivým hodnotám proměnné přiřadíme pořadí, a to tak, že nejmenší hodnota bude mít pořadí 1 a nejvyšší hodnota pořadí n (rozsah souboru) p%- ní kvantil je roven hodnotě proměnné s pořadím z p, kde z p = np + 0,5. 4. Není-li z p celé číslo, pak daný kvantil určíme jako průměr prvků s pořadím z p a z p.

75 5. V předložených datech určete 0,3 kvantil (30-ti procentní kvantil): MN [%] 8,7 7,8 6,8 6,8 7,8 9,7 15,7 6,8 4,9 6,8 z p = np + 0,5

76 5. V předložených datech určete 0,3 kvantil (30-ti procentní kvantil): MN [%] MN [%] (seřazeno) 8,7 4,9 7,8 6,8 6,8 6,8 6,8 6,8 7,8 6,8 9,7 7,8 15,7 7,8 6,8 8,7 4,9 9,7 6,8 16 z p = np + 0,5 z 0,3 = 10 0,3 + 0,5 = 3,5

77 5. V předložených datech určete 0,3 kvantil (30-ti procentní kvantil): MN [%] MN [%] (seřazeno) 8,7 4,9 7,8 6,8 6,8 6,8 6,8 6,8 7,8 6,8 9,7 7,8 15,7 7,8 6,8 8,7 4,9 9,7 6,8 16 x 0,3 = 6,8 + 6,8 2 = 6, 8 z p = np + 0,5 z 0,3 = 10 0,3 + 0,5 = 3,5

78 6. Průměrný věk 20 osob v místnosti je 25 let. 28 letý člověk odejde z místnosti a 30 letý člověk do místnosti vejde. Změní se medián věku osob v místnosti? Pokud ano, jaký je nový medián věku osob v místnosti?

79 7. Průměrný věk 21 osob v místnosti je 25 let. 28 letý člověk odejde z místnosti a 30 letý člověk do místnosti vejde. Změní se medián věku osob v místnosti? Pokud ano, jaký je nový medián věku osob v místnosti?

80 Efekt změny jednotky Jak se změní míry polohy, změníme-li jednotku měřené veličiny (minuty hodiny, metr palec, atd.)? Když přičteme konstantu ke každé hodnotě, tak se průměr i medián změní o tutéž konstantu. Když každou hodnotu násobíme konstantou, průměr i medián jsou násobeny toutéž konstantou.

81 Míry variability

82 Výběrový rozptyl s 2 n i 1 x i x n 1 2 Na co si dát pozor? Rozměr rozptylu charakteristiky je druhou mocninou rozměru proměnné.

83 Výběrová směrodatná odchylka s s 2 n i 1 x i x n 1 2

84 Jakou představu o variabilitě dat nám dává sm. odchylka? Čebyševova nerovnost: k > 0: P μ kσ < X < μ + kσ > 1 1 k 2 k P μ kσ < X < μ + kσ 1 >0 2 >0,75 3 >0,89 k P μ kσ < X < μ + kσ 1 0, , ,998 Empirické pravidlo 3 sigma

85 Variační koeficient (Směrodatná odchylka v procentech aritmetického průměru) V x x s 100 % Čím nižší var. koeficient, tím homogennější soubor. V x > 50% značí silně rozptýlený soubor. Proč potřebujeme bezrozměrnou míru variability? Umožňuje srovnání variability proměnných, které mají různé jednotky.

86 Interkvartilové rozpětí IQR = x 0,75 - x 0,25 Užití: např. při identifikaci odlehlých pozorování

87 Efekt změny jednotky Jak se změní míry variability, změníme-li jednotku měřené veličiny (minuty hodiny, metr palec, atd.)? Když přičteme konstantu ke každé hodnotě, vzdálenosti mezi hodnotami zůstanou zachovány. V důsledku toho se rozptyl ani směrodatná odchylka nezmění. Když každou hodnotu násobíme konstantou, rozptyl je násoben kvadrátem této konstanty (viz definice rozptylu), směrodatná odchylka je násobena danou konstantou.

88 8. Průměrná roční teplota v Praze je 10,40 C, rozptyl teploty je 0,25 C 2. Určete průměrnou roční teplotu v Praze a její rozptyl ve stupních Fahrenheita. F = 9C x F = 9 5 x C + 32 = 50,72 F s 2 F 2 = s 2 C 2 = 0,81 F 2

89 MAD median absolute deviation from the median, čili česky: medián absolutních odchylek od mediánu pomocná proměnná pro identifikaci odlehlých pozorování Jak jej určíme? 1. Výběrový soubor uspořádáme podle velikosti. 2. Určíme medián souboru. 3. Pro každou hodnotu souboru určíme absolutní hodnotu její odchylky od mediánu. 4. Absolutní odchylky od mediánu uspořádáme podle velikosti. 5. Určíme medián absolutních odchylek od mediánu, tj. MAD.

90 Odlehlá pozorování ty hodnoty proměnné, které se mimořádně liší od ostatních hodnot a tím ovlivňují např. vypovídací hodnotu průměru. Jak postupovat v případě, že v datech identifikujeme odlehlá pozorování? V případě, že odlehlost pozorování je způsobena: hrubými chybami, překlepy, prokazatelným selháním lidí či techniky... důsledky poruch, chybného měření, technologických chyb... tzn., známe-li příčinu odlehlosti a předpokládáme-li, že již nenastane, jsme oprávněni tato pozorování vyloučit z dalšího zpracování. V ostatních případech je nutno zvážit, zda se vyloučením odlehlých pozorování nepřipravíme o důležité informace o jevech vyskytujících se s nízkou četností.

91 Identifikace odlehlých pozorování Metoda vnitřních hradeb x x,5iqr x x 1, 5IQR x je odlehlým pozorování m i 0,25 1 i 0, 75 i Dolní mez vnitřních hradeb Horní mez vnitřních hradeb

92 Identifikace extrémních pozorování Metoda vnějších hradeb x x IQR x x 3IQR x je extrémním pozorování m i 0, 25 3 i 0, 75 i Dolní mez vnějších hradeb Horní mez vnějších hradeb

93 9. V předložených datech identifikujte odlehlá pozorování: MN 0,25 =6,8 MN 0,5 =7,3 MN 0,75 =8,7 MN [%] 4,9 6,8 6,8 6,8 6,8 7,8 7,8 8,7 9,7 15,7 IQR=MN 0,75 -MN 0,25 =1,9 1,5.IQR=2,85 Vnitřní hradby: Dolní mez: 6,8-2,85=3,95 Horní mez: 8,7+2,85=11,55

94 9. V předložených datech identifikujte odlehlá pozorování: MN 0,25 =6,8 MN 0,5 =7,3 MN 0,75 =8,7 MN [%] 4,9 6,8 6,8 6,8 6,8 7,8 7,8 8,7 9,7 15,7 IQR=MN 0,75 -MN 0,25 =1,9 1,5.IQR=2,85 Vnitřní hradby: Dolní mez: 6,8-2,85=3,95 Horní mez: 8,7+2,85=11,55

95 Identifikace odlehlých pozorování z-souřadnice z souřadnice i = x i x s Je-li z souřadnice i > 3, je x i odlehlým pozorováním. Zase nový vzorec?

96 Identifikace odlehlých pozorování z-souřadnice z souřadnice i = x i x s Je-li z souřadnice i > 3, je x i odlehlým pozorováním. Ne, jde jen o jinou podobu pravidla 3σ!

97 Identifikace odlehlých pozorování x 0,5 -souřadnice x 0,5 souřadnice i = x i x 0,5 1,483MAD Je-li x 0,5 souřadnice i > 3, je x i odlehlým pozorováním.

98 Míry šikmosti a špičatosti

99 Jsou míry polohy a míry variability dostatečné pro posouzení rozdělení sledovaných veličin? Zdroj: TVRDÍK, J.: Základy matematické statistiky, Ostravská univerzita, 2008 Všech pět ukázek má stejné charakteristiky polohy i variability (průměry i směrodatné odchylky jsou shodné). Přesto na první pohled vidíme, že tvary rozdělení dat jsou různé.

100 Výběrová šikmost (standardizovaná) a = n i=1 3 n n 1 n 2 x i x s 3 f(x) f(x) f(x) a < 0 negativně zešikmené rozdělení x < x 0,5 < x x a = 0 symetrické rozdělení x = x 0,5 = x x x a > 0 pozitivně zešikmené rozdělení x > x 0,5 > x obvykle

101 Výběrová špičatost (standardizovaná) míra koncentrace kolem průměru b = n i=1 4 n n + 1 n 1 n 2 n 3 x i x s 4 3 n 1 2 n 2 n 3 f(x) f(x) f(x) x b < 0 špičatost menší než u norm. rozdělení (plošší rozdělení) b = 0 špičatost odpovídající normálnímu rozdělení x x b > 0 špičatost větší než u norm. rozdělení (špičatější rozdělení)

102 Jsou míry polohy a míry variability dostatečné pro posouzení rozdělení sledovaných veličin? Zdroj: TVRDÍK, J.: Základy matematické statistiky, Ostravská univerzita, 2008 Všech pět ukázek má stejné charakteristiky polohy i variability (průměry i směrodatné odchylky jsou shodné). Přesto na první pohled vidíme, že tvary rozdělení dat jsou různé. K číselnému vyjádření těchto rozdílů nám slouží další charakteristiky - šikmost (g 1, angl. skewness) a špičatost (g 2, angl. kurtosis).

103 Přesnost číselných charakteristik

104 Směrodatnou odchylku jakožto míru nejistoty měření zaokrouhlujeme nahoru na jednu, maximálně dvě platné cifry a míry polohy (průměr, kvantily ) zaokrouhlujeme tak, aby nejnižší zapsaný řád odpovídal nejnižšímu zapsanému řádu směrodatné odchylky.

105 Chybný zápis číselných charakteristik Délka [m] Váha [kg] Teplota [ 0 C] Průměr 2,26 127, Medián 2, , Směrodatná ,78 23,7 odchylka (před zaokrouhlením 1235) Proč je zápis chybný?

106 Chybný zápis číselných charakteristik Délka [m] Váha [kg] Teplota [ 0 C] Průměr 2,26 127, Medián 2, , Směrodatná odchylka 0,78 23,7 Proč je zápis chybný? Různý počet des. míst (před zaokrouhlením 1235)

107 Chybný zápis číselných charakteristik Délka [m] Váha [kg] Teplota [ 0 C] Průměr 2,26 127, Medián 2, , Směrodatná odchylka 0,78 23,7 Proč je zápis chybný? Různý počet des. míst. 3 platné cifry u směrodatné odchylky (před zaokrouhlením 1235)

108 Chybný zápis číselných charakteristik Délka [m] Váha [kg] Teplota [ 0 C] Průměr 2,26 127, Medián 2, , Směrodatná ,78 23,7 odchylka (před zaokrouhlením 1235) Nejnižší zapsaný řád 3 platné průměru (jednotky) Různý cifry neodpovídá nejnižšímu Proč je zápis počet des. u zapsanému řádu směrodatné chybný? míst. směrodatné odchylky (stovky)+ směr. odchylky. odch. není zaokrouhlena nahoru.

109 Oprava Délka [m] Váha [kg] Teplota [ 0 C] Průměr 2,26 127, Medián 2,68 117, Směrodatná ,78 23,7 odchylka (před zaokrouhlením 1235) Nejnižší zapsaný řád 3 platné průměru (jednotky) cifry neodpovídá nejnižšímu Proč je zápis u zapsanému řádu směrodatné chybný? směrodatné odchylky (stovky)+ směr. odchylky. odch. není zaokrouhlena nahoru.

110 Oprava Délka [m] Váha [kg] Teplota [ 0 C] Průměr 2, Medián 2, Směrodatná ,78 24 odchylka (před zaokrouhlením 1235) Nejnižší zapsaný řád průměru (jednotky) neodpovídá nejnižšímu Proč je zápis zapsanému řádu směrodatné chybný? odchylky (stovky)+ směr. odch. není zaokrouhlena nahoru.

111 Správný zápis číselných charakteristik Délka [m] Váha [kg] Teplota [ 0 C] Průměr 2,26 127, Medián 2, , Směrodatná odchylka 0,78 23,

112 Grafické znázornění num. proměnné A.) Krabicový graf (Box plot)

113 <27,1; 57,2> (57,2; 87,3> (87,3; 117,4> (117,4; 147,4> (147,4; 177,6> <27,1; 36,5> (45,9; 55,3> (64,7; 74,1> (83,5; 92,9> (102,3; 111,7> (121,1; 130,5> (139,9; 149,3> (158,7; 168,1> Grafické znázornění num. proměnné B.) Histogram Četnost Četnost Na co si dát pozor?

114 Grafické znázornění num. proměnné B.) Histogram

115 <27,1; 57,2> (57,2; 87,3> (87,3; 117,4> (117,4; 147,4> (147,4; 177,6> Četnost Grafické znázornění num. proměnné B.) Histogram Četnost ,1 43,8 60,6 77,3 94,0 110,7 127,4 144,1 160,8 Další Data MS Excel 2007, funkce Histogram Výpočetní applet Explorační analýza Na co si dát pozor?

116 Souvislost mezi číselnými charakteristikami a grafy V java appletu Výběrové charakteristiky sledujte souvislost mezi číselnými charakteristikami a grafy numerické proměnné.

117 Zajímavé odkazy k tématu Exploratorní statistika Slovníček pojmů z exploratorní statistiky aneb co by se Vám mohlo hodit při práci se statistickým softwarem v angličtině Interstat sylabus popisné statistiky (nedokončeno) Jak nevytvářet grafy (anglicky) The Evil Tutor s Guide Real Time Statistics Project Projekt Gapminder Circular Statistics Toolbox (Matlab)