Statistika, Biostatistika pro kombinované studium Letní semestr 2011/2012. Tutoriál č. 4: Exploratorní analýza. Jan Kracík

Transkript

1 Statistika, Biostatistika pro kombinované studium Letní semestr 2011/2012 Tutoriál č. 4: Exploratorní analýza Jan Kracík

2 Statistika věda o získávání znalostí z empirických dat empirická data (získaná měřením, pozorováním) představují primární zdroj informace o zkoumaném jevu lze rozlišit statistiku matematickou a popisnou

3 Matematická statistika teoretická disciplína, opírá se o aparát teorie pravděpodobnosti (data jako realizace náhodných veličin) návrh metod pro získávání a analýzu dat odhady parametrů rozdělení testy hypotéz plánování experimentů predikce...

4 Popisná statistika stručná charakteristika základních vlastností datového souboru využívá: číselné charakteristiky tabulky grafy

5 Základní pojmy Populace množina sledovaných prvků (např. všichni státní zaměstnanci v ČR) Statistické jednotky - prvky populace Statistické znaky, proměnné, veličiny sledované kvantitativní údaje (např. výše příjmu) Statistické zjišťování proces získávání dat šetření (vyčerpávající / výběrové) pokus

6 Výběrové šetření výběr by měl být reprezentativní odrážet vlastnosti celé populace náhodný výběr každá statistická jednotka má stejnou šanci dostat se do výběru prostý, systematický, skupinový, nenáhodný výběr anketa (samovýběr, rozhodnutí respondenta), nelze definovat populaci záměrný výběr

7 Typy proměnných proměnná kvalitativní (kategoriální, slovní) kvantitativní (číselná) nominální (nelze uspořádat, např. barva) ordinální (lze uspořádat, např. míra spokojenosti) diskrétní (např. počet dětí ) spojitá (např. tlak) Od typu proměnné se odvíjí způsob zpracování dat a prezentace výsledků.

8 EDA pro kategoriální nominální veličinu Způsoby prezentace: tabulka rozdělení četnosti pro malý počet hodnot, číselná charakteristika modus (nejčastější hodnota) graf sloupcový, koláčový

9 Tabulka rozdělení četnosti Tabulka rozdělení četnosti varianta absolutní četnosti relativní četnosti A n 1 n 1 / n B n 2 n 2 / n C n 3 n 3 / n D n 4 n 4 / n celkem n 1 +n 2 +n 3 +n 4 = n 1

10 Grafické znázornění Sloupcový graf pozor na vhodnou volbu výchozí hodnoty (zpravidla 0) názvy, popisky atd. stručné ale srozumitelné Chrome Safari IE Firefox Ostatní Počet návštěv webu dle prohlížečů

11 Grafické znázornění Výsečový (koláčový) graf vždy uvádět i absolutní četnosti 185, 21% 42, 5% názvy, popisky atd. stručné ale srozumitelné 89, 10% 356, 40% Chrome Safari IE Firefox Ostatní pouze pro menší počet hodnot 212, 24%

12 EDA pro kategoriální ordinální veličinu Způsoby prezentace: tabulka rozdělení četnosti hodnoty seřazeny modus (nejčastější hodnota) graf sloupcový, koláčový

13 Tabulka rozdělení četnosti Tabulka rozdělení četnosti varianta absolutní četnosti relativní četnosti kumulativní četnosti kumul. rel. četnosti A n 1 n 1 / n = p 1 n 1 p 1 B n 2 n 2 / n = p 2 n 1 +n 2 p 1 +p 2 C n 3 n 3 / n = p 3 n 1 +n 2 +n 3 p 1 +p 2 +p 3 D n 4 n 4 / n = p 4 n 1 +n 2 +n 3 +n 4 p 1 +p 2 +p 3 +p 4 celkem n 1 +n 2 +n 3 +n 4 = n 1 Varianty A, B, C, jsou seřazeny (podle velikosti apod.).

14 EDA pro numerické veličiny Číselné charakteristiky: míry polohy míry variability

15 Míry polohy aritmetický průměr harmonický průměr (např. pro rychlosti) geometrický průměr (např. tempo změny) citlivé na odlehlá pozorování

16 Míry polohy výběrový p-kvantil Rozděluje seřazená data na části, jejichž velikosti jsou v poměru p : 1-p. Kvartily dolní kvartil medián horní kvartil Decily,,... Percentily,,...

17 Stanovení výběrového kvantilu Data uspořádáme podle velikosti od nejmenší hodnoty po největší p-kvantil (100p% kvantil) je hodnota s pořadím np+0.5, kde n je počet dat. Pokud np+0.5 není celé číslo, určíme p-kvantil jako průměr předchozího a následujícího prvku.

18 Příklad: 0.4-kvantil Ceny benzínu v Kč Ceny benzínu v Kč * 6 = 2.4, 0.4-kvantil je průměrem 2. a 3. hodnoty (36.70 Kč Kč)/2 = Kč

19 Míry variability výběrový rozptyl Rozměr rozptylu odpovídá druhé mocnině rozměru proměnné

20 Míry variability výběrová směrodatná odchylka Pravidlo 3 sigma pro normální rozdělení platí:

21 Odlehlá pozorování pozorování, která se výrazně liší od ostatních mohou (ale nemusí!) nežádoucím způsobem ovlivňovat vypovídací hodnotu charakteristik vždy je potřeba dobře zvážit čím je odlehlé pozorování způsobeno

22 Odlehlá pozorování (outliers) pozorování, která se výrazně liší od ostatních mohou (ale nemusí!) nežádoucím způsobem ovlivňovat vypovídací hodnotu charakteristik vždy je potřeba dobře zvážit čím je odlehlé pozorování způsobeno jde-li o zřejmou chybu (překlep, technická závada,...), můžeme pozorování vyloučit v jiných případech bychom se vyloučením mohli připravit o cennou informaci

23 Identifikace odlehlých pozorování Metoda vnitřních hradeb jestliže pro platí pak je odlehlým pozorováním interkvartilové rozpětí: IQR =

24 Identifikace odlehlých pozorování Z-souřadnice je-li z > 3, pak je odlehlým pozorováním Automatické metody pro identifikaci odlehlých pozorování pouze vybírají podezřelé hodnoty! Vždy je ale nutné individuální posouzení.

25 Grafické znázornění numerické proměnné Histogram zobrazuje (relativní) četnosti výskytu pozorování v předem zvolených intervalech stejné délky Box plot (krabicový graf) znázorňuje meze vnitřních hradeb, kvartily, odlelá pozorování