Statistické metody v ekonomii Ing. Michael Rost, Ph.D. Jihočeská univerzita v Českých Budějovicích
V podstatné míře čerpám z přednášek prof. Thomase Lumleyho z R Core Developement Team
Statistický software V současné době existuje na trhu celá řada statistického software. Asi nejrozšířenějším je statistický software SAS, SPSS, STATISTICA, MATLAB případně S-plus. Jde především o komerční a monolitické systémy s relativně přátelským prostředím. Nevýhodou těchto programů je však jejich vysoká pořizovací cena. Alternativou může být profesionální programovací prostředí R.
Co je to R a S-plus R je programovací prostředí. Lze jej označit za dialekt jazyka S který byl vyvinut Johnem Chambersem speciálně pro statistické výpočty a grafiku. Jazyk S (Bellovy laboratoře USA) byl vědomě tvořen tak, aby se setřel rozdíl mezi obyčejnými uživateli a opravdovými programátory. S-plus je komerční statistický systém založený na jazyku S. S je systém pro interaktivní analýzu dat. Vždy byl tento jazyk tvořen s vizí interaktivity. Zároveň je tak uživatel nucen vědět co dělá.
Co je to R a S-plus S je tzv. high-level programovací jazyk. Obsahuje podobnosti s jazyky Scheme a Python. Je to velmi dobrý systém pro rychlý vývoj statistických a data miningových aplikací.
Instalace programovacího prostředí R Prostředí R stránkách: lze získat snadno prostřednictvím Internetu na http://www.r-project.org Zde je nutné opatřit si instalační soubor.
Proč ne S-plus. Programovací jazyky R a S jsou obviňovány z toho, že jsou pomalé, pamět ově náročné a že jsou schopny zpracovávat pouze malé datové soubory. To vše je naprostá pravda. V současné době jsou však počítače dostatečně rychlé a obsahují rozsáhlou pamět. Není to tedy kritické. Značně rozsáhlá data se dají zpracovat s 1 Gb pamět i. Předpisy a omezení (FDA, 21 CFR 11, Basel 2, atd.). Rnemá GUI (není to úplně pravda) narozdíl od S-plus.
Jak podobné jsou si R a S-plus V příkazech pro provedení analýzy dat jsou si velmi podobné Spousta programů napsané v jednom dialektu může být přímo přenesena do druhého. Spousta programů bude potřebovat určitý překlad R má výborně propracovaný systém baĺıčků pro distribuci kódu a dat.
Výhody a nevýhody programovacího prostředí R + R je zdarma a rozvíjí se. V mnoha ohledech překonává (a to i o několik let) některé jiné komerční programy. + Systém nápovědy ke každé funkci spolu s ukázkou použití příslušné funkce. Existuje široká uživatelská obec - možnost řešit problémy s předními odborníky. + Velmi dobrá grafika, import a export dat a výstupů + (Sweave). + Učesaný jazyk, vektorizace výpočtů, možnost využití objektově orientovaného programování, komunikuje Tinn-R, GGobi, L A T E X, Excel,...... + Dostupnost nejnovějších statistických metod.
Výhody a nevýhody programovacího prostředí R - Existence některých duplicit. - Mohou se vyskytovat chyby v kódu (to je problém jakéhokoliv software). ± Neexistence GUI (není tak zcela pravda). A je to vlastně nevýhoda?? Zkušenosti s výukou - studenti mají strach z příkazové řádky. Upřednostňují users friendly software. Strmá křivka učení. Návaznost na další projekty - Bioconductor
Inicializace R Erko lze inicializovat různým způsobem. Windows GUI: Obvyklý způsob přes Start Všechny programy R. Xemacs, Rterm, Rcmd, Tinn-R... Ukončení práce s programovacím prostředím R, je velmi jednoduché. Stačí do příkazového řádku zapsat za prompt q()
Princip práce s R Obvykle probíhá práce s R interaktivně. Lze ji popsat modelem: otázka odpověd : Zadáte příkaz a stisknete klávesu Enter. R vyhodnotí příkaz (vytiskne jeho hodnotu pokud je není zapsána do vnitřní paměti). Pak R čeká na další vstupní příkaz.
Několik malých příkladů 2 + 2 [1] 4 exp(-2) [1] 0.1353353 log(100, base = 10) [1] 2 rnorm(10) [1] 0.28561157 0.17790983 1.63946005-0.46323635 [5] 0.70008063-0.04786677-0.98090075-1.72214332 [9] -0.23604856-0.85228894 data<-(rnorm(50,13,4)) mean(data) [1] 13.02051 var(data) [1] 18.60891 sqrt(var(data)) [1] 4.313805
Funkce exp(), log(), mean(), var(), sqrt(), rnorm() jsou funkce implementované v R. Volání funkcí je indikováno prostřednictvím jména funkce a závorek jméno.funkce(argument1, argument2,argument3,...) v nichž jsou obsaženy argumenty funkce. Naprostá většina práce v R se odehrává právě prostřednictvím funkcí.
Poznámka k funkcím Uživatel má na výběr z několika možností: 1.) Využít již napsaných programů ve Fortranu nebo C a dynamicky je připojit prostřednictvím vestavěných funkcí a doinstalovaných programů, např gcc. Částečně lze využít i programy psané v Matlabu. K tomu je třeba mít nainstalovány speciální knihovny. 2.) Využít Rkové knihovny umožňující provádět různé statistické analýzy. 3.) Definovat si vlastní uživatelské funkce přímo v programovacím prostředí R.
Přiřazování Základem všeho je prostě přiřazování! Stále jenom přiřazuješ a přiřazuješ, až se v tom úplně ztratíš... Václav Nýdl V R se přiřazuje prostřednictvím symbolu <-. Např a<-3*x
Nápověda v R V prostředí R lze s výhodou využívat velmi dobře koncipovanou nápovědu. K její vyvolání stačí zadat jednoduchý příkaz help() nebo ještě jednodušeji, využít příkaz?. Za symbol? napíšeme název funkce ke které hodláme získat nápovědu. Jinou možností je použít příkaz help.search(). Hledané téma pak vepíšeme do uvozovek např. help.search("mean") a stiskneme enter. Pokud příkaz sice známe, ale nevíme jaké argumenty obsahuje, můžeme využít příkazu args(). Do závorek opět vepíšeme název funkce.
Koncepce baĺıčků package a jejich připojení Pro provádění specifických statistických procedur, je nutné si stáhnout z www stránek projektu potřebný baĺıček - knihovnu. Ta v sobě obsahuje příslušné programy, které umožňují provádět zamýšlenou proceduru. Postup je velmi jednoduchý. Po instalaci je třeba knihovnu pouze připojit. Příklad: Potřebuji provádět segmentaci trhu prostřednictvím moderních shlukovacích metod. Ty jsou obsaženy v baĺıčku clust. Opatřím si jej na www stránkách projektu R a nainstaluji jej. Pak v příkazové řádce napíši jen library(clust)... a mohu pracovat...
Knihovny - library() R obsahuje velké množství knihoven umožňujících provádět různé statistické analýzy od triviální popisné statistiky až vícerozměrnou statistickou analýzu dat. Za všechny lze jmenovat alespoň následující: MASS mclust e1074 rpart cluster vcd kernlab stats ade4 vegan party nnet Některé funkce pro vícerozměrnou analýzu dat: lda(), qda(), factanal(), princomp(), hclust(), svm(), rpart(), mclust(), bclust(), corrsesp()
Nastavení pracovního adresáře Velmi důležité je nastavení si pracovního adresáře!!! Příkaz pro zjištění současného pracovního adresáře. getwd() [1] "C:/Documents and Settings/Já/Plocha" Výše uvedené mi nevyhovuje a chci to změnit tak, abych mohl načítat data ze složky Alldata, která je na mém USB kĺıči a (v mém případě je to disk R:). Cestu změním prostřednictvím příkazu setwd(): setwd("r:/alldata") getwd() [1] "R:/Alldata"
Možnosti záznamu dat Do R lze data zaznamenávat různými způsoby. Asi nejjednodušší postup spočívá ve využití funkcí c() nebo scan(). Nebo využít vestavěný datový editor pomocí funkce edit(data.frame()). Import data bude zmíněn následovně. x<-c(1,2,3,4,8,12,3,4,6) x [1] 1 2 3 4 8 12 3 4 6 nebo x<-scan() 1: 1 2 3 4 8 12 3 4 6 10: Read 9 items x [1] 1 2 3 4 8 12 3 4 6
Poznámka k syntaxi Vektor pozorování vytvoříme v R velmi snadno. Slouží k tomu funkce c(). Například, uvažujme následující ceny v Kč: 220, 0; 213, 0; 236, 0; 250, 0; 267.5; 356 ceny <- c(220, 213, 236, 250, 267.5, 356) ceny [1] 220.0 213.0 236.0 250.0 267.5 356.0
Načítání dat R umí číst: Textové soubory webové stránky databáze datové soubory z SPSS, SAS,S-plus, Stata,MS Excel Detaily jsou uvedeny v manuálu Data Import/Export na stránkách http://www.r-project.org.
Načtení dat z textového souboru Nejjednodušší formát obsahuje v prvním řádku jména proměnných a hodnoty oddělené mezerou: case id gender deg yrdeg field startyr year rank admin 1 1 F Other 92 Other 95 95 Assist 0 2 2 M Other 91 Other 94 94 Assist 0 3 2 M Other 91 Other 94 95 Assist 0 4 4 M PhD 96 Other 95 95 Assist 0 V R můžeme použít k načtení jednoduchý příkaz salary <- read.table("salary.txt", header=true)
Poznámky k syntaxi jazyka R Mezery v příkazech nemají význam (mimo čitelnost), ale rozlišují se malá a velká písmena. TRUE a FALSE jsou logickými konstantami. Narozdíl od jiných systémů programovací prostředí R nerozlišuje mezi příkazy které něco dělají a příkazy které počítají nějakou hodnotu. Vše je v prostředí R funkcí, tj. výsledkem je hodnota. salary <- read.table("salary.txt", header=true)
Poznámky k syntaxi jazyka R Argumenty funkcí mohou být pojmenované např. (header=true) nebo nepojmenované ("salary.txt") celá matice dat (v prostředí R označovaná jako data frame) je uložená do proměnné salary. To má obrovskou výhodu nebot můžete pracovat s mnoha různými datovými soubory současně.
Načítání datových souborů Někdy se můžete setkat s tím, že data máte ve sloupcích které jsou odděleny čárkou nebo tabelátorem. Například takto: Ozone,Solar.R,Wind,Temp,Month,Day 41,190,7.4,67,5,1 36,118,8,72,5,2 12,149,12.6,74,5,3 18,313,11.5,62,5,4 NA,NA,14.3,56,5,5 V takovém případě lze data načíst do R následujícím příkazem: ozone <- read.table("ozone.csv", header=true, sep=",") nebo ozone <- read.csv("ozone.csv")
Poznámky k syntaxi Funkce mají nepovinné argumenty. Např. argument sep nebyl použit v prvním případě. Abychom zjistili o funkci read.table více, stačí vyvolat nápovědu?read.table nebo help(read.table) Je více způsobů jak získat nápovědu. NA představuje chybějící hodnotu ( Not available ) Podívejte se na funkci is.na()
Někdy se může stát, že data nemají názvy proměnných: 1 0.2 115 90 1 3 2 0.7 193 90 3 1 3 0.2 58 90 1 3 4 0.2 5.1 80 2 3 5 0.2 8.5 90 1 2 a mi je potřebujeme pojmenovat, pak stačí: data <- read.table("psa.txt", col.names=c("cislo","x1", "X2", "X3","X4","X5")) nebo data<- read.table("psa.txt") names(data) <- c("cislo","x1","x2", "X3","X4","X5")
Import dat z jiných statistických programů K importu je nutno využít specifickou knihovnu s názvem foreign
Import dat z Excelu V případě, že hodláme importovat data, např. z Excelu, lze využít několika možností. Asi nejjednodušší cestou je exportovat data z Excelu prostřednictvím jeho nabídky/ Postup je následující: Soubor Uložit jako:mojedata Typ souboru: CSV (oddělený středníkem) Enter. Ve vašem pracovním adresáři se objeví soubor mojedata.csv. Pak pokračujeme již v R a napíšeme: mojedata<-read.csv("mojedata.csv", header=true, dec=",",sep=";")
Import dat z Excelu Druhá možnost spočívá ve vložení kopírovaných dat do schránky a pak použití příkazu: mojedata<-read.table(file("clipboard"),sep="\t",dec=",")
Export dat do Excelu Svá data můžeme také exportovat do Excelu. Předpokládejme, že hodláme vytvořit náhodné pořadí, ve kterém provedeme měření. Výsledné pořadí uložím v R do objektu cislapokusu a vyexportuji do Excelu. Soubor obsahující vytvořené pořadí bude pojmenován jako poradi.xls. cislapokusu<-sample(1:50,50,replace=f) write.table(cislapokusu,"poradi.xls",sep="\t",na="",row.names=f)
Import dat z webu Soubory obsahující data mohou, a dost často jsou přístupné z webu. Například data k následujícímu cvičení můžete do R importovat následujícím postupem. porody<-read.table("http://www2.ef.jcu.cz/~rost/alldata/porod2.txt", header=true)
Vlastní funkce - programování V prostředí R je možné velmi snadno tvořit vlastní funkce. Základem je příkaz: moje.funkce<-function(argumemty.mojí.funkce,...){ vlastni.tělo.moji.funkce } Triviální příklad výpočtu kovarianční matice S: moje.s<-function(x){ xbar<-apply(x,2,mean) n<-dim(x)[1] mat<-t(x)%*%x - n*(xbar%*%t(xbar)) (1/(n-1))*mat } To samé lze získat jednoduše pomocí příkazu cov().
Několik úvodních poznámek ke statistické analýze dat
Co je vlastně cílem statistické analýzy dat? Cílem statistického zpracování dat je podání informace o vlastnostech, povaze a zákonitostech projevujících se na pozorovaných datech. Statistika zahrnuje získávání, analýzu a objektivní interpretaci získaných dat. Tj. začíná již před samotným provedením experimentu!
Několik doporučení: Definujte svůj problém, který hodláte řešit (a to co možná nejjednodušeji) a vytvořte si své pracovní hypotézy. Určete co budete měřit a jak to budete měřit. Věnujte dostatečnou přípravu vašemu experimentu. Je důležitá. Randomizujte, tj. znáhodňujte. Můžete se tak vyhnout systematickým chybám (například při odečítání hodnot z přístroje).
Několik doporučení: Při analýze dat je nutno rozlišovat s jakými typy dat pracujeme. Mějte na paměti, že ne všechny metody jsou vhodné pro všechny typy dat. Pokud využíváte deskriptivní statistiky k popisu analyzovaného souboru, uvědomte si, že aritmetický průměr nemusí být vždy tou pravou charakteristikou polohy. Udávejte i další statistiky. Vizualizujte! Pokud to jde, používejte spolu s čísly i grafickou reprezentaci, může pomoci (používejte však vhodné grafické vyjádření).
Několik doporučení: Uvědomte si, že pokud provádíte formální analýzu či statistické testování při kterém využíváte p-value, vycházíte zároveň z jistých předpokladů. Ty však nemusí být splněny. Stupeň validity získaného p-value záleží na tom jakou shodu vykazují naše data s teoretickými rozděleními. Proto každopádně ověřujte předpoklady vašich modelů! Myslete!
Statistické zhodnocení ve 3 úrovních V průběhu statistické analýzy dat postupujte v několika úrovních: Explorativní úroveň (EDA). Popisné statistiky a grafické zhodnocení. Formální statistický přístup. Testy a testování hypotéz či různé statistické metody. Diagnostika. Zhodnocení, zda byly dodrženy předpoklady pro použití použitých metod. Případně různá nápravná opatření.
Jak udělat to základní v R
Hodnoty F(x) = P(X x) a hodnoty u α ; t α (n); χ 2 α (n); F α(n 1 ; n 2 );... Hodnoty distribučních funkcí: pro případ, že x = 2; m = 18, n = 20 F(x) pokud X N(0; 1) pnorm(2,0,1) F(x) pokud X t(n) pt(2,20) F(x) pokud X χ 2 (m) pchisq(2,20) F(x) pokud X F (m, n) pf(2,18,20) Kvantily nejčastěji používaných rozdělení spojitých náhodných veličin: pro případ, že α = 0, 05, m = 18, n = 20 z 1 α qnorm(0.95,0,1) t 1 α qt(0.975,19) 2 χ 2 α(n) qchisq(0.05,20) F 1 α (m 1, n 1) qf(0.95,17,19)
Testování hypotéz (těch základních...) Studentův t-test(jeden výběr) H A : µ µ 0 = 140 H A : µ < µ 0 = 140 H A : µ > µ 0 = 140 Test na shodu dvou rozptylů H A : σ 2 A σ2 B Studentův t-test(dva výběry) H A : µ A µ B H A : µ A < µ B H A : µ A > µ B t.test(x,mu=140) t.test(x,mu=140,alternative="less") t.test(x,mu=140,alternative="greater") var.test(a,b) t.test(a,b) t.test(a,b,alternative="less") t.test(a,b,alternative="greater")
Děkuji za pozornost.