Nadstavba pro statistické výpočty Statistics ToolBox obsahuje více než 200 m-souborů které podporují výpočty v následujících oblastech.

Transkript

1 Statistics ToolBox Nadstavba pro statistické výpočty Statistics ToolBox obsahuje více než 200 m-souborů které podporují výpočty v následujících oblastech. [manual ST] 1. PROBABILITY DISTRIBUTIONS Statistics toolbox podporuje 20 rozdělení pravděpodobnosti diskrétní a spojité náhodné veličiny. Pro každé rozdělení má 5 asociovaných funkcí, jsou to: - pravděpodobnostní funkce (pdf) - distribuční funkce (cdf) - inverzní distribuční funkce - generátor náhodných čísel - střední hodnotu a rozptyl jako funkci parametru 2. DESCRIPTIVE STATISTICS - stanovení statistických charakteristik souborů 3. LINEAR MODELS - lineární regresní analýza, ANOVA 4. NONLINEAR MODELS funkce pro interaktivní predikci a vizualizaci pro vícerozměrné data 5. HYPOTHESIS TESTS - testování statistických hypotéz, t-test, Z-test aj. 6. MULTIVARIATE STATISTICS metody pro statistickou analýzu víceproměnných dat 7. STATISTICAL PLOTS statistické grafy např. boxplot, histogram aj. 8. DEMOS - demonstrační výukové úlohy 9. DATA - demonstrační datové soubory Ve statistickém toolboxu MATLABu jsou implementovány funkce pro práci s následujícími 6-ti druhy rozdělení diskrétní náhodné veličiny: - Binomické - Geometrické - Hypergeometrické - Negativní binomické - Poissonovo - Rovnoměrné diskrétní a funkce pro práci s následujícími 14-ti druhy rozdělení spojité náhodné veličiny: - Beta 1

2 - Pearsonovo chí-kvadrát - Exponenciální - Fischerovo F - Gama - Gaussovo normální - Studentovo t - Rovnoměrné spojité - Weibullovo - Lognormal - Rayleigh - Noncentral Chí-kvadrát - Noncentral F - Noncentral t Pro každý implementovaný typ rozdělení je možno zobrazit distribuční funkci a funkci rozložení hustoty pravděpodobnosti, provádět s nimi výpočty popř. vypočítat jejich charakteristiky. Je rovněž možno používat inverzní distribuční funkci, která stanoví hodnoty určitého rozdělení podle zadaných pravděpodobností. Prostředky MATLABu se dají také zobrazit velmi jednoduše rozdíly jednotlivých typů rozdělení. K použití se rovněž nabízejí generátory náhodných čísel pro každý typ rozdělení. V demonstračním bloku DEMOS je uvedena speciální funkce distool, která umožňuje grafickou demonstraci jednotlivých typů rozdělení. Je možno volit alternativně zobrazení distribuční funkce nebo funkce rozdělení hustoty všech typů implementovaných rozdělení.. Je možno interaktivně měnit parametry studovaného rozdělení a zjišťovat jeho funkční hodnoty pro různé hodnoty nezávisle proměnné. Ve statistickém toolboxu MATLABu jsou přímo k dispozici funkce, vypočítávající následující charakteristiky polohy: aritmetický průměr, geometrický průměr, harmonický průměr, medián, kvantily a aritmetický průměr bez extrémních hodnot a dále charakteristiky rozptýlení: rozptyl, směrodatnou odchylku, průměrnou odchylku, variační rozpětí a interkvartilové rozpětí aj. Prakticky velmi důležité jsou možnosti grafické prezentace výsledků zpracování statistického souboru. Tak lze znázornit histogramy absolutních četností, absolutních kumulovaných četností, krabicový graf (prezentace polohy 1. kvartilu, mediánu a 3. kvartilu), přilehlé hodnoty, vrubový krabicový graf (s prezentací konfidenčního intervalu aritmetického průměru). Pro zjištění, zda výběrový soubor pochází ze základního souboru s normálním rozložením hustoty pravděpodobnosti, slouží graf normálního rozložení. K dispozici je funkce, umožňující zjistit, zda mají dva výběrové soubory stejné rozdělení (kvantil-kvantilový graf). Plnou čarou jsou spojeny 1. a 3. kvartily (dolní 2

3 a horní kvartil). Výběry mají pravděpodobně stejné rozdělení, je-li závislost na první pohled lineární. Jako demonstrační funkce pro generování náhodných hodnot s různými typy rozdělení a vykreslování histogramů četnosti je v demonstračním bloku DEMOS připravena funkce randtool. Při studiu daného rozdělení je možno interaktivně měnit parametry rozdělení a rozsah souboru, ukládat data do výstupních souborů aj. Funkce MATLABu umožňují dále provádět analýzu lineárních regresních modelů. K dispozici jsou především funkce pro analýzu rozptylu (ANOVA - Analysis of Variance). Je možno je použít buď jako postup pro zjištění zdrojů variability u lineárních modelů, nebo jako samostatných technik. Ze statistického hlediska je možno tyto funkce chápat jako speciální případ regresní analýzy, kdy vysvětlující proměnné mají pouze binární charakter a mohou nabývat pouze hodnot 0 nebo 1. Při analýze zdrojů variability máme možnost vyšetřovat výběrový soubor při uvážení jednoho vlivu (faktoru) pomocí funkce pro jednofaktorovou (one-way) analýzu rozptylu, dvoufaktorová (two-way) analýza rozptylu umožňuje zkoumání vlivů dvou faktorů. Pro zkoumání vlivu faktorů na variabilitu se provádějí testy hypotéz o jejich významnosti. Funkce umožňují rovněž porovnávání dvou či více výběrů. Pro zobrazení výsledku analýzy je pak např. k dispozici okno se skupinou odpovídajících krabicových (vrubových krabicových) grafů, které umožňují evidentní posouzení shodnosti resp. diference středních hodnot jednotlivých výběrů. Funkce pro vícenásobnou lineární regresi umožňuje získat regresní závislost pro predikční účely. K dispozici je graf, znázorňující 95% konfidenční intervaly residuí. Jako demonstrační funkce pro interaktivní polynomiální aproximaci souboru s možností predikce jeho hodnot je v bloku DEMOS k dispozici funkce polytool. Tato funkce vytváří interaktivní grafické prostředí pro křivkovou aproximaci polynomy různého stupně. Významné jsou dále funkce, umožňující testování statistických hypotéz. Je možno provádět testy hypotéz o rozptylu (F-test), testy hypotéz o střední hodnotě (t-test), testy významnosti rozdílu párových hodnot a testy dobré shody. Přehled základních a nejpoužívanějších funkcí Statistics Toolboxu Není v možnostech těchto skript popsat veškeré funkce Statistics Toolboxu. Zaměříme se jen na ty hlavní a na ty, které se používají při výuce v tomto předmětu. Je zde uveden popis funkce včetně jednoduchého příkladu 3

4 použití. Výpis všech funkcí obsažených ve Statistics Toolboxu je uveden v souboru Contents.m v adresari \Toolbox\Stats. Bližší popis těchto funkcí je možno získat pomocí nápovědy (HELP) přímo v Matlabu, nebo z manuálu k Statistics toolboxu [manuál]. Odhady parametrů NORMFIT Odhad parametru a interval spolehlivosti pro data s normálním rozložením. [MUHAT,SIGMAHAT] = NORMFIT(X) vrací odhad parametru pro data s normálním rozdělením. MUHAT je odhad střední hodnoty, SIGMAHAT je odhad směrodatné odchylky. [MUHAT,SIGMAHAT,MUCI,SIGMACI] = NORMFIT(X) vrací 95% interval spolehlivosti pro odhad parametru. [MUHAT,SIGMAHAT,MUCI,SIGMACI] = NORMFIT(X,ALPHA) vrací 100(1-ALPHA) procentní interval spolehlivosti pro odhad parametru. Data jsou dána 2 sloupcovou maticí s normálním rozložením. Oba sloupce mají µ = 10 a σ = 2. data = normrnd(10,2,100,2); [mu,sigma,muci,sigmaci] = normfit(data) mu = sigma = muci = sigmaci = Funkce rozložení hustoty pravděpodobnosti (pdf) NORMPDF Funkce hustoty pravděpodobnosti pro normální rozdělení (pdf). Y = NORMPDF(X,MU,SIGMA) vrací pdf normálního rozdělení se střední hodnotou MU a směrodatnou odchylkou SIGMA. Defaultní hodnoty pro MU a SIGMA jsou 0 a 1. 4

5 mu = [0:0.1:2]; [y i] = max(normpdf(1.5,mu,1)); MLE = mu(i) MLE = UNIFPDF Funkce hustoty pravděpodobnosti spojitého rovnoměrného rozdělení (pdf). Y = UNIFPDF(X,A,B) vrací pdf na intervalu [A,B] hodnot X. Defaultně je A=0 a B=1. x = 0.1:0.1:0.6; y = unifpdf(x) y = Kumulativní distribuční funkce (cdf) NORMCDF Kumulativní distribuční funkce normálního rozdělení (cdf). P = NORMCDF(X,MU,SIGMA) vrací cdf normálního rozdělení se střední hodnotou MU a směrodatnou odchylkou SIGMA, vypočtené pro hodnoty X. Defaultní hodnoty pro MU a SIGMA jsou 0 a 1 Jaká je pravděpodobnost, že hodnota výběru dat ze standardního normálního rozdělení bude v intervalu [-1 1]? p = normcdf([-1 1]); p(2)-p(1) ans = UNIFCDF - Kumulativní distribuční funkce spojitého rovnoměrného rozdělení (cdf). P = UNIFCDF(X,A,B) vrací cdf pro rovnoměrné rozdělení na intervalu [A,B] pro hodnoty X. Defaultně je A=0 a B=1. 5

6 Jaká je pravděpodobnost, že hodnota výběru dat z rovnoměrného rozdělení s intervalem [-1;1] bude menší než 0,75? probability = unifcdf(0.75,-1,1) probability = Statistika NORMSTAT Střední hodnota a rozptyl pro normální rozdělení. [M,V]=NORMSTAT(MU,SIGMA) vrací střední hodnotu a rozptyl normálního rozdělení se střední hodnotou MU a směrodatnou odchylkou SIGMA. n = 1:5; [m,v] = normstat(n'*n,n'*n) m = v = UNIFSTAT - Střední hodnota a rozptyl pro rovnoměrné rozdělení. [M,V]=UNIFSTAT(A,B) vrací střední hodnotu a rozptyl rovnoměrného rozdělení na intervalu [A,B]. a = 1:6; b = 2.*a; [m,v] = unifstat(a,b) 6

7 m = v = Popisná statistika MAD Střední hodnota/median absolutní odchylky. Y = MAD(X) vrací střední hodnotu absolutní odchylky hodnot v X. x = normrnd(0,1,100,100); s = std(x); s_mad = 1.3 * mad(x); efficiency = (norm(s - 1)./norm(s_MAD - 1)).^2 efficiency = MEAN - Průměr nebo střední hodnota. Pro vektory, MEAN(X) je střední hodnota hodnot v X. Pro matice, MEAN(X) je řádkový vektor obsahující střední hodnotu každého sloupce. A = [1 2 3; 3 3 6; 4 6 8; 4 7 7]; mean(a) ans = mean(a,2) ans = MEDIAN - Hodnota mediánu. Pro vektory, MEDIAN(X) je hodnota mediánu prvků v X. MEDIAN(X) je řádkový vektor obsahující medián každého sloupce. Pro matice, 7

8 A = [ ; ; ; ]; median(a) ans = median(a,2) ans = STD - Směrodatná odchylka Pro vektory, Y = STD(X) vrací směrodatnou odchylku. Pro matice, Y je řádkový vektor obsahující směrodatnou odchylku každého řádku. Pro matici X: X = s = std(x,0,1) s = s = std(x,0,2) s = VAR - Rozptyl. Pro vektory, Y = VAR(X) vrací rozptyl pro hodnoty v X. Pro matice, Y je řádkový vektor obsahující rozptyl každého sloupce z X. Pro X = [ ] 8

9 Je rozptyl: var(x,0,1) ans = var(x,0,2) ans = 9 4 Testování hypotéz TTEST [h,p,ci]=ttest(x,m,alpha) provádí test střední hodnoty souboru, určuje, zda soubor s normálním rozložením může mít na hladině významnosti α střední hodnotu m, přičemž standardní odchylka je neznámá. Pokud h=0, nemůžeme zamítnout nulovou hypotézu, pokud je h=1, zamítáme nulovou hypotézu. Nasimulujeme 100 náhodných vzorků z normálního rozdělení, které má střední hodnotu 0 a rozptyl 1. x = normrnd(0.1,1,1,100); Testujeme nulovou hypotézu, že vzorky pocházejí z normálního rozdělení se střední hodnotou 0. [h,p,ci] = ttest(x,0) h = 0 p = ci = Vidíme, že h=0, tudíž přijímáme nulovou hypotézu. 9

10 TTEST2 [h,p,ci]=ttest2(x,y,alpha) provádí test rozdílu středních hodnot dvou souborů jejichž směrodatnou odchylku neznáme. ZTEST [h,p,ci]=ztest(x,m,sigma) provádí test hypotézy o střední hodnotě souboru se známým rozptylem. Statistické grafy BOXPLOT - Zobrazuje krabicový graf výběrového souboru. BOXPLOT(X) - zobrazí krabicový graf s jedním boxem pro každý sloupec vektoru X. Boxy obsahují čáry, které reprezentují spodní kvartil, medián a vrchní kvartil. Následující příkaz vytvoří boxplot nákladů na kilometr jízdy autem v jednotlivých zemích load carsmal; boxplot(mpg,origin); HIST - Histogram. N=HIST(Y) rozdělí prvky Y do 10 stejně velikých sloupců a vrátí hodnotu prvku v každém sloupci Vytvoří Bellovu křivku histogramu z Gaussovských dat. 10

11 x = -2.9:0.1:2.9; y = randn(10000,1); hist(y,x) HIST3 Trojrozměrný histogram dvourozměrných dat. Použijte soubor carbig k vytvoření histogramu 7x7 sloupců. load carbig X = [MPG,Weight]; hist3(x,[7 7]); xlabel('mpg'); ylabel('weight'); %Vytvoří histogram s poloprůhlednými sloupci hist3(x,[7 7],'FaceAlpha',.65); xlabel('mpg'); ylabel('weight'); set(gcf,'renderer','opengl'); 11

12 NORMPLOT Zobrazuje křivku normálního rozdělení (grafický test normality souboru) H=NORMPLOT(X) vytvoří křivku normálního rozdělení z dat X. Pro matice X, NORMPLOT zobrazuje křivku pro každý sloupec. x = normrnd(10,1,25,1); normplot(x) Demonstrační úlohy Disttool demonstruje funkce rozdělení hustoty pravděpodobnosti (pdf) nebo distribuční funkce (cdf) pro veškeré typy rozdělení. Polytool demonstruje experimentální polynomiální aproximace s možnosti výpočtu predikovaných hodnot. 12

13 Randtool interaktivní generování náhodných čísel se zvoleným rozdělením a znázorněním pomocí histogramu Robustdemo interaktivní regrese pomocí robustních metod 13

14 Tato kapitola, ve které jsou popsány základní funkce Statistics Toolboxu v žádném případě nenahrazuje návody k použití jejich statistických procedur. Jejím cílem je seznámení studentů s nabídkou podobných programových balíků, s objemem a formami příkazů pro plnění jednotlivých statistických funkcí. Tato část bude užitečná zvláště pro taková pracoviště, která již používají nebo chystají použití MATLABu jako standardního prostředí pro výuku nebo řešení vědecko-technických či inženýrsko-projekčních úloh. 14