Matematická statistika

Transkript

1 Matematická statistika 1/30 Náhodná/stochastická promìnná pøiøazuje pravdìpodobnost/hustotu pravdìpodobnosti mo¾nému diskrétnímu/spojitému jevu z diskrétní/spojité mno¾iny jevù. diskrétní pøíklad: hod kostkou: p i = 1/6 pro i {,,,,, } spojitý pøíklad: èas rozpadu jádra: p(t) = ke kt Spojitou náhodnou velièinu v 1D (tj. x R) popisuje distribuèní funkce (hustota pravdìpodobnosti, rozdìlení/rozlo¾ení pravdìpodobnosti) p(x): p(x)dx je pravdìpodobnost, ¾e nastane jev x [x, x + dx) Ve dvou dimenzích denujeme hustotu pravdìpodobnostip(x, y) tak, ¾e jev x [x + dx) a zároveò y [y + dy) nastane s pravdìpodobností p(x, y)dxdy. Normalizace: p i = 1 i nebo p(x)dx = 1 Kumulativní (integrální) distribuèní funkce = pravdìpodobnost, ¾e padne náhodná hodnota x x: P(x) = x p(x )dx

2 Rozdìlení pravdìpodobnosti 2/30 Varování. Ve fyzice a technice nepøesnì a volnì zamìòujeme symbol x pro náhodnou velièinu a x pro její hodnotu (napø. pøi integraci). Støední hodnota (té¾ expectation value, oèekávaná hodnota; slovo prùmìr budeme rezervovat pro aritmetický prùmìr, tj. støední hodnotu výbìru) E (x) x x x volnì = x = xp(x)dx nebo x i p i i Pøíklad. Kdy¾ hodíte na kostce, vyhrajete 5 Kè; pokud padne nìco jiného, prohrajete 1 Kè. Je tato hra spravedlivá? Ano { støední výhra je 0 Variance (té¾: rozptyl, uktuace, disperze, støední kvadratická odchylka (MSD) Var (x) volnì = Var x = (x x ) 2 = x 2 = x 2 x 2, kde x = x x Smìrodatná odchylka (standard deviation) = Var (x), ozn. σ(x), δx Pøíklad. Mìjme rovnomìrné rozdìlení u v intervalu [0, 1); na poèítaèi napø. rnd(0). Vypoètìte støední hodnotu a varianci. u = 1/2, Var (u) = 1/12

3 Pøíklad: Giniho koecient 3/30 Míra nerovnosti pøíjmu. Pøíjem x s hustotou pravdìpodobnosti p(x), x 0. G = 1 2 x Funkce náhodné velièiny 0 p(x)dx 0 p(y)dy x y Mìjme reálnou náhodnou velièinu x s rozdìlením p(x) a reálnou funkci f(x). Velièina (pozorovatelná) f(x) má rozdìlení (sèítá se pøes v¹echny koøeny): p f (y) = x:f(x)=y p(x) f (x) Pøíklad. Mìjme rovnomìrné rozdìlení u v intervalu [0, 1). Jaké rozdìlení má t = ln u? exp( t): napø. èas rozpadu 1 atomu s k = 1

4 Funkce náhodné velièiny: støední hodnota 4/30 Støední hodnota velièiny f: f = f(x)p(x)dx nebo z nové náhodné promìnné f = f(x): f = yp f (y)dy Obì støední hodnoty jsou stejné: f = f(x)p(x)dx subst. y=f(x) = yp(x) f (x) dy = yp f (y)dy kde v 2. integrálu x = øe¹ení rovnice f(x) = y, které zde pro jednoduchost uva¾ujeme jen jedno a také pøedpokládáme, ¾e funkce f je rostoucí.

5 Kovariance Kovariance x a y dvojrozmìrného rozdìlení p(x, y) Cov (x, y) = x y = x yp(x, y)dxdy 5/30 Kovariance dvou velièin f(x) a g(x) (obdobnì u diskrétného èi vícerozmìrného rozdìlení): Cov (f, g) = f g = f g p(x)dx Nezávislé náhodné velièiny Náhodné velièiny x (s rozdìlením p 1 (x)) a y (s rozdìlením p 2 (y)): p(x, y) = p 1 (x)p 2 (y) V diskrétním pøípadì (napø. dva hody kostkou, p ij = 1/36): p ij = p 1,i p 2,j Kovariance nezávislých náhodných velièin je nula: Cov (x, y) = x y x+y = dx dy xp 1 (x) yp 2 (y) = x x y y = 0

6 Korelaèní koecient [plot/matnum2r.sh] 6/30 r(x, y) = Cov(x, y) Var (x)var (y) Pøíklad. Nech» u 1 a u 2 jsou dvì nezávislá rovnomìrný rozdìlení v [0,1]. Calculate: Vypoètìte: a) r(u 1, u 1 ) b) r(u 2 1, u2 1 ) c) r(u 1, u 2 + u 1 ) (viz Maple) a) 1, b) 1, c) 1/ 2 tab tabproc "rnd(0)" "rnd(0)" tabproc A A+B lr

7 Souèet náhodných promìnných [plot/matnum2conv.sh] 7/30 Nech» x a y jsou dvì spojité náhodné promìnné s rozdìlením p(x, y). Rozdìlení souètu x + y je px+y(z)dz = p(x, y)dxdy y:=z x = p(x, z x)dxdz x+y (z,z+dz) px+y(z) = p(x, z x)dx Nech» nyní p(x, y) = p 1 (x)p 2 (y). Pak px+y(z) = p 1 (x)p 2 (z x)dx (p 1 p 2 )(z) p 1 p 2 se nazývá konvoluce Diskrétní pøíklad: Hodíme dvojicí kostek. Jaké rozdìlení má souèet ok? p(2) = 1/36, p(3) = 2/36,... p(7) = 6/36,... p(12) = 1/36 Pøíklad. Vypoètìte rozdìlení u 1 u 2 0 for x > 1, 1 x otherwise tab tabproc "rnd(0)-rnd(0)" histogr plot -

8 [show/convol.sh] Souèet nezávislých náhodných promìnných 8/30 Støední hodnota i variance souètu nezávislých náhodných velièin jsou aditivní. S epickou ¹íøí: E (x + y) = zpx+y(z)dz = zp 1 (x)p 2 (z x)dxdz y:=z z = (x + y)p 1 (x)p 2 (y)dxdy = x 1 + y 2 = E (x) + E (y) Pøímo: E (x + y) = p 1 (x)p 2 (y)(x + y)dxdy = p 1 (x)p 2 (y)xdxdy+ p 1 (x)p 2 (y)ydxdy = p 1 (x)xdx+ p 2 (y)ydy = E (x)+e (y) Var (x + y) = ( x + y) 2 x+y = ( x) 2 x+y + 2 x y x+y + ( y) 2 x+y = Var (x) + Var (y)

9 Centrální limitní vìta [show/galton.sh] 9/30 Souèet n stejných nezávislých rozdìlení s koneènou støední hodnotou a koneènou variancí je pro velké n rovno Gaussovì rozdìlení se støední hodnotou n x a variancí nvar x. Pøíklad. Uva¾ujme diskrétní rozdìlení b: p( 1/2) = p(1/2) = 1/2. Aproximujte souèet n takových rozdìlení. n = 1 p( 1/2) = 1/2, p(1/2) = 1/2, Var b = 1/4 n = 2 p( 1) = 1/4, p(0) = 1/2, p(1) = 1/4, Var b 2 = 2/4 n = 3 p(±3/2) = 1/8, p(±1/2) = 3/8, Var b 3 = 3/4 Pro jednoduchost uva¾ujme jen sudé n. Pak pro k = n/2..n/2: ( ) n p(k) = 2 n 1 ( ) exp k2 n/2 + k 2πσ 2σ 2, σ 2 = Var (b n ) = n 4 Dùkaz: potøebujeme Stirlingùv vzorec ve tvaru n! n n e n / 2πn

10 Ovìøení centrální limitní vìty + 10/30 ( ) n n = ( ) n! ( n 2 1)!(n 2 + 1)! = n! n ( n 2 )!/(n 2 ) (n 2 )!(n 2 + 1) = n 2 n 2 n ln p( n 2, 1) = ln p(n 2, 0) + ln n 2 n ln p(n 2, 0) 2 n Dal¹í èlen ln p( n 2, 2) = ln p(n 2, 1) + ln n 2 1 n ln p(n 2, 1) 6 n a obecnì ln p(n, k) ln p(n, 0) 2 k j=1 2k 1 k n, (2k 1) j=1 Obdobnì pro záporná k. V limitì velkých k a n tedy ( ) p(n, k) p(n, 0) exp k2 n/2 Po normalizaci dostaneme ký¾ené k 0 (2k 1)dk = k(k 1) k 2

11 Matematická statistika a metrologie 11/30 Názvosloví kolísá podle oboru... Statistika, odhad, þstatistický algoritmusÿ, (ú¾eji) þstatistický funkcionál, (v metrologii þmìøicí funkceÿ, measurement function) je vzorec/algoritmus, podle kterého poèítáme výsledek z (vzorku) náhodných velièin (v metrologii z dat). Statistika je také náhodnou velièinou. Pøíklady: aritmetický prùmìr, parametry modelu pøi tování metodou nejmen¹ích ètvercù. Standardní chyba statistiky = smìrodatná (standardní) odchylka (odmocnina variance) rozdìlení (rozdìlovací funkce) této statistiky. Nejistota (uncertainty) v metrologii zahrnuje kritické posouzení systematických, náhodných, diskretizaèních aj. chyb. Obdobnì þstandardní nejistotaÿ.

12 Aritmetický prùmìr jako pøíklad statistiky Mìjme vzorek (sample) náhodné velièiny (výbìr, trajektorii v simulacích), napø. 100 hodíme kostkou. Aritmetický prùmìr jako odhad støední hodnoty: x x n 1 n x n i 1 x n i i=1 Spoèítejme varianci náhodné velièiny x n : ( Var (x n ) = (x n x ) 2 = i x ) 2 i n i = Var x n 12/30 Pou¾ili jsme nezávislost, tj. Cov(x i, x j ) = 0 pro i j. Spoèítejme: 2 x i 1 [ (( x n j = n 1 1 ) x n 1 1 ) ] 2 n x 2 + = (n 1)Var x (1) i j A proto odhady jsou (1 = poèet stupòù volnosti): i Var x σ 2 n(x) x2 i n 1 ( i x i) 2 i = x2 i n 1 n 1, Var (x n) = Var x n Statistika σ 2 n(x) = (korigovaný/nestranný/nevychýlený) výbìrový rozptyl

13 Rozli¹ujte 13/30 Pro zpracování nekorelovaných dat metodou aritmetického prùmìru, se stejnými vahami dat: smìrodatná odchylka velièiny (standardní nejistota jednoho mìøení) jejím (nestranným) odhadem z dat je σ n standardní chyba (nejistota) aritmetického prùmìru, tj. nepøesnost, se kterou známe x jejím (nestranným) odhadem z dat je σ n / n Odhad je nestranný (nevychýlený, unbiased), jestli¾e se jeho støední hodnota rovná støední hodnotì hledané velièiny (parametru) (viz (1) pro σ 2 n)

14 Zvyky 14/30 Výsledky statistického zpracování pí¹eme takto: velièina = odhad velièiny ± odhad chyby Fyzika: odhad chyby = σ = odhadnutá smìrodatná (standardní) chyba ; nepøesnì (odhadnutá) chyba, smìrodatná (standardní) odchylka (rozumí se aritmetického prùmìru èi jiné statistiky) Obvyklá notace: ± (5) Biologie, ekonomie, in¾enýrství: Zpravidla se pou¾ívá hladina významnosti (condence level) 95 % (data jsou s pravdìpodobností 95 % uvnitø mezí). V pøípadì Gaussova rozdìlení: odhad chyby = 2 (standardní chyba) Chemie: èasto ignorováno; pokud udáno, tak nikdo neví, zda σ èi 2σ... nebo nejistoty V¾dy nutno udat typ chyby

15 Studentovo t-rozdìlení [plot/student.sh 1] 15/30 Odvodili jsme, ¾e náhodná velièina x n má Gaussovo rozdìlení s parametry: x n = x, Var (x n ) = Var x n σ2 i (x n ) x2 i n(n 1) Ale odhad standardní chyby prùmìru, σ(x n ), je poèítán z málo dat! Denujme Studentovo t-rozdìlení s parametrem ν (poèet stupòù volnosti) jako rozdìlení náhodné velièiny x ν+1 x σ(x ν+1 ) Tvrzení: distribuèní funkce je ( ) Γ ν+1 ( 2 t ν (x) = ( νπ Γ ν2 ) 1 + x2 ν ) ν+1 2 Platí, ¾e limita je normalizované Gaussovo rozdìlení: lim ν t ν(x) = 1 e x2 /2 2π

16 Pøíklad { Gauss a Student 16/30 a) Spoèítali jsme ze mìøení, ¾e X = 1.50 ± 0.10 (za ± je standardní chyba). S jakou pravdìpodobností neplatí X (1.20, 1.80)? 0.27 % b) Spoèítali jsme z 10 mìøení, ¾e X = 1.50 ± S jakou pravdìpodobností neplatí X (1.20, 1.80)? 1.5 %

17 Porovnání dvou výbìrù 17/30 Porovnáváme 2 výbìry (n a m dat) ze stejného souboru. Tvrzení. Náhodná velièina x n x m s 1/n + 1/m, má Studentovo t-rozdìlení. kde s2 = (n 1)σ2 n(x) + (m 1)σ 2 m(x) n + m 2 NB: σ n je výbìrový rozptyl dat (ne chyba prùmìru)

18 Váhy 18/30 Vá¾ený prùmìr (váhy w i nemusí být normalizované) x = i x iw i i w i Známe x i (nezávislé) s chybami σ i. Jaké máme volit váhy? Odvodíme pro 2 velièiny: x = wx 1 + (1 w)x 2 σ 2 (x) = (x x ) 2 = (w x 1 + (1 w) x 2 ) 2 = w 2 σ (1 w)2 σ 2 2 Minimum nastane pro 1/σ 2 w = 1 1/σ 2 1 +, 1 w = w 2 = 1/σ2 2 Tedy (a platí obecnì): 1/σ 2 2 1/σ /σ2 2 w i = 1 σ 2 i Ale problém mù¾e být, pokud neznáme σ i pøesnì.

19 Prùmìrování nezávislých mìøení 19/30 Máme m nezávislých mìøení x i, i = 1..m, vè. odhadù standardní chyby σ i. Chceme odhad støední hodnoty x a standardní chyby σ. Malá mno¾ství dat. Poèet dat pøi výpoètu x i je = n i x = i n ix i i, σ = n i(n i 1)σ 2 i ni i (n i 1) i n i Známé váhy. Známe (pøesnì) váhy w i, dat je þmnohoÿ: x = i w ix i wi, σ = i w2 i σ2 i wi Neznámé váhy. Pak w i = 1/σ 2 i (za pøedpokladu, ¾e σ i jsou dostateènì pøesné) a z vý¹e uvedeného vzorce dostaneme x = i x i/σ 2 i 1/σ 2 i, σ = 1 i 1/σ2 i

20 Pøíklad (viz.mw) 20/30 Firma vyrábí podpìry pro pøíli¹ dlouhé jezevèíky. Zadala dvìma agenturám mìøení spodní vý¹ky jezevèíka. Agentura A zjistila vý¹ku podpìry h = 12.6 ± 1.1 cm (standardní chyba), agentura B namìøila h = 9.2 ± 1.3 cm. a) Stanovte co nejpøesnìji vý¹ku podpìry vè. odhadu nejistoty. Pøedpokládejte, ¾e obì agentury pou¾ily dostateèné mno¾ství psù. b) Jsou oba výsledky v souladu (na 95% hladinì významnosti)? c) Opakujte oba výpoèty, jestli¾e víte, ¾e Agentura A mìøila 12 jezevèíkù, zatímco Agentura B jen 6 jezevèíkù. a) 11.2(8); b) ne; c+a) 11.5(9); c+b) ano

21 Metoda nejmen¹ích ètvercù 21/30 x i = nezávisle promìnné (n vektor; libovoln0 dimenze, i = 1..n) y i = závisle promìnné (reálná èísla) 1/σ 2 i = váhy a = parametry (p hodnot zapí¹eme jako vektor), p n, nejlépe p n) Hledáme funkci f a ( x) závislou na p parametrech vystihující data ( x i, y i ). Parametry a budeme hledat z podmínky minima souètu kvadrátù odchylek: min a S 2, S 2 = i [ f a ( x i ) y i Vìta (Gauss{Markov): pro funkci f a lineárnì závisející na a je metoda nejmen¹ích ètvercù: Best (dává nejmen¹í varianci odhadnutých a) Linear (= pøedpoklad) Unbiased ( a je správné) Estimate (BLUE). V limitì n platí s = S 2 /(n p) 1 (posouzení tu) σ i ] 2 S 2 = n p

22 Metoda nejmen¹ích ètvercù Pøíklad. Pro f a (x) = a (konstanta) a σ i = 1 najdìte odhad a Výsledkem tování (korelace, regrese, prokládání) je: 22/30 a = y odhad a odhad standardních chyb odhad korelací mezi parametry odhad hodnoty nìjaké funkce g( a) (vè. odhadu standardní chyby) V limitì n platí s = S 2 /(n p) 1 (posouzení tu)

23 Metoda nejmen¹ích ètvercù { linearizace 23/30 Nech» a 0 je pøesná (hledaná) hodnota parametrù. Pro ka¾dé x rozvineme: kde a = a 0 + a. f a ( x) f a0 ( x) + p a j f j ( x), j=1 f j ( x) = f a 0 ( x) a j Pokud jsou zmìny parametrù a malé, bez újmy na obecnosti staèí studovat lineární model p f a ( x) = a j f j ( x), j=1 kde {f j ( x)} p j=1 je (obecnì neortogonální) báze.

24 Metoda nejmen¹ích ètvercù { lineární model 24/30 p f a ( x) = a j f j ( x) j=1 Dále pøedpokládejme stejné váhy. Data s chybami mù¾eme zapsat jako: p y i = a j f j ( x) + δy i, δy i = 0, δy i δy j = σ 2 δ ij j=1 kde δ ij = 1 pro i = j a δ ij = 0 pro i j (Kroneckerovo delta). n p S 2 = a j f j ( x i ) y i i=1 j=1 Hledáme minimum, tedy spoèítáme derivaci a polo¾íme = 0: 1 S 2 = p f 2 a k ( x i ) a j f j ( x i ) y i! = (A a b) k = 0 k i j=1 kde A = F F T, b = F y, F ki = f k (x i ) (matice p n) a = maticové násobení. 2

25 Metoda nejmen¹ích ètvercù { kovarianèní matice 25/30 A a = b, a = A 1 b = A 1 F y Zbývá spoèítat chyby odhadù a korelace (kovariance) mezi parametry; pravidlo: sèítáme v¾dy pøes dvojice stejných indexù: Cov (a i, a j ) = a i a j = A 1 iα F αkδy k A 1 jβ F βlδy l = A 1 iα F αk A 1 jβ F βlσ 2 δ kl = A 1 iα F αk A 1 jβ F βkσ 2 = A 1 iα A αβa 1 jβ σ2 = A 1 iα A αβa 1 βj σ2 = A 1 ij σ 2 Pokud neznáme σ, odhadneme ho takto (analogie s prùmìrem, kdy p = 1): σ 2 = S2 n p Výsledkem tování nejsou jen odhady chyb parametrù (na diagonále), ale i korelace (kovariance)!

26 Metoda nejmen¹ích ètvercù { funkce parametrù 26/30 Potøebujeme spoèítat g( a) s chybou g a g a0 + p j=1 a j g j ( x), g j = g a 0 a j (g a g a0 ) 2 = ij a i g i a j g j = ij g i A 1 ij σ 2 g j Pøíklady g( a): a i (jeden z parametrù), x 1 x 0 f(x)dx

27 [plot/.sh] 27/30 Metoda nejmen¹ích ètvercù { chyby MC metodou Minimalizujeme S 2 získáme a 0 a g( a 0 ) Pro k = 1..m provedeme: Vyrobíme fale¹ná data y (k) i = f a0 ( x i ) + σ i u kde u je náhodné èíslo s normalizovaným Gaussovým rozdìlením (chyby σ i dat y i známe; pokud ne, pou¾ijeme σ i = S 2 /(n p)) Vypoèteme metodou nejmen¹ích ètvercù parametry a (k) Vypoèteme g(a (k) ) Výsledky g(a (k) ) pro k = 1..m zpracujeme jako nezávislá data a dostaneme odhad standardní chyby σ(g)

28 Metoda nejmen¹ích ètvercù { jak na to 28/30 Lineární model: øe¹itelný metodou lineární algebry, nebývají problémy (pokud jsou, staèí ortonormalizovat bázi) Nelineární model: Problém 1: mù¾eme mít více lokálních minim, nìkterá pro nevlastní hodnoty parametrù (= divergence) Problém 2: dlouhá zakøivená údolí pøi minimalizaci (pomalé) Minimalizace nelineární funkce mnoha promìnných: metoda nejvìt¹ího spádu (steepest descent, greedy) konjugované gradienty amoeba (Nelder{Mead) Monte Carlo search (na zaèátku) (Gaussova{)Newtonova metoda (jsme-li blízko øe¹ení) (Levenbergova{)Marquardtova metoda (kombinace Newton, gradient, tlumení)

29 Pøíklad z praxe 29/30 Pøi simulaci modelu platiny ve slab-geometrii byla získána data pro tlak ve smìru kolmém na vrstvu: T/K p/bar stderr/bar Vypoètìte bod varu platiny za tlaku 1 bar a odhadnìte chybu.

30 Øe¹ení [plot/ptvle.sh] 30/30 Budeme pøedpokládat platnost Clausiovy{Clapeyronovy rovnice a konstantní výparnou enthalpii. ln p = a + b/t kde a a b jsou konstanty, které budeme tovat. Pak stanovíme hodnotu funkce g, která je øe¹ením rovnice lnp = a + b/t pro p = 1 bar. Pøímé tování na p = exp(a + b/t): s = 1.067, T vap = 3021(55) K, pøe¹kálováno s (59) Fitujeme ln(p) vs. 1/T (lineární regrese): s = 1.081, T vap = 2992(53) K, pøe¹kálováno s (57) Nepøedpokládáme-li znalost standardních chyb mìøení, vyjde: T vap = 3015(74) K Proto¾e data jsou zalo¾ena na stejnì dlouhých trajektorích, mù¾eme chyby jednotlivých mìøení vyrovnat. Vyjde: s = 1.138, T vap = 2965(63) K, pøe¹kálováno s (72) Závìr: T vap = 2965(72)