Pravděpodobnost a matematická statistika

Transkript

1 Pravděpodobost a matematická statistika Mirko Navara Cetrum strojového vímáí katedra kyberetiky FEL ČVUT Karlovo áměstí, budova G, místost 104a avara/mvt avara/psi 6 říja 010 Obsah 1 O čem to je a o čem e? 3 11 Teorie pravděpodobosti 4 1 Statistika 4 Základí pojmy teorie pravděpodobosti 4 1 Laplaceova klasická defiice pravděpodobosti 4 11 Základí pojmy 4 1 Pravděpodobost 4 13 Náhodá veličia 4 Vlastosti pravděpodobosti 5 1 Úplý systém jevů 5 3 Problémy Laplaceovy defiice pravděpodobosti 5 31 Rozšířeí Laplaceova modelu pravděpodobosti 5 4 Kombiatorické pojmy a vzorce 5 5 Kolmogorovova defiice pravděpodobosti 6 51 Borelova σ-algebra 7 5 Pravděpodobost =pravděpodobostí míra 7 3 Nezávislost a podmíěá pravděpodobost 7 31 Nezávislé jevy 7 3 Podmíěá pravděpodobost 8 31 Podmíěá ezávislost 9 4 Náhodé veličiy a vektory 9 41 Náhodá veličia 9 4 -rozměrý áhodý vektor -rozměrá áhodá veličia Nezávislost áhodých veliči Obecější áhodé veličiy 1 45 Směs áhodých veliči 1 46 Druhy áhodých veliči Popis smíšeé áhodé veličiy Kvatilová fukce áhodé veličiy Jak reprezetovat áhodou veličiu v počítači Operace s áhodými veličiami Jak realizovat áhodou veličiu a počítači Středí hodota Vlastosti středí hodoty Rozptyl disperze 17 1

2 414 Směrodatá odchylka Obecé momety Normovaá áhodá veličia Základí typy diskrétích rozděleí Diracovo Rovoměré Alterativí Beroulliovo Biomické Bim, p Poissoovo Poλ Geometrické Hypergeometrické Základí typy spojitých rozděleí Rovoměré Ra, b Normálí Gaussovo Nµ, σ Logaritmickoormálí LNµ, σ Expoeciálí Exτ Náhodé vektory Diskrétí áhodý vektor Spojitý áhodý vektor 1 40 Číselé charakteristiky áhodého vektoru 401 Vícerozměré ormálí rozděleí N µ, Σ 3 41 Lieárí prostor áhodých veliči Lieárí podprostor áhodých veliči s ulovými středími hodotami 4 41 Lieárí regrese 5 4 Reprezetace áhodých vektorů v počítači 5 43 Čebyševova erovost 5 5 Základí pojmy statistiky 6 51 K čemu potřebujeme statistiku 6 5 Pojem áhodého výběru, odhady 6 53 Výběrový průměr 7 54 Výběrový rozptyl Rozděleí χ 9 54 Výběrový rozptyl Alterativí odhad rozptylu Výběrová směrodatá odchylka Výběrový k-tý obecý momet Histogram a empirické rozděleí Vlastosti empirického rozděleí Výběrový mediá 3 59 Itervalové odhady Itervalové odhady parametrů ormálího rozděleí Nµ, σ Odhad středí hodoty při zámém rozptylu σ Odhad středí hodoty při ezámém rozptylu Studetovo t-rozděleí autor: Gossett Odhad středí hodoty při ezámém rozptylu II Odhad rozptylu Itervalové odhady spojitých rozděleí, která ejsou ormálí Obecé odhady parametrů Metoda mometů Metoda maximálí věrohodosti likelihood 35

3 6 Testováí hypotéz Základí pojmy a pricipy testováí hypotéz 36 6 Testy středí hodoty ormálího rozděleí Při zámém rozptylu σ 38 6 Při ezámém rozptylu Testy rozptylu ormálího rozděleí Porováí dvou ormálích rozděleí Testy rozptylu dvou ormálích rozděleí [Fisher] Testy středích hodost dvou ormálích rozděleí se zámým rozptylem σ Testy středích hodost dvou ormálích rozděleí se stejým ezámým rozptylem Testy středích hodost dvou ormálích rozděleí - párový pokus Pro zámý rozptyl σ Pro ezámý rozptyl χ -test dobré shody Modifikace 4 66 χ -test dobré shody dvou rozděleí χ -test ezávislosti dvou rozděleí Korelace, její odhad a testováí Test ekorelovaosti dvou ormálích rozděleí Neparametrické testy Zamékový test Wilcoxoův test jedovýběrový 44 7 Co zde ebylo Více o zobrazeí áhodé veličiy fukcí a o součtu áhodých veliči 45 7 Diskretizace Směs pravděpodobostí Charakteristická fukce áhodé veličiy Důkaz cetrálí limití věty 45 1 O čem to je a o čem e? Co mají ásledující výroky společého? 1 V loterii pravděpodobě evyhraji Dálici pravděpodobě projedu bez ehody 3 Sěhové podmíky umoží příští mistrovství světa v lyžováí 4 Sěhové podmíky při příštím mistrovství světa v lyžováí budou dobré 5 Na 50 km dálice pojedu rychlostí ejvýše 110 km/hod V čem se toto výroky liší? 1 V loterii pravděpodobě evyhrajijasá pravidla Lidé se účastí v aději, že budou jedím z milióu Výsledek elze ovlivit Dálici pravděpodobě projedu bez ehodynejasá pravidla Lidé se účastí v aději, že ebudou jedím z milióu Výsledek lze ovlivit 3 Sěhové podmíky umoží příští mistrovství světa v lyžováínejasá pravidla Výsledek elze ovlivit 4 Sěhové podmíky při příštím mistrovství světa v lyžováí budou dobrénejasá pravidla i výsledek, který elze ovlivit 5 Na 50 km dálice pojedu rychlostí ejvýše 110 km/hodjasá pravidla, výsledek lze ovlivit, ale elze jej teoreticky ověřit 3

4 11 Teorie pravděpodobosti je ástroj pro účelé rozhodováí v systémech, kde budoucí pravdivost jevů závisí a okolostech, které zcela ezáme Poskytuje model takových systémů a kvatifikaci výsledků Pravděpodobostí popis chováí systému 1 Statistika je ástroj pro hledáí a ověřováí pravděpodobostího popisu reálých systémů a základě jejich pozorováí Chováí systému pravděpodobostí popis Poskytuje daleko víc: ástroj pro zkoumáí světa, pro hledáí a ověřováí závislostí, které ejsou zjevé Základí pojmy teorie pravděpodobosti 1 Laplaceova klasická defiice pravděpodobosti Předpoklad: Náhodý pokus s N růzými, vzájemě se vylučujícími výsledky, které jsou stejě možé Pravděpodobost jevu, který astává právě při k z těchto výsledků, je k/ 1 problém: stejě možé = stejě pravděpodobé, ale co to zameá? defiice kruhem! Elemetárí jevy jsou všechy stejě možé výsledky Možia všech elemetárích jevů: Ω Jev: A Ω Úmluva Nadále budeme jevy ztotožňovat s příslušými možiami elemetárích jevů a používat pro ě možiové operace místo výrokových 11 Základí pojmy Jev jistý: Ω, 1 Jev emožý:, 0 Kojukce jevů ad : A B Disjukce jevů or : A B Jev opačý k A: A = Ω \ A A B: A B Jevy eslučitelé =vzájemě se vylučující: A 1,, A : A i = Jevy po dvou eslučitelé: A 1,, A : i, j {1,, }, i j : A i A j = Jevové pole: všechy jevy pozorovatelé v áhodém pokusu, zde exp Ω =možia všech podmoži možiy Ω 1 Pravděpodobost i jevu A: kde začí počet prvků možiy P A = A Ω, 13 Náhodá veličia je libovolá fukce X : Ω R Středí hodota: EX = 1 X ω, ω Ω kde = Ω Iterpretace: Je-li hodota áhodé veličiy hodotou výhry ve hře, pak středí hodota je spravedlivá cea za účast ve hře 4

5 Vlastosti pravděpodobosti P A 0, 1 P 0 = 0, P 1 = 1 P A = 1 P A A B P A P B A B P B \ A = P B P A A B = P A B = P A + P B P A B = P A + P B P A B 1 Úplý systém jevů aditivita tvoří jevy B i, i I, jestliže jsou po dvou eslučitelé a B i = 1 Speciálí případ pro jevy: {C, C} Je-li {B 1,, B } úplý systém jevů, pak i I P B i = 1 i=1 a pro libovolý jev A Speciálě: P A = P A B i i=1 P A = P A C + P A C 3 Problémy Laplaceovy defiice pravděpodobosti problém: Nedovoluje ekoečé možiy jevů, geometrickou pravděpodobost Příklad: Podíl plochy peviy k povrchu Země je pravděpodobost, že áhodě vybraý bod a Zemi leží a peviě je-li výběr bodů provádě rovoměrě Příklad: Na likovaý papír hodíme jehlu, jejíž délka je rova vzdáleosti mezi likami Jaká je pravděpodobost, že jehla prote ějakou liku? 3 problém: Nedovoluje iracioálí hodoty pravděpodobosti 31 Rozšířeí Laplaceova modelu pravděpodobosti Příklad: Místo hrací kostky házíme krabičkou od zápalek, jejíž stray jsou estejě dlouhé Jaká je pravděpodobost možých výsledků? Připustíme, že elemetárí jevy emusí být stejě pravděpodobé Ztrácíme ávod, jak pravděpodobost staovit Je to fukce, která jevům přiřazuje čísla z itervalu 0, 1 a splňuje jisté podmíky Nemáme ávod, jak z ich vybrat tu pravou Tato evýhoda je eodstraitelá a je důvodem pro vzik statistiky, která k daému opakovatelému pokusu hledá pravděpodobostí model 4 Kombiatorické pojmy a vzorce Dle [Zvára, Štěpá] V urě je rozlišitelých objektů, postupě vytáheme k výběr s vraceím bez vraceí uspořádaý variace s opakováím variace bez opakováí k! k! euspořádaý kombiace s opakováím kombiace bez opakováí! k! k! = k +k 1 k Z této tabulky pouze kombiace s opakováím ejsou všechy stejě pravděpodobé odpovídají růzému počtu variací s opakováím a edovolují proto použití Laplaceova modelu pravděpodobosti 5

6 Permutace pořadí bez opakováí: Tvoříme posloupost z hodot, přičemž každá se vyskyte právě jedou Počet permutací je! je to speciálí případ variací bez opakováí pro = k Permutace s opakováím: Tvoříme posloupost délky k z hodot, přičemž j-tá hodota se opakuje k j -krát, k j = k Počet růzých posloupostí je Speciálě pro = dostáváme k! k 1! k! k! k 1! k! = k! k 1! k k 1! = což je počet kombiací bez opakováí ovšem k 1 -prvkových z k prvků Theorem 1 Pro daé k N a pro se poměr počtů variací resp kombiací bez opakováí a s opakováím blíží jedé, tj! lim k! k = 1, lim k +k 1 = 1 k Proof počet čiitelů k je kostatí k k 1,! 1 k 1 = k! k k = = k 1 1, k 1 k 1 +k 1 = + k = k = k k Corollary Pro k je počet variací resp kombiací s opakováím přibližě! = k = k, k! k k! Jedodušší bývá euspořádaý výběr bez vraceí ebo uspořádaý výběr s vraceím 5 Kolmogorovova defiice pravděpodobosti Elemetárích jevů =prvků možiy Ω může být ekoečě moho, emusí být stejě pravděpodobé Jevy jsou podmožiy možiy Ω, ale e utě všechy; tvoří podmožiu A exp Ω, která splňuje ásledující podmíky: A1 A A A A A A A3 N : A A N A A Systém A podmoži ějaké možiy Ω, který splňuje podmíky A1-3, se azývá σ-algebra Důsledky: Ω = A, N : A A N A = N A A Přirozeý ápad A = exp Ω vede k ežádoucím paradoxům A1 je uzavřeost a spočetá sjedoceí Uzavřeost a jakákoli sjedoceí se ukazuje jako příliš silý požadavek Uzavřeost a koečá sjedoceí se ukazuje jako příliš slabý požadavek; edovoluje apř vyjádřit kruh jako sjedoceí obdélíků A emusí ai obsahovat všechy jedobodové možiy, v tom případě elemetárí jevy emusí být jevy! 6

7 51 Borelova σ-algebra je ejmeší σ-algebra podmoži R, která obsahuje všechy itervaly Obsahuje všechy itervaly otevřeé, uzavřeé i polouzavřeé, i jejich spočetá sjedoceí, a ěkteré další možiy, ale je meší ež exp R Její prvky azýváme borelovské možiy 5 Pravděpodobost =pravděpodobostí míra je fukce P : A 0, 1, splňující podmíky P1 P 1 = 1, P P A = P A, pokud jsou možiy =jevy A, N, po dvou eslučitelé spočetá N N aditivita Pravděpodobostí prostor je trojice Ω, A, P, kde Ω je eprázdá možia, A je σ-algebra podmoži možiy Ω a P : A 0, 1 je pravděpodobost Dříve uvedeé vlastosti pravděpodobosti jsou důsledkem P1, P Koečá aditivita by byla příliš slabá, edovoluje apř přechod od obsahu obdélíka k obsahu kruhu Úplá aditivita pro jakékoli soubory po dvou eslučitelých jevů by byla příliš silým požadavkem Pak bychom epřipouštěli ai rovoměré rozděleí a itervalu ebo a ploše Pravděpodobost zachovává limity mootóích posloupostí jevů moži: Necht A N je posloupost jevů A 1 A P N A 1 A P N A = lim P A, A = lim P A Laplaceův model koečě moho jevů p-sti je racioálí P A = 0 A = 0 p-sti určey strukturou jevů Kolmogorovův model i ekoečě moho jevů p-sti i iracioálí možé jevy s ulovou p-stí p-sti eurčey strukturou jevů 3 Nezávislost a podmíěá pravděpodobost 31 Nezávislé jevy Motivace: Dva jevy spolu esouvisí Defiice: P A B = P A P B To je ovšem je áhražka, která říká mohem méě, ež jsme chtěli! Podobě jako P A B = 0 ezameá, že jevy A, B jsou eslučitelé Pro ezávislé jevy A, B P A B = P A + P B P A P B Důkaz: P A B = P A + P B P A P B = P A + P B P A P B Jsou-li jevy A, B ezávislé, pak jsou ezávislé také jevy A, B a též dvojice jevů A, B a A, B Důkaz: P A B = P A P A B = P A P A P B = = P A 1 P B = P A P B Jevy A 1,, A se azývají po dvou ezávislé, jestliže každé dva z ich jsou ezávislé To je málo 7

8 Možia jevů M se azývá ezávislá, jestliže P pro všechy koečé podmožiy K M 3 Podmíěá pravděpodobost A K A = P A A K Příklad: Fotbalová družstva mohla mít před zápasem rové šace a vítězství Je-li však stav zápasu 5 miut před kocem 3 : 0, pravděpodobosti výhry jsou jié Máme pravděpodobostí popis systému Dostaeme-li dodatečou iformaci, že astal jev B, aktualizujeme aši zalost o pravděpodobosti jevu A a P A B = P A B P B což je podmíěá pravděpodobost jevu A za podmíky B Je defiováa pouze pro P B 0 To předpokládáme i adále V ovém modelu je P B B = 0, což odráží aši zalost, že jev B eastal Podmíěá pravděpodobost je chápáa též jako fukce a je to pravděpodobost v původím smyslu Vlastosti podmíěé pravděpodobosti: P 1 B = 1, P 0 B = 0 P B: A 0, 1, A, P A B P B Jsou-li jevy A 1, A, jsou po dvou eslučitelé, pak B P A = P A B N Je-li P A B defiováa, jsou jevy A, B ezávislé, právě když P A B = P A N B A P A B = 1, P A B = 0 P A B = 0 Věta o úplé pravděpodobosti: Necht B i, i I, je spočetý úplý systém jevů a i I : P B i 0 Pak pro každý jev A platí P A = P B i P A B i i I Důkaz: P A = P = i I j I B j A = P P B i A = i I j I B j A = P B i P A B i Příklad: Test emoci je u 1% zdravých falešě pozitiví a u 10% emocých falešě egativí Nemocých je v populaci 0001 Jaká je pravděpodobost, že paciet s pozitivím testem je emocý? Bayesova věta: Necht B i, i I, je spočetý úplý systém jevů a i I : P B i 0 Pak pro každý jev A splňující P A 0 platí P B i A = P B i P A B i P B j P A B j j I 8

9 Důkaz s využitím věty o úplé pravděpodobosti: P B i A = P B i A P A = P B i P A B i P B j P A B j j I Výzam: Pravděpodobosti P A B i odhademe z pokusů ebo z modelu, pomocí ich určíme pravděpodobosti P B i A, které slouží k optimálímu odhadu, který z jevů B i astal Problém: Ke staoveí aposteriorí pravděpodobosti P B i A potřebujeme zát i apriorí pravděpodobost P B i Příklad: Na vstupu iformačího kaálu mohou být zaky 1,, m, výskyt zaku j ozačujeme jako jev B j Na výstupu mohou být zaky 1,, k, výskyt zaku i ozačujeme jako jev A i Obykle k = m, ale eí to uté Obvykle lze odhadout podmíěé pravděpoděpodobosti P A i B j, že zak j bude přijat jako i Pokud záme apriorí pravděpodobosti vysláí zaku j P B j, můžeme pravděpodobosti příjmu zaků vypočítat maticovým ásobeím: [ P A1 P A P A k ] = P A 1 B 1 P A B 1 P A k B 1 = [ P B 1 P B P B m ] P A 1 B P A B P A k B P A 1 B m P A B m P A k B m Všechy matice v tomto vzorci mají jedotkové součty řádků takové matice azýváme stochastické Podmíěé rozděleí pravděpodobosti, pokud byl přijat zak i, je P B j A i = P A i B j P B j P A i Rozděleí pravděpodobostí vyslaých zaků je [ P B1 P B P B m ] = P A 1 B 1 P A B 1 P A k B 1 = [ P A 1 P A P A k ] P A 1 B P A B P A k B P A 1 B m P A B m P A k B m pokud k = m a příslušá iverzí matice existuje 31 Podmíěá ezávislost Náhodé jevy A, B jsou podmíěě ezávislé za podmíky C, jestliže Podobě defiujeme podmíěou ezávislost více jevů 4 Náhodé veličiy a vektory 41 Náhodá veličia P A B C = P A C P B C a pravděpodobostím prostoru Ω, A, P je měřitelá fukce X : Ω R, tj taková, že pro každý iterval I platí X 1 I = {ω Ω Xω I} A Je popsaá pravděpodobostmi P X I = P [X I] = P {ω Ω X ω I}, defiovaými pro libovolý iterval I a tedy i pro libovolé sjedoceí spočetě moha itervalů a pro libovolou borelovskou možiu 1, 9

10 P X je pravděpodobostí míra a Borelově σ-algebře určující rozděleí áhodé veličiy X K tomu, aby stačila zalost P X a itervalech, se potřebujeme omezit a tzv perfektí míry; s jiými se v praxi esetkáme Pravděpodobostí míra P X splňuje podmíky: P X R = 1, P X I = P X I, pokud jsou možiy I, N, avzájem disjuktí N N Z toho vyplývá: P X = 0, P X R \ I = 1 P X I, jestliže I J, pak P X I P X J a P X J \ I = P X J P X I Úsporější reprezetace: omezíme se a itervaly tvaru I =, t, t R, P [X, t ] = P [X t] = P X, t = F X t F X : R 0, 1 je distribučí fukce áhodé veličiy X Ta stačí, ebot a, b =, b \, a, P X a, b = P [a < X b] = F X b F X a, a, = R \, a, P X a, = 1 F X a,, a =, b, P X, a = P [X < a] = lim Xb = F X a, b: b<a b a {a} =, a \, a, P X {a} = P [X = a] = F X a F X a, Vlastosti distribučí fukce: eklesající, zprava spojitá, lim t F Xt = 0, lim F X t = 1 t Věta: Tyto podmíky jsou eje uté, ale i postačující Příklad: Reálému číslu r odpovídá áhodá veličia začeá též r s Diracovým rozděleím v r: P r I = { 0 pro r / I, 1 pro r I, F r t = { 0 pro t < r, 1 pro t r F r je posuutá Heavisideova fukce 4 -rozměrý áhodý vektor -rozměrá áhodá veličia a pravděpodobostím prostoru Ω, A, P je měřitelá fukce X : Ω R, tj taková, že pro každý - rozměrý iterval I platí X 1 I = {ω Ω Xω I} A Lze psát X ω = X 1 ω,, X ω, kde zobrazeí X k : Ω R, k = 1,,, jsou áhodé veličiy Náhodý vektor lze považovat za vektor áhodých veliči X = X 1,, X Je popsaý pravděpodobostmi kde I 1,, I jsou itervaly v R P X I 1 I = P [X 1 I 1,, X I ] = = P {ω Ω X 1 ω I 1,, X ω I }, 10

11 Z těch vyplývají pravděpodobosti P X I = P [X I] = P {ω Ω X ω I}, defiovaé pro libovolou borelovskou možiu I v R speciálě pro libovolé sjedoceí spočetě moha -rozměrých itervalů a určující rozděleí áhodého vektoru X Úsporější reprezetace: Stačí itervaly tvaru I k =, t k, t k R, P [X 1, t 1,, X, t ] = P [X 1 t 1,, X t ] = = P X, t 1, t = = F X t 1,, t F X : R 0, 1 je distribučí fukce áhodého vektoru X Je eklesající ve všech proměých, zprava spojitá ve všech proměých, lim t 1,,t F Xt 1,, t = 1, k {1,, } t 1,, t k 1, t k+1,, t : lim F Xt 1,, t = 0 t k Věta: Tyto podmíky jsou uté, ikoli postačující Nestačí zát margiálí rozděleí áhodých veliči X 1,, X, ebot ta eobsahují iformace o závislosti 43 Nezávislost áhodých veliči Náhodé veličiy X 1, X jsou ezávislé, pokud pro všechy itervaly I 1, I jsou jevy X 1 I 1, X I ezávislé, tj P [X 1 I 1, X I ] = P [X 1 I 1 ] P [X I ] Stačí se omezit a itervaly tvaru, t, tj eboli P [X 1 t 1, X t ] = P [X 1 t 1 ] P [X t ], F X1,X t 1, t = F X1 t 1 F X t pro všecha t 1, t R Náhodé veličiy X 1,, X jsou ezávislé, pokud pro libovolé itevaly I 1,, I platí P [X 1 I 1,, X I ] = P [X i I i ] Na rozdíl od defiice ezávislosti více ež jevů, zde eí třeba požadovat ezávislost pro libovolou podmožiu áhodých veliči X 1,, X Ta vyplývá z toho, že libovolou áhodou veličiu X i lze vyechat tak, že zvolíme příslušý iterval I i = R Pak P [X i I i ] = 1 a v součiu se teto čiitel eprojeví Ekvivaletě stačí požadovat P [X 1 t 1,, X t ] = P [X i t i ] pro všecha t 1,, t R, což pro sdružeou distribučí fukci ezávislých áhodých veliči zameá F X t 1,, t = i=1 i=1 F Xk t k Náhodé veličiy X 1,, X jsou po dvou ezávislé, pokud každé dvě růzé z ich jsou ezávislé To je slabší podmíka ež ezávislost veliči X 1,, X k=1 11

12 44 Obecější áhodé veličiy Komplexí áhodá veličia je áhodý vektor se dvěma složkami iterpretovaými jako reálá a imagiárí část Někdy připouštíme i áhodé veličiy, jejichž hodoty jsou jié ež umerické Mohou to být apř áhodé možiy Jidy abývají koečě moha hodot, kterým poecháme jejich přirozeé ozačeí, apř rub, líc, káme, ůžky, papír apod Na těchto hodotách emusí být defiovaá žádá aritmetika ai uspořádáí Mohli bychom všechy hodoty očíslovat, ale eí žádý důvod, proč bychom to měli udělat právě určitým způsobem který by ovlivil ásledé umerické výpočty Příklad: Číslováí politických stra ve volbách 45 Směs áhodých veliči Příklad: Náhodé veličiy U, V jsou výsledky studeta při odpovědích a dvě zkouškové otázky Učitel vybere áhodě jedu z otázek a podle odpovědi a i udělí zámku Jaké rozděleí má výsledá zámka? Necht U, resp V je áhodá veličia a pravděpodobostím prostoru Ω 1, A 1, P 1, resp Ω, A, P, přičemž Ω 1 Ω Necht c 0, 1 Defiujeme ový pravděpodobostí prostor Ω, A, P, kde Ω = Ω 1 Ω, A = {A 1 A A 1 A 1, A A }, P A 1 A = c P 1 A c P A pro A 1 A 1, A A Defiujeme fukci X : Ω R: { U ω pro ω Ω1, X ω = V ω pro ω Ω X je áhodá veličia a Ω, A, P ; azýváme ji směs áhodých veliči U, V mixture a začíme Mix c U, V X = Mix c U, V má pravděpodobostí míru a distribučí fukci P X = c P U + 1 c P V F X = c F U + 1 c F V, F X t = c F U t + 1 c F V t s koeficietem c agl Podobě defiujeme obecěji směs áhodých veliči U 1,, U s koeficiety c 1,, c 0, 1, c i = 1, začíme Mix c1,, c U 1,, U = Mix c U 1,, U, kde c = c 1,, c Má pravděpodobostí míru c i P Ui a distribučí fukci c i F Ui Lze zobecit i a spočetě moho áhodých veliči i=1 i=1 Podíl jedotlivých složek je urče vektorem koeficietů c = c 1,, c Jejich počet je stejý jako počet áhodých veliči ve směsi Jelikož c = 1 1 c i, posledí koeficiet ěkdy vyecháváme i=1 Speciálě pro dvě áhodé veličiy Mix c,1 c U, V = Mix c U, V kde c je číslo, ikoli vektor Příklad: Směsí reálých čísel r 1,, r s koeficiety c 1,, c je áhodá veličia X = Mix c1,, c r 1,, r, P X I = P [X I] = i:r i I Lze ji popsat též pravděpodobostí fukcí p X : R 0, 1, c i, F X t = i:r i t { ci pro t = r i, p X t = P X {t} = P [X = t] = 0 jiak pokud jsou r 1,, r avzájem růzá Možo zobecit i a spočetě moho reálých čísel c i i=1 1

13 46 Druhy áhodých veliči 1 Diskrétí: z předchozího příkladu Existuje spočetá možia O X, pro kterou P X R\O X = P [X / O X ] = 0 Nejmeší taková možia pokud existuje je Ω X = {t R : P X {t} 0} = {t R : P [X = t] 0} Diskrétí áhodou veličiu lze popsat pravděpodobostí fukcí p X t = P X {t} = P [X = t] Splňuje t R p X t = 1 Absolutě spojitá: F X t = t f X u du pro ějakou ezáporou fukci f X : R 0,, zvaou hustota áhodé veličiy X Splňuje f X u du = 1 Neí určea jedozačě, ale dvě hustoty f X, g X téže áhodé veličiy splňují I f Xx g X x dx = 0 pro všechy itervaly I Lze volit f X t = df X t dt, pokud derivace existuje P X {t} = 0 pro všecha t 3 Smíšeá: Směs předchozích dvou případů; Ω X, P X R \ Ω X = P [X / Ω X ] 0 Nejde popsat ai pravděpodobostí fukcí existuje, ale eurčuje celé rozděleí ai hustotou eexistuje, ebot evychází koečá 4 Další možé případy: Např áhodá veličia se spojitou distribučí fukcí, kterou elze vyjádřit jako itegrál Tyto případy dále euvažujeme 47 Popis smíšeé áhodé veličiy Náhodou veličiu X se smíšeým rozděleím lze jedozačě vyjádřit ve tvaru X = Mix c U, V, kde U je diskrétí, V je spojitá a c 0, 1: c = P X Ω X = P X {t R : P X {t} 0}, c P U {t} + 1 c P V {t} = c P U {t} = P X {t}, }{{} 0 p U t = P U {t} = P X{t}, c Ω U = Ω X, c P U I + 1 c P V I = P X I, Alterativa bez použití pravděpodobostí míry: P V I = P XI c P U I, 1 c F V t = F Xt c F U t 1 c c = t R P [X = t], c P [U = t] = P [X = t], p U t = P [U = t] = c P [U I] + 1 c P [V I] = P [X I], P [X = t] c P [X I] c P [U I] P [V I] = 1 c F V t = F Xt c F U t 1 c,, 13

14 qa a Lze ještě pokračovat rozkladem diskrétí části a směs Diracových rozděleí 48 Kvatilová fukce áhodé veličiy α 0, 1 t R : P [X < t] α P [X t] Pokud je takových čísel víc, tvoří omezeý iterval a vezmeme z ěj obvykle střed, přesěji tedy q X α = 1 sup {t R P [X < t] α} + if {t R P [X t] α} Číslo q X α se azývá α-kvatil áhodé veličiy X a fukce q X : 0, 1 R je kvatilová fukce áhodé veličiy X Speciálě q X 1 je mediá, další kvatily mají také svá jméa tercil, kvartil dolí q X 1 4, horí q X 3 4 decil cetil eboli percetil Vlastosti kvatilové fukce: eklesající, q X α = 1 q Xα + q X α+ Věta: Tyto podmíky jsou uté i postačující Můžeme mluvit o vertikálí reprezetaci áhodé veličiy pomocí distribučí fukce F X : R [0, 1] a horizotálí reprezetaci pomocí kvatilové fukce q X : 0, 1 R Obráceý převod: F X t = if{α 0, 1 q X α > t} = sup{α 0, 1 q X α t} Fukce F X, q X jsou avzájem iverzí tam, kde jsou spojité a rostoucí tyto podmíky stačí ověřit pro jedu z ich 49 Jak reprezetovat áhodou veličiu v počítači 1 Diskrétí: Nabývá-li pouze koečého počtu hodot t k, k = 1,,, stačí k reprezetaci tyto hodoty a jejich pravděpodobosti p X t k = P X {t k } = P [X = t k ], čímž je plě popsáa pravděpodobostí fukce čísly až a epřesost zobrazeí reálých čísel v počítači Pokud diskrétí áhodá veličia abývá spočetě ekoečě moha hodot, musíme ěkteré vyechat, zejméa ty, které jsou málo pravděpodobé Pro každé ε > 0 lze vybrat koečě moho hodot t k, k = 1,,, tak, že P X R {t 1,, t } = P [X / {t 1,, t }] ε Zbývá však problém, jakou hodotu přiřadit zbývajícím byt málo pravděpodobým případům Absolutě spojitá: Hustotu můžeme přibližě popsat hodotami ft k v dostatečě moha bodech t k, k = 1,,, ale je za předpokladu, že je dostatečě hladká Zajímají ás z í spíše itegrály typu F X t k+1 F X t k = tk+1 t k f X u du, z ichž lze přibližě zkostruovat distribučí fukci Můžeme pro reprezetaci použít přímo hodoty distribučí fukce F X t k Tam, kde je hustota velká, potřebujeme volit body hustě Můžeme volit body t k, k = 1,,, tak, aby přírůstky F X t k+1 F X t k měly zvoleou velikost Zvolíme tedy α k 0, 1, k = 1,,, a k im ajdeme čísla t k = q X α k Pamět ová áročost je velká, závisí a jemosti škály hodot áhodé veličiy, resp její distribučí fukce 14

15 Často je rozděleí zámého typu a stačí doplit ěkolik parametrů, aby bylo plě určeo Mohé obecější případy se sažíme vyjádřit alespoň jako směsi áhodých veliči s rozděleími zámého typu, abychom vystačili s koečě moha parametry 3 Smíšeá: Jako u spojité áhodé veličiy Teto popis je však pro diskrétí část zbytečě epřesý Můžeme použít rozklad a diskrétí a spojitou část 410 Operace s áhodými veličiami Zde I, J R jsou itervaly ebo spočetá sjedoceí itervalů Přičteí kostaty r odpovídá posuutí ve směru vodorové osy: P X+r I + r = P X I, P X+r J = P X J r, F X+r t + r = F X t, F X+r u = F X u r, q X+r α = q X α + r Vyásobeí eulovou kostatou r odpovídá podobost ve směru vodorové osy: P rx ri = P X I, P rx J = P J X r Pro distribučí fukci musíme rozlišit případy: r > 0: F rx rt = F X t, F rx u = F u X r, qrx α = r q X α, r = 1: F X t = P X, t = P X t, = 1 P X, t, v bodech spojitosti distribučí fukce F X t = 1 P X, t = 1 P [X < t] = 1 P [X t] = 1 P X, t = 1 F X t, F X u = 1 F X u, v bodech espojitosti limita zprava středová symetrie grafu podle bodu 0, 1 s opravou a spojitost zprava, q X α = q X 1 α, r < 0: kombiace předchozích případů Zobrazeí spojitou rostoucí fukcí h: P hx hi = P X I, F hx ht = F X t, F hx u = F X h 1 u, q hx α = hq X α v bodech spojitosti kvatilové fukce Zobrazeí eklesající, zleva spojitou fukcí h: F hx u = sup{f X t ht u} Zobrazeí po částech mootoí, zleva spojitou fukcí h: Můžeme vyjádřit h = h + h, kde h +, h jsou eklesající X vyjádříme jako směs X = Mix c U, V, kde U abývá pouze hodot, v ichž je h eklesající, V pouze hodot, v ichž je h erostoucí Výsledek dostaeme jako směs dvou áhodých veliči, vziklých zobrazeím fukcemi h +, h Fukci h lze aplikovat a směs po složkách, tj hmix c U, V = Mix c hu, hv Součet áhodých veliči eí jedozačě urče, jediě za předpokladu ezávislosti Ai pak eí vztah jedoduchý Směs áhodých veliči viz výše Na rozdíl od součtu je plě určea margiálími rozděleími vstupích áhodých veliči a koeficiety směsi 15

16 411 Jak realizovat áhodou veličiu a počítači 1 Vytvoříme áhodý ebo pseudoáhodý geerátor áhodé veličiy X s rovoměrým rozděleím a 0, 1 Náhodá veličia q Y X má stejé rozděleí jako Y Stačí tedy a každou realizaci áhodé veličiy X aplikovat fukci q Y Všecha rozděleí spojitých áhodých veliči jsou stejá až a elieárí změu měřítka 41 Středí hodota Začeí: E ebo µ Je defiováa zvlášt pro diskrétí áhodou veličiu U: EU = µ U = t R t p U t = t Ω U t p U t, spojitou áhodou veličiu V : EV = µ V = t f V t dt, směs áhodých veliči X = Mix c U, V, kde U je diskrétí, V je spojitá: To eí liearita středí hodoty! EX = c EU + 1 c EV Lze vyjít z defiice pro diskrétí áhodou veličiu a ostatí případy dostat jako limitu pro aproximaci jiých rozděleí diskrétím Všechy tři případy pokrývá uiverzálí vzorec s použitím kvatilové fukce EX = 1 0 q X α dα Te lze avíc jedoduše zobecit a středí hodotu jakékoli fukce áhodé veličiy: Speciálě pro diskrétí áhodou veličiu E hx = 1 0 E hu = h q X α dα t Ω U h t p U t, pro spojitou áhodou veličiu by obdobý vzorec platil je za omezujících předpokladů, protože spojitost áhodé veličiy se emusí zachovávat Středí hodota je vodorovou souřadicí těžiště grafu distribučí fukce, jsou-li jeho elemety vážey přírůstkem distribučí fukce: Pokud pracujeme se středí hodotou, automaticky předpokládáme, že existuje což eí vždy splěo 16

17 411 Vlastosti středí hodoty Er = r, spec EEX = EX, E X + Y = EX + EY, spec E X + r = EX + r, E X Y = EX EY, E r X = r EX, obecěji E r X + s Y = r EX + s EY To je liearita středí hodoty E Mix c U, V = c EU + 1 c EV To eí liearita středí hodoty Pouze pro ezávislé áhodé veličiy E X Y = EX EY 413 Rozptyl disperze Začeí: σ, D, var DX = E X EX = E X EX, E X = EX + DX 1 Vlastosti: 1 DX = q X α EX dα 0 DX 0, Dr = 0, D X + r = DX, D r X = r DX D Mix c U, V = E Mix c U, V E Mix c U, V = c E U + 1 c E V c EU + 1 c EV = c DU + EU + 1 c DV + EV c EU + c 1 c EU EV + 1 c EV = c DU + 1 c DV + c 1 c EU c 1 c EU EV + c 1 c EV = c DU + 1 c DV + c 1 c EU EV Pouze pro ezávislé áhodé veličiy D X + Y = DX + DY, D X Y = DX + DY 414 Směrodatá odchylka Začeí: σ σ X = DX = E X EX Na rozdíl od rozptylu má stejý fyzikálí rozměr jako původí áhodá veličia 17

18 Vlastosti: σ X = 1 0 q X α EX dα Pouze pro ezávislé áhodé veličiy 415 Obecé momety σ X 0, σ r = 0, σ X+r = σ X, σ r X = r σ X σ X+Y = DX + DY = σ X + σ Y k N k-tý obecý momet začeí ezavádíme: E X k, speciálě: pro k = 1: EX, pro k = : E X = EX + DX Alterativí začeí: m k, µ k k-tý cetrálí momet začeí ezavádíme: E X EX k, speciálě: pro k = 1: 0, pro k = : DX Alterativí začeí: µ k Pomocí kvatilové fukce: E X k = E X EX k = 416 Normovaá áhodá veličia q X α k dα q X α EX k dα je taková, která má ulovou středí hodotu a jedotkový rozptyl: pokud má vzorec smysl Zpětá trasformace je orm X = X EX σ X 417 Základí typy diskrétích rozděleí 4171 Diracovo Je jediý možý výsledek r R X = EX + σ X orm X p X r = 1, EX = r, DX = 0 Všecha diskrétí rozděleí jsou směsi Diracových rozděleí 18

19 417 Rovoměré Je m možých výsledků stejě pravděpodobých Speciálě pro obor hodot {1,,, m} dostáváme 4173 Alterativí Beroulliovo p X k = 1, m k {1,,, m}, EX = m + 1, DX = 1 m + 1 m 1 1 Jsou možé výsledky Směs dvou Diracových rozděleí Pokud výsledky jsou 0, 1, kde 1 má pravděpodobost p 0, 1, dostáváme 4174 Biomické Bim, p p X 1 = p, p X 0 = 1 p, EX = p, DX = p1 p Počet úspěchů z m ezávislých pokusů, je-li v každém stejá pravděpodobost úspěchu p 0, 1 Součet m ezávislých alterativích rozděleí p X k = m k p k 1 p m k, k {0, 1,,, m}, EX = mp, DX = mp1 p Výpočetí složitost výpočtu p X k je Ok, celého rozděleí Om 4175 Poissoovo Poλ Limití případ biomického rozděleí pro m při kostatím mp = λ > 0 tedy p 0 p X k = λk k! e λ, k {0, 1,, } Jedotlivé pravděpodobosti se počítají sáze ež u biomického rozděleí ovšem všechy evypočítáme, protože jich je ekoečě moho EX = λ, DX = λ Středí hodota se rová rozptylu; jedá se vždy o bezrozměré celočíselé áhodé veličiy počet výskytů Poissoovo rozděleí jako limití případ biomického Pro m při kostatím mp = λ, tj p = λ m : p X k = m k p k 1 p m k m m 1 m k 1 λ = k! m = λk k! k 1 1 λ m m m }{{} 1 λk k! e λ k 1 λ m k m k } {{ } 1 m 1 λ m }{{} e λ 19

20 4176 Geometrické Počet úspěchů do prvího eúspěchu, je-li v každém pokusu stejá pravděpodobost úspěchu p 0, Hypergeometrické p X k = p k 1 p, k {0, 1,, }, EX = p 1 p, DX = p 1 p Počet výskytů v m vzorcích, vybraých z M objektů, v ichž je K výskytů 1 m K M K M K k m k p X k = M, k {0, 1,,, m}, m EX = mk M, DX = mk M K M m M M 1 Výpočetí složitost výpočtu p X k je Om, celého rozděleí Om Biomické rozděleí jako limití případ hypergeometrického Lemma: Pro m, M N, m < M, je lim M m! M m M m = 1 Důkaz: M m! M M 1 M m 1 m = M m M m = M Důsledek: Pro M m můžeme M m počítat přibližě jako M m m! Hypergeometrické rozděleí pro M při kostatím K M K M = p, tj M lemmatu: K M K k m k p X k = M m K k k! M Km k m k! M m m! m! = k! m k! Kk M Km k M k M m k 418 Základí typy spojitých rozděleí 4181 Rovoměré Ra, b f X t = 418 Normálí Gaussovo Nµ, σ A Normovaé N0, 1: { 1 b a EX = a + b pro t a, b, 0 jiak,, DX = 1 1 b a f N0,1 t = 1 t exp π 1 m 1 1 M = m k p k 1 p m k Distribučí fukce je trascedetí Gaussův itegrál Φ, u 1 t Φu = F N0,1 u = exp dt, π = 1 p s využitím předchozího 0

21 kvatilová fukce Φ 1 je iverzí k Φ B Obecé Nµ, σ : f Nµ,σ t = 1 t µ σ π exp σ, EX = µ, DX = σ 4183 Logaritmickoormálí LNµ, σ je rozděleí áhodé veličiy X = expy, kde Y má Nµ, σ 4184 Expoeciálí Exτ { 1 f X t = u σ exp l u µ π σ pro t > 0, 0 jiak, EX = exp µ + σ, DX = exp µ + σ exp σ 1 Např rozděleí času do prví poruchy, jestliže podmíěá pravděpodobost poruchy za časový iterval t, t+δ závisí je a δ, ikoli a t: 419 Náhodé vektory { 1 f X t = τ exp t τ pro t > 0, 0 jiak, EX = τ, DX = τ Náhodý vektor X = X 1,, X je popsaý sdružeou distribučí fukcí F X : R 0, Diskrétí áhodý vektor F X t 1,, t = P [X 1 t 1,, X t ] má všechy složky diskrétí Lze jej popsat též sdružeou pravděpodobostí fukcí p X : R 0, 1 p X t 1,, t = P [X 1 = t 1,, X = t ], která je eulová je ve spočetě moha bodech Diskrétí áhodé veličiy X 1,, X jsou ezávislé, právě když P [X 1 = t 1,, X = t ] = pro všecha t 1,, t R Ekvivaletí formulace: 419 Spojitý áhodý vektor p X t 1,, t = P [X i = t i ] i=1 p Xi t i má všechy složky spojité Lze jej popsat též sdružeou hustotou pravděpodobosti což je každá ezáporá fukce f X : R 0, taková, že pro všecha t 1,, t R F X t 1,, t = t1 i=1 t f X u 1,, u du 1 du, 1

22 Speciálě pro itervaly a i, b i dostáváme P [X 1 a 1, b 1,, X a, b ] = P X a 1, b 1 a, b = b1 a 1 b Spojité áhodé veličiy X 1,, X jsou ezávislé, právě když f X t 1,, t = pro skoro všecha t 1,, t R a f Xi t i 40 Číselé charakteristiky áhodého vektoru Středí hodota áhodého vektoru X = X 1,, X : EX = EX 1,, EX i=1 f X u 1,, u du 1 du komplexí áhodé veličiy: X = RX + i IX: EX = ERX + i EIX eumerické áhodé veličiy: emá smysl Rozptyl áhodého vektoru X = X 1,, X : DX = DX 1,, DX Je-li U áhodá veličia, a, b R, pak a U + b má charakteristiky E a U + b = a EU + b, D a U + b = a DU Na rozdíl od jedorozměré áhodé veličiy, středí hodota a rozptyl áhodého vektoru edávají dostatečou iformaci pro výpočet rozptylu jeho lieárích fukcí Proto zavádíme další charakteristiky Např E X + Y = EX + EY, D X + Y = E X + Y E X + Y = E X + Y + X Y EX + EY = E X + E Y + E X Y EX + EY + EX EY = E X EX + E Y EY + E X Y EX EY }{{}}{{}}{{} DX DY covx,y = DX + DY + covx, Y, kde covx, Y = E X Y EX EY je kovariace áhodých veliči X, Y Ekvivaletě ji lze defiovat ebot covx, Y = E X EX Y EY, E X EX Y EY = E X Y X EY Y EX + EX EY Prví vzorec je vhodější pro výpočet Pro existeci kovariace je postačující existece rozptylů DX, DY Vlastosti kovariace: covx, X = DX, covy, X = covx, Y, cova X + b, c Y + d = a c covx, Y a, b, c, d R srovejte s vlastostmi rozptylu jako speciálího případu, speciálě covx, X = DX = E X Y EX EY EX EY + EX EY }{{} 0

23 Pro ezávislé áhodé veličiy X, Y je covx, Y = 0 Použitím kovariace pro ormovaé áhodé veličiy vyjde korelace: ϱx, Y = covorm X, orm Y = covx, Y σ X σ Y = E orm X orm Y předpokládáme, že směrodaté odchylky ve jmeovateli jsou eulové Speciálě ϱx, X = 1 Vlastosti korelace: ϱx, X = 1, ϱx, X = 1, ϱx, Y 1, 1, ϱy, X = ϱx, Y, ϱax + b, cy + d = sig ac ϱx, Y a, b, c, d R, a 0 c až a zaméko ezáleží a prosté lieárí trasformaci Důsledek: ϱax + b, X = sig a Jsou-li áhodé veličiy X, Y ezávislé, je ϱx, Y = 0 Obráceá implikace však eplatí eí to postačující podmíka pro ezávislost Náhodé veličiy X, Y splňující ϱx, Y = 0 azýváme ekorelovaé Pro áhodý vektor X = X 1,, X je defiováa kovariačí matice covx 1, X 1 covx 1, X covx 1, X covx, X 1 covx, X covx, X Σ X = covx, X 1 covx, X covx, X DX 1 covx 1, X covx 1, X covx 1, X DX covx, X = covx 1, X covx, X DX Je symetrická pozitivě semidefiití, a diagoále má rozptyly Podobě je defiováa korelačí matice 1 ϱx 1, X ϱx 1, X ϱx 1, X 1 ϱx, X ϱ X = ϱx 1, X ϱx, X 1 Je symetrická pozitivě semidefiití 401 Vícerozměré ormálí rozděleí N µ, Σ popisuje speciálí případ áhodého vektoru, jehož složky mají ormálí rozděleí a emusí být ekorelovaé Má hustotu 1 f N µ,σ t = π det Σ exp 1 t µ T Σ 1 t µ, kde t = t 1,, t R, µ = µ 1,, µ R je vektor středích hodot, Σ R je symetrická pozitivě defiití kovariačí matice a Σ 1 je matice k í iverzí Margiálí rozděleí i-té složky je Nµ i, Σ ii 41 Lieárí prostor áhodých veliči Zvolme pevě pravděpodobostí prostor Ω, A, P Ozačme L možiu všech áhodých veliči a Ω, A, P, tj A-měřitelých fukcí Ω R Operacím sčítáí áhodých veliči a jejich ásobeí reálým číslem odpovídají příslušé operace s fukcemi prováděé a Ω bod po bodu Stejě jako fukce, tvoří i áhodé veličiy z L lieárí prostor 3

24 Dále se omezíme a prostor L všech áhodých veliči z L, které mají rozptyl L je lieárí podprostor prostoru L Na ěm lze defiovat biárí operaci : L L R X Y = E X Y Ta je bilieárí tj lieárí v obou argumetech a komutativí Pokud ztotožíme áhodé veličiy, které se liší je a možiě ulové míry, pak je skalárí souči Po ztotožěí áhodých veliči X, Y, pro které P [X Y ] = 0 považujeme za prvky prostoru třídy ekvivalece místo jedotlivých áhodých veliči Skalárí souči defiuje ormu X = X X = E X a metriku vzdáleost dx, Y = X Y = E X Y Bez předchozího ztotožěí by toto byla je pseudometrika, mohla by vyjít ulová i pro X Y V L rozlišíme důležité podprostory: R = jedodimezioálí prostor všech kostatích áhodých veliči tj s Diracovým rozděleím, N = prostor všech áhodých veliči s ulovou středí hodotou N je ortogoálí doplěk podprostoru R, tj N = {X L Y R : X Y = 0} EX je kolmý průmět X do R pokud ztotožňujeme toto reálé číslo s příslušou kostatí áhodou veličiou, jiak souřadice ve směru R, X EX je kolmý průmět X do N, orm X = X EX σ X je jedotkový vektor ve směru kolmého průmětu X do N, σ X = X EX je vzdáleost X od R Z kolmosti vektorů X EX N, EX R a Pythagorovy věty plye X X = X = X EX + EX, E X = DX + EX 411 Lieárí podprostor áhodých veliči s ulovými středími hodotami Speciálě pro áhodé veličiy z N vychází σ X = X X, σ X = X, covx, Y = X Y, ϱx, Y = covx, Y σ X σ Y = X Y X Y, takže korelace ϱx, Y je kosius úhlu vektorů X, Y N Důsledek: Náhodé veličiy X, Y s ulovými středími hodotami jsou ortogoálí, právě když jsou ekorelovaé Obecě v L ϱx, Y je kosius úhlu průmětů X, Y do N, covx, Y = X Y EX EY je skalárí souči průmětů X, Y do N 4

25 41 Lieárí regrese Úloha: Je dá áhodý vektor X = X 1,, X a áhodá veličia Y Předpokládáme, že všechy áhodé veličiy jsou z L Máme ajít takové koeficiety c 1,, c, aby lieárí kombiace c i X i byla co ejlepší aproximací áhodé veličiy Y ve smyslu kritéria i k c k X k Y Řešeí: K vektoru Y hledáme ejbližší bod v lieárím podprostoru, který je lieárím obalem vektorů X 1,, X ; řešeím je kolmý průmět Te je charakterizová tím, že vektor c i X i Y je kolmý a X j, i j = 1,,, k c k X k Y X j = 0, c i X i X j = Y X j i To je soustava lieárích rovic pro ezámé koeficiety c 1,, c soustava ormálích rovic Speciálě pro áhodé veličiy s ulovými středími hodotami: c i cov X i, X j = cov Y, X j, takže matice soustavy je Σ X 4 Reprezetace áhodých vektorů v počítači i Obdobá jako u áhodých veliči, avšak s rostoucí dimezí rychle roste pamět ová áročost To by se estalo, kdyby áhodé veličiy byly ezávislé; pak by stačilo zát margiálí rozděleí Proto velkou úsporu může přiést i podmíěá ezávislost Pokud ajdeme úplý systém jevů, které zajišt ují podmíěou ezávislost dvou áhodých veliči, pak můžeme jejich rozděleí popsat jako směs rozděleí ezávislých áhodých veliči a tedy úsporěji 43 Čebyševova erovost Věta: δ > 0 : P [ orm X < δ] 1 1 δ, kde orm X = X EX σ X pokud má výraz smysl Důkaz pomocí kvatilové fukce: D orm X = E orm X E orm X, }{{}}{{} = E orm X = EY, kde Y = orm X Odhad pravděpodobosti β = P [ orm X < δ] = P [Y < δ ] = F Y δ : 1 = EY = 1 0 β 1 1 δ q Y α dα = β 0 q Y α dα + }{{} 0 1 β q Y α dα 1 β δ, }{{} δ Důkaz pomocí směsi: Vyjádříme Y = orm X = Mix β L, U, kde L abývá pouze hodot z 0, δ, 5

26 U abývá pouze hodot z δ,, takže EU δ, β = F Y δ 1 = EY = β }{{} EL + 1 β }{{} EU 1 β δ 0 δ Rovost astává pro U = δ, L = 0, tj pro diskrétí rozděleí {EX δ σ X, 1 β, EX, β, EX + δ σ X, 1 β } Ekvivaletí tvary ε = δ σ X : [ ] X EX δ > 0 : P δ 1 δ, σ X ε > 0 : P [ X EX ε] σ X ε = DX ε 5 Základí pojmy statistiky 51 K čemu potřebujeme statistiku Zkoumáí společých vlastostí velkého počtu obdobých jevů Přitom ezkoumáme všechy, ale je vybraý vzorek kvůli ceě testů, jejich destruktivosti apod Odhady parametrů pravděpodobostího modelu Testováí hypotéz Potíže statistického výzkumu viz [Rogalewicz] 5 Pojem áhodého výběru, odhady Soubor základí =populace výběrový Náhodý výběr jedoho prvku základího souboru s rovoměrým rozděleím a staoveí určitého parametru tohoto prvku určuje rozděleí áhodé veličiy Opakovaým výběrem dostaeme áhodý vektor, jehož složky mají stejé rozděleí a jsou ezávislé Takto vytvoříme výběrový soubor rozsahu, obvykle však vyloučíme víceásobý výběr stejého prvku výběr bez vraceí Jeho rozděleí se může poěkud lišit od původího Teto rozdíl se obvykle zaedbává, ebot 1 pro velký rozsah základího souboru to eí podstaté, rozsah základího souboru ěkdy eí zám, 3 výpočty se začě zjedoduší Přesost odhadu je dáa velikostí výběrového souboru, ikoli populace Náhodý výběr X = X 1,, X je vektor áhodých veliči, které jsou ezávislé a mají stejé rozděleí Vyecháváme idexy, apř F X místo F Xk Provedeím pokusu dostaeme realizaci áhodého výběru, x = x 1,, x R, kde je rozsah výběru 6

27 Statistika je každá měritelá fukce G, defiovaá a áhodém výběru libovolého rozsahu Počítá se z áhodých veliči výběru, ikoli z parametrů rozděleí Měřitelá zameá, že pro každé t R je defiováa pravděpodobost P [GX 1,, X t] = F GX1,,X t Statistika jako fukce áhodých veliči je rověž áhodá veličia Obvykle se používá jako odhad parametrů rozděleí které ám zůstávají skryté Začeí: ϑ skutečý parametr reálé číslo, Θ, Θ jeho odhad založeý a áhodém výběru rozsahu áhodá veličia ϑ, ϑ realizace odhadu obvykle reálé číslo Žádoucí vlastosti odhadů: E Θ = ϑ estraý opak: vychýleý lim E Θ = ϑ asymptoticky estraý eficietí = s malým rozptylem, což posuzujeme podle E Θ ϑ = D Θ + E Θ ϑ, pro estraý odhad se redukuje a D Θ ejlepší estraý odhad je ze všech estraých te, který je ejvíce eficietí mohou však existovat více eficietí vychýleé odhady lim E Θ = ϑ, lim σ b Θ = 0 kozistetí robustí, tj odolý vůči šumu i při zašuměých datech dostáváme dobrý výsledek zde už přesé kritérium chybí, zato je to velmi praktická vlastost 53 Výběrový průměr z áhodého výběru X = X 1,, X je X = 1 Alterativí začeí: X pokud potřebujeme zdůrazit rozsah výběru Jeho realizaci začíme malým písmeem: x = 1 x j Věta: EX = 1 DX = 1 σ X = X j EX = EX, DX = 1 DX, 1 DX = 1 σ X, pokud existují Zde EX = EX j atd Důsledek: Výběrový průměr je estraý kozistetí odhad středí hodoty Nezávisle a typu rozděleí Čebyševova erovost pro X dává P [ X EX ε ] DX ε = DX ε 0 pro 7

28 To platí i za obecějších předpokladů X j emusí mít stejé rozděleí slabý záko velkých čísel Lidově se hovoří o přesém součtu epřesých čísel, což je chyba, ebot součet X j má rozptyl DX Relativí chyba součtu klesá, absolutí roste Rozděleí výběrového průměru může být podstatě složitější ež původí, je ve speciálích případech je jedoduchá odpověd Věta: Výběrový průměr z ormálího rozděleí Nµ, σ má ormálí rozděleí N µ, 1 σ a je ejlepším estraým odhadem středí hodoty Podobá věta platí i pro jiá rozděleí alespoň asymptoticky: Cetrálí limití věta: Necht X j, j N, jsou ezávislé stejě rozděleé áhodé veličiy se středí hodotou EX a směrodatou odchylkou σ X 0 Pak ormovaé áhodé veličiy Y = orm X = X EX σ X kovergují k ormovaému ormálímu rozděleí v ásledujícím smyslu: 54 Výběrový rozptyl áhodého výběru X = X 1,, X je statistika t R : lim F Y t = lim F orm X t = Φt S X = 1 1 X j X Alterativí začeí: S Dvojka v horím idexu zde ezameá kvadrát! Jeho realizaci začíme malým písmeem: Praktičtější jedoprůchodový vzorec: Věta: S X = 1 1 s X = 1 1 x j x Xj 1 X = 1 1 ES X = DX Xj 1 1 X j Důkaz: Z jedoprůchodového vzorce pro SX dostáváme ESX = 1 EX 1 EX = DX + EX DX EX = 1 = DX + EX 1 1 DX EX = DX Věta: Výběrový rozptyl je estraý kozistetí odhad rozptylu pokud původí rozděleí má rozptyl a 4 cetrálí momet Rozděleí výběrového rozptylu může být podstatě složitější Speciálě pro rozděleí N0, 1 a = : X = X 1 + X, X 1 X = X X = X 1 X má rozděleí N 0, 1, SX = X 1 X + X X X1 X = = kde U = X1 X má rozděleí N 0, 1 Tomu říkáme rozděleí χ s 1 stupěm volosti X1 X = U, 8

29 541 Rozděleí χ s η stupi volosti je defiováo jako rozděleí áhodé veličiy Y = veličiy s ormovaým ormálím rozděleím N0, 1 Začeí: χ η Jeho hustota je pro x > 0 { η cη y f Y y = 1 e y pro y > 0, 0 jiak, 1 cη = η Γ η, Γz = 0 t z 1 e t dt, speciálě Γm + 1 = m! pro všecha m N Speciálě pro η = je cη = 1/ a dostáváme expoeciálí rozděleí η U j, kde U j jsou ezávislé áhodé Hustoty rozděleí χ s 1,,, 10 stupi volosti a jeho odmociy vzdáleost od středu terče Věta: Necht X, Y jsou ezávislé áhodé veličiy s rozděleím χ ξ, resp χ η Pak X + Y má rozděleí χ ξ + η Věta: Pro áhodou veličiu Y s rozděleím χ s η stupi volosti platí Toto rozděleí eí zvykem ormovat 54 Výběrový rozptyl z ormálího rozděleí NEX, DX splňuje: EY = η, DY = η 1 S X DX má rozděleí χ 1 3 Rozděleí odhadu rozptylu pomocí vyběrového rozptylu SX pro rozsah výběru, 3,, 10 a 3 = 1 + 1, + 1,, = 19 Důsledek: Rozptyl výběrového rozptylu z ormálího rozděleí NEX, DX je DS X = 1 DX Věta: Pro áhodý výběr X = X 1,, X z ormálího rozděleí je X ejlepší estraý odhad středí hodoty, SX je ejlepší estraý odhad rozptylu a statistiky X, S X jsou kozistetí a ezávislé Existuje však vychýleý odhad rozptylu, který je eficietější: 9

30 543 Alterativí odhad rozptylu DX = 1 X j X = 1 S X Věta: DX je vychýleý kozistetí odhad rozptylu Důkaz: E DX = 1 DX DX, DX má rozptyl meší ež SX, a to v poměru 1 Eficieci emůžeme porovat obecě; aspoň pro ormálí rozděleí: 1 eficiece odhadu S X : DS X = 1 DX eficiece odhadu DX DX je kostata: E DX DX = D DX DX 1 = D DX + 1 = + E DX DX = DX = 1 DX + 1 DX = 1 DX, a protože je odhad DX více eficietí ež S X 1 < < 1, který je ejlepší estraý! 55 Výběrová směrodatá odchylka áhodého výběru X = X 1,, X je statistika S X = S X = 1 1 Alterativí začeí: S Její realizaci začíme malým písmeem: s X = 1 1 Věta: X j X x j x ES X σ X Rovost obecě eastává, takže to eí estraý odhad směrodaté odchylky! Důkaz: DX = ESX = ES X + DS }{{ X ES } X, 0 σ X ES X Věta: Výběrová směrodatá odchylka je kozistetí odhad směrodaté odchylky pokud původí rozděleí má rozptyl a 4 cetrálí momet 30

31 56 Výběrový k-tý obecý momet áhodého výběru X = X 1,, X je statistika M X k = 1 Xj k Alterativí začeí: M k Jeho realizaci začíme malým písmeem: Věta: m X k = 1 x k j EM X k = EX k Tj je to estraý odhad k-tého obecého mometu Věta: Výběrový k-tý obecý momet je kozistetí odhad k-tého obecého mometu pokud X má k-tý a k-tý obecý momet Důkaz: DM X k = 1 DXk = 1 DXk = 1 EX k EX k = 1 EX k EX k 57 Histogram a empirické rozděleí V eáhodém vektoru x = x 1,, x R získaém apř jako realizace áhodého výběru ezáleží a pořadí složek ale záleží a jejich opakováí Úsporěji je popsá možiou hodot H = {x 1,, x } ta má ejvýše prvků, obvykle méě a jejich četostmi t, t H Tato data obvykle zázorňujeme tabulkou četostí ebo grafem zvaým histogram Normováím dostaeme relativí četosti r t = t, t H Jelikož t H r t = 1, defiují relativí četosti pravděpodobostí fukci p Empx t = r t tzv empirického rozděleí Empx Je to diskrétí rozděleí s ejvýše hodotami charakterizující vektor x 571 Vlastosti empirického rozděleí Idexem Empx ozačujeme parametry jakékoli áhodé veličiy, která má toto rozděleí E Empx = t r t = 1 t H E Empx k = t k r t = 1 t H t t = 1 t H x i = x, i=1 t k t = 1 t H x k i i=1 D Empx = t E Empx r t = 1 t x t t H t H = 1 x i x = 1 s X i=1 Obecé momety empirického rozděleí se rovají výběrovým mometům původího rozděleí Výpočet z histogramu z empirického rozděleí může být jedodušší ež z původí realizace áhodého výběru pokud se opakují stejé hodoty Rozptyl empirického rozděleí odpovídá odhadu DX = 1 S X rozptylu původího rozděleí, odlišému od S X 31

32 58 Výběrový mediá je mediá empirického rozděleí, q Empx 1 Poskytuje jiou iformaci ež výběrový průměr, mohdy užitečější mj robustější odolější vůči vlivu vychýleých hodot, outliers Navíc víme, jak se změí mootoí fukcí Proč se používá méě ež výběrový průměr: Výpočetí áročost je vyšší; seřazeí hodot má pracost úměrou l, zatímco výběrový průměr Pamět ová áročost je vyšší potřebujeme zapamatovat všecha data, u výběrového průměru stačí registry Možosti decetralizace a paralelizace výpočtu výběrového mediáu jsou velmi omezeé 59 Itervalové odhady Dosud jsme skutečou hodotu parametru ϑ ahrazovali bodovým odhadem Θ což je áhodá veličia Nyí místo toho hledáme itervalový odhad, tzv iterval spolehlivosti I, což je miimálí iterval takový, že P [ϑ I] 1 α, kde α 0, 1 je pravděpodobost, že meze itervalu I budou překročey; 1 α je koeficiet spolehlivosti Obvykle hledáme horí, resp dolí jedostraý odhad, kdy ebo symetrický oboustraý odhad, I =, q bθ 1 α, resp I = q bθ α,, I = K tomu potřebujeme zát rozděleí odhadu Θ α q bθ, q bθ 1 α 510 Itervalové odhady parametrů ormálího rozděleí Nµ, σ 5101 Odhad středí hodoty při zámém rozptylu σ µ odhademe výběrovým průměrem X s rozděleím N µ, σ Normovaá áhodá veličia orm X = σ X µ má rozděleí N0, 1; [ ] P σ X µ, Φ 1 1 α = 1 α [ ] = P σ X µ Φ 1 1 α [ = P µ X + σ ] Φ 1 1 α [ = P µ, X + σ ] Φ 1 1 α Obdobě dostaeme i další itervalové odhady, X + σ Φ 1 1 α, X σ Φ 1 1 α,, X σ Φ 1 1 α, X + σ Φ 1 1 α, kde X σ Φ 1 1 α = X + σ Φ 1 α Φ 1 α = Φ 1 1 α ovšem ebývá v tabulkách Při výpočtu ahradíme výběrový průměr X jeho realizací x 3

33 510 Odhad středí hodoty při ezámém rozptylu µ odhademe výběrovým průměrem X s rozděleím N µ, σ, σ odhademe výběrovým rozptylem SX ; 1 S X σ má rozděleí χ 1 Testujeme aalogicky áhodou veličiu S X X µ, její rozděleí však eí ormálí, ačkoli X, S X jsou ezávislé 5103 Studetovo t-rozděleí autor: Gossett s η stupi volosti je rozděleí áhodé veličiy kde U má rozděleí N0, 1, V má rozděleí χ η, U, V jsou ezávislé Začeí: tη Hustota: U V η f tη x = c η 1 + x η c η = Γ 1+η ηπ Γ, 1 η, Symetrie kolem uly q tη 1 α = q tη α Pro velký počet stupňů volosti se ahrazuje ormálím rozděleím Hustota ormovaého ormálího rozděleí a Studetova rozděleí s 5 stupi volosti původího a ormovaého 5104 Odhad středí hodoty při ezámém rozptylu II V ašem případě: U V η = σ X µ S X σ U = X µ má N0, 1, σ V = 1 S X σ má χ 1, η = 1, = X µ má t 1 S X Z toho vyplývají itervalové odhady, X + SX q t 1 1 α, X SX q t 1 1 α,, X SX q t 1 1 α SX, X + q t 1 1 α Při výpočtu ahradíme výběrový průměr X jeho realizací x a výběrovou směrodatou odchylku S X její realizací s X 33

34 5105 Odhad rozptylu σ odhademe výběrovým rozptylem SX ; 1S X σ má rozděleí χ 1; [ ] 1 S P X, q χ 11 α σ = 1 α [ ] 1 S = P X σ q χ 11 α [ 1 S ] X = P q χ 11 α σ [ ] 1 S = P σ X q χ 11 α, Dostali jsme dolí odhad Obdobě dostaeme i další itervalové odhady, 1 S X q χ 1α, 1 S X q χ 11 α,, 1 SX 1 S q χ 1 1 α, X q α χ 1 Při výpočtu ahradíme výběrový rozptyl S X jeho realizací s X 5106 Itervalové odhady spojitých rozděleí, která ejsou ormálí převádíme obvykle a ormálí rozděleí elieárí trasformací ht = Φ 1 F X t F X X má rovoměré rozděleí a 0, 1 Použijeme itervalový odhad pro ormálí rozděleí a trasformujeme jej zpět podle vzorce 511 Obecé odhady parametrů h 1 u = q 1 X Φu Rozděleí áhodé veličiy X závisí a vektoru parametrů ϑ = ϑ 1,, ϑ i Π, kde Π R i je parametrický prostor, tj možia všech přípustých hodot parametrů; pravděpodobostí fukci začíme p X t; ϑ = p X t; ϑ 1,, ϑ i atd Hledáme odhad Θ = Θ 1,, Θ i, resp realizaci odhadu ϑ = ϑ 1,, ϑ i pomocí realizace x = x 1,, x 5111 Metoda mometů Pro k = 1,, je k-tý obecý momet fukcí ϑ, EX k ϑ = EX k ϑ 1,, ϑ i závislost a parametrech lze staovit dle pravděpodobostího modelu Lze jej též odhadout pomocí výběrového k-tého obecého mometu m X k Metoda mometů doporučuje realizaci odhadu ϑ = ϑ 1,, ϑ i takovou, že EX k ϑ 1,, ϑ i = m X k = 1 x k j, k = 1,, K jedozačému určeí i proměých obvykle potřebujeme prvích i rovic pro k = 1,,, i 34