Pravděpodobnost a matematická statistika

Transkript

1 Pravděpodobost a matematická statistika Mirko Navara Cetrum strojového vímáí katedra kyberetiky FEL ČVUT Karlovo áměstí, budova G, místost 104a avara/psi Obsah 1 O čem to je? 3 11 Teorie pravděpodobosti 3 1 Statistika 3 Základí pojmy teorie pravděpodobosti 3 1 Laplaceova klasická) defiice pravděpodobosti 3 11 Základí pojmy 4 1 Pravděpodobost 4 13 Náhodá veličia 4 Vlastosti pravděpodobosti 4 1 Úplý systém jevů 4 3 Problémy Laplaceovy defiice pravděpodobosti 5 31 Rozšířeí Laplaceova modelu pravděpodobosti 5 4 Kombiatorické pojmy a vzorce 5 5 Kolmogorovova defiice pravděpodobosti 6 51 Borelova σ-algebra 7 5 Pravděpodobost =pravděpodobostí míra) 7 3 Nezávislost a podmíěá pravděpodobost 7 31 Nezávislé jevy 7 3 Podmíěá pravděpodobost 8 31 Podmíěá ezávislost 10 4 Popis áhodých veliči a vektorů Náhodá veličia rozměrý áhodý vektor -rozměrá áhodá veličia) Nezávislost áhodých veliči 1 44 Obecější áhodé veličiy 1 45 Směs áhodých veliči 1 46 Druhy áhodých veliči Diskrétí áhodé veličiy Spojité áhodé veličiy Smíšeé áhodé veličiy Kvatilová fukce áhodé veličiy Jak reprezetovat áhodou veličiu v počítači Operace s áhodými veličiami Jak realizovat áhodou veličiu a počítači 19 1

2 5 Charakteristiky áhodých veliči Středí hodota Vlastosti středí hodoty 0 5 Rozptyl disperze) 1 53 Směrodatá odchylka 1 54 Obecé a cetrálí momety 55 Normovaá áhodá veličia 56 Základí typy diskrétích rozděleí 561 Diracovo 56 Rovoměré 563 Alterativí Beroulliovo) 564 Biomické Bim, q) Poissoovo Poλ) Geometrické Hypergeometrické 3 57 Základí typy spojitých rozděleí Rovoměré Ra, b) 4 57 Normálí Gaussovo) Nµ, σ ) Logaritmickoormálí LNµ, σ ) Expoeciálí Exτ) 5 58 Čebyševova erovost 5 6 Popis a charakteristiky áhodých vektorů 6 61 Diskrétí áhodý vektor 6 6 Spojitý áhodý vektor 6 63 Číselé charakteristiky áhodého vektoru Vícerozměré ormálí rozděleí Nµ, Σ) 8 64 Reprezetace áhodých vektorů v počítači 8 7 Lieárí prostor áhodých veliči 8 71 Lieárí podprostor N áhodých veliči s ulovými středími hodotami 9 7 Lieárí regrese 9 8 Základí pojmy statistiky K čemu potřebujeme statistiku 30 8 Náhodý výběr, odhad, empirické rozděleí Odhad středí hodoty Odhad k-tého obecého mometu 3 85 Odhad rozptylu Rozděleí χ s 1 stupěm volosti Rozděleí χ s η stupi volosti Výběrový rozptyl z ormálího rozděleí NEX, DX) Eficiece odhadů rozptylu pro ormálí rozděleí Odhad směrodaté odchylky Histogram a popis empirického rozděleí Odhad mediáu Itervalové odhady Itervalové odhady parametrů ormálího rozděleí Nµ, σ ) Odhad středí hodoty při zámém rozptylu σ Odhad středí hodoty při ezámém rozptylu Studetovo t-rozděleí Odhad středí hodoty při ezámém rozptylu Odhad rozptylu Itervalové odhady spojitých rozděleí, která ejsou ormálí Obecé odhady parametrů Metoda mometů Metoda maximálí věrohodosti Příklady a odhady parametrů 4

3 9 Testováí hypotéz Základí pojmy a pricipy testováí hypotéz 47 9 Testy středí hodoty ormálího rozděleí Při zámém rozptylu σ 50 9 Při ezámém rozptylu Testy rozptylu ormálího rozděleí Porováí dvou ormálích rozděleí Testy rozptylu dvou ormálích rozděleí [Fisher] Testy středích hodot dvou ormálích rozděleí se stejým zámým rozptylem σ Testy středích hodot dvou ormálích rozděleí s růzými zámými rozptyly σx, σ Y Testy středích hodot dvou ormálích rozděleí se stejým ezámým rozptylem σ Testy středích hodot dvou ormálích rozděleí - párový test Korelace, její odhad a testováí Test ekorelovaosti dvou ormálích rozděleí χ -test dobré shody Modifikace χ -test ezávislosti dvou rozděleí χ -test dobré shody dvou rozděleí Neparametrické testy Zamékový test Wilcoxoův test jedovýběrový) 58 1 O čem to je? 1A Jak vysoká by měla být pojistka auta proti krádeži bez marže), je-li jeho cea Kč a riziko ukradeí během pojistého období 0001? = Kč 1B Jak vysoká by měla být pojistka auta pro případ havárie, při íž může být škoda růzě velká? TEORIE PRAVDĚPODOBNOSTI Jak odhadout pravděpodobost krádeže auta ebo středí škodu při havárii a jak přesý bude odhad? STATISTIKA 3 Jak ozačovat auta a jejich díly, abychom je jedozačě určili? TEORIE INFORMACE A KÓDOVÁNÍ Určitě e jako v rozvrhu a FEL: Cvičeí AD0B01PSI bude v učebě KN:E-4 11 Teorie pravděpodobosti je ástroj pro účelé rozhodováí v systémech, kde budoucí pravdivost jevů závisí a okolostech, které zcela ezáme Poskytuje model takových systémů a kvatifikaci výsledků Pravděpodobostí popis chováí systému 1 Statistika je ástroj pro hledáí a ověřováí pravděpodobostího popisu reálých systémů a základě jejich pozorováí Chováí systému pravděpodobostí popis Statistika poskytuje daleko víc: ástroj pro zkoumáí světa, pro hledáí a ověřováí závislostí, které ejsou zjevé Základí pojmy teorie pravděpodobosti 1 Laplaceova klasická) defiice pravděpodobosti Předpoklad: Náhodý pokus s m N růzými, po dvou eslučitelými výsledky, které jsou stejě možé Pravděpodobost jevu, který astává právě při k z těchto výsledků, je k/m 1 problém: stejě možé = stejě pravděpodobé, ale co to zameá? defiice kruhem!) 3

4 Elemetárí jevy jsou všechy stejě možé výsledky Možia všech elemetárích jevů: Ω Jev: A Ω Úmluva Jevy budeme ztotožňovat s příslušými možiami elemetárích jevů a používat pro ě možiové operace místo výrokových) 11 Základí pojmy Jev jistý: Ω, 1 Jev emožý:, 0 Kojukce jevů ad ): A B Disjukce jevů or ): A B Jev opačý k A: A = Ω \ A A B: A B Jevy eslučitelé: A 1,, A : i A i = Jevy po dvou eslučitelé: A 1,, A : i, j {1,, }, i j : A i A j = Jevové pole: všechy jevy pozorovatelé v áhodém pokusu, zde exp Ω =možia všech podmoži možiy Ω) 1 Pravděpodobost jevu A: kde začí počet prvků možiy P A) = A Ω, 13 Náhodá veličia je libovolá fukce X : Ω R Středí hodota: EX = 1 m X ω), kde m = Ω Příklad: Elemetárí jevy jsou možé výsledky hry, áhodá veličia je výše výhry Středí hodota je spravedlivá cea za účast ve hře Vlastosti pravděpodobosti P A) 0, 1 P 0) = 0, P 1) = 1 P A) = 1 P A) A B P A) P B) A B P B \ A) = P B) P A) A B = P A B) = P A) + P B) P A B) = P A) + P B) P A B) 1 Úplý systém jevů aditivita) ω Ω tvoří jevy B i, i I, jestliže jsou po dvou eslučitelé a B i = 1 Speciálí případ pro jevy: {C, C} Je-li {B 1,, B } úplý systém jevů, pak a pro libovolý jev A i I P B i ) = 1 i=1 P A) = P A B i ) i=1 4

5 Speciálě: P A) = P A C) + P A C ) 3 Problémy Laplaceovy defiice pravděpodobosti problém: Nedovoluje ekoečé možiy jevů, geometrickou pravděpodobost Nelze mít ekoečě moho stejě pravděpodobých výsledků Příklad: Podíl plochy peviy k povrchu Země je pravděpodobost, že áhodě vybraý bod a Zemi leží a peviě je-li výběr bodů provádě rovoměrě ) Příklad Buffoova úloha): Na likovaý papír hodíme jehlu, jejíž délka je rova vzdáleosti mezi likami Jaká je pravděpodobost, že jehla prote ějakou liku? 3 problém: Nedovoluje iracioálí hodoty pravděpodobosti 31 Rozšířeí Laplaceova modelu pravděpodobosti Příklad: Místo hrací kostky házíme krabičkou od zápalek, jejíž stray jsou estejě dlouhé Jaká je pravděpodobost možých výsledků? Připustíme, že elemetárí jevy emusí být stejě pravděpodobé Ztrácíme ávod, jak pravděpodobost staovit Je to fukce, která jevům přiřazuje čísla z itervalu 0, 1 a splňuje jisté podmíky Nemáme ávod, jak z ich vybrat tu pravou Tato evýhoda je eodstraitelá a je důvodem pro vzik statistiky, která k daému opakovatelému pokusu hledá pravděpodobostí model 4 Kombiatorické pojmy a vzorce Dle [Zvára, Štěpá]) V urě je rozlišitelých objektů, postupě vytáheme k z ich Permutace pořadí) bez opakováí: Vytáheme všech objektů bez vraceí, záleží a pořadí permutací je! = 1) ) 1, každá má pravděpodobost 1! Počet výběr s vraceím bez vraceí uspořádaý variace s opakováím variace bez opakováí k 1! s pravděpodobostmi k k)! s pravděpodobostmi k)!! euspořádaý ) kombiace s opakováím kombiace bez opakováí s růzými pravděpodobostmi! k! k)! = ) k s pravděpodobostmi k! k)!! +k 1 k Z této tabulky pouze kombiace s opakováím ejsou všechy stejě pravděpodobé odpovídají růzému počtu variací s opakováím) a edovolují proto použití Laplaceova modelu pravděpodobosti Permutace pořadí) bez opakováí jsou speciálí případ variací bez opakováí pro = k Permutace s opakováím: Tvoříme posloupost délky k z hodot, přičemž j-tá hodota se opakuje k j -krát, k j = k Počet růzých posloupostí je Speciálě pro = dostáváme k! k 1! k! k! k 1! k! = k! k 1! k k 1 )! = ) k, což je počet kombiací bez opakováí ovšem k 1 -prvkových z k prvků) k 1 5

6 počet 4-prvkových variací z prvků bez opakováí,! 4)! počet 4-prvkových variací z prvků s opakováím, 4 počet 4-prvkových kombiací z prvků ) bez opakováí, 4 počet 4-prvkových kombiací z prvků s opakováím, ) Věta 1 Pro daé k N a pro se poměr počtů variací resp kombiací) bez opakováí a s opakováím blíží jedé, tj! lim k)! k = 1, lim k) +k 1 ) = 1 k Důkaz počet čiitelů k je kostatí)! 1) k 1)) = k)! k k = = ) 1 k 1 ) 1, k) 1) k 1)) +k 1 ) = + k 1)) + 1) = k = 1 ) ) k 1 ) ) k Důsledek 1 Pro k je počet variací resp kombiací) s opakováím přibližě! = k, k)! ) = k k k! Jedodušší bývá euspořádaý výběr bez vraceí ebo uspořádaý výběr s vraceím 5 Kolmogorovova defiice pravděpodobosti Elemetárích jevů =prvků možiy Ω) může být ekoečě moho, emusí být stejě pravděpodobé Jevy jsou podmožiy možiy Ω, ale e utě všechy; tvoří podmožiu A exp Ω, která splňuje ásledující podmíky: A1) A A) A A A A A3) N : A A) N A A Systém A podmoži ějaké možiy Ω, který splňuje podmíky A1-3), se azývá σ-algebra Důsledky: Ω = A, N : A A) N A = N A A Přirozeý ápad A = exp Ω vede k ežádoucím paradoxům 6

7 A3) je uzavřeost a spočetá sjedoceí Uzavřeost a jakákoli sjedoceí se ukazuje jako příliš silý požadavek Uzavřeost a koečá sjedoceí se ukazuje jako příliš slabý požadavek; edovoluje apř vyjádřit kruh jako sjedoceí obdélíků A emusí ai obsahovat všechy jedobodové možiy, v tom případě elemetárí jevy emusí být jevy! 51 Borelova σ-algebra je ejmeší σ-algebra podmoži R, která obsahuje všechy itervaly Obsahuje všechy itervaly otevřeé, uzavřeé i polouzavřeé, i jejich spočetá sjedoceí, a ěkteré další možiy, ale je meší ež exp R Její prvky azýváme borelovské možiy 5 Pravděpodobost =pravděpodobostí míra) je fukce P : A 0, 1, splňující podmíky P1) P 1) = 1, ) P) P A = P A ), pokud jsou možiy =jevy) A, N, po dvou eslučitelé spočetá N N aditivita) Pravděpodobostí prostor je trojice Ω, A, P ), kde Ω je eprázdá možia, A je σ-algebra podmoži možiy Ω a P : A 0, 1 je pravděpodobost Dříve uvedeé vlastosti pravděpodobosti jsou důsledkem P1), P) Koečá) aditivita by byla příliš slabá, edovoluje apř přechod od obsahu obdélíka k obsahu kruhu Příklad ekoečá ruleta ): Výsledkem může být libovolé přirozeé číslo, každé má pravděpodobost 0 Úplá aditivita pro jakékoli soubory po dvou eslučitelých jevů) by byla příliš silým požadavkem Pak bychom epřipouštěli ai rovoměré rozděleí a itervalu ebo a ploše Pravděpodobost zachovává limity mootóích posloupostí jevů moži): Nechť A ) N je posloupost jevů A 1 A P N A 1 A P N A ) = lim P A ), A ) = lim P A ) Laplaceův model koečě moho jevů p-sti je racioálí P A) = 0 A = 0 p-sti určey strukturou jevů Kolmogorovův model i ekoečě moho jevů p-sti i iracioálí možé jevy s ulovou p-stí p-sti eurčey strukturou jevů 3 Nezávislost a podmíěá pravděpodobost 31 Nezávislé jevy Motivace: Dva jevy spolu esouvisí Defiice: P A B) = P A) P B) To je ovšem je áhražka, která říká mohem méě, ež jsme chtěli! Podobě jako P A B) = 0 ezameá, že jevy A, B jsou eslučitelé) Pro ezávislé jevy A, B P A B) = P A) + P B) P A) P B) Důkaz: P A B) = P A) + P B) P A) P B) = P A) + P B) P A) P B) 7

8 Jsou-li jevy A, B ezávislé, pak jsou ezávislé také jevy A, B a též dvojice jevů A, B a A, B) Důkaz: P A B) = P A) P A B) = P A) P A) P B) = = P A) 1 P B)) = P A) P B) Jevy A 1,, A se azývají po dvou ezávislé, jestliže každé dva z ich jsou ezávislé To je málo: Možia jevů M se azývá ezávislá, jestliže ) P A = P A) A K pro všechy koečé podmožiy K M 3 Podmíěá pravděpodobost A K Příklad: Pravděpodobosti výsledků teisového zápasu se podstatě změí po odehráí prvího setu Máme pravděpodobostí popis systému Dostaeme-li dodatečou iformaci, že astal jev B, můžeme aktualizovat aši zalost o pravděpodobosti libovolého jevu A Te lze vyjádřit jako disjuktí sjedoceí A B) A B), takže P A) = P A B) + P A B) Je-li P B) 0 P B), můžeme rozásobit: Fukce P B), P B): A 0, 1, P A) = P B) P A B) = jsou pravděpodobosti a A, eboť splňují P1) P 1 B) = P 1 B) P B) = P B) P B) = 1 a pro A, N, po dvou eslučitelé ) ) ) P A B B N P) P A = = N P B) = N P A B) P A B) P B) P A B) P B) }{{} P A B) +P B), P A B) = ) P A B) N = P B) P A B) P B) }{{} P A B) P A B) P B) P A B) = P B) N, Obdobě pro P B)) Nazývají se podmíěé pravděpodobosti Je-li P A B) defiováa, jsou jevy A, B ezávislé, právě když P A B) = P A) Podmíěé pravděpodobosti avíc splňují B A P A B) = 1, P A B) = 0 P A B) = 0, speciálě P B B) = 1, P B B) = 0 Obdobě pro P B)) Původí pravděpodobost P jsme vyjádřili jako kovexí kombiaci pravděpodobostí P B), P B), odpovídajících situacím, kdy jev B astal, resp eastal : P ) = P B) P B) + P B) P B) Tato podmíka spolu s P B B) = 1 = P B B) určuje pravděpodobosti P B), P B) jedozačě Obecěji: 8

9 Věta o úplé pravděpodobosti: Nechť B i, i I, je spočetý) úplý systém jevů a i I : P B i ) 0 Pak pro každý jev A platí P A) = P B i ) P A B i ) i I Důkaz: P A) = P = i I j I ) ) B j A = P P B i A) = i I j I ) B j A) = P B i ) P A B i ) Příklad: Test emoci je u 1 % zdravých falešě pozitiví a u 10 % emocých falešě egativí Nemocých je v populaci 0001 Jaká je pravděpodobost, že paciet s pozitivím testem je emocý? Bayesova věta: Nechť B i, i I, je spočetý) úplý systém jevů a i I : P B i ) 0 Pak pro každý jev A splňující P A) 0 platí Důkaz s využitím věty o úplé pravděpodobosti): P B i A) = P B i) P A B i ) P B j ) P A B j ) j I P B i A) = P B i A) P A) = P B i) P A B i ) P B j ) P A B j ) j I Výzam: Pravděpodobosti P A B i ) odhademe z pokusů ebo z modelu, pomocí ich určíme pravděpodobosti P B i A), které slouží k optimálímu odhadu, který z jevů B i astal Problém: Ke staoveí aposteriorí pravděpodobosti P B i A) potřebujeme zát i apriorí pravděpodobost P B i ) Příklad: Na vstupu iformačího kaálu mohou být zaky 1,, m, výskyt zaku j ozačujeme jako jev B j Na výstupu mohou být zaky 1,, k, výskyt zaku i ozačujeme jako jev A i Obykle k = m, ale eí to uté) Obvykle lze odhadout podmíěé pravděpoděpodobosti P A i B j ), že zak j bude přijat jako i Pokud záme apriorí pravděpodobosti vysláí zaku j) P B j ), můžeme pravděpodobosti příjmu zaků vypočítat maticovým ásobeím: [ P A1 ) P A ) P A k ) ] = P A 1 B 1 ) P A B 1 ) P A k B 1 ) = [ P B 1 ) P B ) P B m ) ] P A 1 B ) P A B ) P A k B ) P A 1 B m ) P A B m ) P A k B m ) Všechy matice v tomto vzorci mají jedotkové součty řádků takové matice azýváme stochastické) Podmíěé rozděleí pravděpodobosti, pokud byl přijat zak i, je P B j A i ) = P A i B j ) P B j ) P A i ) Rozděleí pravděpodobostí vyslaých zaků je [ P B1 ) P B ) P B m ) ] = P A 1 B 1 ) P A B 1 ) P A k B 1 ) = [ P A 1 ) P A ) P A k ) ] P A 1 B ) P A B ) P A k B ) P A 1 B m ) P A B m ) P A k B m ) pokud k = m a příslušá iverzí matice existuje 1, 9

10 31 Podmíěá ezávislost Náhodé jevy A, B jsou podmíěě ezávislé za podmíky C, jestliže Podobě defiujeme podmíěou ezávislost více jevů P A B C) = P A C) P B C) 4 Popis áhodých veliči a vektorů Příklad: Auto v ceě $ bude do roka ukradeo s pravděpodobostí 1 : Adekvátí cea ročího pojistého bez zisku pojišťovy) je /1 000 = 10 $ Někdy teto jedoduchý postup selhává: Příklad: Pro staoveí havarijího pojištěí potřebujeme zát eje pravděpodobost havárie resp počtu havárií za pojisté období), ale i průměrou škodu při jedé havárii, lépe pravděpodobostí rozděleí výše škody Musíme studovat i áhodé pokusy, jejichž výsledky ejsou je dva jev astal/eastal), ale více hodot, vyjádřeých reálými čísly 41 Náhodá veličia a pravděpodobostím prostoru Ω, A, P ) je měřitelá fukce X : Ω R, tj taková, že pro každý iterval I platí X 1 I) = {ω Ω Xω) I} A Je popsaá pravděpodobostmi P X I) = P [X I] = P {ω Ω X ω) I}), defiovaými pro libovolý iterval I a tedy i pro libovolé sjedoceí spočetě moha itervalů a pro libovolou borelovskou možiu) P X je pravděpodobostí míra a Borelově σ-algebře určující rozděleí áhodé veličiy X K tomu, aby stačila zalost P X a itervalech, se potřebujeme omezit a tzv perfektí míry; s jiými se v praxi esetkáme Pravděpodobostí míra P X splňuje podmíky: P X R) = 1, ) P X I = P X I ), pokud jsou možiy I, N, po dvou disjuktí N N Z toho vyplývá: P X ) = 0, P X R \ I) = 1 P X I), jestliže I J, pak P X I) P X J) a P X J \ I) = P X J) P X I) Úsporější reprezetace: omezíme se a itervaly tvaru I =, t, t R, P [X, t ] = P [X t] = P X, t ) = F X t) F X : R 0, 1 je distribučí fukce áhodé veličiy X Ta stačí, eboť a, b =, b \, a, P X a, b ) = P [a < X b] = F X b) F X a), a, ) = R \, a, P X a, )) = 1 F X a),, a) =, b, P X, a)) = P [X < a] = lim Xb) = lim Xb), b: b<a b a b a {a} =, a \, a), P X {a}) = P [X = a] = F X a) lim Xb), b a Vlastosti distribučí fukce: eklesající, zprava spojitá, 10

11 lim t F Xt) = 0, lim F X t) = 1 t Věta: Tyto podmíky jsou eje uté, ale i postačující Příklad: Reálému číslu r odpovídá áhodá veličia začeá též r) s Diracovým rozděleím v r: P r I) = { 0 pro r / I, 1 pro r I, F r t) = { 0 pro t < r, 1 pro t r F r je posuutá Heavisideova fukce) Tvrzeí: X Y F X F Y 4 -rozměrý áhodý vektor -rozměrá áhodá veličia) a pravděpodobostím prostoru Ω, A, P ) je měřitelá fukce X : Ω R, tj taková, že pro každý - rozměrý iterval I platí X 1 I) = {ω Ω Xω) I} A Lze psát X ω) = X 1 ω),, X ω)), kde zobrazeí X k : Ω R, k = 1,,, jsou áhodé veličiy Náhodý vektor lze považovat za vektor áhodých veliči X = X 1,, X ) Je popsaý pravděpodobostmi kde I 1,, I jsou itervaly v R Z těch vyplývají pravděpodobosti P X I 1 I ) = P [X 1 I 1,, X I ] = = P {ω Ω X 1 ω) I 1,, X ω) I }), P X I) = P [X I] = P {ω Ω X ω) I}), defiovaé pro libovolou borelovskou možiu I v R speciálě pro libovolé sjedoceí spočetě moha -rozměrých itervalů) a určující rozděleí áhodého vektoru X Úsporější reprezetace: Stačí itervaly tvaru I k =, t k, t k R, P [X 1, t 1,, X, t ] = P [X 1 t 1,, X t ] = = P X, t 1, t ) = = F X t 1,, t ) F X : R 0, 1 je distribučí fukce áhodého vektoru X Je eklesající ve všech proměých), zprava spojitá ve všech proměých), lim t 1,,t F Xt 1,, t ) = 1, k {1,, } t 1,, t k 1, t k+1,, t : lim F Xt 1,, t ) = 0 t k Věta: Tyto podmíky jsou uté, ikoli postačující Nestačí zát margiálí rozděleí áhodých veliči X 1,, X, eboť ta eobsahují iformace o závislosti 11

12 43 Nezávislost áhodých veliči Náhodé veličiy X 1, X jsou ezávislé, pokud pro všechy itervaly I 1, I jsou jevy X 1 I 1, X I ezávislé, tj P [X 1 I 1, X I ] = P [X 1 I 1 ] P [X I ] Stačí se omezit a itervaly tvaru, t, tj eboli P [X 1 t 1, X t ] = P [X 1 t 1 ] P [X t ], F X1,X t 1, t ) = F X1 t 1 ) F X t ) pro všecha t 1, t R Náhodé veličiy X 1,, X jsou ezávislé, pokud pro libovolé itevaly I 1,, I platí P [X 1 I 1,, X I ] = P [X 1 I 1 ] P [X I ] = P [X i I i ] Na rozdíl od defiice ezávislosti více ež jevů, zde eí třeba požadovat ezávislost pro libovolou podmožiu áhodých veliči X 1,, X Ta vyplývá z toho, že libovolou áhodou veličiu X i lze vyechat tak, že zvolíme příslušý iterval I i = R Pak P [X i I i ] = 1 a v součiu se teto čiitel eprojeví Ekvivaletě stačí požadovat P [X 1 t 1,, X t ] = P [X i t i ] pro všecha t 1,, t R, což pro sdružeou distribučí fukci ezávislých áhodých veliči zameá F X t 1,, t ) = i=1 F Xk t k ) Náhodé veličiy X 1,, X jsou po dvou ezávislé, pokud každé dvě růzé) z ich jsou ezávislé To je slabší podmíka ež ezávislost veliči X 1,, X 44 Obecější áhodé veličiy Komplexí áhodá veličia je áhodý vektor se dvěma složkami iterpretovaými jako reálá a imagiárí část Někdy připouštíme i áhodé veličiy, jejichž hodoty jsou jié ež umerické Mohou to být apř áhodé možiy Jidy abývají koečě moha hodot, kterým poecháme jejich přirozeé ozačeí, apř rub, líc, káme, ůžky, papír apod Na těchto hodotách emusí být defiovaá žádá aritmetika ai uspořádáí Mohli bychom všechy hodoty očíslovat, ale eí žádý důvod, proč bychom to měli udělat právě určitým způsobem který by ovlivil ásledé umerické výpočty) Příklad: Číslováí politických stra ve volbách) 45 Směs áhodých veliči Příklad: Náhodé veličiy U, V jsou výsledky studeta při odpovědích a dvě zkouškové otázky Učitel áhodě vybere s pravděpodobostí c prví otázku, s pravděpodobostí 1 c druhou; podle odpovědi a vybraou otázku udělí zámku Jaké rozděleí má výsledá zámka X? Matematický model vyžaduje vytvořeí odpovídajícího pravděpodobostího prostoru pro teto pokus Nechť U, resp V je áhodá veličia a pravděpodobostím prostoru Ω 1, A 1, P 1 ), resp Ω, A, P ), přičemž Ω 1 Ω = Nechť c 0, 1 Defiujeme ový pravděpodobostí prostor Ω, A, P ), kde Ω = Ω 1 Ω, A = {A 1 A A 1 A 1, A A }, P A 1 A ) = c P 1 A 1 ) + 1 c) P A ) pro A 1 A 1, A A k=1 i=1 1

13 Defiujeme fukci X : Ω R: X ω) = { U ω) pro ω Ω1, V ω) pro ω Ω X je áhodá veličia a Ω, A, P ) X azýváme směs áhodých veliči U, V s koeficietem c agl mixture), začíme Mix c U, V ) Má pravděpodobostí míru P X = c P U + 1 c) P V a distribučí fukci F X = c F U + 1 c) F V Podobě defiujeme obecěji směs áhodých veliči U 1,, U s koeficiety c 1,, c 0, 1, c i = 1, začíme Mix c1,, c )U 1,, U ) = Mix c U 1,, U ), kde c = c 1,, c ) Má pravděpodobostí míru c i P Ui a distribučí fukci c i F Ui Lze zobecit i a spočetě moho áhodých veliči) i=1 i=1 Podíl jedotlivých složek je urče vektorem koeficietů c = c 1,, c ) Jejich počet je stejý jako počet áhodých veliči ve směsi Jelikož c = 1 1 c i, posledí koeficiet ěkdy vyecháváme i=1 Speciálě pro dvě áhodé veličiy Mix c,1 c) U, V ) = Mix c U, V ) kde c je číslo, ikoli vektor) Příklad: Směsí reálých čísel r 1,, r s koeficiety c 1,, c je áhodá veličia X = Mix c1,, c )r 1,, r ), P X I) = P [X I] = i:r i I Lze ji popsat též pravděpodobostí fukcí p X : R 0, 1, c i, F X t) = i:r i t { ci pro t = r i, p X t) = P X {t}) = P [X = t] = 0 jiak pokud jsou r 1,, r avzájem růzá) Možo zobecit i a spočetě moho reálých čísel 46 Druhy áhodých veliči 461 Diskrétí áhodé veličiy z předchozího příkladu) Existuje spočetá možia O X, pro kterou P X R \ O X ) = P [X / O X ] = 0 Nejmeší taková možia pokud existuje) je Ω X = {t R : P X {t}) 0} = {t R : P [X = t] 0} c i i=1 Diskrétí áhodou veličiu popisuje pravděpodobostí fukce p X t) = P X {t}) = P [X = t] Splňuje p X t) = 1 t R 13

14 46 Spojité áhodé veličiy Mají spojitou distribučí fukci Náhodá veličia X je absolutě spojitá, jestliže existuje ezáporá fukce f X : R 0, ) hustota áhodé veličiy X) taková, že Hustota splňuje f X u) du = 1 F X t) = t f X u) du Neí určea jedozačě, ale dvě hustoty f X, g X téže áhodé veličiy splňují I f Xx) g X x)) dx = 0 pro všechy itervaly I Lze volit f X t) = df X t) dt, pokud derivace existuje P X {t}) = 0 pro všecha t Některé spojité áhodé veličiy ejsou absolutě spojité; mají spojitou distribučí fukci, kterou elze vyjádřit jako itegrál Tyto případy dále euvažujeme 463 Smíšeé áhodé veličiy Směs předchozích dvou případů; Ω X, P X R \ Ω X ) = P [X / Ω X ] 0 Nelze je popsat ai pravděpodobostí fukcí existuje, ale eurčuje celé rozděleí) ai hustotou eexistuje, evychází koečá) 14

15 Každou áhodou veličiu se smíšeým rozděleím lze jedozačě vyjádřit ve tvaru X = Mix c U, V ), kde U je diskrétí, V je spojitá a c 0, 1): c = P X Ω X ) = P X {t R : P X {t}) 0}), c P U {t}) + 1 c) P V {t}) = c P U {t}) = P X {t}), }{{} 0 p U t) = P U {t}) = P X{t}), c Ω U = Ω X, c P U I) + 1 c) P V I) = P X I), Alterativa bez použití pravděpodobostí míry: P V I) = P XI) c P U I), 1 c F V t) = F Xt) c F U t) 1 c p X t) = P [X = t] = lim u t+ F Xt) lim u t F Xt), c = t R p X t), c p U t) = p X t), p U t) = p Xt), c c F U t) + 1 c) F V t) = F X t), F V t) = F Xt) c F U t) 1 c Lze ještě pokračovat rozkladem diskrétí části a směs Diracových rozděleí) 47 Kvatilová fukce áhodé veličiy Příklad 41 Pokud absolvet školy říká, že patří mezi 5 % ejlepších, pak tvrdí, že distribučí fukce prospěchu áhodě vybraého absolveta) má u jeho prospěchu hodotu ejvýše 005 Předpokládáme, že lepšímu prospěchu odpovídá ižší průměr zámek) Neostrá erovost v defiici zameá, že hodota distribučí fukce udává podíl těch absolvetů, kteří měli lepší ebo stejý prospěch Obráceě se lze ptát, jaký prospěch je potřeba k tomu, aby se absolvet dostal mezi 5 % ejlepších Pro α 0, 1) hledáme t R takové, že F X t) = α Máme však zaručeo pouze, že t R : P [X < t] α P [X t] = F X t) Všecha taková t tvoří omezeý iterval a vezmeme z ěj obvykle) střed, přesěji tedy q X α) = 1 sup {t R P [X < t] α} + if {t R P [X t] α}) 15

16 Číslo q X α) se azývá α-kvatil áhodé veličiy X a fukce q X : 0, 1) R je kvatilová fukce áhodé veličiy X Speciálě q X 1 ) je mediá, další kvatily mají také svá jméa tercil, kvartil dolí q X 1 4 ), horí q X 3 4 )) decil cetil eboli percetil Vlastosti kvatilové fukce: eklesající, ) q X α) = 1 lim q Xβ) + lim q Xβ) β α β α+ Věta: Tyto podmíky jsou uté i postačující Obráceý převod: F X t) = if{α 0, 1) q X α) > t} = sup{α 0, 1) q X α) t} Fukce F X, q X jsou avzájem iverzí tam, kde jsou spojité a rostoucí tyto podmíky stačí ověřit pro jedu z ich) 48 Jak reprezetovat áhodou veličiu v počítači 1 Diskrétí: Nabývá-li pouze koečého počtu hodot t k, k = 1,,, stačí k reprezetaci tyto hodoty a jejich pravděpodobosti p X t k ) = P X {t k }) = P [X = t k ], čímž je plě popsáa pravděpodobostí fukce čísly až a epřesost zobrazeí reálých čísel v počítači) Pokud diskrétí áhodá veličia abývá spočetě) ekoečě moha hodot, musíme ěkteré vyechat, zejméa ty, které jsou málo pravděpodobé Pro každé ε > 0 lze vybrat koečě moho hodot t k, k = 1,,, tak, že P X R {t 1,, t }) = P [X / {t 1,, t }] ε Zbývá však problém, jakou hodotu přiřadit zbývajícím byť málo pravděpodobým) případům Absolutě) spojitá: Hustotu můžeme přibližě popsat hodotami ft k ) v dostatečě moha bodech t k, k = 1,,, ale je za předpokladu, že je dostatečě hladká Zajímají ás z í spíše itegrály typu F X t k+1 ) F X t k ) = tk+1 t k f X u) du, z ichž lze přibližě zkostruovat distribučí fukci Můžeme pro reprezetaci použít přímo hodoty distribučí fukce F X t k ) Tam, kde je hustota velká, potřebujeme volit body hustě Můžeme volit body t k, k = 1,,, tak, aby přírůstky F X t k+1 ) F X t k ) měly zvoleou velikost Zvolíme tedy α k 0, 1), k = 1,,, a k im ajdeme čísla t k = q X α k ) Paměťová áročost je velká, závisí a jemosti škály hodot áhodé veličiy, resp fukce její distribučí Často je rozděleí zámého typu a stačí doplit ěkolik parametrů, aby bylo plě určeo Mohé obecější případy se sažíme vyjádřit alespoň jako směsi áhodých veliči s rozděleími zámého typu, abychom vystačili s koečě moha parametry 3 Smíšeá: Jako u spojité áhodé veličiy Teto popis je však pro diskrétí část zbytečě epřesý Můžeme použít rozklad a diskrétí a spojitou část 49 Operace s áhodými veličiami Zde I, J R jsou itervaly ebo spočetá sjedoceí itervalů Přičteí kostaty r odpovídá posuutí ve směru vodorové osy: P X+r I + r) = P X I), P X+r J) = P X J r), F X+r t + r) = F X t), F X+r u) = F X u r), q X+r α) = q X α) + r 16

17 Vyásobeí eulovou kostatou r odpovídá podobost ve směru vodorové osy: P rx ri) = P X I), P rx J) = P J ) X r Pro distribučí fukci musíme rozlišit případy: r > 0: F rx rt) = F X t), F rx u) = F u ) X r, qrx α) = r q X α), 17

18 r = 1: F X t) = P X, t ) = P X t, )) = 1 P X, t)), v bodech spojitosti distribučí fukce F X t) = 1 P X, t)) = 1 P [X < t] = 1 P [X t] = 1 P X, t ) = 1 F X t), F X u) = 1 F X u), v bodech espojitosti limita zprava středová symetrie grafu podle bodu ) 0, 1 s opravou a spojitost zprava), q X α) = q X 1 α), 18

19 r < 0: kombiace předchozích případů Zobrazeí spojitou rostoucí fukcí h: P hx) hi)) = P X I), F hx) ht)) = F X t), F hx) u) = F X h 1 u)), q hx) α) = hq X α)) v bodech spojitosti kvatilové fukce Zobrazeí eklesající fukcí h: F hx) u) = sup{f X t) ht) u} Zobrazeí erostoucí fukcí h lze řešit jako zobrazeí áhodé veličiy X eklesající fukcí gt) = h t) Součet áhodých veliči eí jedozačě urče, jediě za předpokladu ezávislosti Ai pak eí vztah jedoduchý Směs áhodých veliči viz výše Na rozdíl od součtu je plě určea margiálími) rozděleími vstupích áhodých veliči a koeficiety směsi hmix c U, V )) = Mix c hu), hv )) je jedo, jestli jakoukoli fukci h aplikujeme před, ebo po vytvořeí směsi) 410 Jak realizovat áhodou veličiu a počítači 1 Vytvoříme áhodý ebo pseudoáhodý) geerátor áhodé veličiy X s rovoměrým rozděleím a 0, 1 Náhodá veličia q Y X) má stejé rozděleí jako Y Stačí tedy a každou realizaci áhodé veličiy X aplikovat fukci q Y ) Všecha rozděleí spojitých áhodých veliči jsou stejá až a elieárí) změu měřítka 5 Charakteristiky áhodých veliči 51 Středí hodota Začeí: E ebo µ Je defiováa zvlášť pro 19

20 diskrétí áhodou veličiu U: spojitou áhodou veličiu V : EU = t R EV = t p U t) = t p U t), t Ω U t f V t) dt, směs áhodých veliči X = Mix c U, V ), kde U je diskrétí, V je spojitá: To eí liearita středí hodoty!) EX = c EU + 1 c) EV Lze vyjít z defiice pro diskrétí áhodou veličiu a ostatí případy dostat jako limitu pro aproximaci jiých rozděleí diskrétím ebo aopak) Všechy tři případy pokrývá uiverzálí vzorec s použitím kvatilové fukce EX = 1 0 q X α) dα Te lze avíc jedoduše zobecit a středí hodotu jakékoli fukce áhodé veličiy: Speciálě pro diskrétí áhodou veličiu E hx)) = 1 0 E hu)) = h q X α)) dα t Ω U h t) p U t), pro spojitou áhodou veličiu by obdobý vzorec platil je za omezujících předpokladů, protože spojitost áhodé veličiy se emusí zachovávat Středí hodota je vodorovou souřadicí těžiště grafu distribučí fukce, jsou-li jeho elemety vážey přírůstkem distribučí fukce: Pokud pracujeme se středí hodotou, automaticky předpokládáme, že existuje což eí vždy splěo) 511 Vlastosti středí hodoty Er = r, speciálě EEX) = EX, E X + Y ) = EX + EY, speciálě E X + r) = EX + r, E X Y ) = EX EY, E r X) = r EX, obecěji E r X + s Y ) = r EX + s EY To je liearita středí hodoty) E Mix c U, V )) = c EU + 1 c) EV To eí liearita středí hodoty) Pouze pro ezávislé áhodé veličiy E X Y ) = EX EY 0

21 5 Rozptyl disperze) Začeí: σ, D, var Vlastosti: DX = E X EX) ) = E X ) EX), E X ) = EX) + DX 1) DX = 1 0 q X α) EX) dα DX 0, Dr = 0, D X + r) = DX, D r X) = r DX Pouze pro ezávislé áhodé veličiy 53 Směrodatá odchylka D Mix c U, V )) = E Mix c U, V ) ) E Mix c U, V ))) = c E U ) + 1 c) E V ) c EU + 1 c) EV ) = c DU + EU) ) + 1 c) DV + EV ) ) c EU) + c 1 c) EU EV + 1 c) EV ) ) = c DU + 1 c) DV + c 1 c) EU) c 1 c) EU EV + c 1 c) EV ) = c DU + 1 c) DV + c 1 c) EU EV ) D X + Y ) = DX + DY, D X Y ) = DX + DY Začeí: σ Má stejý fyzikálí rozměr jako původí áhodá veličia rozptyl ikoli) σ X = DX = E X EX) ) Vlastosti: σ X = 1 0 q X α) EX) dα Pouze pro ezávislé áhodé veličiy σ X 0, σ r = 0, σ X+r = σ X, σ r X = r σ X σ X+Y = σ X Y = DX + DY = σ X + σ Y 1

22 54 Obecé a cetrálí momety k N k-tý obecý momet začeí ezavádíme): E X k), speciálě: pro k = 1: EX, pro k = : E X ) = EX) + DX Alterativí začeí: m k, µ k k-tý cetrálí momet začeí ezavádíme): E X EX) k), speciálě: pro k = 1: 0, pro k = : DX Alterativí začeí: µ k Pomocí kvatilové fukce: E X k) = E X EX) k) = 55 Normovaá áhodá veličia q X α)) k dα q X α) EX) k dα je taková, která má ulovou středí hodotu a jedotkový rozptyl: pokud má vzorec smysl) Zpětá trasformace je 56 Základí typy diskrétích rozděleí 561 Diracovo Je jediý možý výsledek r R orm X = X EX σ X X = EX + σ X orm X ) p X r) = 1, EX = r, DX = 0 Všecha diskrétí rozděleí jsou směsi Diracových rozděleí 56 Rovoměré Je m možých výsledků stejě pravděpodobých Speciálě pro obor hodot {1,,, m} dostáváme 563 Alterativí Beroulliovo) p X k) = 1, m k {1,,, m}, EX = m + 1, DX = 1 m + 1) m 1) 1 Jsou možé výsledky Směs dvou Diracových rozděleí) Pokud výsledky jsou 0, 1, kde 1 má pravděpodobost q 0, 1), dostáváme p X 1) = q, p X 0) = 1 q, EX = q, DX = q 1 q)

23 564 Biomické Bim, q) Počet úspěchů z m ezávislých pokusů, je-li v každém stejá pravděpodobost úspěchu q 0, 1 Součet m ezávislých alterativích rozděleí) p X k) = ) m q k 1 q) m k, k {0, 1,,, m}, k EX = m q, DX = m q 1 q) Výpočetí složitost výpočtu p X k) je Ok), celého rozděleí Om ) 565 Poissoovo Poλ) Limití případ biomického rozděleí pro m při kostatím m q = λ > 0 tedy q 0) p X k) = λk k! e λ, k {0, 1,, } hodota Bi30, 01) Bi100, 003) Po3) Pravděpodobostí fukce Poissoova rozděleí a biomických rozděleí se stejou středí hodotou 3 Jedotlivé pravděpodobosti se počítají sáze ež u biomického rozděleí ovšem všechy evypočítáme, protože jich je ekoečě moho) EX = λ, DX = λ Středí hodota se rová rozptylu; jedá se vždy o bezrozměré celočíselé áhodé veličiy počet výskytů) Poissoovo rozděleí jako limití případ biomického q m = λ m : 566 Geometrické pxk) = m k ) q k m 1 q m ) m k = m m 1) m k 1)) λ = k! m = λk ) 1 k 1 ) 1 λ k! m m m λk k! e λ } {{ } 1 Pro m při kostatím m q m = λ, tj ) k 1 λ m) m k = ) k } {{ } 1 1 λ ) m m }{{} e λ Počet úspěchů do prvího eúspěchu, je-li v každém pokusu stejá pravděpodobost úspěchu q 0, 1) 567 Hypergeometrické p X k) = q k 1 q), k {0, 1,, }, EX = q 1 q, DX = q 1 q) Počet výskytů v m vzorcích, vybraých z M objektů, v ichž je K výskytů 1 m K M) K ) M K ) k m k p X k) = M, k {0, 1,,, m}, m) EX = m K M, DX = m K M K) M m) M M 1) 3

24 Výpočetí složitost výpočtu p X k) je Om), celého rozděleí Om ) Biomické rozděleí jako limití případ hypergeometrického Pro M m je ) M M m m = m! Hypergeometrické rozděleí pro M při kostatím K M M K M = q, tj M M = 1 q : KMk ) M KM ) m k p X k) = M m) = K k M k! M K M ) m k m k)! M m m! m! k! m k)! Kk M M k M K M ) m k M m k = = m k ) q k 1 q) m k Věta 1) 57 Základí typy spojitých rozděleí 571 Rovoměré Ra, b) f X t) = F X u) = 57 Normálí Gaussovo) Nµ, σ ) A Normovaé N0, 1): { 1 b a pro t a, b, 0 jiak, u a b a pro u a, b, 0 pro u < a, 1 pro u > b, q X α) = a + b a) α, EX = a + b, DX = 1 1 b a) ϕt) = f N0,1) t) = 1 ) t exp π Distribučí fukce je trascedetí Gaussův itegrál) Φ, u ) 1 t Φu) = F N0,1) u) = exp dt, π kvatilová fukce Φ 1 je iverzí k Φ B Obecé Nµ, σ ): f Nµ,σ )t) = 1 ) t µ) σ π exp σ, EX = µ, DX = σ Součet dvou ezávislých veliči s ormálím rozděleím Nµ 1, σ 1), Nµ, σ ) má ormálí rozděleí Nµ 1 + µ, σ 1 + σ ) 573 Logaritmickoormálí LNµ, σ ) je rozděleí áhodé veličiy X = expy ), kde Y má Nµ, σ ) { ) 1 f X u) = u σ exp l u µ) π σ = f Nµ,σ )l u) u pro u > 0, 0 jiak, { FNµ,σ F X u) = ) l u) pro u > 0, 0 jiak, ) EX = exp µ + σ, DX = exp µ + σ )) exp σ ) 1 ) 4

25 574 Expoeciálí Exτ) Např rozděleí času do prví poruchy, jestliže podmíěá) pravděpodobost poruchy za časový iterval t, t + δ závisí je a δ, ikoli a t: { 1 f X t) = τ exp ) t τ pro t > 0, 0 jiak, { ) 1 exp u F X u) = τ pro u > 0, 0 jiak, q X α) = τ l 1 α), EX = τ, DX = τ, σ X = τ 58 Čebyševova erovost Věta: δ > 0 : P [ orm X δ] 1 δ, kde orm X = X EX σ X pokud má výraz smysl) Důkaz pomocí kvatilové fukce: 1 = D orm X) = E orm X) ) E orm X)) = }{{} 0 q orm X α)) dα, I 1 0 q orm X α)) dα kde I = {α 0, 1) : q orm X α) δ} jsou itervaly o celkové délce P [ orm X δ], 1 q orm X α)) dα δ dα = δ P [ orm X δ] I I Ekvivaletí tvary ε = δ σ X ): δ > 0 : P [ orm X < δ] 1 1 δ, [ ] X EX δ > 0 : P δ 1 δ, σ X ε > 0 : P [ X EX ε] σ X ε ε > 0 : P [ X EX < ε] 1 σ X ε = DX ε, = 1 DX ε 5

26 6 Popis a charakteristiky áhodých vektorů Náhodý vektor X = X 1,, X ) je popsaý sdružeou distribučí fukcí F X : R 0, 1 61 Diskrétí áhodý vektor F X t 1,, t ) = P [X 1 t 1,, X t ] má všechy složky diskrétí Lze jej popsat též sdružeou pravděpodobostí fukcí p X : R 0, 1 p X t 1,, t ) = P [X 1 = t 1,, X = t ], která je eulová je ve spočetě moha bodech Diskrétí áhodé veličiy X 1,, X jsou ezávislé, právě když P [X 1 = t 1,, X = t ] = pro všecha t 1,, t R Ekvivaletí formulace: 6 Spojitý áhodý vektor p X t 1,, t ) = P [X i = t i ] i=1 p Xi t i ) má všechy složky spojité Lze jej popsat též sdružeou hustotou pravděpodobosti což je každá) ezáporá fukce f X : R 0, ) taková, že F X t 1,, t ) = t1 pro všecha t 1,, t R Pokud to jde, volíme f X t 1,, t ) = t 1 t Speciálě pro itervaly a i, b i dostáváme i=1 t f X u 1,, u ) du 1 du, t F X t 1,, t ) = D 1 D D F X t 1,, t ) P [X 1 a 1, b 1,, X a, b ] = P X a 1, b 1 a, b ) = b1 a 1 b Spojité áhodé veličiy X 1,, X jsou ezávislé, právě když pro skoro všecha t 1,, t R f X t 1,, t ) = a f Xi t i ) i=1 f X u 1,, u ) du 1 du 6

27 63 Číselé charakteristiky áhodého vektoru Středí hodota áhodého vektoru X = X 1,, X ): EX := EX 1,, EX ) komplexí áhodé veličiy: X = RX) + i IX): EX := ERX) + i EIX) eumerické áhodé veličiy: emá smysl Rozptyl áhodého vektoru X = X 1,, X ): DX := DX 1,, DX ) Je-li U áhodá veličia, a, b R, pak a U + b má charakteristiky E a U + b) = a EU + b, D a U + b) = a DU Na rozdíl od jedorozměré áhodé veličiy, středí hodota a rozptyl áhodého vektoru edávají dostatečou iformaci pro výpočet rozptylu jeho lieárích fukcí Proto zavádíme další charakteristiky Např E X + Y ) = EX + EY, D X + Y ) = E X + Y ) ) E X + Y )) = E X + Y + X Y ) EX + EY ) = E X ) + E Y ) ) + E X Y ) EX) + EY ) + EX EY = E X ) EX) + E Y ) EY ) + E X Y ) EX EY ) }{{}}{{}}{{} DX DY covx,y ) = DX + DY + covx, Y ), kde covx, Y ) := E X Y ) EX EY je kovariace áhodých veliči X, Y, též eboť covx, Y ) = E X EX) Y EY )), E X EX) Y EY )) = E X Y X EY Y EX + EX EY ) Pro existeci kovariace je postačující existece rozptylů DX, DY Vlastosti kovariace: covx, X) = DX, covy, X) = covx, Y ), cova X + b, c Y + d) = a c covx, Y ) a, b, c, d R) srovejte s vlastostmi rozptylu jako speciálího případu), speciálě covx, X) = DX Pro ezávislé áhodé veličiy X, Y je covx, Y ) = 0 = E X Y ) EX EY EX EY + EX EY }{{} 0 Použitím kovariace pro ormovaé áhodé veličiy vyjde korelace: ϱx, Y ) = covorm X, orm Y ) = covx, Y ) σ X σ Y = E orm X orm Y ) předpokládáme, že směrodaté odchylky ve jmeovateli jsou eulové) Speciálě ϱx, X) = 1 Vlastosti korelace: ϱx, X) = 1, ϱx, X) = 1, ϱx, Y ) 1, 1, ϱy, X) = ϱx, Y ), ϱax + b, cy + d) = sig ac) ϱx, Y ) a, b, c, d R, a 0 c) až a zaméko ezáleží a prosté lieárí trasformaci) Důsledek: ϱax + b, X) = sig a) 7

28 Jsou-li áhodé veličiy X, Y ezávislé, je ϱx, Y ) = 0 Obráceá implikace však eplatíeí to postačující podmíka pro ezávislost) Náhodé veličiy X, Y splňující ϱx, Y ) = 0 azýváme ekorelovaé Pro áhodý vektor X = X 1,, X ) je defiováa kovariačí matice covx 1, X 1 ) covx 1, X ) covx 1, X ) covx, X 1 ) covx, X ) covx, X ) Σ X = covx, X 1 ) covx, X ) covx, X ) DX 1 covx 1, X ) covx 1, X ) covx 1, X ) DX covx, X ) = covx 1, X ) covx, X ) DX Je symetrická pozitivě semidefiití, a diagoále má rozptyly Podobě je defiováa korelačí matice 1 ϱx 1, X ) ϱx 1, X ) ϱx 1, X ) 1 ϱx, X ) ϱ X = ϱx 1, X ) ϱx, X ) 1 Je symetrická pozitivě semidefiití 631 Vícerozměré ormálí rozděleí Nµ, Σ) popisuje speciálí případ áhodého vektoru, jehož složky mají ormálí rozděleí a mohou být korelovaé Má hustotu 1 f Nµ,Σ) t) := exp 1 ) t µ) T t π) µ)t, det T 1 kde t = t 1,, t ) R, µ = µ 1,, µ ) R, T R je matice, BÚNO symetrická Parametry rozděleí: µ = µ 1,, µ ) R je středí hodota áhodého vektoru, Σ := T 1 je kovariačí matice, speciálě její hlaví diagoála Σ 11, Σ,, Σ ) R je rozptyl áhodého vektoru, margiálí rozděleí i-té složky je Nµ i, Σ ii ); pomocí těchto parametrů píšeme f Nµ,Σ) t) := 1 π) det Σ exp 1 ) t µ) Σ 1 t µ) T 64 Reprezetace áhodých vektorů v počítači Obdobá jako u áhodých veliči, avšak s rostoucí dimezí rychle roste paměťová áročost To by se estalo, kdyby áhodé veličiy byly ezávislé; pak by stačilo zát margiálí rozděleí Proto velkou úsporu může přiést i podmíěá ezávislost Pokud ajdeme úplý systém jevů, které zajišťují podmíěou ezávislost dvou áhodých veliči, pak můžeme jejich rozděleí popsat jako směs rozděleí ezávislých áhodých veliči a tedy úsporěji) 7 Lieárí prostor áhodých veliči Ω, A, P ) pravděpodobostí prostor, L lieárí prostor všech áhodých veliči a Ω, A, P ), tj A-měřitelých fukcí Ω R, sčítáí áhodých veliči a jejich ásobeí reálým číslem = operace s fukcemi bod po bodu), 8

29 L lieárí podprostor všech áhodých veliči z L, které mají rozptyl, : L L R, X Y := E X Y ), je bilieárí =lieárí v obou argumetech) a komutativí operace, skalárí souči pokud ztotožíme áhodé veličiy X, Y, pro které P [X Y ] = 0; za prvky prostoru pak považujeme třídy ekvivalece místo jedotlivých áhodých veliči), X := X X = E X ) je orma, dx, Y ) := X Y = E X Y ) ) je metrika vzdáleost) bez předchozího ztotožěí pouze pseudometrika, mohla by být ulová i pro X Y ) L lze rozložit a ortogoálí podprostory: R = jedodimezioálí prostor všech kostatích áhodých veliči tj s Diracovým rozděleím), N = prostor všech áhodých veliči s ulovou středí hodotou EX je kolmý průmět X do Rpokud ztotožňujeme toto reálé číslo s příslušou kostatí áhodou veličiou, jiak souřadice ve směru R), X EX je kolmý průmět X do N, orm X = X EX σ X je jedotkový vektor ve směru kolmého průmětu X do N, σ X = X EX je vzdáleost X od R Z kolmosti vektorů X EX N, EX R a Pythagorovy věty plye 1) X X = X = X EX + EX, E X ) = DX + EX) 71 Lieárí podprostor N áhodých veliči s ulovými středími hodotami Speciálě pro áhodé veličiy z N : σ X = X X, σ X = X, covx, Y ) = X Y, ϱx, Y ) = covx, Y ) = X Y = cos X, Y ) σ X σ Y X Y Důsledek: Náhodé veličiy X, Y s ulovými středími hodotami jsou ortogoálí, právě když jsou ekorelovaé Obecě v L ϱx, Y ) je kosius úhlu průmětů X, Y do N, covx, Y ) = X Y EX EY je skalárí souči průmětů X, Y do N POZOR! Nepleťte ezávislost áhodých veliči s lieárí ezávislostí v lieárím prostoru, který tvoří! 7 Lieárí regrese Úloha: Je dá áhodý vektor X = X 1,, X ) a áhodá veličia Y Předpokládáme, že všechy áhodé veličiy jsou z L ) Máme ajít takové koeficiety c 1,, c, aby lieárí kombiace c i X i byla co ejlepší aproximací áhodé veličiy Y ve smyslu kritéria i k c k X k Y Řešeí: K vektoru Y hledáme ejbližší bod v lieárím podprostoru, který je lieárím obalem vektorů X 1,, X ; řešeím je kolmý průmět Te je charakterizová tím, že vektor c i X i Y je kolmý a X j, i j = 1,,, k ) c k X k Y X j = 0, 9

30 c i X i X j ) = Y X j i To je soustava lieárích rovic pro ezámé koeficiety c 1,, c soustava ormálích rovic) Speciálě pro áhodé veličiy s ulovými středími hodotami: c i cov X i, X j ) = cov Y, X j ), takže matice soustavy je kovariačí matice Σ X 8 Základí pojmy statistiky 81 K čemu potřebujeme statistiku i Zkoumáí společých vlastostí velkého počtu obdobých jevů Přitom ezkoumáme všechy, ale je vybraý vzorek kvůli ceě testů, jejich destruktivosti apod) Odhady parametrů pravděpodobostího modelu Testováí hypotéz Potíže statistického výzkumu viz [Rogalewicz] 8 Náhodý výběr, odhad, empirické rozděleí Soubor základí =populace) výběrový Náhodý výběr jedoho prvku základího souboru s rovoměrým rozděleím) a změřeí zkoumaé veličiy a tomto prvku určuje rozděleí áhodé veličiy Opakovaým výběrem dostaeme áhodý vektor, jehož složky mají stejé rozděleí a jsou ezávislé Takto vytvoříme výběrový soubor rozsahu, obvykle však vyloučíme víceásobý výběr stejého prvku výběr bez vraceí) Jeho rozděleí se může poěkud lišit od původího Teto rozdíl se obvykle zaedbává, eboť 1 pro velký rozsah základího souboru to eí podstaté, rozsah základího souboru ěkdy eí zám, 3 výpočty se začě zjedoduší Přesost odhadu je dáa velikostí výběrového souboru, ikoli populace Náhodý výběr X := X 1,, X ) je vektor áhodých veliči, které jsou ezávislé a mají stejé rozděleí Vyecháváme idexy, apř F X místo F Xk ) Provedeím pokusu dostaeme realizaci áhodého výběru, x := x 1,, x ) R, kde je rozsah výběru fukce fukčí hodota f : D R fx) R, x R áhodá veličia realizace áhodé veličiy X : Ω R x := Xω) R, ω Ω áhodý vektor/výběr realizace áhodého vektoru/výběru X = X 1,, X ): Ω R x = x 1,, x ) := Xω) R, ω Ω Realizace áhodého výběru může mít výzam tréovací možiy; ezámé parametry odhadujeme tak, aby a tréovací možiě byly optimálí 30

31 Popisuje ji empirické rozděleí: Vybereme j {1,, } s rovoměrým rozděleím, výsledkem je x j Je to diskrétí rozděleí, směs Diracových: Mix 1/,,1/) x 1,, x ) Statistika je každá) měřitelá fukce G, defiovaá a áhodém výběru libovolého dostatečého) rozsahu Počítá se z áhodých veliči výběru, ikoli z parametrů rozděleí) Měřitelá zameá, že pro každé t R je defiováa pravděpodobost P [GX 1,, X ) t] = F GX1,,X )t) Statistika jako fukce áhodých veliči je rověž áhodá veličia Obvykle se používá jako odhad parametrů rozděleí které ám zůstávají skryté) Začeí: ϑ jakákoli hodota parametru reálé číslo), ϑ skutečá správá) hodota parametru reálé číslo), Θ, Θ odhad parametru založeý a áhodém výběru rozsahu áhodá veličia) ϑ, ϑ realizace odhadu reálé číslo) Žádoucí vlastosti odhadů: E Θ = ϑ, tj E Θ ϑ ) = 0 estraý opak: vychýleý) lim E Θ = ϑ, tj lim E Θ ϑ ) = 0 asymptoticky estraý eficietí = s malým rozptylem, což posuzujeme podle ) ), E Θ ϑ ) = D Θ + E Θ ϑ pro estraý odhad se redukuje a D Θ ejlepší estraý odhad je ze všech estraých te, který je ejvíce eficietí mohou však existovat více eficietí vychýleé odhady) lim E Θ ϑ ) = 0, lim = 0 kozistetí σ Θ robustí, tj odolý vůči šumu i při zašuměých datech dostáváme dobrý výsledek ) přesé kritérium chybí, ale je to velmi praktická vlastost 83 Odhad středí hodoty pomocí středí hodoty empirického rozděleí aritmetického průměru realizace áhodého výběru): x := E Empx) = 1 x j Když totéž provedeme s áhodými veličiami výběru, dostaeme áhodou veličiu X = 1 X j X = výběrový průměr, x = realizace výběrového průměru Alterativí začeí: X, x pokud potřebujeme zdůrazit rozsah výběru) Věta: EX = 1 DX = 1 σ X = EX = EX, DX = 1 DX, 1 DX = 1 σ X, 31

32 pokud existují Zde EX = EX j atd) Výběrový průměr miimalizuje kritérium l c) = Ec Empx)) = 1 c x i ) Důsledek: Výběrový průměr je estraý kozistetí odhad středí hodoty Nezávisle a typu rozděleí) Čebyševova erovost pro X dává P [ X EX ε ] DX ε i=1 = DX ε 0 pro To platí i za obecějších předpokladů X j emusí mít stejé rozděleí) slabý záko velkých čísel Lidově se hovoří o přesém součtu epřesých čísel, což je chyba, eboť součet X j má rozptyl DX Relativí chyba součtu klesá, absolutí roste Rozděleí výběrového průměru může být podstatě složitější ež původí, je ve speciálích případech je jedoduchá odpověď Věta: Výběrový průměr z ormálího rozděleí Nµ, σ ) má ormálí rozděleí N µ, 1 σ) a je ejlepším estraým odhadem středí hodoty Podobá věta platí i pro jiá rozděleí alespoň asymptoticky: Cetrálí limití věta: Nechť X j, j N, jsou ezávislé stejě rozděleé áhodé veličiy se středí hodotou EX a směrodatou odchylkou σ X 0 Pak ormovaé áhodé veličiy Y = orm X = X EX) σ X kovergují k ormovaému ormálímu rozděleí v ásledujícím smyslu: eboli t R : lim F Y t) = lim F orm X t) = Φt), t R : lim F Y t) Φt) = 0, Pokud má původí rozděleí 3 cetrálí momet, je kovergece dokoce stejoměrá, tj lim sup F Y t) Φt) = 0, t R 84 Odhad k-tého obecého mometu pomocí k-tého obecého mometu empirického rozděleí: m x k := E Empx) k = 1 x k j realizace výběrového k-tého obecého mometu) Je realizací odhadu M X k := 1 Xj k výběrový k-tý obecý momet) Alterativí začeí: M k, m k Věta: EM X k = EX k Výběrový k-tý obecý momet je estraý kozistetí odhad k-tého obecého mometu pokud X má k-tý a k-tý obecý momet) Důkaz: 1 ) EM X k = E Xj k = 1 EXj k = EX k, DM X k = 1 DXk = 1 EX k ) EX k ) ) = 1 EX k EX k ) ) 0 3

33 85 Odhad rozptylu pomocí rozptylu empirického rozděleí: Je realizací odhadu σ X := 1 σ x := D Empx) = 1 X j X) 1 x j x) X j EX) Věta: σ X je vychýleý kozistetí odhad rozptylu pokud původí rozděleí má rozptyl a 4 cetrálí momet) Důkaz pouze prví části): E σ X = 1 E ) Xj X X j + X = 1 EXj EX = }{{}}{{} X X = EX EX = EX EX) DX = EX EX) 1 }{{}}{{} DX = EX DX = 1 DX DX pro Správou hodotu bychom dostali, kdybychom místo X použili EX, což emáme k dispozici Nestraý odhad: SX := 1 X j X ) = σ X výběrový rozptyl), 1 1 s x := 1 1 x j x ) = 1 σ x realizace výběrového rozptylu) Alterativí začeí: S, s Dvojka v horím idexu ezameá kvadrát) Jedoprůchodový vzorec praktičtější, ale umericky horší: SX = 1 Xj 1 1 X = 1 X 1 ) j X j 1 1) Věta: ES X = DX Výběrový rozptyl je estraý kozistetí odhad rozptylu pokud původí rozděleí má rozptyl a 4 cetrálí momet) Důkaz: Z jedoprůchodového vzorce pro SX dostáváme ES X = 1 EX 1 EX = 1 = 1 Rozděleí výběrového rozptylu může být podstatě složitější Speciálě pro rozděleí N0, 1) a = : DX + EX) DX ) ) EX = DX + EX) 1 ) DX EX) = DX X = X 1 + X, X 1 X = X X) = X 1 X má rozděleí N 0, 1 ), kde U = X1 X ) SX = X 1 X) + X X) X1 X = = má rozděleí N0, 1) Tomu říkáme: X1 X ) = U, 33

34 851 Rozděleí χ s 1 stupěm volosti = rozděleí áhodé veličiy V = U, kde U má ormovaé ormálí rozděleí N0, 1) Začeí: χ 1) Toto rozděleí eí zvykem ormovat) Pro t > 0 vychází distribučí fukce EV = EU = }{{} DU + }{{} EU ) = 1, 1 0 DV = bez důkazu) hustota F V t) = P [V t] = P [ t U t] = P [0 U t] = = f V t) = F V t) = Φ ) t) Φ0) = t 0 e u du, Φ ) t) = t) Φ t) = 1 ϕ t) = 1 e t t π t Zobecěí: 85 Rozděleí χ s η stupi volosti = rozděleí áhodé veličiy Y = η V j, kde V j jsou ezávislé áhodé veličiy s rozděleím χ 1) = rozděleí áhodé veličiy Y = η Uj, kde U j jsou ezávislé áhodé veličiy s ormovaým ormálím rozděleím N0, 1) Začeí: χ η) EY = E DY = D η V j = η V j = η EV j = η, }{{} 1 η DV j = η }{{} Věta: Nechť X, Y jsou ezávislé áhodé veličiy s rozděleím χ ξ), resp χ η) Pak X + Y má rozděleí χ ξ + η) Hustota f Y y) = cη) = Γz) = { η cη) y 1 e y pro y > 0, 0 jiak, 1 η Γ ) η, 0 t z 1 e t dt, speciálě Γm + 1) = m! pro všecha m N Speciálě pro η = je cη) = 1/ a dostáváme expoeciálí rozděleí Ex) Důsledek: Součet m ezávislých áhodých veliči s expoeciálím rozděleím Ex) = χ ) má rozděleí χ m) 34

35 Hustota rozděleí χ s 1,,, 10 stupi volosti Hustota odmociy z rozděleí χ s 1,,, 10 stupi volosti vzdáleosti od středu terče ) 853 Výběrový rozptyl z ormálího rozděleí NEX, DX) splňuje: Z vlastostí rozděleí χ v souladu s estraostí ES X = DX 1) S X DX = σ X DX má rozděleí χ 1) E 1) S X DX = 1 Rozděleí odhadu rozptylu pomocí vyběrového rozptylu S X 3 pro rozsah výběru, 3,, 10 Rozděleí odhadu rozptylu pomocí vyběrového rozptylu SX pro rozsah výběru 3 = 1 + 1, + 1,, = 19 Důsledek: Rozptyl výběrového rozptylu z ormálího rozděleí NEX, DX) je Důkaz: Z vlastostí rozděleí χ D 1) S X DX DS X = 1 DX) = 1), DS X = 1) DX) 1) = 1 DX) 35