Pravděpodobnost a matematická statistika

Transkript

1 Pravděpodobost a matematická statistika Mirko Navara Cetrum strojového vímáí katedra kyberetiky FEL ČVUT Karlovo áměstí, budova G, místost 104a avara/mvt avara/psi 7 úora 013 Obsah 1 O čem to je? 3 11 Teorie pravděpodobosti 3 1 Statistika 3 Základí pojmy teorie pravděpodobosti 4 1 Laplaceova klasická defiice pravděpodobosti 4 11 Základí pojmy 4 1 Pravděpodobost 4 13 Náhodá veličia 4 Vlastosti pravděpodobosti 4 1 Úplý systém jevů 5 3 Problémy Laplaceovy defiice pravděpodobosti 5 31 Rozšířeí Laplaceova modelu pravděpodobosti 5 4 Kombiatorické pojmy a vzorce 5 5 Kolmogorovova defiice pravděpodobosti 6 51 Borelova σ-algebra 7 5 Pravděpodobost =pravděpodobostí míra 7 3 Nezávislost a podmíěá pravděpodobost 7 31 Nezávislé jevy 7 3 Podmíěá pravděpodobost 8 31 Podmíěá ezávislost 9 4 Náhodé veličiy a vektory 9 41 Náhodá veličia rozměrý áhodý vektor -rozměrá áhodá veličia Nezávislost áhodých veliči Obecější áhodé veličiy 1 45 Směs áhodých veliči 1 46 Druhy áhodých veliči Popis spojité áhodé veličiy Popis smíšeé áhodé veličiy Kvatilová fukce áhodé veličiy Jak reprezetovat áhodou veličiu v počítači Operace s áhodými veličiami Jak realizovat áhodou veličiu a počítači Středí hodota 16 1

2 4131 Vlastosti středí hodoty Rozptyl disperze Směrodatá odchylka Obecé a cetrálí momety Normovaá áhodá veličia Základí typy diskrétích rozděleí Diracovo Rovoměré Alterativí Beroulliovo Biomické Bim, q Poissoovo Poλ Geometrické Hypergeometrické Základí typy spojitých rozděleí Rovoměré Ra, b Normálí Gaussovo Nµ, σ Logaritmickoormálí LNµ, σ Expoeciálí Exτ 1 40 Náhodé vektory 401 Diskrétí áhodý vektor 40 Spojitý áhodý vektor 41 Číselé charakteristiky áhodého vektoru Vícerozměré ormálí rozděleí Nµ, Σ 4 4 Lieárí prostor áhodých veliči 4 41 Lieárí podprostor N áhodých veliči s ulovými středími hodotami 5 4 Lieárí regrese 5 43 Reprezetace áhodých vektorů v počítači 6 44 Čebyševova erovost 6 5 Základí pojmy statistiky 6 51 K čemu potřebujeme statistiku 6 5 Pojem áhodého výběru, odhady 7 53 Výběrový průměr 8 54 Výběrový rozptyl Rozděleí χ s 1 stupěm volosti 9 54 Rozděleí χ s η stupi volosti Výběrový rozptyl Alterativí odhad rozptylu Výběrová směrodatá odchylka Výběrový k-tý obecý momet 3 57 Histogram a empirické rozděleí Vlastosti empirického rozděleí 3 58 Výběrový mediá Itervalové odhady Itervalové odhady parametrů ormálího rozděleí Nµ, σ Odhad středí hodoty při zámém rozptylu σ Odhad středí hodoty při ezámém rozptylu Studetovo t-rozděleí autor: Gossett Odhad středí hodoty při ezámém rozptylu II Odhad rozptylu Itervalové odhady spojitých rozděleí, která ejsou ormálí Obecé odhady parametrů Metoda mometů Metoda maximálí věrohodosti likelihood 36

3 6 Testováí hypotéz Základí pojmy a pricipy testováí hypotéz 39 6 Testy středí hodoty ormálího rozděleí Při zámém rozptylu σ 41 6 Při ezámém rozptylu Testy rozptylu ormálího rozděleí Porováí dvou ormálích rozděleí Testy rozptylu dvou ormálích rozděleí [Fisher] 4 64 Testy středích hodot dvou ormálích rozděleí se zámým rozptylem σ Testy středích hodot dvou ormálích rozděleí se stejým ezámým rozptylem Testy středích hodot dvou ormálích rozděleí - párový pokus Pro zámý rozptyl σ Pro ezámý rozptyl χ -test dobré shody Modifikace χ -test dobré shody dvou rozděleí χ -test ezávislosti dvou rozděleí Korelace, její odhad a testováí Test ekorelovaosti dvou ormálích rozděleí Neparametrické testy Zamékový test Wilcoxoův test jedovýběrový 48 7 Co zde ebylo Více o zobrazeí áhodé veličiy fukcí a o součtu áhodých veliči 48 7 Diskretizace Směs pravděpodobostí Charakteristická fukce áhodé veličiy Důkaz cetrálí limití věty 48 1 O čem to je? 1A Jak vysoká by měla být pojistka auta proti krádeži bez marže, je-li jeho cea Kč a riziko ukradeí během pojistého období 0001? = Kč 1B Jak vysoká by měla být pojistka auta pro případ havárie, při íž může být škoda růzě velká? TEORIE PRAVDĚPODOBNOSTI Jak odhadout pravděpodobost krádeže auta ebo středí škodu při havárii a jak přesý bude odhad? STATISTIKA 3 Jak ozačovat auta a jejich díly, abychom je jedozačě určili? TEORIE INFORMACE A KÓDOVÁNÍ Určitě e jako v rozvrhu a FEL: Cvičeí AD0B01PSI bude v učebě KN:E-4 11 Teorie pravděpodobosti je ástroj pro účelé rozhodováí v systémech, kde budoucí pravdivost jevů závisí a okolostech, které zcela ezáme Poskytuje model takových systémů a kvatifikaci výsledků Pravděpodobostí popis chováí systému 1 Statistika je ástroj pro hledáí a ověřováí pravděpodobostího popisu reálých systémů a základě jejich pozorováí Chováí systému pravděpodobostí popis Poskytuje daleko víc: ástroj pro zkoumáí světa, pro hledáí a ověřováí závislostí, které ejsou zjevé 3

4 Základí pojmy teorie pravděpodobosti 1 Laplaceova klasická defiice pravděpodobosti Předpoklad: Náhodý pokus s N růzými, vzájemě se vylučujícími výsledky, které jsou stejě možé Pravděpodobost jevu, který astává právě při k z těchto výsledků, je k/ 1 problém: stejě možé = stejě pravděpodobé, ale co to zameá? defiice kruhem! Elemetárí jevy jsou všechy stejě možé výsledky Možia všech elemetárích jevů: Ω Jev: A Ω Úmluva Jevy budeme ztotožňovat s příslušými možiami elemetárích jevů a používat pro ě možiové operace místo výrokových 11 Základí pojmy Jev jistý: Ω, 1 Jev emožý:, 0 Kojukce jevů ad : A B Disjukce jevů or : A B Jev opačý k A: A = Ω \ A A B: A B Jevy eslučitelé =vzájemě se vylučující: A 1,, A : A i = Jevy po dvou eslučitelé: A 1,, A : i, j {1,, }, i j : A i A j = Jevové pole: všechy jevy pozorovatelé v áhodém pokusu, zde exp Ω =možia všech podmoži možiy Ω 1 Pravděpodobost i jevu A: kde začí počet prvků možiy P A = A Ω, 13 Náhodá veličia je libovolá fukce X : Ω R Středí hodota: EX = 1 X ω, kde = Ω Příklad: Elemetárí jevy jsou možé výsledky hry, áhodá veličia je výše výhry Středí hodota je spravedlivá cea za účast ve hře Vlastosti pravděpodobosti P A 0, 1 P 0 = 0, P 1 = 1 P A = 1 P A A B P A P B A B P B \ A = P B P A A B = P A B = P A + P B P A B = P A + P B P A B aditivita ω Ω 4

5 1 Úplý systém jevů tvoří jevy B i, i I, jestliže jsou po dvou eslučitelé a B i = 1 Speciálí případ pro jevy: {C, C} Je-li {B 1,, B } úplý systém jevů, pak a pro libovolý jev A Speciálě: i I P B i = 1 i=1 P A = P A B i i=1 P A = P A C + P A C 3 Problémy Laplaceovy defiice pravděpodobosti problém: Nedovoluje ekoečé možiy jevů, geometrickou pravděpodobost Nelze mít ekoečě moho stejě pravděpodobých výsledků Příklad: Podíl plochy peviy k povrchu Země je pravděpodobost, že áhodě vybraý bod a Zemi leží a peviě je-li výběr bodů provádě rovoměrě Příklad Buffoova úloha: Na likovaý papír hodíme jehlu, jejíž délka je rova vzdáleosti mezi likami Jaká je pravděpodobost, že jehla prote ějakou liku? 3 problém: Nedovoluje iracioálí hodoty pravděpodobosti 31 Rozšířeí Laplaceova modelu pravděpodobosti Příklad: Místo hrací kostky házíme krabičkou od zápalek, jejíž stray jsou estejě dlouhé Jaká je pravděpodobost možých výsledků? Připustíme, že elemetárí jevy emusí být stejě pravděpodobé Ztrácíme ávod, jak pravděpodobost staovit Je to fukce, která jevům přiřazuje čísla z itervalu 0, 1 a splňuje jisté podmíky Nemáme ávod, jak z ich vybrat tu pravou Tato evýhoda je eodstraitelá a je důvodem pro vzik statistiky, která k daému opakovatelému pokusu hledá pravděpodobostí model 4 Kombiatorické pojmy a vzorce Dle [Zvára, Štěpá] V urě je rozlišitelých objektů, postupě vytáheme k výběr s vraceím bez vraceí uspořádaý variace s opakováím variace bez opakováí k! k! euspořádaý kombiace s opakováím kombiace bez opakováí! k! k! = k +k 1 k Z této tabulky pouze kombiace s opakováím ejsou všechy stejě pravděpodobé odpovídají růzému počtu variací s opakováím a edovolují proto použití Laplaceova modelu pravděpodobosti Permutace pořadí bez opakováí: Tvoříme posloupost z hodot, přičemž každá se vyskyte právě jedou Počet permutací je! je to speciálí případ variací bez opakováí pro = k Permutace s opakováím: Tvoříme posloupost délky k z hodot, přičemž j-tá hodota se opakuje k j -krát, k j = k Počet růzých posloupostí je Speciálě pro = dostáváme k! k 1! k! k! k 1! k! = k! k 1! k k 1! = k, k 1 5

6 což je počet kombiací bez opakováí ovšem k 1 -prvkových z k prvků počet 4-prvkových variací z prvků bez opakováí,! 4! počet 4-prvkových variací z prvků s opakováím, 4 počet 4-prvkových kombiací z prvků bez opakováí, 4 počet 4-prvkových kombiací z prvků s opakováím, Věta 1 Pro daé k N a pro se poměr počtů variací resp kombiací bez opakováí a s opakováím blíží jedé, tj! lim k! k = 1, lim k +k 1 = 1 k Důkaz počet čiitelů k je kostatí! 1 k 1 = k! k k = = k 1 1, k 1 k 1 +k 1 = + k = k = k k Důsledek 1 Pro k je počet variací resp kombiací s opakováím přibližě! = k, k! = k k k! Jedodušší bývá euspořádaý výběr bez vraceí ebo uspořádaý výběr s vraceím 5 Kolmogorovova defiice pravděpodobosti Elemetárích jevů =prvků možiy Ω může být ekoečě moho, emusí být stejě pravděpodobé Jevy jsou podmožiy možiy Ω, ale e utě všechy; tvoří podmožiu A exp Ω, která splňuje ásledující podmíky: A1 A A A A A A A3 N : A A N A A Systém A podmoži ějaké možiy Ω, který splňuje podmíky A1-3, se azývá σ-algebra Důsledky: Ω = A, N : A A N A = N A A 6

7 Přirozeý ápad A = exp Ω vede k ežádoucím paradoxům A3 je uzavřeost a spočetá sjedoceí Uzavřeost a jakákoli sjedoceí se ukazuje jako příliš silý požadavek Uzavřeost a koečá sjedoceí se ukazuje jako příliš slabý požadavek; edovoluje apř vyjádřit kruh jako sjedoceí obdélíků A emusí ai obsahovat všechy jedobodové možiy, v tom případě elemetárí jevy emusí být jevy! 51 Borelova σ-algebra je ejmeší σ-algebra podmoži R, která obsahuje všechy itervaly Obsahuje všechy itervaly otevřeé, uzavřeé i polouzavřeé, i jejich spočetá sjedoceí, a ěkteré další možiy, ale je meší ež exp R Její prvky azýváme borelovské možiy 5 Pravděpodobost =pravděpodobostí míra je fukce P : A 0, 1, splňující podmíky P1 P 1 = 1, P P A = P A, pokud jsou možiy =jevy A, N, po dvou eslučitelé spočetá N N aditivita Pravděpodobostí prostor je trojice Ω, A, P, kde Ω je eprázdá možia, A je σ-algebra podmoži možiy Ω a P : A 0, 1 je pravděpodobost Dříve uvedeé vlastosti pravděpodobosti jsou důsledkem P1, P Koečá aditivita by byla příliš slabá, edovoluje apř přechod od obsahu obdélíka k obsahu kruhu Příklad ekoečá ruleta : Výsledkem může být libovolé přirozeé číslo, každé má pravděpodobost 0 Úplá aditivita pro jakékoli soubory po dvou eslučitelých jevů by byla příliš silým požadavkem Pak bychom epřipouštěli ai rovoměré rozděleí a itervalu ebo a ploše Pravděpodobost zachovává limity mootóích posloupostí jevů moži: Necht A N je posloupost jevů A 1 A P N A 1 A P N A = lim P A, A = lim P A Laplaceův model koečě moho jevů p-sti je racioálí P A = 0 A = 0 p-sti určey strukturou jevů Kolmogorovův model i ekoečě moho jevů p-sti i iracioálí možé jevy s ulovou p-stí p-sti eurčey strukturou jevů 3 Nezávislost a podmíěá pravděpodobost 31 Nezávislé jevy Motivace: Dva jevy spolu esouvisí Defiice: P A B = P A P B To je ovšem je áhražka, která říká mohem méě, ež jsme chtěli! Podobě jako P A B = 0 ezameá, že jevy A, B jsou eslučitelé Pro ezávislé jevy A, B P A B = P A + P B P A P B Důkaz: P A B = P A + P B P A P B = P A + P B P A P B 7

8 Jsou-li jevy A, B ezávislé, pak jsou ezávislé také jevy A, B a též dvojice jevů A, B a A, B Důkaz: P A B = P A P A B = P A P A P B = = P A 1 P B = P A P B Jevy A 1,, A se azývají po dvou ezávislé, jestliže každé dva z ich jsou ezávislé To je málo Možia jevů M se azývá ezávislá, jestliže P A = P A A K pro všechy koečé podmožiy K M 3 Podmíěá pravděpodobost A K Příklad: Fotbalová družstva mohla mít před zápasem rové šace a vítězství Je-li však stav zápasu 5 miut před kocem 3 : 0, pravděpodobosti výhry jsou jié Máme pravděpodobostí popis systému Dostaeme-li dodatečou iformaci, že astal jev B, aktualizujeme aši zalost o pravděpodobosti jevu A a P A B = P A B P B což je podmíěá pravděpodobost jevu A za podmíky B Je defiováa pouze pro P B 0 To předpokládáme i adále V ovém modelu je P B B = 0, což odráží aši zalost, že jev B eastal Podmíěá pravděpodobost je chápáa též jako fukce a je to pravděpodobost v původím smyslu Vlastosti podmíěé pravděpodobosti: P 1 B = 1, P 0 B = 0 P B: A 0, 1, A, P A B P B Jsou-li jevy A 1, A, jsou po dvou eslučitelé, pak B P A = P A B N Je-li P A B defiováa, jsou jevy A, B ezávislé, právě když P A B = P A N B A P A B = 1, P A B = 0 P A B = 0 Věta o úplé pravděpodobosti: Necht B i, i I, je spočetý úplý systém jevů a i I : P B i 0 Pak pro každý jev A platí P A = P B i P A B i i I Důkaz: P A = P = i I j I B j A = P P B i A = i I j I B j A = P B i P A B i Příklad: Test emoci je u 1% zdravých falešě pozitiví a u 10% emocých falešě egativí Nemocých je v populaci 0001 Jaká je pravděpodobost, že paciet s pozitivím testem je emocý? 8

9 Bayesova věta: Necht B i, i I, je spočetý úplý systém jevů a i I : P B i 0 Pak pro každý jev A splňující P A 0 platí Důkaz s využitím věty o úplé pravděpodobosti: P B i A = P B i P A B i P B j P A B j j I P B i A = P B i A P A = P B i P A B i P B j P A B j j I Výzam: Pravděpodobosti P A B i odhademe z pokusů ebo z modelu, pomocí ich určíme pravděpodobosti P B i A, které slouží k optimálímu odhadu, který z jevů B i astal Problém: Ke staoveí aposteriorí pravděpodobosti P B i A potřebujeme zát i apriorí pravděpodobost P B i Příklad: Na vstupu iformačího kaálu mohou být zaky 1,, m, výskyt zaku j ozačujeme jako jev B j Na výstupu mohou být zaky 1,, k, výskyt zaku i ozačujeme jako jev A i Obykle k = m, ale eí to uté Obvykle lze odhadout podmíěé pravděpoděpodobosti P A i B j, že zak j bude přijat jako i Pokud záme apriorí pravděpodobosti vysláí zaku j P B j, můžeme pravděpodobosti příjmu zaků vypočítat maticovým ásobeím: [ P A1 P A P A k ] = P A 1 B 1 P A B 1 P A k B 1 = [ P B 1 P B P B m ] P A 1 B P A B P A k B P A 1 B m P A B m P A k B m Všechy matice v tomto vzorci mají jedotkové součty řádků takové matice azýváme stochastické Podmíěé rozděleí pravděpodobosti, pokud byl přijat zak i, je P B j A i = P A i B j P B j P A i Rozděleí pravděpodobostí vyslaých zaků je [ P B1 P B P B m ] = P A 1 B 1 P A B 1 P A k B 1 = [ P A 1 P A P A k ] P A 1 B P A B P A k B P A 1 B m P A B m P A k B m pokud k = m a příslušá iverzí matice existuje 31 Podmíěá ezávislost Náhodé jevy A, B jsou podmíěě ezávislé za podmíky C, jestliže Podobě defiujeme podmíěou ezávislost více jevů 4 Náhodé veličiy a vektory P A B C = P A C P B C Příklad: Auto v ceě EUR bude do roka ukradeo s pravděpodobostí 1 : Adekvátí cea ročího pojistého bez zisku pojišt ovy je /1 000 = 10 EUR Někdy teto jedoduchý postup selhává: 1, 9

10 Příklad: Pro staoveí havarijího pojištěí potřebujeme zát eje pravděpodobost havárie resp počtu havárií za pojisté období, ale i průměrou škodu při jedé havárii, lépe pravděpodobostí rozděleí výše škody Musíme studovat i áhodé pokusy, jejichž výsledky ejsou je dva jev astal/eastal, ale více hodot, vyjádřeých reálými čísly 41 Náhodá veličia a pravděpodobostím prostoru Ω, A, P je měřitelá fukce X : Ω R, tj taková, že pro každý iterval I platí X 1 I = {ω Ω Xω I} A Je popsaá pravděpodobostmi P X I = P [X I] = P {ω Ω X ω I}, defiovaými pro libovolý iterval I a tedy i pro libovolé sjedoceí spočetě moha itervalů a pro libovolou borelovskou možiu P X je pravděpodobostí míra a Borelově σ-algebře určující rozděleí áhodé veličiy X K tomu, aby stačila zalost P X a itervalech, se potřebujeme omezit a tzv perfektí míry; s jiými se v praxi esetkáme Pravděpodobostí míra P X splňuje podmíky: P X R = 1, P X I = P X I, pokud jsou možiy I, N, avzájem disjuktí N N Z toho vyplývá: P X = 0, P X R \ I = 1 P X I, jestliže I J, pak P X I P X J a P X J \ I = P X J P X I Úsporější reprezetace: omezíme se a itervaly tvaru I =, t, t R, P [X, t ] = P [X t] = P X, t = F X t F X : R 0, 1 je distribučí fukce áhodé veličiy X Ta stačí, ebot a, b =, b \, a, P X a, b = P [a < X b] = F X b F X a, a, = R \, a, P X a, = 1 F X a,, a =, b, P X, a = P [X < a] = lim Xb = F X a, b: b<a b a {a} =, a \, a, P X {a} = P [X = a] = F X a F X a, Vlastosti distribučí fukce: eklesající, zprava spojitá, lim t F Xt = 0, lim F X t = 1 t Věta: Tyto podmíky jsou eje uté, ale i postačující Příklad: Reálému číslu r odpovídá áhodá veličia začeá též r s Diracovým rozděleím v r: P r I = { 0 pro r / I, 1 pro r I, F r t = { 0 pro t < r, 1 pro t r F r je posuutá Heavisideova fukce Tvrzeí: X Y F X F Y 10

11 4 -rozměrý áhodý vektor -rozměrá áhodá veličia a pravděpodobostím prostoru Ω, A, P je měřitelá fukce X : Ω R, tj taková, že pro každý - rozměrý iterval I platí X 1 I = {ω Ω Xω I} A Lze psát X ω = X 1 ω,, X ω, kde zobrazeí X k : Ω R, k = 1,,, jsou áhodé veličiy Náhodý vektor lze považovat za vektor áhodých veliči X = X 1,, X Je popsaý pravděpodobostmi kde I 1,, I jsou itervaly v R Z těch vyplývají pravděpodobosti P X I 1 I = P [X 1 I 1,, X I ] = = P {ω Ω X 1 ω I 1,, X ω I }, P X I = P [X I] = P {ω Ω X ω I}, defiovaé pro libovolou borelovskou možiu I v R speciálě pro libovolé sjedoceí spočetě moha -rozměrých itervalů a určující rozděleí áhodého vektoru X Úsporější reprezetace: Stačí itervaly tvaru I k =, t k, t k R, P [X 1, t 1,, X, t ] = P [X 1 t 1,, X t ] = = P X, t 1, t = = F X t 1,, t F X : R 0, 1 je distribučí fukce áhodého vektoru X Je eklesající ve všech proměých, zprava spojitá ve všech proměých, lim t 1,,t F Xt 1,, t = 1, k {1,, } t 1,, t k 1, t k+1,, t : lim F Xt 1,, t = 0 t k Věta: Tyto podmíky jsou uté, ikoli postačující Nestačí zát margiálí rozděleí áhodých veliči X 1,, X, ebot ta eobsahují iformace o závislosti 43 Nezávislost áhodých veliči Náhodé veličiy X 1, X jsou ezávislé, pokud pro všechy itervaly I 1, I jsou jevy X 1 I 1, X I ezávislé, tj P [X 1 I 1, X I ] = P [X 1 I 1 ] P [X I ] Stačí se omezit a itervaly tvaru, t, tj eboli P [X 1 t 1, X t ] = P [X 1 t 1 ] P [X t ], F X1,X t 1, t = F X1 t 1 F X t pro všecha t 1, t R Náhodé veličiy X 1,, X jsou ezávislé, pokud pro libovolé itevaly I 1,, I platí P [X 1 I 1,, X I ] = P [X i I i ] i=1 11

12 Na rozdíl od defiice ezávislosti více ež jevů, zde eí třeba požadovat ezávislost pro libovolou podmožiu áhodých veliči X 1,, X Ta vyplývá z toho, že libovolou áhodou veličiu X i lze vyechat tak, že zvolíme příslušý iterval I i = R Pak P [X i I i ] = 1 a v součiu se teto čiitel eprojeví Ekvivaletě stačí požadovat P [X 1 t 1,, X t ] = P [X i t i ] pro všecha t 1,, t R, což pro sdružeou distribučí fukci ezávislých áhodých veliči zameá F X t 1,, t = i=1 F Xk t k Náhodé veličiy X 1,, X jsou po dvou ezávislé, pokud každé dvě růzé z ich jsou ezávislé To je slabší podmíka ež ezávislost veliči X 1,, X 44 Obecější áhodé veličiy Komplexí áhodá veličia je áhodý vektor se dvěma složkami iterpretovaými jako reálá a imagiárí část Někdy připouštíme i áhodé veličiy, jejichž hodoty jsou jié ež umerické Mohou to být apř áhodé možiy Jidy abývají koečě moha hodot, kterým poecháme jejich přirozeé ozačeí, apř rub, líc, káme, ůžky, papír apod Na těchto hodotách emusí být defiovaá žádá aritmetika ai uspořádáí Mohli bychom všechy hodoty očíslovat, ale eí žádý důvod, proč bychom to měli udělat právě určitým způsobem který by ovlivil ásledé umerické výpočty Příklad: Číslováí politických stra ve volbách 45 Směs áhodých veliči Příklad: Náhodé veličiy U, V jsou výsledky studeta při odpovědích a dvě zkouškové otázky Učitel áhodě vybere s pravděpodobostí c prví otázku, s pravděpodobostí 1 c druhou; podle odpovědi a vybraou otázku udělí zámku Jaké rozděleí má výsledá zámka X? Matematický model vyžaduje vytvořeí odpovídajícího pravděpodobostího prostoru pro teto pokus Necht U, resp V je áhodá veličia a pravděpodobostím prostoru Ω 1, A 1, P 1, resp Ω, A, P, přičemž Ω 1 Ω = Necht c 0, 1 Defiujeme ový pravděpodobostí prostor Ω, A, P, kde Ω = Ω 1 Ω, A = {A 1 A A 1 A 1, A A }, P A 1 A = c P 1 A c P A pro A 1 A 1, A A Defiujeme fukci X : Ω R: { U ω pro ω Ω1, X ω = V ω pro ω Ω X je áhodá veličia a Ω, A, P X azýváme směs áhodých veliči U, V s koeficietem c agl mixture, začíme Mix c U, V Má pravděpodobostí míru P X = c P U + 1 c P V a distribučí fukci k=1 F X = c F U + 1 c F V Podobě defiujeme obecěji směs áhodých veliči U 1,, U s koeficiety c 1,, c 0, 1, c i = 1, začíme Mix c1,, c U 1,, U = Mix c U 1,, U, kde c = c 1,, c Má pravděpodobostí míru c i P Ui a distribučí fukci c i F Ui Lze zobecit i a spočetě moho áhodých veliči i=1 i=1 Podíl jedotlivých složek je urče vektorem koeficietů c = c 1,, c Jejich počet je stejý jako počet áhodých veliči ve směsi Jelikož c = 1 1 c i, posledí koeficiet ěkdy vyecháváme i=1 1 i=1

13 Speciálě pro dvě áhodé veličiy Mix c,1 c U, V = Mix c U, V kde c je číslo, ikoli vektor Příklad: Směsí reálých čísel r 1,, r s koeficiety c 1,, c je áhodá veličia X = Mix c1,, c r 1,, r, P X I = P [X I] = c i, F X t = c i i:r i I i:r i t Lze ji popsat též pravděpodobostí fukcí p X : R 0, 1, { ci pro t = r i, p X t = P X {t} = P [X = t] = 0 jiak pokud jsou r 1,, r avzájem růzá Možo zobecit i a spočetě moho reálých čísel 46 Druhy áhodých veliči 1 Diskrétí: z předchozího příkladu Existuje spočetá možia O X, pro kterou P X R\O X = P [X / O X ] = 0 Nejmeší taková možia pokud existuje je Ω X = {t R : P X {t} 0} = {t R : P [X = t] 0} Diskrétí áhodou veličiu popisuje pravděpodobostí fukce p X t = P X {t} = P [X = t] Splňuje t R p X t = 1 Spojitá: Má spojitou distribučí fukci 3 Smíšeá: Směs předchozích dvou případů; Ω X, P X R \ Ω X = P [X / Ω X ] 0 47 Popis spojité áhodé veličiy Náhodá veličia X je absolutě spojitá, jestliže existuje ezáporá fukce f X : R 0, hustota áhodé veličiy X taková, že Hustota splňuje f X u du = 1 F X t = t f X u du Neí určea jedozačě, ale dvě hustoty f X, g X téže áhodé veličiy splňují I f Xx g X x dx = 0 pro všechy itervaly I Lze volit f X t = df X t dt, pokud derivace existuje P X {t} = 0 pro všecha t Některé spojité áhodé veličiy ejsou absolutě spojité; mají spojitou distribučí fukci, kterou elze vyjádřit jako itegrál Tyto případy dále euvažujeme 48 Popis smíšeé áhodé veličiy Náhodou veličiu X se smíšeým rozděleím elze popsat ai pravděpodobostí fukcí existuje, ale eurčuje celé rozděleí ai hustotou eexistuje, evychází koečá, ale lze ji jedozačě vyjádřit ve tvaru X = Mix c U, V, kde U je diskrétí, V je spojitá a c 0, 1: c = P X Ω X = P X {t R : P X {t} 0}, c P U {t} + 1 c P V {t} = c P U {t} = P X {t}, }{{} 0 p U t = P U {t} = P X{t}, c Ω U = Ω X, c P U I + 1 c P V I = P X I, P V I = P XI c P U I, 1 c F V t = F Xt c F U t 1 c 13

14 qa a Alterativa bez použití pravděpodobostí míry: p X t = P [X = t] = lim u t+ F Xt lim u t F Xt, c = t R p X t, c p U t = p X t, p U t = p Xt, c c F U t + 1 c F V t = F X t, F V t = F Xt c F U t 1 c Lze ještě pokračovat rozkladem diskrétí části a směs Diracových rozděleí 49 Kvatilová fukce áhodé veličiy Příklad 1 Pokud absolvet školy říká, že patří mezi 5 % ejlepších, pak tvrdí, že distribučí fukce prospěchu áhodě vybraého absolveta má u jeho prospěchu hodotu ejvýše 005 Předpokládáme, že lepšímu prospěchu odpovídá ižší průměr zámek Neostrá erovost v defiici zameá, že hodota distribučí fukce udává podíl těch absolvetů, kteří měli lepší ebo stejý prospěch Obráceě se lze ptát, jaký prospěch je potřeba k tomu, aby se absolvet dostal mezi 5 % ejlepších Pro α 0, 1 hledáme t R takové, že F X t = α Máme však zaručeo pouze, že t R : P [X < t] α P [X t] = F X t Všecha taková t tvoří omezeý iterval a vezmeme z ěj obvykle střed, přesěji tedy q X α = 1 sup {t R P [X < t] α} + if {t R P [X t] α} Číslo q X α se azývá α-kvatil áhodé veličiy X a fukce q X : 0, 1 R je kvatilová fukce áhodé veličiy X Speciálě q X 1 je mediá, další kvatily mají také svá jméa tercil, kvartil dolí q X 1 4, horí q X 3 4 decil cetil eboli percetil Vlastosti kvatilové fukce: eklesající, q X α = 1 q Xα + q X α+ Věta: Tyto podmíky jsou uté i postačující Obráceý převod: F X t = if{α 0, 1 q X α > t} = sup{α 0, 1 q X α t} Fukce F X, q X jsou avzájem iverzí tam, kde jsou spojité a rostoucí tyto podmíky stačí ověřit pro jedu z ich 14

15 410 Jak reprezetovat áhodou veličiu v počítači 1 Diskrétí: Nabývá-li pouze koečého počtu hodot t k, k = 1,,, stačí k reprezetaci tyto hodoty a jejich pravděpodobosti p X t k = P X {t k } = P [X = t k ], čímž je plě popsáa pravděpodobostí fukce čísly až a epřesost zobrazeí reálých čísel v počítači Pokud diskrétí áhodá veličia abývá spočetě ekoečě moha hodot, musíme ěkteré vyechat, zejméa ty, které jsou málo pravděpodobé Pro každé ε > 0 lze vybrat koečě moho hodot t k, k = 1,,, tak, že P X R {t 1,, t } = P [X / {t 1,, t }] ε Zbývá však problém, jakou hodotu přiřadit zbývajícím byt málo pravděpodobým případům Absolutě spojitá: Hustotu můžeme přibližě popsat hodotami ft k v dostatečě moha bodech t k, k = 1,,, ale je za předpokladu, že je dostatečě hladká Zajímají ás z í spíše itegrály typu F X t k+1 F X t k = tk+1 t k f X u du, z ichž lze přibližě zkostruovat distribučí fukci Můžeme pro reprezetaci použít přímo hodoty distribučí fukce F X t k Tam, kde je hustota velká, potřebujeme volit body hustě Můžeme volit body t k, k = 1,,, tak, aby přírůstky F X t k+1 F X t k měly zvoleou velikost Zvolíme tedy α k 0, 1, k = 1,,, a k im ajdeme čísla t k = q X α k Pamět ová áročost je velká, závisí a jemosti škály hodot áhodé veličiy, resp její distribučí fukce Často je rozděleí zámého typu a stačí doplit ěkolik parametrů, aby bylo plě určeo Mohé obecější případy se sažíme vyjádřit alespoň jako směsi áhodých veliči s rozděleími zámého typu, abychom vystačili s koečě moha parametry 3 Smíšeá: Jako u spojité áhodé veličiy Teto popis je však pro diskrétí část zbytečě epřesý Můžeme použít rozklad a diskrétí a spojitou část 411 Operace s áhodými veličiami Zde I, J R jsou itervaly ebo spočetá sjedoceí itervalů Přičteí kostaty r odpovídá posuutí ve směru vodorové osy: P X+r I + r = P X I, P X+r J = P X J r, F X+r t + r = F X t, F X+r u = F X u r, q X+r α = q X α + r Vyásobeí eulovou kostatou r odpovídá podobost ve směru vodorové osy: P rx ri = P X I, P rx J = P J X r Pro distribučí fukci musíme rozlišit případy: r > 0: F rx rt = F X t, F rx u = F u X r, qrx α = r q X α, 15

16 r = 1: F X t = P X, t = P X t, = 1 P X, t, v bodech spojitosti distribučí fukce F X t = 1 P X, t = 1 P [X < t] = 1 P [X t] = 1 P X, t = 1 F X t, F X u = 1 F X u, v bodech espojitosti limita zprava středová symetrie grafu podle bodu 0, 1 s opravou a spojitost zprava, q X α = q X 1 α, r < 0: kombiace předchozích případů Zobrazeí spojitou rostoucí fukcí h: P hx hi = P X I, F hx ht = F X t, F hx u = F X h 1 u, q hx α = hq X α v bodech spojitosti kvatilové fukce Zobrazeí eklesající, zleva spojitou fukcí h: F hx u = sup{f X t ht u} Zobrazeí po částech mootoí, zleva spojitou fukcí h: Můžeme vyjádřit h = h + h, kde h +, h jsou eklesající X vyjádříme jako směs X = Mix c U, V, kde U abývá pouze hodot, v ichž je h eklesající, V pouze hodot, v ichž je h erostoucí Výsledek dostaeme jako směs dvou áhodých veliči, vziklých zobrazeím fukcemi h +, h Fukci h lze aplikovat a směs po složkách, tj hmix c U, V = Mix c hu, hv Součet áhodých veliči eí jedozačě urče, jediě za předpokladu ezávislosti Ai pak eí vztah jedoduchý Směs áhodých veliči viz výše Na rozdíl od součtu je plě určea margiálími rozděleími vstupích áhodých veliči a koeficiety směsi 41 Jak realizovat áhodou veličiu a počítači 1 Vytvoříme áhodý ebo pseudoáhodý geerátor áhodé veličiy X s rovoměrým rozděleím a 0, 1 Náhodá veličia q Y X má stejé rozděleí jako Y Stačí tedy a každou realizaci áhodé veličiy X aplikovat fukci q Y Všecha rozděleí spojitých áhodých veliči jsou stejá až a elieárí změu měřítka 413 Středí hodota Začeí: E ebo µ Je defiováa zvlášt pro diskrétí áhodou veličiu U: EU = µ U = t R t p U t = t Ω U t p U t, spojitou áhodou veličiu V : EV = µ V = t f V t dt, směs áhodých veliči X = Mix c U, V, kde U je diskrétí, V je spojitá: To eí liearita středí hodoty! EX = c EU + 1 c EV 16

17 Lze vyjít z defiice pro diskrétí áhodou veličiu a ostatí případy dostat jako limitu pro aproximaci jiých rozděleí diskrétím Všechy tři případy pokrývá uiverzálí vzorec s použitím kvatilové fukce EX = 1 0 q X α dα Te lze avíc jedoduše zobecit a středí hodotu jakékoli fukce áhodé veličiy: Speciálě pro diskrétí áhodou veličiu E hx = 1 0 E hu = h q X α dα t Ω U h t p U t, pro spojitou áhodou veličiu by obdobý vzorec platil je za omezujících předpokladů, protože spojitost áhodé veličiy se emusí zachovávat Středí hodota je vodorovou souřadicí těžiště grafu distribučí fukce, jsou-li jeho elemety vážey přírůstkem distribučí fukce: Pokud pracujeme se středí hodotou, automaticky předpokládáme, že existuje což eí vždy splěo 4131 Vlastosti středí hodoty Er = r, spec EEX = EX, E X + Y = EX + EY, spec E X + r = EX + r, E X Y = EX EY, E r X = r EX, obecěji E r X + s Y = r EX + s EY To je liearita středí hodoty E Mix c U, V = c EU + 1 c EV To eí liearita středí hodoty Pouze pro ezávislé áhodé veličiy E X Y = EX EY 414 Rozptyl disperze Začeí: σ, D, var DX = E X EX = E X EX, E X = EX + DX 1 Vlastosti: 1 DX = q X α EX dα 0 17

18 DX 0, Dr = 0, D X + r = DX, D r X = r DX D Mix c U, V = E Mix c U, V E Mix c U, V = c E U + 1 c E V c EU + 1 c EV = c DU + EU + 1 c DV + EV c EU + c 1 c EU EV + 1 c EV = c DU + 1 c DV + c 1 c EU c 1 c EU EV + c 1 c EV = c DU + 1 c DV + c 1 c EU EV Pouze pro ezávislé áhodé veličiy D X + Y = DX + DY, D X Y = DX + DY 415 Směrodatá odchylka Začeí: σ σ X = DX = E X EX Na rozdíl od rozptylu má stejý fyzikálí rozměr jako původí áhodá veličia Vlastosti: σ X = 1 0 q X α EX dα Pouze pro ezávislé áhodé veličiy 416 Obecé a cetrálí momety σ X 0, σ r = 0, σ X+r = σ X, σ r X = r σ X σ X+Y = DX + DY = σ X + σ Y k N k-tý obecý momet začeí ezavádíme: E X k, speciálě: pro k = 1: EX, pro k = : E X = EX + DX Alterativí začeí: m k, µ k k-tý cetrálí momet začeí ezavádíme: E X EX k, speciálě: pro k = 1: 0, pro k = : DX Alterativí začeí: µ k 18

19 Pomocí kvatilové fukce: E X k = E X EX k = 417 Normovaá áhodá veličia q X α k dα q X α EX k dα je taková, která má ulovou středí hodotu a jedotkový rozptyl: pokud má vzorec smysl Zpětá trasformace je orm X = X EX σ X 418 Základí typy diskrétích rozděleí 4181 Diracovo Je jediý možý výsledek r R X = EX + σ X orm X p X r = 1, EX = r, DX = 0 Všecha diskrétí rozděleí jsou směsi Diracových rozděleí 418 Rovoměré Je m možých výsledků stejě pravděpodobých Speciálě pro obor hodot {1,,, m} dostáváme 4183 Alterativí Beroulliovo p X k = 1, m k {1,,, m}, EX = m + 1, DX = 1 m + 1 m 1 1 Jsou možé výsledky Směs dvou Diracových rozděleí Pokud výsledky jsou 0, 1, kde 1 má pravděpodobost q 0, 1, dostáváme 4184 Biomické Bim, q p X 1 = q, p X 0 = 1 q, EX = q, DX = q 1 q Počet úspěchů z m ezávislých pokusů, je-li v každém stejá pravděpodobost úspěchu q 0, 1 Součet m ezávislých alterativích rozděleí p X k = m q k 1 q m k, k {0, 1,,, m}, k EX = m q, DX = m q 1 q Výpočetí složitost výpočtu p X k je Ok, celého rozděleí Om 19

20 4185 Poissoovo Poλ Limití případ biomického rozděleí pro m při kostatím m q = λ > 0 tedy q 0 p X k = λk k! e λ, k {0, 1,, } Jedotlivé pravděpodobosti se počítají sáze ež u biomického rozděleí ovšem všechy evypočítáme, protože jich je ekoečě moho EX = λ, DX = λ Středí hodota se rová rozptylu; jedá se vždy o bezrozměré celočíselé áhodé veličiy počet výskytů Poissoovo rozděleí jako limití případ biomického Pro m při kostatím m q = λ, tj q = λ m : 4186 Geometrické p X k = m k q k 1 q m k = m m 1 m k 1 λ = k! m = λk k 1 1 λ k! m m m λk k! e λ } {{ } 1 k 1 λ m m k = k } {{ } 1 1 λ m m }{{} e λ Počet úspěchů do prvího eúspěchu, je-li v každém pokusu stejá pravděpodobost úspěchu q 0, Hypergeometrické p X k = q k 1 q, k {0, 1,, }, EX = q 1 q, DX = q 1 q Počet výskytů v m vzorcích, vybraých z M objektů, v ichž je K výskytů 1 m K M K M K k m k p X k = M, k {0, 1,,, m}, m EX = m K M, DX = m K M K M m M M 1 Výpočetí složitost výpočtu p X k je Om, celého rozděleí Om Biomické rozděleí jako limití případ hypergeometrického Lemma: Pro m, M N, m < M, je lim M m! M m M m = 1 Důkaz: M m! M M 1 M m 1 m = M m M m = 1 Důsledek: Pro M m můžeme M m počítat přibližě jako M m m! m 1 1 M M 0

21 Hypergeometrické rozděleí pro M při kostatím K M lemmatu: K M K k m k p X k = M m K k k! M Km k m k! M m m! m! = k! m k! Kk M Km k M k M m k 419 Základí typy spojitých rozděleí 4191 Rovoměré Ra, b f X t = F X u = 419 Normálí Gaussovo Nµ, σ A Normovaé N0, 1: { 1 b a M K = q, tj M = pro t a, b, 0 jiak, u a b a pro u a, b, 0 pro u < a, 1 pro u > b, q X α = a + b a α, EX = a + b, DX = 1 1 b a ϕt = f N0,1 t = 1 t exp π = m k q k 1 q m k Distribučí fukce je trascedetí Gaussův itegrál Φ, u 1 t Φu = F N0,1 u = exp dt, π kvatilová fukce Φ 1 je iverzí k Φ B Obecé Nµ, σ : f Nµ,σ t = 1 t µ σ π exp σ, EX = µ, DX = σ 4193 Logaritmickoormálí LNµ, σ je rozděleí áhodé veličiy X = expy, kde Y má Nµ, σ 4194 Expoeciálí Exτ { 1 f X u = u σ exp l u µ π σ = f Nµ,σ l u u pro u > 0, 0 jiak, { FNµ,σ l u pro u > 0, F X u = 0 jiak, EX = exp µ + σ, DX = exp µ + σ exp σ 1 = 1 q s využitím předchozího Např rozděleí času do prví poruchy, jestliže podmíěá pravděpodobost poruchy za časový iterval t, t+δ závisí je a δ, ikoli a t: 1

22 40 Náhodé vektory { 1 f X t = τ exp t τ pro t > 0, 0 jiak, { 1 exp u F X u = τ pro u > 0, 0 jiak, q X α = τ l 1 α, EX = τ, DX = τ, σ X = τ Náhodý vektor X = X 1,, X je popsaý sdružeou distribučí fukcí F X : R 0, Diskrétí áhodý vektor F X t 1,, t = P [X 1 t 1,, X t ] má všechy složky diskrétí Lze jej popsat též sdružeou pravděpodobostí fukcí p X : R 0, 1 p X t 1,, t = P [X 1 = t 1,, X = t ], která je eulová je ve spočetě moha bodech Diskrétí áhodé veličiy X 1,, X jsou ezávislé, právě když P [X 1 = t 1,, X = t ] = pro všecha t 1,, t R Ekvivaletí formulace: 40 Spojitý áhodý vektor p X t 1,, t = P [X i = t i ] i=1 p Xi t i má všechy složky spojité Lze jej popsat též sdružeou hustotou pravděpodobosti což je každá ezáporá fukce f X : R 0, taková, že F X t 1,, t = t1 pro všecha t 1,, t R Pokud to jde, volíme f X u 1,, u = t 1 Speciálě pro itervaly a i, b i dostáváme t i=1 t f X u 1,, u du 1 du, t F X t 1,, t = D 1 D D F X t 1,, t P [X 1 a 1, b 1,, X a, b ] = P X a 1, b 1 a, b = b1 a 1 b Spojité áhodé veličiy X 1,, X jsou ezávislé, právě když pro skoro všecha t 1,, t R f X t 1,, t = a f Xi t i i=1 f X u 1,, u du 1 du

23 41 Číselé charakteristiky áhodého vektoru Středí hodota áhodého vektoru X = X 1,, X : EX := EX 1,, EX komplexí áhodé veličiy: X = RX + i IX: EX := ERX + i EIX eumerické áhodé veličiy: emá smysl Rozptyl áhodého vektoru X = X 1,, X : DX := DX 1,, DX Je-li U áhodá veličia, a, b R, pak a U + b má charakteristiky E a U + b = a EU + b, D a U + b = a DU Na rozdíl od jedorozměré áhodé veličiy, středí hodota a rozptyl áhodého vektoru edávají dostatečou iformaci pro výpočet rozptylu jeho lieárích fukcí Proto zavádíme další charakteristiky Např E X + Y = EX + EY, D X + Y = E X + Y E X + Y = E X + Y + X Y EX + EY = E X + E Y + E X Y EX + EY + EX EY = E X EX + E Y EY + E X Y EX EY }{{}}{{}}{{} DX DY covx,y = DX + DY + covx, Y, kde covx, Y := E X Y EX EY je kovariace áhodých veliči X, Y Ekvivaletě ji lze defiovat ebot covx, Y = E X EX Y EY, E X EX Y EY = E X Y X EY Y EX + EX EY Prví vzorec je vhodější pro výpočet Pro existeci kovariace je postačující existece rozptylů DX, DY Vlastosti kovariace: covx, X = DX, covy, X = covx, Y, cova X + b, c Y + d = a c covx, Y a, b, c, d R srovejte s vlastostmi rozptylu jako speciálího případu, speciálě covx, X = DX Pro ezávislé áhodé veličiy X, Y je covx, Y = 0 = E X Y EX EY EX EY + EX EY }{{} 0 Použitím kovariace pro ormovaé áhodé veličiy vyjde korelace: ϱx, Y = covorm X, orm Y = covx, Y σ X σ Y = E orm X orm Y předpokládáme, že směrodaté odchylky ve jmeovateli jsou eulové Speciálě ϱx, X = 1 Vlastosti korelace: ϱx, X = 1, ϱx, X = 1, ϱx, Y 1, 1, ϱy, X = ϱx, Y, ϱax + b, cy + d = sig ac ϱx, Y a, b, c, d R, a 0 c až a zaméko ezáleží a prosté lieárí trasformaci Důsledek: ϱax + b, X = sig a 3

24 Jsou-li áhodé veličiy X, Y ezávislé, je ϱx, Y = 0 Obráceá implikace však eplatíeí to postačující podmíka pro ezávislost Náhodé veličiy X, Y splňující ϱx, Y = 0 azýváme ekorelovaé Pro áhodý vektor X = X 1,, X je defiováa kovariačí matice covx 1, X 1 covx 1, X covx 1, X covx, X 1 covx, X covx, X Σ X = covx, X 1 covx, X covx, X DX 1 covx 1, X covx 1, X covx 1, X DX covx, X = covx 1, X covx, X DX Je symetrická pozitivě semidefiití, a diagoále má rozptyly Podobě je defiováa korelačí matice 1 ϱx 1, X ϱx 1, X ϱx 1, X 1 ϱx, X ϱ X = ϱx 1, X ϱx, X 1 Je symetrická pozitivě semidefiití 411 Vícerozměré ormálí rozděleí Nµ, Σ popisuje speciálí případ áhodého vektoru, jehož složky mají ormálí rozděleí a mohou být korelovaé Má hustotu 1 f Nµ,Σ t := exp 1 π det T 1 t µt T t µ, kde t = t 1,, t R, µ = µ 1,, µ R, T R je matice, BÚNO symetrická Parametry rozděleí: µ = µ 1,, µ R je středí hodota áhodého vektoru, Σ := T 1 je kovariačí matice, speciálě její hlaví diagoála Σ 11, Σ,, Σ R je rozptyl áhodého vektoru, margiálí rozděleí i-té složky je Nµ i, Σ ii ; pomocí těchto parametrů píšeme 1 f Nµ,Σ t := π det Σ exp 1 t µt Σ 1 t µ 4 Lieárí prostor áhodých veliči Ω, A, P pravděpodobostí prostor, L lieárí prostor všech áhodých veliči a Ω, A, P, tj A-měřitelých fukcí Ω R, sčítáí áhodých veliči a jejich ásobeí reálým číslem = operace s fukcemi bod po bodu, L lieárí podprostor všech áhodých veliči z L, které mají rozptyl, : L L R, X Y := E X Y, je bilieárí =lieárí v obou argumetech a komutativí operace, skalárí souči pokud ztotožíme áhodé veličiy X, Y, pro které P [X Y ] = 0; za prvky prostoru pak považujeme třídy ekvivalece místo jedotlivých áhodých veliči, X := X X = E X 4

25 je orma, dx, Y := X Y = E X Y je metrika vzdáleost bez předchozího ztotožěí pouze pseudometrika, mohla by být ulová i pro X Y L lze rozložit a ortogoálí podprostory: R = jedodimezioálí prostor všech kostatích áhodých veliči tj s Diracovým rozděleím, N = prostor všech áhodých veliči s ulovou středí hodotou EX je kolmý průmět X do Rpokud ztotožňujeme toto reálé číslo s příslušou kostatí áhodou veličiou, jiak souřadice ve směru R, X EX je kolmý průmět X do N, orm X = X EX σ X je jedotkový vektor ve směru kolmého průmětu X do N, σ X = X EX je vzdáleost X od R Z kolmosti vektorů X EX N, EX R a Pythagorovy věty plye1 X X = X = X EX + EX, E X = DX + EX 41 Lieárí podprostor N áhodých veliči s ulovými středími hodotami Speciálě pro áhodé veličiy z N : σ X = X X, σ X = X, covx, Y = X Y, ϱx, Y = covx, Y = X Y = cos X, Y σ X σ Y X Y Důsledek: Náhodé veličiy X, Y s ulovými středími hodotami jsou ortogoálí, právě když jsou ekorelovaé Obecě v L ϱx, Y je kosius úhlu průmětů X, Y do N, covx, Y = X Y EX EY je skalárí souči průmětů X, Y do N 4 Lieárí regrese Úloha: Je dá áhodý vektor X = X 1,, X a áhodá veličia Y Předpokládáme, že všechy áhodé veličiy jsou z L Máme ajít takové koeficiety c 1,, c, aby lieárí kombiace c i X i byla co ejlepší aproximací áhodé veličiy Y ve smyslu kritéria i c k X k Y k Řešeí: K vektoru Y hledáme ejbližší bod v lieárím podprostoru, který je lieárím obalem vektorů X 1,, X ; řešeím je kolmý průmět Te je charakterizová tím, že vektor c i X i Y je kolmý a X j, i j = 1,,, k c k X k Y X j = 0, c i X i X j = Y X j i To je soustava lieárích rovic pro ezámé koeficiety c 1,, c soustava ormálích rovic Speciálě pro áhodé veličiy s ulovými středími hodotami: c i cov X i, X j = cov Y, X j, takže matice soustavy je kovariačí matice Σ X i 5

26 43 Reprezetace áhodých vektorů v počítači Obdobá jako u áhodých veliči, avšak s rostoucí dimezí rychle roste pamět ová áročost To by se estalo, kdyby áhodé veličiy byly ezávislé; pak by stačilo zát margiálí rozděleí Proto velkou úsporu může přiést i podmíěá ezávislost Pokud ajdeme úplý systém jevů, které zajišt ují podmíěou ezávislost dvou áhodých veliči, pak můžeme jejich rozděleí popsat jako směs rozděleí ezávislých áhodých veliči a tedy úsporěji 44 Čebyševova erovost Věta: δ > 0 : P [ orm X < δ] 1 1 δ, kde orm X = X EX σ X pokud má výraz smysl Důkaz pomocí kvatilové fukce: D orm X = E orm X E orm X, }{{}}{{} = E orm X = EY, kde Y = orm X Odhad pravděpodobosti β = P [ orm X < δ] = P [Y < δ ] = F Y δ : 1 = EY = 1 0 β 1 1 δ q Y α dα = β 0 q Y α dα + }{{} 0 1 β q Y α dα 1 β δ, }{{} δ Důkaz pomocí směsi: Vyjádříme Y = orm X = Mix β L, U, kde L abývá pouze hodot z 0, δ, U abývá pouze hodot z δ,, takže EU δ, β = F Y δ 1 = EY = β }{{} EL 0 Rovost astává pro U = δ, L = 0, tj pro diskrétí rozděleí {EX δ σ X, 1 β, EX, β, EX + δ σ X, 1 β } + 1 β EU }{{} δ 1 β δ Ekvivaletí tvary ε = δ σ X : [ ] X EX δ > 0 : P δ 1 δ, σ X ε > 0 : P [ X EX ε] σ X ε = DX ε 5 Základí pojmy statistiky 51 K čemu potřebujeme statistiku Zkoumáí společých vlastostí velkého počtu obdobých jevů Přitom ezkoumáme všechy, ale je vybraý vzorek kvůli ceě testů, jejich destruktivosti apod 6

27 Odhady parametrů pravděpodobostího modelu Testováí hypotéz Potíže statistického výzkumu viz [Rogalewicz] 5 Pojem áhodého výběru, odhady Soubor základí =populace výběrový Náhodý výběr jedoho prvku základího souboru s rovoměrým rozděleím a staoveí určitého parametru tohoto prvku určuje rozděleí áhodé veličiy Opakovaým výběrem dostaeme áhodý vektor, jehož složky mají stejé rozděleí a jsou ezávislé Takto vytvoříme výběrový soubor rozsahu, obvykle však vyloučíme víceásobý výběr stejého prvku výběr bez vraceí Jeho rozděleí se může poěkud lišit od původího Teto rozdíl se obvykle zaedbává, ebot 1 pro velký rozsah základího souboru to eí podstaté, rozsah základího souboru ěkdy eí zám, 3 výpočty se začě zjedoduší Přesost odhadu je dáa velikostí výběrového souboru, ikoli populace Náhodý výběr X = X 1,, X je vektor áhodých veliči, které jsou ezávislé a mají stejé rozděleí Vyecháváme idexy, apř F X místo F Xk Provedeím pokusu dostaeme realizaci áhodého výběru, x = x 1,, x R, kde je rozsah výběru Statistika je každá měřitelá fukce G, defiovaá a áhodém výběru libovolého rozsahu Počítá se z áhodých veliči výběru, ikoli z parametrů rozděleí Měřitelá zameá, že pro každé t R je defiováa pravděpodobost P [GX 1,, X t] = F GX1,,X t Statistika jako fukce áhodých veliči je rověž áhodá veličia Obvykle se používá jako odhad parametrů rozděleí které ám zůstávají skryté Začeí: ϑ skutečý parametr reálé číslo, Θ, Θ jeho odhad založeý a áhodém výběru rozsahu áhodá veličia ϑ, ϑ realizace odhadu obvykle reálé číslo Žádoucí vlastosti odhadů: E Θ = ϑ estraý opak: vychýleý lim E Θ = ϑ asymptoticky estraý eficietí = s malým rozptylem, což posuzujeme podle, E Θ ϑ = D Θ + E Θ ϑ pro estraý odhad se redukuje a D Θ ejlepší estraý odhad je ze všech estraých te, který je ejvíce eficietí mohou však existovat více eficietí vychýleé odhady lim E Θ = ϑ, lim σ Θ = 0 kozistetí robustí, tj odolý vůči šumu i při zašuměých datech dostáváme dobrý výsledek zde už přesé kritérium chybí, zato je to velmi praktická vlastost 7

28 53 Výběrový průměr z áhodého výběru X = X 1,, X je X = 1 Alterativí začeí: X pokud potřebujeme zdůrazit rozsah výběru Jeho realizaci začíme malým písmeem: x = 1 x j Věta: EX = 1 DX = 1 σ X = X j EX = EX, DX = 1 DX, 1 DX = 1 σ X, pokud existují Zde EX = EX j atd Důsledek: Výběrový průměr je estraý kozistetí odhad středí hodoty Nezávisle a typu rozděleí Čebyševova erovost pro X dává P [ X EX ε ] DX ε = DX ε 0 pro To platí i za obecějších předpokladů X j emusí mít stejé rozděleí slabý záko velkých čísel Lidově se hovoří o přesém součtu epřesých čísel, což je chyba, ebot součet X j má rozptyl DX Relativí chyba součtu klesá, absolutí roste Rozděleí výběrového průměru může být podstatě složitější ež původí, je ve speciálích případech je jedoduchá odpověd Věta: Výběrový průměr z ormálího rozděleí Nµ, σ má ormálí rozděleí N µ, 1 σ a je ejlepším estraým odhadem středí hodoty Podobá věta platí i pro jiá rozděleí alespoň asymptoticky: Cetrálí limití věta: Necht X j, j N, jsou ezávislé stejě rozděleé áhodé veličiy se středí hodotou EX a směrodatou odchylkou σ X 0 Pak ormovaé áhodé veličiy Y = orm X = X EX σ X kovergují k ormovaému ormálímu rozděleí v ásledujícím smyslu: 54 Výběrový rozptyl áhodého výběru X = X 1,, X je statistika t R : lim F Y t = lim F orm X t = Φt S X = 1 1 X j X Alterativí začeí: S Dvojka v horím idexu zde ezameá kvadrát! 8

29 Jeho realizaci začíme malým písmeem: s x = 1 1 x j x Praktičtější jedoprůchodový vzorec: Věta: S X = 1 1 Xj 1 X = 1 1 ES X = DX Xj 1 1 X j Důkaz: Z jedoprůchodového vzorce pro SX dostáváme ESX = 1 EX 1 EX = DX + EX DX EX = 1 = DX + EX 1 1 DX EX = DX Věta: Výběrový rozptyl je estraý kozistetí odhad rozptylu pokud původí rozděleí má rozptyl a 4 cetrálí momet Rozděleí výběrového rozptylu může být podstatě složitější Speciálě pro rozděleí N0, 1 a = : X = X 1 + X, X 1 X = X X = X 1 X má rozděleí N 0, 1, kde U = X1 X SX = X 1 X + X X X1 X = = má rozděleí N 0, 1 Tomu říkáme: X1 X = U, 541 Rozděleí χ s 1 stupěm volosti = rozděleí áhodé veličiy V = U, kde U má ormovaé ormálí rozděleí N0, 1 Začeí: χ 1 Toto rozděleí eí zvykem ormovat Pro t > 0 vychází distribučí fukce EV = EU = }{{} DU + }{{} EU = 1, 1 0 DV = bez důkazu hustota F V t = P [V t] = P [ t U t] = P [0 U t] = = f V t = F V t = Φ t Φ0 = t 0 e u du, Φ t = t Φ t = 1 ϕ t = 1 e t t π t Zobecěí: 9

30 54 Rozděleí χ s η stupi volosti = rozděleí áhodé veličiy Y = η V j, kde V j jsou ezávislé áhodé veličiy s rozděleím χ 1 = rozděleí áhodé veličiy Y = η Uj, kde U j jsou ezávislé áhodé veličiy s ormovaým ormálím rozděleím N0, 1 Začeí: χ η EY = E DY = D η V j = η V j = η EV j = η, }{{} 1 η DV j = η }{{} Věta: Necht X, Y jsou ezávislé áhodé veličiy s rozděleím χ ξ, resp χ η Pak X + Y má rozděleí χ ξ + η Hustota { η cη y f Y y = 1 e y pro y > 0, 0 jiak, 1 cη = η Γ η, Γz = 0 t z 1 e t dt, speciálě Γm + 1 = m! pro všecha m N Speciálě pro η = je cη = 1/ a dostáváme expoeciálí rozděleí Hustoty rozděleí χ s 1,,, 10 stupi volosti a jeho odmociy vzdáleost od středu terče 543 Výběrový rozptyl z ormálího rozděleí NEX, DX splňuje: 1 S X DX má rozděleí χ 1 3 Rozděleí odhadu rozptylu pomocí vyběrového rozptylu SX pro rozsah výběru, 3,, 10 a 3 = 1 + 1, + 1,, = 19 Důsledek: Rozptyl výběrového rozptylu z ormálího rozděleí NEX, DX je DS X = 1 DX Věta: Pro áhodý výběr X = X 1,, X z ormálího rozděleí je X ejlepší estraý odhad středí hodoty, SX je ejlepší estraý odhad rozptylu a statistiky X, S X jsou kozistetí a ezávislé Existuje však vychýleý odhad rozptylu, který je eficietější: 30

31 544 Alterativí odhad rozptylu DX = 1 X j X = 1 S X Věta: DX je vychýleý kozistetí odhad rozptylu Důkaz: E DX = 1 DX DX, DX má rozptyl meší ež SX, a to v poměru 1 Eficieci emůžeme porovat obecě; aspoň pro ormálí rozděleí: 1 eficiece odhadu S X : DS X = 1 DX eficiece odhadu DX DX je kostata: E DX DX = D DX DX 1 = D DX + 1 = + E DX DX = DX = 1 DX + 1 DX = 1 DX, a protože je odhad DX více eficietí ež S X 1 < < 1, který je ejlepší estraý! 55 Výběrová směrodatá odchylka áhodého výběru X = X 1,, X je statistika S X = Alterativí začeí: S Její realizaci začíme malým písmeem: Věta: S X = 1 1 s x = 1 1 X j X x j x ES X σ X Rovost obecě eastává, takže to eí estraý odhad směrodaté odchylky! Důkaz: DX = ESX = ES X + DS }{{ X ES } X, 0 σ X ES X Věta: Výběrová směrodatá odchylka je kozistetí odhad směrodaté odchylky pokud původí rozděleí má rozptyl a 4 cetrálí momet 31

32 56 Výběrový k-tý obecý momet áhodého výběru X = X 1,, X je statistika M X k = 1 Xj k Alterativí začeí: M k Jeho realizaci začíme malým písmeem: Věta: m X k = 1 x k j EM X k = EX k Tj je to estraý odhad k-tého obecého mometu Věta: Výběrový k-tý obecý momet je kozistetí odhad k-tého obecého mometu pokud X má k-tý a k-tý obecý momet Důkaz: DM X k = 1 DXk = 1 DXk = 1 EX k EX k = 1 EX k EX k 57 Histogram a empirické rozděleí V eáhodém vektoru x = x 1,, x R získaém apř jako realizace áhodého výběru ezáleží a pořadí složek ale záleží a jejich opakováí Úsporěji je popsá možiou hodot H = {x 1,, x } ta má ejvýše prvků, obvykle méě a jejich četostmi t, t H Tato data obvykle zázorňujeme tabulkou četostí ebo grafem zvaým histogram Normováím dostaeme relativí četosti r t = t, t H Jelikož t H r t = 1, defiují relativí četosti pravděpodobostí fukci p Empx t = r t tzv empirického rozděleí Empx Je to diskrétí rozděleí s ejvýše hodotami charakterizující vektor x 571 Vlastosti empirického rozděleí Idexem Empx ozačujeme parametry jakékoli áhodé veličiy, která má toto rozděleí E Empx = t r t = 1 t H E Empx k = t k r t = 1 t H t t = 1 t H x i = x, i=1 t k t = 1 t H x k i i=1 D Empx = t E Empx r t = 1 t x t t H t H = 1 x i x = 1 s x i=1 Obecé momety empirického rozděleí se rovají výběrovým mometům původího rozděleí Výpočet z histogramu z empirického rozděleí může být jedodušší ež z původí realizace áhodého výběru pokud se opakují stejé hodoty Rozptyl empirického rozděleí odpovídá odhadu DX = 1 S X rozptylu původího rozděleí, odlišému od S X 3

33 58 Výběrový mediá je mediá empirického rozděleí, q Empx 1 Poskytuje jiou iformaci ež výběrový průměr, mohdy užitečější mj robustější odolější vůči vlivu vychýleých hodot, outliers Navíc víme, jak se změí mootoí fukcí Proč se používá méě ež výběrový průměr: Výpočetí áročost je vyšší; seřazeí hodot má pracost úměrou l, zatímco výběrový průměr Pamět ová áročost je vyšší potřebujeme zapamatovat všecha data, u výběrového průměru stačí registry Možosti decetralizace a paralelizace výpočtu výběrového mediáu jsou velmi omezeé 59 Itervalové odhady Dosud jsme skutečou hodotu parametru ϑ ahrazovali bodovým odhadem Θ což je áhodá veličia Nyí místo toho hledáme itervalový odhad, tzv iterval spolehlivosti I, což je miimálí iterval takový, že P [ϑ I] 1 α, kde α 0, 1 je pravděpodobost, že meze itervalu I budou překročey; 1 α je koeficiet spolehlivosti Obvykle hledáme horí, resp dolí jedostraý odhad, kdy ebo symetrický oboustraý odhad, I = K tomu potřebujeme zát rozděleí odhadu Θ I =, q Θ1 α, resp I = q Θα,, q Θ α, q Θ 1 α 510 Itervalové odhady parametrů ormálího rozděleí Nµ, σ 5101 Odhad středí hodoty při zámém rozptylu σ µ odhademe výběrovým průměrem X s rozděleím N µ, σ Normovaá áhodá veličia orm X = σ X µ, stejě jako orm X = σ µ X má rozděleí N0, 1; [ ] P σ µ X, Φ 1 1 α = 1 α [ ] = P σ µ X Φ 1 1 α [ = P µ X + σ ] Φ 1 1 α [ = P µ, X + σ ] Φ 1 1 α Obdobě dostaeme i další itervalové odhady, X + σ Φ 1 1 α, X σ Φ 1 1 α,, X σ Φ 1 1 α, X + σ Φ 1 1 α, kde X σ Φ 1 1 α = X + σ Φ 1 α Φ 1 α = Φ 1 1 α ovšem ebývá v tabulkách Při výpočtu ahradíme výběrový průměr X jeho realizací x 33