Pravděpodobnost a statistika; Opakování pro rozpoznávání

Transkript

1 Pravděpodobnost a statistika; Opakování pro rozpoznávání Václav Hlaváč České vysoké učení technické v Praze Centrum strojového vnímání (přemosťuje skupiny z) Český institut informatiky, robotiky a kybernetiky Fakulta elektrotechnická, katedra kybernetiky hlavac@ciirc.cvut.cz Poděkování: T. Brox, V. Franc, R. Gutierrez-Osuna, M. Navara, M. Urban. Osnova přednášky: Pravděpodobnost statistika. Náhodné jevy. Sdružená, podmíněná pravděpodobnost. Bayesova věta. Distribuční funkce, hustota. Charakteristiky náhodných veličin.

2 Doporučené čtení 2/39 M. Navara: Pravděpodobnost a matematická statistika, skriptum FEL ČVUT, Vydavatelství ČVUT, Praha J. Novovičová: Pravděpodobnost a matematická statistika. Skriptum Fakulty dopravní ČVUT, Vydavatelství ČVUT, Praha A. Papoulis: Probability, Random Variables and Stochastic Processes, McGraw Hill, Edition 4,

3 Pravděpodobnost, motivační příklad 3/39 Los loterie se prodává za cenu 2 EUR. 1 los z 1000 vyhrává 1000 EUR, ostatní nic. (Tím je dána hodnota losu po losování.) Za kolik máme prodat los před losováním? Za 2 EUR by ho koupil jen hlupák. (Nebo ne?) 1 Hodnota losu před losováním je = 1 EUR = průměrná hodnota po losování. Na to je teorie pravděpodobnosti. Otázka Loterie : Proč se přesto kupují losy a loterie fungují?

4 Statistika, motivační příklad 4/39 Dosud jsme předpokládali, že parametry pravděpodobnostního modelu jsou známy. To je málokdy splněno. Příklad (Sportka): Na Sportce se normálně prodělává; jelikož jsou výhry stanoveny podle počtu výherců, je výhodnější sázet jinak než ostatní. K tomu potřebujeme vědět, podle jakého modelu sázejí ostatní. Příklad (ruleta): U rulety se obě strany zajímají, zda padají všechna čísla se stejnou pravděpodobností, přesněji, jak velké jsou odchylky od rovnoměrného rozdělení. Ale jak to zjistit a jaké je riziko chybných závěrů? Na to je statistika. Statistika poskytuje daleko víc: nástroj pro zkoumání světa, pro hledání a ověřování závislostí, které nejsou zjevné.

5 Pravděpodobnost, statistika Pravděpodobnost: Pravděpodobnostní popis = budoucí chování systému. je teorie (nástroj) pro účelné rozhodování v situacích, kdy výsledek náhodných jevů závisí na okolnostech, které známe jen částečně. Poskytuje model takových systémů a slouží jako nástroj pro kvantifikaci výsledků. Statistika: Chování systému = pravděpodobnostní popis. je nástroj pro hledání a ověřování pravděpodobnostního popisu reálných systém na základě jejich pozorování. Poskytuje daleko víc: Nástroj pro zkoumání světa, pro hledání a ověřování závislostí, které nejsou zjevné. Dva typy: Popisná nebo inferenční statistika. Sběr, organizace a analýza dat. Zobecňuje z omezených / konečných vzorků. Odhad parametrů, testování hypotéz, atd. 5/39

6 Náhodné jevy, pojmy 6/39 Náhodný pokus Prostor elementárních jevů je neprázdná množina Ω všech možných výsledků daného pokusu. Elementární jevy ω Ω jsou prvky prostoru elementárních jevů (výsledky pokusu). Jevové pole A je tvořeno systémem všech podmnožin prostoru elementárních jevů Ω. Náhodný jev A A je prvkem jevového pole. Poznámka: pojem náhodného jevu byl zaveden proto, aby bylo možné definovat pravděpodobnost, rozdělení pravděpodobnosti, atd.

7 Pravděpodobnost, zavedení 7/39 Klasická (P.S. Laplace, Dnes se již nepovažuje za definici pravděpodobnosti, ale metodu odhadu pravděpodobnosti) P (A) N A N Limitní (četnostní) P (A) = lim N N A N Axiomatická (Andreje Kolmogorova 1930) z histogram spojitá hustota pravděpodobnosti

8 Axiomatická definice pravděpodobnosti 8/39 Ω - prostor elementárních jevů A - jevové pole 1. P (A) 0, A A. 2. P (Ω) = Jestliže A B =, pak P (A B) = P (A) + P (B), A A, B B.

9 Pravděpodobnost 9/39 je funkce P, která jevům přiřazuje čísla z intervalu [0, 1] a splňuje podmínky (P1) P (true) = 1, ( ) (P2) P A n n N = n N P (A n ), pokud se jevy A n, n N, navzájem vylučují. Z těchto podmínek vyplývá: P (false) = 0 P ( A) = 1 P (A), jestliže A B, pak P (A) P (B). Poznámka: Pro korektnost je potřeba, aby systém jevů splňoval určité další podmínky.

10 Odvozené vztahy 10/39 Jestliže A B, pak P (B \ A) = P (B) P (A). Symbol \ označuje množinový rozdíl. P (A B) = P (A) + P (B) P (A B).

11 Sdružená pravděpodobnost, marginalizace 11/39 Sdružená pravděpodobnost P (A, B), také někdy označovaná P (A B), je pravděpodobnost, že jevy A, B nastanou současně. Sdružená pravděpodobnost je symetrická: P (A, B) = P (B, A). Marginalizace (neformálně sčítací pravidlo): P (A) = P (A, B) umožňuje B vypočítat pravděpodobnost jevu A ze sdružené pravděpodobnosti P (A, B) jako P (A, B) přes všechny možné jevy B. Pravděpodobnosti P (A) se říká marginální pravděpodobnost.

12 Kontingenční tabulka, marginalizace Příklad závod v orientačním běhu 12/39 Orienteering competition example, participants Age <= >= 76 Sum Men Women Sum Orienteering competition example, frequency Age <= >= 76 Sum Men 0,061 0,100 0,125 0,092 0,081 0,058 0,033 0,006 0,556 Women 0,053 0,089 0,103 0,083 0,064 0,039 0,014 0,000 0,444 Sum 0,114 0,189 0,228 0,175 0,144 0,097 0,047 0, ,300 Marginal probability P(sex) 0,200 0,100 0, Marginal probability P(Age_group)

13 Podmíněná pravděpodobnost 13/39 Máme pravděpodobnostní popis systému. Dostaneme-li dodatečnou informaci, že nastal jev B, změní se naše znalost o pravděpodobnosti jevu A na P (A B) = P (A B), P (B) což je podmíněná pravděpodobnost jevu A za podmínky B. Je definována pouze pro P (B) 0.

14 Vlastnosti podmíněné pravděpodobnosti 14/39 P (true B) = 1, P (false B) = 0. Pokud A = A n a jevy A 1, A 2,... se navzájem vylučují, pak n N P (A B) = P (A n B). n N Jevy A, B jsou nezávislé, právě když P (A B) = P (A). Pokud B A, pak P (A B) = 1. Pokud B A, pak P (A B) = 0. Jevy Bi, i I, tvoří úplný systém jevů, jestliže se navzájem vylučují a B i = true. i I Úplný systém jevů má tu vlastnost, že nastane právě jeden z nich.

15 Příklad: podmíněná pravděpodobnost 15/39 Jeden hod kostkou. Jaká je pravděpodobnost, že padne číslo > 3 (jev A) za podmínky, že padlo liché číslo (jev B). Ω = {1, 2, 3, 4, 5, 6}, A = {4, 5, 6}, B = {1, 3, 5} P (A) = P (B) = 1 2 P (A, B) = P ({5}) = 1 6 P (A B) = P (A, B) P (B) = = 1 3

16 Sdružená a podmíněná pravděpodobnost, příklad 16/39 Courtesy T. Brox

17 Věta o úplné pravděpodobnosti 17/39 Nechť B i, i I, je úplný systém jevů a i I : P (B i ) 0. Pak pro každý jev A platí P (A) = i I P (B i ) P (A B i ). Důkaz: (( ) ) ( ) P (A) = P B i A = P (B i A) i I i I = P (B i A) = P (B i ) P (A B i ). i I i I

18 Bayesova věta (Thomas Bayes * ) Nechť B i, i I, je úplný systém jevů a i I : P (B i ) 0. 18/39 Pak pro každý jev A splňující P (A) 0 platí P (B i A) = P (B i ) P (A B i ) i I P (B i) P (A B i ), kde P (B i A) je aposteriorní pravděpodobnost; P (B i ) je apriorní pravděpodobnost a P (A B i ) jsou známé podmíněné pravděpodobnosti jevu A, když máme pozorování B i. Důkaz (s využitím věty o úplné pravděpodobnosti): P (B i A) = P (B i A) P (A) = P (B i ) P (A B i ) i I P (B i) P (A B i ).

19 Význam Bayesovy věty Bayesova věta je základním nástrojem strojového učení (rozpoznávání), protože dovoluje vypočítat pravděpodobnost jevu A při známých pozorováních B i. Podmíněné pravděpodobnosti P (A Bi) (někdy se jim říká věrohodnosti) se odhadují pomocí experimentů nebo ze statistického modelu. Když známe P (A Bi), můžeme určit aposteriorní pravděpodobnosti P (B i A), které slouží k optimálnímu odhadu, který jev z B i nastal. K výpočtu aposteriorní pravděpodobnosti P (Bi A) musíme znát apriorní pravděpodobnosti P (B i ). Neformálně: aposteriorní (apriorní podmíněné pravděpodobnosti) jevu při známých pozorováních. 19/39 Podobně definujeme podmíněné rozdělení náhodné veličiny, podmíněnou hustotu spojité náhodné veličiny apod.

20 ML and MAP 20/39 Bayes theorem from the slide 18 is copied here P (B i A) = P (B i) P (A B i ) i I P (B i) P (A B i ). The prior probability is the probability of P (Bi) without any evidence from observations (measurements). The likelihood (conditional probability of the event A under the condition B i ) evaluates a candidate output on the measurement. Seeking the output that maximizes the likelihood is known as the maximum likelihood (ML) approach. The posterior probability is the probability of Bi after taking the observation (measurement) into account. Its maximization leads to the maximum a-posteriori (MAP) approach.

21 Podmíněná nezávislost 21/39 Náhodné jevy A, B jsou podmíněně nezávislé za podmínky C, jestliže P (A B C) = P (A C) P (B C). Podobně definujeme podmíněnou nezávislost více jevů, náhodných veličin apod.

22 Nezávislé jevy Jevy A, B jsou nezávislé P (A B) = P (A) P (B). 22/39 Příklad Jeden hod kostkou. Jevy A > 3, jev B liché číslo. Jsou jevy nezávislé? Ω = {1, 2, 3, 4, 5, 6}, A = {4, 5, 6}, B = {1, 3, 5} P (A) = P (B) = 1 2 P (A B) = P ({5}) = 1 6 P (A) P (B) = = 1 4 P (A B) P (A) P (B) jevy jsou závislé.

23 Náhodná veličina Náhodná veličina je libovolná funkce X : Ω R, kde Ω je prostor elementárních jevů. 23/39 Proč byl zaveden pojem náhodné veličiny? Dovoluje pracovat s pojmy jako distribuční funkce, hustota pravděpodobnosti, matematické očekávání (střední hodnota), atd.. Existují dva základní typy náhodných veličin: Diskrétní mají spočitatelně hodnot. Příklady: vrhací kostka, počet aut, které ulicí projela za hodinu. Diskrétní pravděpodobnost je dána P (X = a i ) = p(a i ), i = 1,..., i p(a i) = 1. Spojité hodnoty jsou z intervalu, tedy z nekonečného množství hodnot. Example: výška člověka. Spojitá pravděpodobnost je dána distribuční funkcí nebo hustotou pravděpodobnosti.

24 Distribuční funkce náhodné veličiny 24/39 Distribuční funkce náhodné veličiny X je funkce F : X [0, 1] je definovaná pomocí F (x) = P (X x), kde P je pravděpodobnost. Vlastnosti: 1. F (x) je neklesající funkce, tj. pro dvojici x 1 < x 2 platí F (x 1 ) F (x 2 ). 2. F (X) je zprava spojitá, tj. platí lim F (x + h) = F (x). h Pro každou distribuční funkci platí lim F (x) = 0 a x F (x) = 1. Zapsáno zkráceně: F ( ) = 0, F ( ) = 1. lim x Jestliže jsou možné hodnoty F (x) z intervalu (a, b), pak F (a) = 0, F (b) = 1. Každou funkci splňující předchozí tři vlastnosti můžeme pokládat za distribuční funkci.

25 Spojitá distribuční funkce a hustota Distribuční funkce F se nazývá absolutně spojitá, jestliže existuje nezáporná funkce f (hustota pravděpodobnosti) a platí 25/39 F (x) = x f(u) du pro každé x X. Hustota pravděpodobnosti splňuje f(x) dx = 1. f(x) Area = 1 x Existuje-li derivace F (x) v bodě x, potom F (x) = f(x). Pro a, b R, a < b platí P (a < X < b) = b a f(x) dx = F (b) F (a).

26 Příklad, normální rozdělení 26/39 F (x) f(x) = 1 2πσ 2 e x2 2σ 2 Distribuční funkce Hustota pravděpodobnosti

27 Příklad: rozdíl mezi pravděpodobností a hustotou pravděpodobnosti 27/39 Otázka 1: Jaká je pravděpodobnost, že změřená teplota je přesně 31.5 C? Odpověď 1: Tato pravděpodobnost je nula v limitě. Otázka 2: Jaká je pravděpodobnost, že měřená teplota je v intervalu mezi 30 C and 31 C? Odpověď 2: Tato pravděpodobnost je dána plochou pod hustotou pravděpodobnosti (také funkce hustoty pravděpodobnosti), což je zhruba 0,09 podle odhadu z obrázku výše.

28 Zákon velkých čísel 28/39 Zákon velkých čísel říká, že při velkém počtu nezávislých pokusů je možné téměř jistě očekávat, že relativní četnost se bude blížit teoretické hodnotě pravděpodobnosti. Jakob Bernoulli, Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & Oeconomicis, 1713, Chapter 4.

29 Matematické očekávání, též střední hodnota 29/39 (Matematické) očekávání = průměrná hodnota pravděpodobnostního rozdělení. Spojitá definice: E(x) = µ = x f(x) dx. Diskrétní definice: E(x) = µ = x P (x). x Očekávání lze odhadnout z řady vzorků pomocí E(x) 1 N stane přesným, když N. Očekávání přes více proměnných: Ex(x, y) = Podmíněné očekávání: E(x y) = x f(x y) dx. (x, y) f(x) dx x i. Odhad se i

30 Základní charakteristiky náhodné veličiny 30/39 Spojité rozdělení Diskrétní rozdělení Matematické očekávání E(x) = µ = x f(x) dx E(x) = µ = x x P (x) k-tý obecný moment E(x k ) = x k f(x) dx E(x k ) = x x k P (x) k-tý centrální moment µ k = E(x)) (x k f(x) dx µ k = (x E(x)) k P (x) x Rozptyl, disperze, 2. centrální moment D(x) = µ x ) (x 2 f(x) dx D(x) = x 2 P (x) x Standardní odchylka σ(x) = D(x)

31 Centrální limitní věta (1) 31/39 Centrální limitní věta poskytuje pravděpodobnostní popis výběrových průměrů, které byly vytvořena z průměrů nekonečného počtu náhodně vybraných vzorků o velikosti N z rodičovské populace. Centrální limitní věta dovoluje předpovědět pravděpodobnostní charakteristiky nezávisle na rozdělení rodičovské populace. 1. Střední hodnota populace výběrových průměrů (tj. která vznikne z výběrových průměrů o N vzorcích náhodně vybíraných z rodičovské pouplace), se rovná střední hodnotě rodičovské populace. 2. Standardní odchylka populace výběrových průměrů se rovná standardní odchylce rodičovské populace dělené druhou odmocninou velikosti vzorků N. 3. Pravděpodobnostní rozdělení výběrových průměrů se bude blížit normálnímu (gausovskému) rozdělení s rostoucí velikostí N vybíraných vzorků.

32 Centrální limitní věta (2) 32/39 Důsledkem Centrální limitní věty je skutečnost, že po průměrování měření určité veličiny se pravděpodobnostní rozložení těchto průměru bude blížit normálnímu (gaussovskému) rozdělení. Uvažujme měřenou veličinu složenou z několika dalších nekorelovaných veličin, které jsou zatíženy šumem různých rozdělení. Pravděpodobnostní rozdělení složené veličiny se bude blížit k normálnímu rozdělení, když bude narůstat počet veličin tvořících složeninu. Důsledkem Centrální limitní věty je tudíž i častý výskyt normálního rozložení týkajících se měření.

33 Centrální limitní věta (3), applikační pohled 33/39 Pro aplikace je podstatné, že není potřebné generovat velké množství náhodných výběrů. Stačí pořídit jediný dosti velký náhodný výběr a díky centrální limitní větě víme, jaké je rozdělení výběrových průmerů, aniž je musíme generovat. Co lze považovat za dostatečně velký výber? Záleží na aplikaci. Ve statistice bývá považováno za dolní hranici pozorování. Vzpomeňte na vzorky kolem 1000 respondentů v odhadech volebních výsledku. Míra nejistoty hodnoty parametru populace (zde jsme mluvili jen o průměru) se vyjadřuje intervalem spolehlivosti. Viz učebnice statistiky.

34 Statistický princip filtrace šumu Uvažujme skoro nejjednodušší statistický model šumu v obraze. 34/39 Nechť je každý pixel obrazu zatížen náhodným aditivním šumem: statisticky nezávislým, s nulovou střední hodnotou µ, směrodatnou odchylkou σ. Mějme i realizací, i = 1,... n. Odhad správné hodnoty je g g n n + ν ν n n. Výsledkem je náhodná veličina s µ = 0 a σ = σ/ n. Předchozí úvaha má oporu v teorii pravděpodobnosti, a to ve velmi silné a obecné Centrální limitní větě.

35 Náhodné vektory 35/39 The concept random vector extends the random number concept. A (column) vector random variable X is a function that assigns a vector of random variables to each outcome in the sample space. Given the random vector X = (x1, x2,... xn), the probability distribution function and the probability density function are extended as the joint probability distribution function F X (x) = P X ((X 1 x 1 ) (X 2 x 2 )... (X n x n )) joint probability density function f X (x) = n F X (x) x 1 x 2... x n

36 Simpler characterizations of random vectors, mean vector, covariance matrix 36/39 We keep in mind that a random vector is fully characterized by its joint probability distribution function or its joint probability density function. Analogically as we did with random variables, it is practical to use simpler descriptive characteristics of random vectors as Mean (expectation) vector E(X) = (E(x 1 ), E(x 2 ),..., E(x n )) = µ = (µ 1, µ 2,..., µ n ) Covariance matrix Σ X (i, k) = cov(x) = E((X µ) (X µ) ) = σ c 1n c n1... σ 2 n

37 Kovarianční matice, vlastnosti The covariance matrix indicates the tendency of each pair of features (elements of the random vector) to vary together (co-vary). The covariance matrix has several important properties 37/39 The covariance matrix is symmetric (i.e. Σ = Σ ) and positive-semidefinite, which means that x Mx 0 for all x C. The notation x means a complex conjugate of x. If x i and x k tend to increase together then c ik > 0. If x i tends to decrease when x k increases then c ik < 0. If x i and x k are uncorrelated then c ik = 0. c ik σ 2 i, where σ i is the standard deviation of x i. c ii = σ 2 i = D(x i). The covariance terms can be expressed as cii = σ2i and cik = ρik σi σk, where ρ ik is called the correlation coefficient.

38 Prvky kovarianční matice, grafická ilustrace 38/39

39 Kvantily, medián 39/39 p-kvantil Qp Medián je p-kvantil pro p = 0, 5 P (X < Q p ) = p P (X < Q p ) = 0, 5 Poznámka: Medián se používá jako náhrada střední hodnoty v robustní statistice.