Klasifikace a rozpoznávání. Bayesovská rozhodovací teorie

Transkript

1 Klasifikace a rozpoznávání Bayesovská rozhodovací teorie

2 Extrakce p íznaků Granáty Četnost Jablka Váha [dkg]

3 Pravděpodobnosti - diskrétní p íznaky Uvažujme diskrétní p íznaky váhové kategorie Nechť tabulka reflektuje skutečné pravděpodobnosti jednotlivých kategorií nejlehčí lehčí lehký st ední těžký těžší nejtěžší [kg]

4 Apriorní pravděpodobnost Stav věci Hádej co mám za zády, jablko nebo granát? Klasifikační pravidlo: Vyber čeho je nejvíc T ída s největší apriorní pravděpodobností (a-priori probability) á =!! = = nejlehčí lehčí lehký st ední těžký těžší nejtěžší [kg]

5 Společná pravděpodobnost Je to těžké. Hádej co to je? Klasifikační pravidlo: Ve sloupci váhové kategorie vyber nejčastější t ídu T ída s největší společnou pravděpodobností (joint probability) pravděpodobnost chlívečku. ale také největší podmíněnou pravděpodobností (viz další slajd) á, ěž ý =!, nejlehčí lehčí lehký !, =, ž ý = st ední těžký těžší nejtěžší [kg]

6 Podmíněná pravděpodobnost Je to těžké. S jakou pravděpodobností je to granát? Podmíněnou pravděpodobnost (conditional probability) pravděpodobnost chlívečku dáno sloupec á ěž ý = nejlehčí lehčí lehký st ední těžký těžší nejtěžší [kg]

7 Ještě nějaké další pravděpodobnosti á = á = + á, ěž ý = á ěž ý = ěž ý á = + á ěž ý ěž ý = á, ěž ý = ěž ý á á = nejlehčí lehčí lehký st ední těžký těžší nejtěžší [kg]

8 Bayesův teorém Posteriorní pravděpodobnost (posterior probability) Věrohodnost (likelihood) Apriorní pravděpodobnost (prior probability)!!! = Evidence Věrohodnost nás zatím moc nezajímala, ale za chvíli to bude to hlavní co se budeme snažit odhadovat z trénovacích dat. Již d íve jsme viděli že (product rule):!, =!! Pro evidenci platí (sum rule): nap.: ěž ý = =!,! á, ěž ý +, ěž ý = +

9 Maximum a-posteriori (MAP) klasifikátor Mějme 2 t ídy ω1 a ω2 Pro daný p íznak x vyber t ídu ω s větší posteriorní pravděpodobností P(ω x) Vyber ω1 pouze pokud:! >!,!!!! >!, >!,,

10 Maximum a-posteriori (MAP) klasifikátor Pro každé x minimalizuje pravděpodobnost chyby: Musíme ovšem znát P(chyby x) = P(ω1 x) pokud vybereme ω2 P(chyby x) = P(ω2 x) pokud vybereme ω1 Pro dané x vybíráme t ídu ω s větším P(ω x) minimalizace chyby P(ω x) nebo P(x,ω) nebo P(x ω) a P(ω), které reflektují skutečná rozložení pro rozpoznávaná data Obecně pro N t íd Vyber t ídu s největší posteiorní pravděpodobností: arg max!! = arg max!!!

11 Spojité p íznaky P(.) bude pravděpodobnost p(.) bude hodnota funkce rozložení pravděpodobnosti, = d Bude nás zajímat funkce rozložení pravděpodobnosti p íznaků podmíněné t ídou! 3.5 Plocha pod funkci musí být 1 Hodnoty mohou být ale libovolné kladné [kg]

12 Bayesův teorém spojité p íznaky 3.5 0! x! =!, =!! x!! 1 0! x

13 MAP klasifikátor spojité p íznaky Opět se budeme rozhodovat podle:!, > nebo!,,! >!, 2.5!, 1! Na obrazcích vidíme, že obě pravidla vedou ke stejným rozhodnutím 0 x 0 x

14 MAP klasifikátor pravděpodobnost chyby íkali jsme, že MAP klasifikátor minimalizuje pravděpodobnost chyby Plocha pod funkci společného rozložení pravděpodobnosti p(ω,x) v určitém intervalu x je pravděpodobnost výskytu vzoru t ídy ω s p íznakem v daném intervalu Jaká je tedy celková pravděpodobnost, že klasifikátor udělá chybu? Pravděpodobnost, že červená t ída je chybně klasifikována jako modrá Jakákoli snaha posunout hranice povede jen k větší chybě 2.5!,!, x x

15 Posteriorní pravděpodobnosti pro různé apriorní pravděpodobnosti Změna apriorních pravděpodobností t íd může vézt k různým rozhodnutím! =,! x =! =,! x =! = 99,! x =

16 Vícerozměrné p íznaky Místo jednorozměrného p íznaku máme N rozměrný p íznakový vektor x = [x1, x2,, xn] nap. [váha, červenost] MAP klasifikátor opět vybírá nejpravděpodobnější t ídu!,

17 Parametrické modely Pro rozpoznávání s MAP klasifikátorem jsme doposud p edpokládali, že známe skutečná rozloženi P(ω x) nebo p(x,ω) nebo p(x ω) a P(ω) Ve skutečnosti ale většinou známe jen trénovací vzory Pokusíme se tato rozložení odhadnout z dat budeme trénovat statistické modely silence unvoiced voiced

18 Parametrické modely Můžeme se pokusit modelovat p ímo posteriorní pravděpodobnost, a tu použít p ímo k rozpoznávání P(ω x) tzv. diskriminativní trénování Ale o tomto bude eč až později Běžnější je odhadovat rozložení p(x ω) a P(ω) Tato rozložení popisují p edpokládaný proces generování dat generativní modely Nejprve se musíme rozhodnout pro formu modelu, který použijeme (nap. gaussovské rozložení) silence unvoiced voiced

19 Gaussovské rozložení (jednorozměrné) = ;, =

20 Gaussovské rozložení (dvourozměrné),, = ;, =

21 Kvadratické funkce (dvourozměrné) Positivně definitní Positivně semidefinitní Negativně definitní Indefinitní

22

23

24 Odhad parametrů modelu s maximální věrohodností Hledáme taková nastavení parametrů rozložení pravděpodobnosti Θ, které maximalizuje věrohodnost (Maximum Likelihood, ML) trénovacích dat x1, x2,xn V následujících p íkladech p edpokládáme, že odhadujeme parametry nezávisle pro jednotlivé t ídy. Pro zjednodušení notace tedy u rozložení neuvádíme závislost na t ídě ω, pouze na jejích parametrech Θ. Modely kterými se budeme zabývat jsou: Gaussovské rozloženi Směs gaussovských rozložení (Gaussian Mixture Model, GMM) V následujících p ednáškách p ibudou další (nap. HMM)

25 Gaussovské rozložení (jednorozměrné) = ;, = ML odhad parametrů: = =

26 Gaussovské rozložení (vícerozměrné) ;, = ML odhad of parametrů: = = i i

27 Směs gaussovských rozložení (Gaussian Mixture Model GMM) Θ = ;, kde Θ = {,, } =

28 Směs gaussovských rozložení = = ;, Vzoreček můžeme chápat jen jako něco co definuje tvar funkce hustoty pravděpodobnosti nebo jej můžeme vidět jako složitější generativní model,který generuje p íznaky následujícím způsobem: Nap ed je jedna z gaussovských komponent vybrána tak aby respektovala apriorní pravděpodobnosti Pc P íznakový vektor se generuje z vybraného gaussovského rozložení. Pro vyhodnoceni modelu ale nevíme, která komponenta p íznakový vektor generovala a proto musíme marginalizovat (suma p es gaussovské komponenty násobené jejich apriorními pravděpodobnostmi)

29 Trénování GMM Viterbi training Intuitivní ale nep esný iterativní algoritmus pro ML trénování GMM parametrů

30 Trénování GMM Viterbi training Intuitivní ale nep esný iterativní algoritmus pro ML trénování GMM parametrů Současným modelem klasifikujeme data jako kdyby by jednotlivé Gaussovky modelovaly různé t ídy a váhy byly apriorní pravděpodobnosti t íd (p esto, že všechnadata pat í do jedné t ídy, kterou se snažíme modelovat).

31 Trénování GMM Viterbi training Intuitivní ale nep esný iterativní algoritmus pro ML trénování GMM parametrů Současným modelem klasifikujeme data jako kdyby by jednotlivé Gaussovky modelovaly různé t ídy a váhy byly apriorní pravděpodobnosti t íd (p esto, že všechnadata pat í do jedné t ídy, kterou se snažíme modelovat). Nové parametry každé Gaussovky odhadneme na datech k ní p i azených v p edchozím kroku. Nové váhy jsou dány poměry možství dat p i azených Gausovkám.

32 Trénování GMM Viterbi training Intuitivní ale nep esný iterativní algoritmus pro ML trénování GMM parametrů Současným modelem klasifikujeme data jako kdyby by jednotlivé Gaussovky modelovaly různé t ídy a váhy byly apriorní pravděpodobnosti t íd (p esto, že všechnadata pat í do jedné t ídy, kterou se snažíme modelovat). Nové parametry každé Gaussovky odhadneme na datech k ní p i azených v p edchozím kroku. Nové váhy jsou dány poměry možství dat p i azených Gausovkám. P edchozí dva kroky opakujeme až do konvergence.

33 Training GMM EM algorithm Expectation Maximization je iterativní algoritmus pro trénování různých generativních modelů se skrytými proměnnými (latent or hidden variables), jehož kazdá iterace vede ke zvýšení věrohodnosti (likelihood) trenovacích dat. Nezaručuje ale nalezení globalního optima. Zde ukazujeme pouze výsledek aplikace EM na trénování GMM. Algoritmus je podobny p edchozímu Viterbi trénování, s tím rozdílem, že (místo tvrdých p i azení) jsou data Gaussovkám p i azena měkce pomocí vah posteriorních pravděpodobností spočítaných současným modelem. Parametry, jsou potom pocítány pomocí váhovaných (namísto prostých) průměrů. = ;, ; = c =, i = i = =