AVDAT Mnohorozměrné metody, metody klasifikace

Transkript

1 AVDAT Mnohorozměrné metody, metody klasifikace Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita

2 Mnohorozměrné metody Regrese jedna náhodná veličina je vysvětlována pomocí jiných veličin. Regresní analýza bývá považována za samostatnou část stojící vedle mnohorozměrných metod (methods of multivariate analysis). Další metody: testy shody vektorů středních hodnot MANOVA (multivariate analysis of variance) mnohorozměrná analogie analýzy rozptylu kanonické korelace, které můžeme považovat za jisté zobecnění lineární regrese, kdy vysvětlujeme ne jednu náhodnou veličinu, ale vektor náhodných veličin

3 Mnohorozměrné metody metody klasifikace, kdy předpokládáme, že data pocházejí z více populací a hledáme pravidlo umožňující zařadit (klasifikovat) objekt charakterizovaný vektorem hodnot do jedné z populací (diskriminační analýza, logistická regrese, neuronové sítě atd.) pokoušíme se najít v datech podmnožiny podobných objektů (shluková analýza cluster analysis) metody redukce dimenze úlohy, kdy proměnlivost a závislosti v datech se pokoušíme vyjádřit pomocí méně veličin. Analýza hlavních komponent (principal components) vysvětluje rozptyl. Faktorová analýza vysvětluje kovarianční (korelační) strukturu.

4 Jednovýběrový Hottelingův T 2 test: Testuje se hypotéza, že p-rozměrný vektor středních hodnot µ je roven nějakému danému konstantnímu vektoru µ 0. Předpokládá se, že výběr je z mnohorozměrného normálního rozdělení. Testovou statistikou je T 2 = n( x µ 0 ) T S 1 ( x µ 0 ). Tato statistika má Hottelingovo rozdělení. Lze také užít statistiku T 2 n 1 n p p F p,n p

5 Dvouvýběrový Hottelingův T 2 test: Testujeme shodu dvou vektorů středních hodnot H 0 : µ 1 = µ 2 Máme dva výběry z p-rozměrného normálního rozdělení o rozsazích n 1, n 2, a n 1 + n 2 = n. Vektory výběrových průměrů jsou x 1, x 2. Za předpokladu shody kovariančních matic Σ 1 = Σ 2 = Σ můžeme z výběrových kovariančních matic S 1, S 2 odhadnout společnou výběrovou kovarianční matic Označíme δ = µ 1 µ 2. Pak S = (n 1 1)S 1 + (n 2 1)S 2 n 1 + n 2 2 T 2 = n 1n 2 n ( x 1 x 2 δ) T S 1 ( x 1 x 2 δ) má Hottelingovo rozdělení a n p 1 p T 2 F(p, n p 1), n 2

6 Diskriminační analýza Pravidlo na základě zadaných hodnot vektoru x zařadit objekt do h-té skupiny Pravidlo, které by klasifikovalo pokud možno správně, které minimalizuje pravděpodobnost chybných rozhodnutí. Za jistých předpokladů je takovým pravidlem lineární diskriminační funkce. Odvození jejího tvaru si ukážeme pro klasifikaci do dvou skupin.

7 Klasifikace do dvou skupin h = 1, 2 index skupiny A h jev příslušnost k h-té skupině P(A h ) = π h apriorní pravděpodobnost f h (x) sdružená hustota pro h-tou skupinu P(A h x) aposteriorní pravděpodobnost, tj. pravděpodobnost příslušnosti k h-té skupině za podmínky daných hodnot x Hustotu můžeme zapsat f h (x) = f (x A h ) pro h = 1, 2, tj. sdružená hustota pro h-tou skupinu je hustota za podmínky, že nastane jev A h.

8 Klasifikace do dvou skupin Podle Bayesova vzorce vyjádříme aposteriorní pravděpodobnost: P(A h x) = P(A h )f h (x A h ) P(A 1 )f (x A 1 ) + P(A 2 )f (x A 2 ) = h = 1, 2. π h f h (x) π 1 f 1 (x) + π 2 f 2 (x), Klasifikovat budeme do skupiny s největší aposteriorní pravděpodobností. Dále označme S výběrový prostor (množinu všech možných výsledků x). Naším cílem je rozdělit tento výběrový prostor na dvě části splňující podmínky: S = S 1 S 2, S 1 S 2 =. Pak když x S h, zařadíme do h-té skupiny.

9 Klasifikace do dvou skupin Pravděpodobnost chybného zařazení objektu z h-té skupiny do h -té skupiny je P(x S h A h ) = f h (x)dx, h = 1, 2. Podle věty o úplné pravděpodobnosti je celková pravděpodobnost chybné klasifikace ω = π 1 f 1 (x)dx + π 2 f 2 (x)dx. S 2 S 1 Pokud obě chyby klasifikace mají stejnou váhu, je optimální rozhodovací pravidlo, které minimalizuje ω. S h

10 Klasifikace do dvou skupin Objekt řadíme do skupiny s vyšší aposteriorní pravděpodobností, např. do skupiny 1 zařadíme objekt, když π 1 f 1 (x) > π 2 f 2 (x) (jmenovatel je shodný pro obě skupiny). Klasifikační pravidlo pro zařazení do skupiny 1 je f 1 (x) f 2 (x) > π 2 π 1 Předpokládáme-li p-rozměrné normální rozdělení vektoru x, tj. N p (µ 1, Σ 1 ) v 1. skupině a N p (µ 2, Σ 2 ) ve 2. skupině, pak hustota je: [ ] f h (x) = (2π) p 2 Σh 1 2 exp (x µ h ) T Σ 1 (x µ h)/2 h

11 Klasifikace do dvou skupin Po dosazení a zlogaritmování dostaneme x T Γx + η T x + ξ > 0, kde Γ = 0, 5(Σ 1 2 Σ 1 1 ), ξ = 1 2 ln Σ 2 Σ 1 ln π 2 π η T = µ T 1 Σ 1 1 µ T 2 Σ 1 2 ( µ T 1 Σ 1 1 µ 1 µ T 2 Σ 1 2 µ 2 )

12 Klasifikace do dvou skupin shoda kovariančních matic Jsou-li kovarianční matice v obou skupinách shodné, tj. Σ 1 = Σ 2, pak odpadne kvadratický člen a rozhodovací pravidlo se podstatně zjednoduší: kde a Funkce β T x + γ > 0, β T = (µ 1 µ 2 ) T Σ 1 γ = 1 2 βt (µ 1 + µ 2 ) 1 2 ln π 2 π 1 L(x) = β T x se nazývá lineární diskriminační funkce, zkratkou LDF.

13 Klasifikace do více skupin shoda kovariančních matic Podprostory S 1 a S 2 v p-rozměrném prostoru S odděluje nadrovina určená rovnicí LDF lze vyjádřit také jako β T x + γ = 0 čili L(x) = γ L h (x) = µ T h Σ 1 x 1 2 µt h Σ 1 µ h a klasifikovat do té skupiny, pro kterou je L h (x) největší. Tak se postupuje, když se klasifikuje do více než dvou skupin.

14 Klasifikace do více skupin shoda kovariančních matic LDF je optimální rozhodovací pravidlo pro klasifikaci do skupin, pokud náhodný vektor x má normální rozdělení a skupiny se liší jen vektorem středních hodnot, nikoliv kovarianční strukturou. Procedura diskriminační analýzy z dat, u kterých je klasifikace známa, odhaduje hodnoty parametrů lineární diskriminační funkce β. Pak LDF s hodnotami odhadů lze užít pro klasifikaci objektů, jejichž příslušnost do skupiny známa není.

15 Klasifikace do dvou skupin příklad Linear Discriminant Functions skup Variable 0 1 Constant x x Classification Count Table for skup Predicted Actual 0 1 Total Total

16 Klasifikace do dvou skupin příklad

17 Klasifikace do dvou skupin shoda kovariančních matic Stejnou úlohu hledání klasifikačního pravidla pro klasifikaci do dvou skupin lze řešit i logistickou regresí. ( ) p ln = x T β 1 p Klasifikace je pak založena na odhadu pravděpodobnosti, že pro dané hodnoty regresorů má veličina Y má hodnotu 1. Tvar klasifikační funkce lze snadno vyjádřit z modelu logistické regrese p = exp(xt β) 1 + exp(x T β) Je-li p větší než zvolená hodnota (většinou 0,5), pak objekt klasifikujeme do skupiny 1, jinak do skupiny 0.