Diskriminační analýza DA

Transkript

1 Diskriminační analýza DA Diskriminační analýza patří mezi metody zkoumání závislosti mezi skupinou p nezávisle proměnných, nazvaných diskriminátory, tj. sloupců zdrojové matice na jedné straně a jednou kvalitativní závisle proměnnou na druhé straně. Umožňuje zařazení objektu do jedné z již existujících tříd. Ve vstupních datech jsou svými hodnotami diskriminátorů u všech objektů dány zařazené objekty do primárních tříd. Dále jsou dány nezařazené objekty, pro které budeme hledat zařazení do třídy. Objekt zařadíme do třídy na základě jeho největší míry podobnosti, např. nejmenší Mahalanobisovy vzdálenosti. Diskriminační (zařazovací) pravidla: při diskriminační analýze se snažíme vyčíslit hodnotu diskriminační funkce, která nám usnadní zařazení do primární třídy. akto vyčíslené hodnoty funkce používáme také ke třídění nezařazených objektů do předem známých primárních tříd,a tonazákladě p diskriminátorů x, x,..., x p.každá primární třída je charakterizována svou funkcí hustoty pravděpodobnosti f(x), j kde x =[x, x,..., x p]. Existuje citlivé pravidlo pro zařazení, diskriminaci objektu vektoru x do třídy G j f j (x) max f i (x) i,...,g Uveďme příklady diskriminace:. Existuje jednoduchá binární proměnná x advě třídy G a G. Nejprve předpokládejme, že pravděpodobnost Pr(x =) = Pr(x = ) = / a dále pravděpodobnost Pr(x = ) = /4 a pravděpodobnost Pr(x = ) = 3/4. Pravidlo zařadí objekt x =dog aobjektx =dog.. Předpokládejme spojitou jednoduchou proměnnou x aopět dvě třídy G a G.Vetřídě G má proměnná normální rozdělení se střední hodnotou µ a rozptylem σ,avetřídě G má proměnná rovněž normální rozdělení se střední hodnotou µ a rozptylem σ,při čemž budeme předpokládat µ < µ a σ > σ. Pomocí diskriminačního pravidla f(x) bude objekt o skóre x zařazen do třídy G, když bude platit f(x) > f(x). Nahrazením skutečnou j hustotou pravděpodobnosti normálního rozdělení dostaneme pravidlo k zařazení objektu x do třídy G : σ σ exp (x µ ) σ (x µ ) σ > apozlogaritmování a úpravě bude toto pravidlo ve tvaru x σ σ x µ σ µ σ µ σ (µ µ ) S x µ µ µ σ > <ln σ Dle tohoto pravidla dojde k rozdělení hodnot x do dvou tříd: první třída G bude obsahovat malé hodnoty x a druhá třída G velké hodnoty x. Ve zvláštním případě σ = σ dostaneme pravidlo pro zařazení do třídy G ve znění *x - µ* > *x - µ*. Bude-li navíc µ < µ, objekt se skóre x padne do třídy G, když bude platit, že x <(µ +µ)/. Zobecnění diskriminačního pravidla: G je třída objektů svícerozměrným normálním rozdělením astřední hodnotou µ a G obdobně se střední hodnotou µ. Předpokládejme, že kovarianční matice obou tříd jsoustejné a užijeme proto pro ně společné označení S. Obecné pravidlo zařazení objektu o vektoru x do třídy G bude Když třídy mají známé hustoty pravděpodobnosti rozličných rozdělení π, π,..., π, bude pravidlo o zařazení do třídy p upraveno následovně: jde-li o třídy, bude pravidlo ve tvaru σ (µ µ ) S x µ µ >ln π π

2 / / / / Lineární diskriminační funkce (LDA): z diskriminačních funkcí je neznámější Fisherova lineární diskriminační funkce tvaru z i a i x a i x a i3 x 3... a ip x p, kde p je počet proměnných primárních tříd čili počet diskriminátorů a x, x,..., xpjsou standardizované hodnoty těchto proměnných. Parametry zi nazýváme standardi-zované klasifikační koeficienty Fisherovy diskriminační funkce a =[a, a,..., a p], které byly nalezeny tak, že poměr rozptylu mezi třídami B a rozptylu uvnitř tříd S V = a B a /(a S a) je maximální. ZdeB je kovarianční matice třídních průměrů a S je celková kovarianční matice uvnitř tříd. Vektor a, který maximalizuje poměr V, sevypočte ze vztahu (B λ S) a. Vpřípadě pouze dvou tříd budou klasifikační koeficienty diskriminační funkce a =[a, a,..., a p]vypočteny jednoduchým vztahem a S ( x x ). Vzorováúloha 4.7 Užití lineární diskriminační funkce Předpokládejme, že máme data o třídách objektů ibetských lebek v úloze B4.4 Aglomerativní hierarchické shlukování při analýze lebek ibeťanů: prvních 3 bylo nalezeno v hrobech v Sikkimu a okolí, zatímco druhých 5 lebek na bojištích okolo Lhasy. První třída vede ke středním hodnotám x = [74.8, 39.35, 3., 69.8, 3.35] akovarianční matici S Druhá třída vede ke střednímhodnotám x = [85.73, 38.73, 34.77, 76.47, 37.5] a kovarianční matici S Koeficienty diskriminační funkce jsou vyčísleny vztahem a S ( x x ) = [-.9,.6,., -.8, -.8] avedoukprůměrům u obou tříd: z = -8.7 a z = -3.. Hraniční bod, dle kterého se budou nezařazené objekty třídit do první nebo druhé třídy se vyčíslí jako polosuma obou průměrů ( z + z )/ = ((-8.7) + (-3.))/ = Diskriminace: vezmeme lebku prvního ibetana z dat všech lebek a pokusíme se ji diskriminovat čili zařadit do. nebo. třídy. Vyčísleme pro ní hodnotu lineární diskriminační funkce z = = -9.74, aprotože je menší než hraniční bod -3.46, patří lebka prvního ibeťana do první třídy. Kvadratická diskriminační funkce (QDA): jsou-li střední hodnoty dvou souborů µ a µ shodné, ale soubory se liší vkovariančních maticích S a S, lineární diskriminační funkci nelze použít, což dokumentuje příklad.. Soubor G : µ = [, ], S..

3 4.. Soubor G : µ = [, ], S. 4. Potom se užije kvadratická diskriminační funkce. Objekt o vektoru x bude patřit do třídy G, když bude splněna nerovnost µ (S S )x x (S µ S µ ) (µ S µ µ S µ ) $ ln *S * *S * lnπ π kde S a S jsou kovarianční matice pro. a. třídu, G a G. Diskriminace mezi více než třídami: pro tři třídy budou tři lineární diskrimi-nační funkce nabývat následujících tvarů: h ( x x ) S x x x h 3 ( x x 3 ) S x x x 3 h 3 ( x x 3 ) S x x x 3 kde S je vážená kovarianční matice všech tříd. Klasifikační pravidla zařazení objektu do dotyčné třídy jsou umístění objektu do první třídy G nastane, když h (x) > ah 3(x) >, umístění objektu do druhé třídy G nastane, když h (x) < ah 3(x) >, umístění objektu do třetí třídy G3 nastane, když h 3(x) > ah 3(x) <. Kvalita zařazení objektů do tříd (diskriminace): předpokládejme, že máme data o K třídách s N k, k =,..., K, objektyvkaždé třídě, N představuje celkový počet objektů (např. N = N + N + N 3 = 5). Každý objekt je popsán p diskriminátory. akže každý i-tý objekt je prezentován prvkem x ki. Nechť x představuje vektor průměrů těchto diskriminátorů ve všech třídách a x k pak vektor průměrů objektů v k-té třídě. Definujme sumy čtverců S, S W, SB odchylek od středních hodnot vztahy S j K i k jnk (x ki x)(x ki x) S W j K k jnk i (x ki x k )(x ki x k ) S = S - S B W a definujme stupně volnosti, df a df, vztahy df = K - a df = N - K. Diskriminační funkcí je vážený průměr hodnot nezávisle proměnných. Váhy jsou přitom voleny tak, že výsledný vážený průměr rozděluje objekty do tříd. Vysoké hodnoty průměru pocházejí zjedné třídy, nízké hodnoty průměru pocházejí z jiné třídy. Problémspočívá v nalezení vah tak, aby dobře diskriminovaly objekty do tříd. Řešení spočívá v nalezení vlastních vektorů V matice - SW S B. Kanonické koeficienty jsou totiž prvky těchto vlastních vektorů. Mírou těsnosti proložení je potom Wilkovo kritérium λ, definované vztahem λ *S W * *S * k m kde λ je j-té vlastní číslo, odpovídající vlastnímu vektoru, popsanému výše a m je minimum ze dvou čísel, K- a p. j Kanonická korelace mezi j-tou diskriminační funkcí a nezávisle proměnnými či diskriminátory je vztažena k těmto vlastním číslům následovně j λ j

4 r cj λ j λ j Řada rozličných matic potřebných v diskriminační analýze je definována vztahy: celková kovarianční matice N S, kovarianční matice uvnitř tříd W, N K S W K S B - lineární diskriminační funkce z k = W x k, kovarianční matice mezi třídami B, standardizované kanonické koeficienty, v ij w ij kde vji jsou prvky V a wij prvky matice W. Korelace mezi nezávisle proměnnými a kanonickými proměnnými jsou dány vztahem Corr jk w jj j p v ik w ji i. Logistická diskriminace: Fisherova lineární diskriminace je optimální, když dva soubory mají vícerozměrné normální rozdělení se stejnými kovariančními maticemi. ato diskriminační funkce se jeví také dostatečně robustní na odchylky od normality. Existuje však řada případů silné nenormality, např. přítomnost binárních proměnných. Pak je možné užít logistický model k výpočtu pravděpodobnosti, že objektječlenem dotyčné třídy: Pr(G *x) exp(β β x β x... β p x p ) exp(β β x β x... β p x p ), Pr(G *x) exp(β β x β x... β p x p ) Neznámé parametry β, β, β,..., βpjsou odhadovány na základě maximální věrohodnosti. Důležité je, že odhadje zcela nezávislý na funkci hustoty třídní pravděpodobnosti. Po vyčíslení odhadů b, b, b,..., bp neznámých parametrů β, β, β,..., βp se uplatní klasifikační pravidlo zařazení objektu do třídy G,platí-li b b x b x... b p x p >, což odpovídá pravděpodobnosti Pr(G * x) > Pr(G * x). Vzorováúloha 4.8 Užití logistické diskriminace Logistickou diskriminaci budeme demonstrovat na Úloze B4. Aplikace logistické diskriminační analýzy u rakoviny prostaty. Režim léčení je závislý na rozšíření rakoviny na lymfatické uzliny. Rozhodující metodou vyšetření je laparotomie, vyjádřená proměnnou B4x6:je-livýsledek laparotomického vyšetření, jde o absenci a je-li roven, jde o přítomnost nodálního rozšíření rakoviny. Brownův postup následujícího vyšetření pěti diskriminantů u 53 pacientů by měl do jisté míry nahradit právě toto obtížnější laparotomické vyšetření. Brown ve své studii použil databázi: i je index pacienta, B4x věk pacienta, B4x hladina sérové kyselé fosfatázy v King-Armstrongových jednotkách, B4x3 výsledek roentgenového vyšetření (=, negativní, = pozitivní), B4x4 velikost tumoru rektálním vyšetřením(= malý, = velký), B4x5 závěr pathologického bodování z biopsie (= méně vážný, = velmi vážný). Diskriminace: odhady parametrů (včetně svých směrodatných odchylek v závorce) k vyčíslení logistické diskriminační funkce jsou b.5 (3.56), b. (.6), b.64 (.33), b.68 (.8), b.4 (.83), b.35 (.8)

5 yto odhady vedou k formulaci klasifikačního pravidla, zda má pacient rakovinu lymfatických uzlin či ne. Pacient rakovinu lymfatických uzlin nemá a je diskriminována do. třídy, je-li splněna nerovnost.5 -. x +.64x +.68x 3 +.4x x 5 >. Není-li splěna tato nerovnost, je pacient diskriminován do. třídy s rakovinou lymfatických uzlin. Dosadíme-li do této nerovnosti hodnoty prvního pacienta z databáze, dostaneme = Protože výsledek -3.8 není větší než nula, je pacient diskriminován do. třídy bez rakoviny lymfatických uzlin, což potvrdilo konečně i laparotomické vyšetření. Posouzení správnosti diskriminace: po aplikaci diskriminační funkce k zařazení objektů do tříd je třeba posoudit správnost diskriminace. Aplikaci diskriminace na data objektů vyhodnotíme jejich chybné zařazení do tříd: (a) Křížová tabulka diskriminace: ukážeme křížovou tabulku zařazených objektů na konkrétnímpříkladu např. databáze lebek ibeťanů. Sestavíme křížovou tabulku původního (správného) umístění objektů (lebek) do tříd a nalezeného zařazení do tříd diskriminací. Výsledkem bude tabulka správnosti klasifikace diskriminační analýzou, kde nesprávné zařazení je zvýrazněno tučnýmpísmem: Známo (správné třídy) Nalezeno diskriminací Nesprávného umístění je %. 6/3 = 9%. Výhodou této techniky je právě její jednoduchost, nevýhodou příliš optimistické závěry, ke kterýmvětšinou metoda dospěje. (b) Postupné vypouštění vždy jednoho objektu : spolehlivější výsledky přináší modifikace předešlého způsobu. Vytvoříme primární třídy pro n - objektů a vyšetřujeme zařazení jediného dosud nezařazeného objektu. Postup n krát opakujeme tak, že postupně vyšetřujeme zařazení všech objektů testovaného souboru. Užijeme-li i zde databáze lebek ibeťanů, obdržíme tabulku správnosti klasifikace diskriminační analýzou, kde nesprávné zařazení je zvýrazněno tučným písmem: Známo (správné třídy) Nalezeno diskriminací Nesprávného umístění je %. /3 = 34%, což je téměř dvojnásobek než upředešlé příliš optimistické metody. Volba proměnných: otázkou v diskriminační analýze je, zda volba proměnných je schopna provést zařazení objektů do tříd čili diskriminaci. Byla navržena řada postupů jak provést volbu těch nejúčinnějších proměnných. Principem většiny metod je zajištění dostatečné separability tříd avolbatakových proměnných, které vedou k maximalizaci nějaké míry. Jindy se volí postup, který začne se všemi původními proměnnými a postupně se vypouštějí takové, které vedou k nedostatečné redukci separace. K ilustraci užijeme databáze lebek ibeťanů z úlohy B4.4 Aglomerativní hierarchické shlukování při analýze lebek ibeťanů. Užijeme pouze jednu proměnnou, B44x4 výšku horní části obličeje [mm]. Dostaneme velmi jednoduché klasifikační pravidlo: zařazení lebky do. třídy bude tehdy, když výška horní části obličeje bude menší než 73.4 mm. Optimistický odhad chybné klasifikace je 5%. Krokový postup u logistické diskriminace úlohy B4. Aplikace logistické diskriminační analýzy u rakoviny prostaty vede k volbě tří nejúčinnějších proměnných: B4x hladina sérové kyselé fosfatázy v King- Armstrongových jednotkách, B4x3 výsledek roentgenového vyšetření (=, negativní, = pozitivní), B4x4 velikost tumoru rektálnímvyšetřením(=malý, =velký). Postup klasifikace diskriminační analýzou. Bodové odhady parametrů polohy a rozptýlení všech diskriminátorů: vyčíslí se (a) aritmetické průměry ve třídách, (b) směrodatné odchylky ve třídách, (c) celková korelační a kovarianční matice všech diskriminátorů, (d)

6 mezitřídní korelaceakovariancezapoužití průměrů místo hodnot objektů, (e) vnitrotřídní korelace a kovariance za použití dat, ve kterých byly třídní průměry odečteny a provede se zhodnocení dosažených výsledků.. Vyšetření vlivu jednotlivých diskriminátorů: vliv jednotlivých diskriminátorů na výsledky diskriminační analýzy se sleduje pomocí testačních statistik přiodstranění tohoto diskriminátoru. 3. Odhady neznámých parametrů b, b,..., b lineární diskriminační funkce pro každou třídu: odhady neznámých p parametrů b, b,..., b jsou mezivýpočtem k vyčíslení diskriminačního skóre. p 4. Odhady regresních parametrů b, b,..., b lineárního regresní modelu pro každou třídu: predikované hodnoty p těmito regresními parametry budou ležet mezi nulou a jedničkou. Zařazení se provede na základě třídy s nejvyššímskóre blízkýmjedničce. 5. Klasifikace objektů diskriminační funkcí (diskriminace do tříd): provede se(a)vyčíslení klasifikačních počtů objektů v jednotlivých třídách po diskriminaci do tříd, (b) přehled chybně klasifikovaných objektů tak, že vedle skutečné třídy je predikovaná třída a procento pravděpodobnosti výskytu objektu v predikované třídě, (c)přehled klasifikovaných objektů - skutečná (primární) třída, predikovaná třída všech objektů a procento pravděpodobnosti výskytu objektu v predikované třídě. 6. Kanonická korelační analýza: (a) analýza kanonických proměnných: první soubor obsahuje diskriminátory a druhý soubor třídní proměnné, (b) odhady parametrů u kanonických proměnných, (c) kanonické proměnné u třídních průměrů, (d) standardizované kanonické koeficienty slouží k výpočtu kanonického skóre, což jsou vážené průměry objektů, (e) korelace původních a kanonických proměnných představuje zátěže (korelace) původních proměnných na kanonické proměnné. ímseusnadní vysvětlení dotyčné kanonické proměnné. 7. Lineární diskriminační skóre všech objektů: jsou vyčísleny hodnoty predikovaných skóre lineárních diskriminačních proměnných pro všechny objekty. 8. Regresní skóre všech objektů: hodnoty predikovaných skóre regresních proměnných pro všechny objekty jsou založeny na regresních koeficientech. 9. Kanonické skóre: hodnotypredikovaných skóre kanonických proměnných pro všechny objekty jsou založeny na kanonických koeficientech.. Volba proměnných: z velké palety diskriminátorů se vybírají pouze ty, které jsou dostatečně účinné, maximálně 8 proměnných. Výběr se provádí krokově: k nejlepšímu diskriminátoru se nalezne druhý nejlepší tak, že se prověří zda diskriminace bude tak dokonalá jako když byl jeden diskriminátor odebrán. U nové proměnné se ověřuje, zda její F má hodnotu pravděpodobnosti menší než α =.5.. Výklad grafů: výsledkem diskriminační analýzy je grafické zařazení do tříd. Zobrazení se provede na třech grafech: (a) zobrazení lineárních diskriminačních skóre, (b) zobrazení regresního skóre, a (c) zobrazení kanonického skóre. Vzorováúloha 4.9 Užití postupu diskriminační analýzy V úloze S.8 Fisherova úloha rozměrů okvětních lístků u 5 kosatců analyzujte předložený výběr kosatců, obsahujících čtvero popisných rozměrů okvětních lístků (čili diskriminátorů) u 5 květů kosatců (čili objektů), pocházejících ze tří základních tříd: () setosa, () versicolor, (3) virginica. Z botaniky je známo, že druh versicolor je hybridem zbývajících dvou druhů. setosa je diploidní květ s 38 chromosomy, virginica je tetraploidní a versicolor je hexaploidní s 8 chromosomy. Květy kosatců jsou popsány čtyřmi diskriminátory: délkou kališních lístků v mm anglicky lsepal, šířkou wsepal, dále délkou korunních plátků v mm lpetal a šířkou wpetal. Budeme proto formulovat úlohu: jsou dána data o K třídách, např. K = 3, tři druhy čili třídy kosatců:, a s N, k =,..., K, objekty v každé třídě, např. prosetosu k =N = 5, pro k = k N =5apro k = 3 N 3= 5, N představuje celkový počet objektů,např. N = N + N + N 3= 5. Každý objekt je popsán p diskriminátory, např. p =4,atoSepal Length, Sepal Width, Petal Length, Petal Width. akže každý i-tý objekt je prezentován prvkem x ki. Nechť x představuje vektor průměrů diskriminátorů ve všech třídách dohromady a x k je vektor průměrů objektů v k-té třídě. Cílem diskriminační analýzy je vyšetřit a ověřitbotanické třídění a odpovědět na otázku, zda botanické třídění kosatců do tří tříd je správné. Nelze zařadit 5 kosatců do jiného počtu tříd? Řešení: Výstup z bloku Discriminant Analysis (NCSS) pro Fisherovu úlohu:. Výpočet bodových odhadů parametrů polohy a rozptýlení všech diskriminátorů: (a) Aritmetický průměr [mm] u tříd G (), G (), G () a celkově: 3 G G G 3

7 Proměnná Celkově SepalLength SepalWidth PetalLength PetalWidth Počet abulka obsahuje průměry každého diskriminátoru, a to v každé třídě kosatců. Poslední řádek obsahuje počet objektů ve třídě. Nadpisy sloupců jsou názvy dotyčné třídy kosatců. Celkově značí všechny třídy dohromady. (b) Směrodatné odchylky [mm] u tříd G (), G (), G 3 () a celkově: G G G3 Proměnná Celkově SepalLength SepalWidth PetalLength PetalWidth Počet abulka obsahuje směrodatné odchylky každého diskriminátoru, a to v každé třídě kosatců. Poslední řádek obsahuje počet objektů ve třídě. Nadpisy sloupců jsou názvy dotyčné třídy kosatců. Celkově značí všechny třídy dohromady. Diskriminační analýza je postavena na předpokladu, že kovarianční matice jsou stejné pro každou třídu. ato tabulka umožňuje posoudit tento předpoklad, zda totiž jsou směrodatné odchylky ve třídách zhruba stejné. (c) Celkové korelace/kovariance: Proměnná Proměnná SepalLength SepalWidth PetalLength PetalWidth SepalLength SepalWidth PetalLength PetalWidth abulka obsahuje korelace a kovariance, vytvořené když smíšené proměnné diskriminátorů jsou ignorovány. Korelace jsou v dolní levé části, kovariance jsou v pravé horní části matice. Rozptyly jsou na diagonále matice. (d) Mezitřídní korelace/kovariance: Proměnná Proměnná SepalLength SepalWidth PetalLength PetalWidth SepalLength SepalWidth PetalLength PetalWidth abulka obsahuje korelace a kovariance, vytvořené za použití průměrů místo jednotlivých objektů. Korelace jsou v dolní levé části, mezitřídní kovariance jsou na diagonále matice a v horní pravé části matice. Všimněte si, že když by byly jenom dvě třídy kosatců,všechny korelace by byly rovny jedné,protože byly vytvořeny pouze ze dvou řádků, totiž ze dvou třídních průměrů. (e) Vnitrotřídní korelace/kovariance: Proměnná Proměnná SepalLength SepalWidth PetalLength PetalWidth SepalLength SepalWidth

8 PetalLength PetalWidth abulka obsahuje korelace a kovariance, vytvořené zdat, vekterých byly třídní průměry odečteny. Korelace jsou vdolní levé části, vnitrotřídní kovariance jsou na diagonáleavpravé horní části matice.. Vyšetření vlivu jednotlivých diskriminátorů: Při odstranění této proměnné Protutosamotnouproměnnou R Proměnná Lambda F-test Spočtená α Lambda F-test Spočtená α ostatní X SepalLength SepalWidth PetalLength PetalWidth abulka ukazuje na vliv jednotlivých diskriminátorů proměnných na výsledky diskriminační analýzy. Proměnná: jméno diskriminátoru. Lambda při odstranění této proměnné: hodnota Wilkova lambda, vypočtená ktestování důsledku odstranění této diskriminační proměnné. F-test při odstranění této proměnné: hodnota F-kritéria, vyčísleného k testování statistické významnosti Wilkova lambda. Spočtená hladina významnosti při odstranění této proměnné: vypočtená hladina významnosti výše uvedeného F-testu při odstranění této diskriminační proměnné. est je totiž statisticky významný a diskriminátor je důležitý, je-li tato hodnota menší než uživatelem zadaná hladina významnosti α =.5. Lambda pro tuto samotnou proměnnou: jde o hodnotu Wilkova lambda, kterou dostaneme za použití této jediné nezávisle proměnné. F-test pro tuto samotnou proměnnou: jde o testační kritérium, vyčíslené k testování statistické významnosti Wilkova lambda. Spočtená hladina významnosti pro tuto samotnou proměnnou: výše uvedený F-test je statisticky významný a diskriminátor je důležitý, je-li tato hodnota menší než uživatelem zadaná hladina významnosti α = Odhady neznámých parametrů b, b,..., b lineární diskriminační funkce pro každou třídu G (), p G (), G (): 3 G G G3 Proměnná Absolutní člen SepalLength SepalWidth PetalLength PetalWidth abulka obsahuje odhady neznámých parametrů b, b,..., b lineární diskriminační funkce. yto parametry jsou také p nazývány diskriminačními koeficienty. echnika předpokládá, že diskriminátory v každé třídě kosatců vykazují vícerozměrné normální rozdělení se shodnými variančně-kovariančními maticemi ve třídách. echnika je dostatečně robustní ipřinesplnění těchto předpokladů. abulka obsahuje celkem tři klasifikační funkce, jednu pro každou třídu. Každá funkce je prézentována vertikálně hodnotami ve sloupci. Když vytvoříme vážený průměr diskriminátorů užitím těchto koeficientů jako vah (a přidáním konstanty jako absolutního členu), dostaneme diskriminační skóre. 4. Odhady regresních parametrů b, b,..., b lineárního regresní modelu pro každou třídu G (), G p (), G (): 3 G G G3 Proměnná Absolutní člen SepalLength E E E-3 SepalWidth.48479E E-.7684E- PetalLength E-.669E E-4 PetalWidth E E E- abulka obsahuje regresní parametry b, b,..., bp lineárního regresní modelu pro každou třídu G (), G (), G 3 (), které byly vyčísleny následujícím postupem: () Vytvoříme tři indikátorové proměnné, jedna jeprokaždou ze tří druhů kosatců (, a Virdinica). Každá indikátorová proměnná je položena rovna jedné. () Proložíme vícenásobnou regresí nezávisle proměnných každý ze tří kosatců. (3) Obdržíme odhady regresních parametrů, uvedené výše v tabulce. Predikované hodnoty těmito regresními parametry budou pak ležet mezi nulou a jedničkou. Určit, ke které třídě jedinec patří se provede tak, že sevyberetřída s nejvyššímskóre.

9 5. Klasifikace objektů diskriminační funkcí (diskriminace objektů do tříd): (a) abulka klasifikačních počtů pro kosatce u diskriminace do tříd G (), G (), G3 () a celkově: Predikovaná G G G3 Známá otal Celkově Redukce v klasifikační správnosti v důsledku proměnných X = 77.%. abulka ukazuje, jak navržené diskriminační funkce klasifikují objekty v datech. Bylo-li dosaženo perfektní klasifikace, obdržíme v matici mimo diagonálu nuly. Řádky tabulky představují aktuální třídy kosatců, zatímco sloupce představují predikované třídy kosatců. Redukce v klasifikační správnosti: obsahuje procento redukce v klasifikační správnosti, dosažené diskriminačními funkcemi vůči očekávané hodnotě, když objektybylynáhodně klasifikovány. (b) Přehled chybně klasifikovaných objektů v řádcích u diskriminace do tříd G (), G (), G 3 (): Procento zařazení do jednotlivé třídy Řádek Známá Predikovaná řída řída řída 3 5 Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo Versicolo V řádku se u každého chybně klasifikovaného objektu nachází vždy název známé třídy kosatců a predikované třídy kosatců. Následuje zvětšená hodnota pravděpodobnosti (v procentech), že objekt se nachází vdané třídě kosatců. Procento pravděpodobnosti se jeví totiž názornější než normovaný odhad v rozmězí a. Hodnota blízko % ukazuje, že objekt patří do dotyčné třídy. P(i): při užití lineární diskriminační techniky se vyčíslí pravděpodobnosti, že tento řádek patří do i-té třídy: nechť f, i =,..., K, je hodnota lineární diskriminační funkce i amax(f) k je maximální skóre ze všech tříd. Označme P(G i) celkovou pravděpodobnost, klasifikující jednotlivce do třídy i. Hodnota P(i) se vypočte dle vztahu P( i) j K j exp[f i max(f k )] P( G i ) exp[f i max(f k )] P(G i ) Když užijeme regresní klasifikační techniku, bude toto představovat predikovanou hodnotu regresní rovnice. Implicitně je Y v regresní rovnici rovno nebo v závislosti, zda objekt patří do i-té třídy kosatců či ne. Proto

10 predikovaná hodnota blízko nuly ukazuje, že objekt nepatří do i-té třídy zatímco blízko ukazuje na silný důkaz, že objekt patří do i-té třídy. V žádnémpřípadě nemůže být vyčíslena hodnota větší než amenší než. (c) Zařazení objektů predikovanou klasifikací pomocí diskriminační funkce do tříd G (), G (), G 3 (): Procento zařazení do jednotlivé třídy Řádek Známá Predikovaná řída řída řída Versicolo Versicolo abulka obsahuje pro každý objekt kosatců vždy skutečnou čili známou třídu kosatců, predikovanou třídu kosatců a procento pravděpodobnosti zařazení do dotyčné třídy kosatců. 6. Kanonická korelační analýza: (a) Analýza kanonických proměnných: Inv(W)B Ind. otal Kanon. Kanon. Čitatel Jmenov. Spočten Wilkovo Fn vlast.číslo Pcnt Pcnt korel. korel F-test SV SV α Lambda F-test testuje zda tato funkce a další níže jsou statisticky významné. abulka obsahuje výsledky kanonické korelační analýzy diskriminačního problému. U kanonické korelační analýzy jsou dva soubory proměnných, které jsou zde definovány následovně: první soubor obsahuje diskriminátory. řídní proměnná definuje druhý jiný soubor, který je generovánvytvořenímindikátorové proměnné pro každou třídu kromě - poslední. Inv(W)B vlastn. číslo: vlastní čísla matice WBukazují, jak mnoho je celková proměnlivost vysvětlena různými diskriminačními funkcemi. První diskriminační funkce totiž odpovídá prvnímu vlastnímu číslu, atd. Počet vlastních čísel je roven minimu počtu diskriminátorů ak-, kdekjepočet tříd kosatců. Ind. Pcnt: procento, jež toto vlastní číslo představuje z celku vlastních čísel. otal Pcnt: kumulativní procento tohoto a všech předešlých vlastních čísel. Kanon korel.: kanonický korelační koeficient. Kanon korel: čtverec kanonického korelačního koeficientu je podobný R ve vícenásobně regresi. F-test: hodnota F-kritéria, testujícího Wilkovo lambda, které odpovídá tomuto řádku a řádkům níže. V tomto případě testuje F-kritérium statistickou významnost obou, první adruhé, kanonické korelace, zatímco druhá F-hodnotatestujevýznamnost pouze druhé korelace. Čitatel SV: počet stupňů volnostipro čitatele v tomto F-testu. Jmenov. SV: počet stupňů volnosti pro jmenovatele v tomto F-testu. Spočtená α: spočtená hladina významnosti pro F-test. Je-li tato hodnota α menší než uživatelem zadané.5, je test statisticky významný. Wilkovo lambda: hodnotawilkovalambdaprotentořádek se užívá ktestování statistické významnosti diskriminační funkce, odpovídající tomuto řádku a řádkům níže. Wilkovo lambda je vícerozměrným zobecněním R.Výše uvedený F-test je aproximativním testem Wilkova lambda. (b) Odhady parametrů u kanonických proměnných: Kanonická proměnná Proměnná Proměnná Proměnná Absolutní člen SepalLength SepalWidth PetalLength..939 PetalWidth Obsahuje koeficienty k výpočtu kanonického skóre. Kanonická skóre jsou vážené průměry objektů, a tyto koefienty jsou pak váhy s přidaným absolutním členem. (c) Kanonické proměnné utřídních průměrů: Kanonická funkce Funkce Funkce

11 abulka obsahuje výsledky kanonických koeficientů pro průměry u každé třídy. (d) Standardizované kanonické koeficienty: Kanonická proměnná Proměnná Proměnná Proměnná SepalLength SepalWidth PetalLength PetalWidth abulka obsahuje standardizované kanonické koeficienty. (e) Korelace původních a kanonických proměnných: Kanonická proměnná Proměnná Proměnná Proměnná SepalLength SepalWidth PetalLength PetalWidth abulka obsahuje zátěže (korelace) původních proměnných na kanonické proměnné. Každý výstup je korelací mezi kanonickou proměnnou a diskriminátorem. ato tabulka usnadní interpretovat dotyčné kanonické proměnné. 7. Lineární diskriminační skóre všech objektů : Řádek Skóre Skóre Skóre abulka obsahuje jednotlivé hodnoty lineárních diskriminačních skóre pro všechny objekty, tj. pro všech 5 kosatců. 8. Regresní skóre všech objektů: Řádek Skóre Skóre Skóre Versicolo abulka obsahuje jednotlivé hodnoty predikovaných skóre, založené na regresních koeficientech. I když tyto hodnoty jsou predikované indikátorové proměnné, může nastatpřípad, že hodnota bude menší než nulaavětší než. 9. Kanonická skóre všech objektů: Řádek Skóre Skóre Versicolo

12 abulka obsahuje skóre kanonických proměnných pro každý řádekuvšech objektů, tj. 5 kosatců.. Automatická volba účinných diskriminátorů: Dosavadní tabulky jsou postaveny na čtyřech diskriminátorech: Petal Length, Petal Width, Sepal Length a Sepal Width. Stěžejním úkolem v diskriminační analýze je však výběr diskriminátorů. Často máme velikou paletu možných diskriminátorů, ze kterých potřebujeme vybrat menší výběr, asi tak maximálně 8 účinných proměnných, který se bude chovat jako původní velký soubor. Činnost Nezávisle % změny v Spočtená Wilkovo Iterace v kroku proměnná lambda F-test hladina α lambda None. Entered PetalLength Entered SepalWidth Entered PetalWidth Entered SepalLength Detail ve 4. kroku automatického výběru proměnné: Nezávisle % změny v Spočtená R Status proměnná lambda F-test hladina α ostatních X In SepalLength In SepalWidth In PetalLength In PetalWidth Celkové Wilkovo lambda =.3439 abulka Automatický výběr diskriminátorů se provádí krokově: nejprve se nalezne nejlepší diskriminátor a potom druhý nejlepší. Když byly nalezeny první dva, prověří se, zda diskriminace bude tak dokonalá, jako když byl jeden diskriminátor odebrán. Postupný (či krokový) proces přidávání nejlepšího zbývajícího diskriminátoru a následným ověřením, zda by jeden aktivní diskriminátor mohl být odebrán a pokračuje dokud není žádný nový diskriminátor k dispozici. U tohoto nového diskriminátoru se ověřuje, zda jeho F-hodnota má pravděpodobnost menší než uživatelem zadaná vstupní hodnota hladiny významnosti α =.5. Přehled výběru proměnných: obsahuje protokol o činnosti v každém kroku. Iterace: uvádí pořadové číslo (index) kroku. Činnost v tomto kroku: uvádí zda diskriminátor byl zaveden do souboru aktivních diskriminátorů nebo odstraněn z tohoto souboru. %změny v lambda: procento snížení vhodnotě lambda, jež je výsledkem tohoto kroku. Všimněte si, že Wilkovo lambdaje analogické (-R ) ve vícenásobné regresi. Abychom zlepšili model, budeme žádat snížit Wilkovo lambda. Např. od iteraci k iteraci 3 se lambda sníží z hodnoty na o je 3.9% snížení hodnoty lambda. F-test: jde o F-kritérium k testování statistické významnosti tohoto diskriminátoru. Je-li diskriminátor zaveden, testuje se hypotéza, že diskriminátor je třeba přidat. Je-li diskriminátor odstraněn, testujesehypotéza, že diskriminátor je třeba odstranit. Spočtená hladina významnosti α: od výše uvedeného F-testu. Wilkovo lambda: víceparametrické rozšíření R redukuje (-R ) ve dvojtřídě. Může být vysvětleno právě opačně než R.Mění se v intervalu od do. Hodnoty blízkovedouknízké prediktibilitě, zatímco hodnoty blízko kvysoké. Wilkovo lambda odpovídá právě aktivním diskriminátorům.. Výklad grafů diskriminace všech objektů do tříd: Nabízí se několik zobrazení (a) lineárních diskriminačních skóre, (b) regresních skóre nebo (c) kanonických skóre: Na základě diagramů těchto tří druhů skóre pak snáze vytvoří svou interpretaci. Diagramy totiž poskytnou vizuální vysvětlení jak diskriminační funkce klasifikují objekty v datech. Níže předložený diagram ukazuje hodnoty prvního a druhého kanonického skóre. Z grafu je patrné klasifikační pravidlo: postačuje první kanonická funkce k diskriminování mezi kosatci, protože třídy kosatců mohou být snadno odděleny vertikální osou. Existuje software (S-Plus), které umožňuje 3D-obrázek, ve kterém by se obrazec otáčel podél os v prostoru. Potom by bylo vytvoření arozlišení tříd kosatců ještě názornější.

13 Linear-Discriminant Scores Linear-Discriminant Scores 4,, 4,, 6, 6,,, -,, 5, 8,, 4, Score -, -5,, 5,, 5, Score3 Linear-Discriminant Scores Regression Scores 4,,,5, 8,,5 5,,, -5,, 5,, 5, Score3 -,5 -,4 -,5,3,65, Score Regression Scores Regression Scores,5,,,65,5,3, -,5 -,5 -,4,,4,8, Score3 -,4 -,4,,4,8, Score3 Canonical-Variates Scores, 5, Obr. 4.5a, b Graflineárního diskriminačního skóre (. a 3. skóre), -5, Obr. 4.6a, b, cgrafregresního skóre (. a. skóre,. a 3. skóre,. a 3. skóre) -, -3, -,5,,5 3, Score Obr. 4.7 Grafkanonických proměnných (. a. skóre)