Shluková analýza. shlukovací metodě

Transkript

1 Shluková analýza (Cluster analysis, numerická taxonomie,... ) Cíle shlukové analýzy : ne testovací, ale popisné: klasifikace objektů (Q-technika) nebo znaků (R-technika) nalezení typů generování hypotéz o klasifikaci Předpoklady: Každý objekt je popsán týmiž znaky. Množinu objektů označme O Martin Betinec Shluková analýza 2 Shlukovací metody: hierarchické: Výsledkem je systém {A i } i, kde A i, A j O : buď A i A j = nebo A i A j = A i nebo A i A j = A j shlukovací (aglomerativní) rozhlukovací (divisivní) nehierarchické: Výsledný systém {A i } i tvoří disjunktní množiny optimalizační analýzy modů Výsledek: Ne vždy jednoznačný závislý na: shlukovací metodě měření vzdálenosti, tj. na volbě míry nepodobnosti (metriky) kódování znaků (u nominálních veličin) standartizace znaků (u kardinálních veličin) závislostní struktuře zahrnutých znaků 1 Martin Betinec Shluková analýza 3 1. Data Datový soubor se skládá ze trojice proměnných, které uvádějí počety vězňů odsouzených za přepadení, vraždu, znásilnění na obyvatel každého ze 50 států USA. Čtvrtá proměnná je procentuální zastoupení městského obyvatelstva daného státu. Datová matice x 1,1 x 1,2 x 1,3 x 1,4 x 2,1 x 2,2 x 2,3 x 3,4 X =.. x k,1 x k,2 x k,3 x k,4 (1.1).. x 50,1 x 50,2 x 50,3 x 50,4 Vektor k-tého pozorování x k = (x k,1, x k,2, x k,3, x k,4 ) pro k = 1,, 50. Vektor j-té proměnné x j = pro j = 1,, 4. x 1,j x 2,j. x 50,j Martin Betinec Shluková analýza 4 Murder Assault UrbanPop Rape

2 Martin Betinec Shluková analýza 5 Martin Betinec Shluková analýza 6 Popis dat Murder Assault Měřítko. Hodnoty znaku Assault zřetelně dominují všem ostatním viz obr. 15 a tab. 6, to může silně zkreslit měření vzdáleností jednotlivých objektů: odlišnost v této proměnné může zastínit odlišnosti v ostatních. Viz dále. Proto je vhodné proměnné standardizovat, tj. hodnotu j-tého znaku i-tého státu, přepočítáme: kde x j = i=1 x i,j a s j = z i,j = x i,j x j, s j i=1 (x i,j x j ) UrbanPop 0.41 Rape Murder Assault UrbanPop Rape min prumer median max var st.dev Tabulka 1. Shrnutí vlastností znaků Obrázek 1. Popis pozorování Martin Betinec Shluková analýza Nezávislost znaků. Je zřejmé, že znaky popisující kriminalitu jsou korelované, viz obr. 15 a tab. 7: Murder Assault UrbanPop Rape Murder Assault UrbanPop Rape Tabulka 2. Korelační koeficienty znaků. Klasický Pearsonův test shodně s pořadovým Spearmanovým i Kendallovým testem na hladině 95% zamítají nekorelovanost veličin Murder, Assault, Rape, jakož i nekorelovanost UrbanPop a Rape, viz tab. 8. Nekorelovanost UrbanPop a Assault je na hranici zamítnutí. (1,2) (1,3) (1,4) (2,3) (2,4) (3,4) Pearson Spearman Kendall Tabulka 3. Dosažené hladiny korelačních testů (p-value). Martin Betinec Shluková analýza 8 2. Měření vzdálenosti vzdálenosti se měří mezi objekty: (Q techniky) dle typu znaků, které objekt nese binární symetrický asymetrický nominální ordinální kardinální intervalové poměrové znaky (R techniky) verze cor koeficientu (Pearson,Spearman, χ 2 )

3 Martin Betinec Shluková analýza 9 pro objekty (znaky) i, j míry podobnosti (similarities)... s platí: (1) 0 s(i, j) 1 (2) s(i, j) = s(j, i) (3) s(i, i) = 1 míry nepodobnosti (disimilarities)... d platí: (1) 0 s(i, j) 1 (2) s(i, j) = s(j, i) (3) s(i, i) = 0 d(i, j) = 1 s(i, j) zadány přímo matice (ne)podobností (např. hodnocení soudců) prostřednictvím souřadnic objektů nutno spočítat Martin Betinec Shluková analýza 10 Míra nepodobnosti proměnných kardinální a ordinální d(f, g) odvozeno od Pearsonova, resp. Spearmanova cor(f, g) * d(f, g) = 1 cor(f,g) 2 d(f, g) = * d(f, g) = 1 cor(f, g) 0, cor(f, g) = 1 0.5, 0 1, +1 { 0, cor(f, g) = ±1 d(f, g) = 1, 0 nominální p-level χ 2 testu homogenity f a g nelze užit přímo statstiky X 2 různé DF Martin Betinec Shluková analýza 11 Binární proměnné symetrické setkání dvou 1 nese stejnou informaci jako setkání dvou 0 je jedno, který stav okóduji 1 a který 0 př. žena v celkové populaci užívají se invariantní koeficienty Simple matching, Rogers - Tanimoto, Sokal - Sneath asymetrické setkání dvou 1 nese informaci navíc, setkání dvou 0 nikoli indikátory řídkých jevů, např. žena v populaci fotbalových chuligánů, volič extrémistů, deviace,... užívají se neinvariantni koeficienty Jaccard, Dice - Sorensen, Sokal - Sneath Martin Betinec Shluková analýza 12 objekt j objekt i 1 0 celkem 1 a b a+b 0 c d c+d celkem a+c b+d p=a+b+c+d Tabulka 4. Asociační tabulka. typ název s(i, j) d(i, j) a+d sym Simple matching p a+d Rogers & Tanimoto Sokal & Sneath asym Jaccard Dice Sokal & Sneath a+d+2(c+b) 2(a+d) 2(a+d)+(c+b) a a+b+c 2a 2a+b+c a a+2(c+b) c+b p 2(c+b) a+d+2(c+b) c+b 2(a+d)+(c+b) b+c a+b+c b+c 2a+b+c 2(c+b) a+2(c+b) Tabulka 5. Asociační koeficienty binárních veličin.

4 Nominální proměnné Martin Betinec Shluková analýza 13 Ordinální proměnné Martin Betinec Shluková analýza 14 Strategie: sloučit hladiny tak, aby vznikla binární = ztráta info pro každou hladinu zavést 1 (asymetrickou) binární (indikátor) mnoho nových proměnných & typ (asymetrické), Simple matching tj. s(i, j) = u p d(i, j) = p u u nutno zvážit případné vážení dle počtu hladin (tj. dle míry informace při shodě) diskrétní spojité měřítko není lineární = lze se spolehnout jen na pořadí Př.: monotonní nelineární trafo intervalové proměnné, např.: y = log x, y = x, y = e x,... Označme: r if... pořadí i-tého pozorování proměnné f. M f = max i r if trafo r if na < 0, 1 > z if = r if 1 M f 1 vzdálenost z if a z jf se nyní změří pomocí Manhattan metriky Kardinální proměnné Martin Betinec Shluková analýza 15 intervalové informaci nese interval poměrové kladné, informaci nese poměr, stejné intervaly nemají stejnou informační hodnotu. Platí: d(20, 20) = d(20, 200) tj. např. koncentrace, radiační intenzita,..., často závislosti typu ae bx, kde a > 0 Poměrové kardinální znaky lze zpracovat jako intervalové = chyba spojité ordinální (tj. pracovat s pořadími) trafo y = log x a pak jako intervalové Martin Betinec Shluková analýza 16 Intervalové kardinální znaky Nechť je objekt číslo i reprezentován vektorem x i = (x i,1,, x i,p ). Resp. v případě standartizovaných dat z i = (z i,1,, z i,m ), viz část 3. Příklad: kriminalita v USA i = 1,, 50 a p = 4. Vzdálenost(metrika) je zobrazení d: R p R p R + 0, které pro x i, x j, x k R p, x i = (x i,1,, x i,p ), x j = (x j,1,, x j,p ), x k = (x k,1,, x k,p ). splňuje: (1) d(x i, x j ) 0 (2) d(x i, x j ) = 0 x i = x j (3) symetrie d(x i, x j ) = d(x j, x i ) (4) trojúhelníková nerovnost d(x i, x j ) d(x i, x k ) + d(x k, x j )

5 J OT Většina metrik je odvozena od: (1) Minkowského d t (x i, x j ) = Martin Betinec Shluková analýza 17 [ p k=1 (x i,k x j,k ) t ]1 t t = 1, 2, 3, (2.1) např. (2) Manhattan (city-block) vznikne z d t (1.1) pro t = 1 p d 1 (x i, x j ) = x i,k x j,k, (2.2) k=1 (3) euklidovská vznikne z d t (1.1) pro t = 2 p d E (x i, x j ) = (x i,k x i,j ) 2, (2.3) k=1 je to Pythagorova věta v p dimenzích. Pro binární veličiny d E (x i, x j ) = d 1 (x i, x j ) (4) Lagrangeova(supremální, L -metrika) d (x i, x j ) = lim t d t(x i, x j ) = max k=1,,p x i,k x j,k, (2.4) Platí: Martin Betinec Shluková analýza 18 d 1 (x i, x j ) d E (x i, x j ) d (x i, x j ) (5) Canberra d Cb (x i, x j ) = p k=1 x i,k x j,k x i,k + x j,k, (2.5) (6) Mahalanobisova d M (x i, x j ) = (x i x j ) T S 1 (x i x j ) p p = (x i,h x j,h )(x i,k x j,k )(S 1 ) hk h=1 k=1 (2.6) jedná se o mnohorozměrnou standardizaci = bere v úvahu korelaci znaků eliminuje vliv multikolinearity S 2 se počítá z celého souboru může vybírat matoucí korelace, které nejsou uvnitř skupin přítomny viz násl. příklady a obr. 2 až 6 Martin Betinec Shluková analýza 19 Příklad Kolaps Malahanobisovy metriky I 2 vnitřne nekorelované skupiny, které mezi sebou maji korelaci y C B A F E D I H G data M L K J Q P O N U T S R Y X W V Height A D GB C EF H IJ Agnes: DAISY K NO L MP Martin Betinec Shluková analýza 20 Q RS V WT daisy(x) Agglomerative Coefficient = 0.87 Agnes: DAISY n = 25 U XY 2 clusters C j 1 : : Height A E I D H G Agnes: Mahalanobis B F C Y N S XR W V K P UL as.dist(mahal.dist(x)$d) Agglomerative Coefficient = 0.81 Agnes: Mahalanobis n = 25 Q M 3 clusters C j 1 : : : x Average silhouette width : 0.75 Average silhouette width : 0.47 Obrázek 2. Vnitřne nekorelované skupiny. Obrázek 3. Hierarchické rozklady a jejich hodnocení.

6 Martin Betinec Shluková analýza 21 Component 2 y Component 2 J KS 2 J Martin Betinec Shluková analýza 22 2 Pam: DAISY Component 1 These two components explain % of the Pam: Mahalanobis D BE A G CHF P TI O XUS Q W R LY M N KV J D BEA I G CHF Q P M UKL O T R YJ W N SV X Pam: DAISY n = 25 Average silhouette width : clusters C j 1 : : Pam: Mahalanobis n = 25 3 clusters C j 1 : : : počet klastrů dist metoda Daisy Agnes Pam Mahalanobis Agnes Pam Tabulka 6. Průměrné siluety pro různé počty klastrů. Interpretace: Daisy rozpozná strukturu jako silnou max k s(k) =.75 Mahalanobisova metrika vkládá umělou strukturu a vnímá ji jako slabou max k s(k) = Component 1 These two components explain 91.9 % of the p Average silhouette width : 0.47 Obrázek 4 Nejlepší nehierarchické rozklady. Martin Betinec Shluková analýza 23 Příklad Kolaps Malahanobisovy metriky II 2 vnitřne silně korelované skupiny, které mezi sebou maji silnou korelaci E A F B G C H D I data Obrázek 5. Vnitřne korelované skupiny. počet klastrů dist metoda Daisy Agnes Pam Mahalanobis Agnes Pam Tabulka 7. Průměrné siluety pro různé počty klastrů. x J S K T L U M V N W O X P Y Q Z R Height A FE B GC H DI Agnes: DAISY L TM U NV Martin Betinec Shluková analýza 24 O WP X QY daisy(x) Agglomerative Coefficient = 0.96 Agnes: DAISY n = 26 R Z Average silhouette width : clusters C j 1 : : Height A F E B GC Agnes: Mahalanobis H DI K SL T MU N VO W PX Q YR as.dist(mahal.dist(x)$d) Agglomerative Coefficient = 0.9 Agnes: Mahalanobis n = 26 Z Average silhouette width : 0.6 Obrázek 6 Hierarchické rozklady a jejich hodnocení. 3 clusters C j 1 : : :

7 Component 2 Component 2 J SK y 2 Pam: DAISY Component 1 These two components explain % of the point Pam: Mahalanobis Component 1 These two components explain % of the point Martin Betinec Shluková analýza 25 G C B F H D A E I V W M N O U X P L T Q KY S R JZ G C B H D F A E I T K S L M JU V N Q Y R PZ W OX Pam: DAISY n = 26 Average silhouette width : 0.84 Pam: Mahalanobis n = 26 Obrázek 7 Nejlepší nehierarchické rozklady. 2 clusters C j 1 : : Average silhouette width : clusters C j 1 : : : Martin Betinec Shluková analýza 26 Příklad Kolaps Malahanobisovy metriky III 2 vnitřne pozitivně korelované skupiny, které mezi sebou maji silnou korelaci E F G A B I C H D data x S T U J K L V W X M N O Y Z P Q R Obrázek 8. Vnitřne pozitivně korelované skupiny. počet klastrů dist metoda Daisy Agnes Pam Mahalanobis Agnes Pam Tabulka 8. Průměrné siluety pro různé počty klastrů. Martin Betinec Shluková analýza 27 Martin Betinec Shluková analýza 28 Height A EB C IF D HG Agnes: DAISY T LU M VN W OX P YQ Z R Height A G B I H C DE Agnes: Mahalanobis F JUK V ST L WM X NY O Z P Q R Component Pam: DAISY C I G BF E D H A O N W M VX P Q UY L R TZ K S J Pam: DAISY n = 26 2 clusters C j 1 : : daisy(x) Agglomerative Coefficient = 0.96 as.dist(mahal.dist(x)$d) Agglomerative Coefficient = 0.86 Component 1 These two components explain % of the point Average silhouette width : Agnes: DAISY n = 26 2 clusters C j 1 : : Agnes: Mahalanobis n = 26 3 clusters C j 1 : : : Component 2 Pam: Mahalanobis B I G HA C D F E U V J T W SK L X O P R Z Q M YN Pam: Mahalanobis n = 26 3 clusters C j 1 : : : Average silhouette width : 0.87 Average silhouette width : 0.53 Component 1 These two components explain % of the point Average silhouette width : 0.55 Obrázek 9 Hierarchické rozklady a jejich hodnocení. Obrázek 10 Nejlepší nehierarchické rozklady.

8 Martin Betinec Shluková analýza 29 Příklad: USArrests Situaci demonstrují obrázky 10 až 12, které vznikly metodu nejbližšího souseda. Situace se trochu lišila pro metodu nejbližšího a nejvzdálenějšího souseda, odlišnosti týkaly především spodních pater, viz obr. 13. a některých případů (pro supremální a euklidovskou metriku např. zařazení Montany a u). Použití euklidovské metriky produkuje podobný strom jako vznikne pro supremalní metriku, viz obr. 10. Hint: Začněme dešifrovat shluky od, resp. od Oklahomy či od u Shluk {,, } je až na malé permutace ( vs. {Connectitcut, } apod.) totožný v obou stromech. Shluk {,, } je v obou stromech téměř totožný. Shluk {,, Lousiana} ve druhém případě připojuje Aljašku dříve než ostatní shluky, jinak se liší pouze na spodních úrovních. Srovnání euklidovské a manhattanské metriky. Velmi se liší zařazení Nevady a Arizony. Stabilitu vykazují shluky {,, }, dále {,,}. Nicméně jejich spojení je různé. Martin Betinec Shluková analýza 30 Strom vypěstovaný z canberrské metriky se liší od předchozích dost podstaně, srov. např. a klastr {, a spol.}, nicméně i zde jsou někeré stabilní shluky Martin Betinec Shluková analýza 31 Martin Betinec Shluková analýza euclidian euclidian maximum manhattan Obrázek 11. Euklidian a sup. Obrázek 12. Euklidian a Manhattan.

9 Obrázek 15. Euklidian a sup (4 complete linkage ) complete,eukl complete,supr Martin Betinec Shluková analýza 35 Obrázek 13. Manhattan a Canberra. canberra manhattan Martin Betinec Shluková analýza 33 Strategie zvláštní analýzu pro každý typ znaků problém: když nesouhlasí zacházet se všemi jako s intervalovými problém: nominální a asymetrické binární (místo ordinálních = pořadí... OK místo poměrových = log x... OK) vše převést na binární problém: ztráta info, volba prahu kombinovaná míra např.: DAISY, Gower,... shlukování objektů 3. Smíšené znaky Martin Betinec Shluková analýza 36 Obrázek 14. Euklidian a sup (4 complete linkage ) maximum (complete) euclidian (complete) Martin Betinec Shluková analýza 34

10 d ij.f je-li f nominální, binární Martin Betinec Shluková analýza 37 Martin Betinec Shluková analýza 38 DAISY (Kaufman - Rousseeuw) d(i, j) = p f=1 δ ij.fd ij.f p f=1 δ ij.f = d ij.f = 1 x if x jf d ij.f = 0 x if = x jf δ ij.f δ ij.f = 0 když x if = NA nebo x jf = NA když znak f je asymetrická binární a objekty i a j utvořily shodu (0, 0), je-li f intervalová d ij.f = x if x jf max h x hf min h x hf (3.1) δ ij.f = 1 jinak je-li f ordinální nahrazeny pořadími, na ně aplikováno (2.1). je-li f poměrová buď jako ordinální, nebo log trafo a opět (2.1) Jsou-li všechny znaky nominální = d(i, j)... simple matching symetrické binární asymetrické binární = Jaccardův koef. intervalové = standardiz. Manhattan Martin Betinec Shluková analýza Různé metody shlukování 4.1. Hierarchické metody. nejvzdálenějšího souseda (complete linkage) viz obr. 16 nejbližšího souseda (single linkage) viz obr. 16 Wardova viz obr. 18 centroidní viz obr. 19 mediánová viz obr. 19 průměrné nepodobnosti (group average) viz obr. 18 McQuittyho viz obr. 20 Martin Betinec Shluková analýza 40 Metoda nejvzdálenějšího souseda (complete linkage, furthest neighbour) Míra nepodobnosti shluků A, B: D(A, B) = max d(o i, O j ) (4.1) O i A,O j B D(A, A) = 0 (4.2) Metoda nejbližšího souseda (single linkage, nearest neghbour, friend of friends) Míra nepodobnosti shluků A, B: D(A, B) = min d(o i, O j ) O i A,O j B

11 Obrázek 16. Complete a single linkage single complete Martin Betinec Shluková analýza 43 D(R, U) = 1 2 D(P, U) D(Q, U) 1 4 D(P, Q) D({Oi}, {Oj}) = d 2 E(Oi, Oj) a Pro shluky P, Q, U, R = P Q, platí Mediánová metoda (unweighted group method) řešení: Problém: Ovlivněná počty prvků shluku D(R, U) = P Q P Q D(P, U) + D(Q, U) D(P, Q) R R R 2 D({Oi}, {Oj}) = d 2 E (O i, Oj) a Platí: Pro shluky P, Q, U, R = P Q, platí kde A, B jsou těžiště shluků A, B. D(A, B) = d 2 E (A, B), Míra nepodobnosti shluků A, B: Metoda centroidní (weighted group method) Martin Betinec Shluková analýza 41 Obrázek 17. Complete linkage a group average complete average Martin Betinec Shluková analýza 44 i:oi A j IAB = EC (EA + EB), kde (4.5) EA = (oij oj) 2 (4.6) Pro sloučeni shluků A, B do shluku C minimalizuje Wardova a Wishartova metoda D(A, B) = d(oi, Oj) A D(A, A) = 0 1 B (4.3) (i,j) (4.4) Míra nepodobnosti shluků A, B: Metoda průměrné nepodobnosti shluků (group average) Martin Betinec Shluková analýza 42

12 Obrázek 20. Group average a McQuitty. mcquitty average Martin Betinec Shluková analýza 47 Obrázek 18. Group average a Wardova. ward average Martin Betinec Shluková analýza 45 Pořadí slučování nižších pater není rozhodující, spíš počet shluků. V tomto případě buď 2 nebo 4 (resp. 5 se samostatnou Aljaškou). vykazují stabilitu víceméně při všech metodách. Značně se liší metoda nejbližšího souseda viz např.,,. (2) {,,} Některé shluky, viz obr. 16: (1) {,, } Martin Betinec Shluková analýza 48 Obrázek 19. Centroidní a medianová metoda median centroid Martin Betinec Shluková analýza 46

13 Martin Betinec Shluková analýza Nehierarchické metody. Na základě předchozích výsledků jsem zkusil rozklad do 4 a 5 shluků Rozklad na čtyři shluky. Objekty se shlukovaly klasickou metodou k-means následovně: (1),,,,,,,, RhodeIsland,,,,, (2),,,,,,,, West, (3),,,,,,,,,,,,,,, (4),,,,,,,,, size withinss Tabulka 9. Vlastnosti jednotlivých shluků. Robustnější verze téhož PAM vytvorila stejné shluky, kromě toho, že zařadila do shluku č. 4. Martin Betinec Shluková analýza 50 Murder Assault UrbanPop Rape Tabulka 10. Typické objekty jednotlivých shluků. p.usa.sc14$med[1, ] pomx Obrázek 21. Profily shluků. Martin Betinec Shluková analýza 51 Martin Betinec Shluková analýza 52 size max.diss av.diss diameter separation Tabulka 11. Vlastnosti PAM shluků. k means, complete,eukl Obrázek 22. Srovnání hierarchické a nehierarchické metody.

14 Martin Betinec Shluková analýza Rozklad na pět shluků. Klasickou metodou k-means: Martin Betinec Shluková analýza 54 5 clusters (1), NorthCarolina (2),,,,,,,,,,, NewHampshire, NorthDakota,,, SouthDakota,,, West, (3),,,,,,,,, NewYork (4),,,, NewJersey,,, RhodeIsland,,,,, (5),,, NewMexico,SouthCarolina size withinss Tabulka 12. Vlastnosti jednotlivých shluků clusters Obrázek 23. K means. Martin Betinec Shluková analýza 55 Robustnější metodou PAM (1),,,,,,,,, NewYork (2),,, NewMexico, NorthCarolina, SouthCarolina (3),,,,, NewJersey,,, RhodeIsland,,,, (4),,,,,,,,,, (5),,,, NewHampshire, NorthDakota, SouthDakota,, West, Murder Assault UrbanPop Rape Tabulka 13. Typické objekty jednotlivých shluků. Cvičení: Jakým stromům odpovídají zmíněná řešení? Martin Betinec Shluková analýza 56 size max.diss av.diss diameter separation Tabulka 14. Vlastnosti jednotlivých shluků.

15 Martin Betinec Shluková analýza 57 Martin Betinec Shluková analýza 58 clusplot(pam(x = usa.sc, k = 5)) Silhouette plot of pam(x = usa.sc, k = clusplot(pam(x = usa.sc, k = 4)) Silhouette width Silhouette plot of pam(x = usa.sc, k = Obrázek 24. PAM. Silhouette width Obrázek 25. PAM Projekce do 2. a 3. proměnné Martin Betinec Shluková analýza 59 k means Martin Betinec Shluková analýza 60 k means PAM PAM PC Obrázek 26. Srovnání pro 5 shluků Obrázek 27. Srovnání pro 4 shluky

16 Martin Betinec Shluková analýza Nestandardizovaná data. Pro zajímavost: shluková analýza u nestandardizovaných dat je znehodnocena měřítkom porměnné Assault (tj. směrodatnou odchylkou), takže je vidět, že shluky vpodstatě jen vytvářejí škálu podél této proměnné Martin Betinec Shluková analýza 62 k means PAM Obrázek 28. Srovnání pro 5 shluků, nestandardizovaná data Martin Betinec Shluková analýza 63 k means PAM Obrázek 29. Srovnání pro 4 shluky, nestandardizovaná data