HODNOCENÍ KVALITY SHLUKŮ

HODNOCENÍ KVALITY SHLUKŮ Haa Řezaová Vysoá šola eoomcá v Praze ttp://b.vse.cz/~rezaa Aalýza dat 008/II

Obsa Prcpy metod sluové aalýzy Sluováí objetů (vetorů pozorováí) Porováváí se zámým zařazeím objetů Statstcé testy Hodoceí dsjutío sluováí Hodoceí fuzzy sluováí Možost programovýc systémů Aalýza dat 008/II

Metody sluové aalýzy Lteratura y: Řezaová, H., Húse, D., Sášel, V.: Sluová aalýza dat. Professoal Publsg, Praa 007, 96 s. Řezaová, H.: Aalýza dat z dotazíovýc šetřeí. Professoal Publsg, Praa 007, s. Hebá, P. a ol.: Vícerozměré statstcé metody [3].. vyd. Iformatorum, Praa 007. 7 s. Aalýza dat 008/II 3

Metody sluové aalýzy Lteratura sboríy: Řezaová, H.: Klasface pomocí sluové aalýzy. Sborí předáše ze semáře Aalýza dat 003/II, TrloByte Statstcal Software, s. 9 35. Řezaová, H.: Sluováí a velé soubory dat. Sborí předáše ze semáře Aalýza dat 004/II, TrloByte Statstcal Software, s. 7 9. Aalýza dat 008/II 4

Metody sluové aalýzy Lteratura sboríy: Řezaová, H.: Sluová aalýza ategorálíc dat. Sborí předáše ze semáře Aalýza dat 007/II, TrloByte Statstcal Software, s. 89 0. Aalýza dat 008/II 5

Metody sluové aalýzy Sluová aalýza je postup formulovaý jao procedura, pomocí íž objetvě sesupujeme jedce do sup a záladě jejc podobost a odlšost (zráceě R. C. Tryo, 939). Cílem sluové aalýzy je alézt supy objetů (v šrším smyslu) ta, aby dva objety z téže supy s byly podobější ež dva objety z růzýc sup. Aalýza dat 008/II 6

Metody sluové aalýzy Vstupí data: m-rozměrá pozorováí (matce vzorů patter matr) matce X, prvy l m proměýc (zaů). za. za. objet. objet matce vzdáleostí/podobostí (matce blízostí - promty matr). objet. objet. objet. objet otgečí tabula (tabula četostí) X / Y. ategore. ategore. ategore. ategore Aalýza dat 008/II 7

Metody sluové aalýzy Zača X X X 3 X 4 X 5 X 6 X 7 Boaqua 0,0 0,04,37 0,69 0,03 0,40 0,64 Dobrá voda 0,0 0,64 0,3 0,0 0,0 0,07 0,9 Eva 0,05 0,07 0,80 0,87 0,05 0,9 0,6 Haácá ysela,68,4,39 3,0,6 0,0,84 Koruí,07,7,03 0,97 0,4,7, Matto 0,69,3 0,83 0,98 0,3,9 0,96 Odrášova 0,7 0, 0,63 0, 0,07 0,38,9 Poděbrada 3,39 3,4,6,59 4,64,30,68 Poděbrada PL 4,6 4,0,6,85 5,48,38,40 Rajec 0,0 0,03 0,8 0,67 0,0 0,9 0,39 Toma Natura 0,0 0,7 0, 0,9 0,07 0,36 0,7 Valvert 0,0 0,0 0,07 0,75 0,05 0,5 0,35 Vttel 0,07 0,34 0,67,0 0,05,99 0,45 Aalýza dat 008/II 8

Metody sluové aalýzy X X X 3 X 4 X 5 X 6 X 7 atoty sodé (Na+) atoty draselé (K+) atoty ořečaté (Mg+) atoty vápeaté (Ca+) aoty clordové (Cl-) aoty síraové (SO4-) aoty ydrogeulčtaové (HCO3-) Aalýza dat 008/II 9

Metody sluové aalýzy Klasface tradčíc metod: metody rozladu (parttog) pro dsjutí sluy (se zadaým počtem sluů) teratví reloačí (přemísťovací) algortmy metody matematcéo programováí grafcé zobrazováí pomocí mmálí ostry ybrdí lasface metody založeé a ustotě metody pro přerývající se sluy Aalýza dat 008/II 0

Metody sluové aalýzy Klasface tradčíc metod: Aalýza dat 008/II

Metody sluové aalýzy Klasface tradčíc metod: Compoet - - 0 3 -medodů (PAM) S-PLUS - 0 4 Compoet Tese two compoets epla 90.43 % of te pot varablty. Aalýza dat 008/II

Metody sluové aalýzy Klasface tradčíc metod: metody rozladu sluy pevé sluováí 0 0 0 0 0 0 0,4 0, 0,3 0,3 0,3 0,5 objety fuzzy sluováí 0,8 0, 0, 0,4 0,3 0,3 částečé fuzzy sluováí 0, 0,3 0 0,5 0 Aalýza dat 008/II 3

Metody sluové aalýzy Klasface tradčíc metod: *** Fuzzy Parttog *** Membersp coeffcets: [,] [,] Boaqua 0.9068350 0.0936480 Dobrá voda 0.89786306 0.03694 Eva 0.936705 0.0638975 Haácá ys. 0.37934570 0.6065430 Koruí 0.7738 0.78786 Mart 0.850999 0.749080 Odrášova 0.9035657 0.09643483 Poděbrada 0.08990355 0.9009645 Poděbrada PL 0.05759 0.889484 Rajec 0.9399609 0.06003909 Toma Natura 0.908409 0.079589 Valvert 0.9850890 0.08490 Vttel 0.743037 0.569679 fuzzy (FANNY) S-PLUS Aalýza dat 008/II 4

Metody sluové aalýzy Klasface tradčíc metod: *** Fuzzy Parttog *** fuzzy (FANNY) Closest ard clusterg: Boaqua Dobrá voda Eva Haácá ys. Koruí Matto Odrášova Poděbrada Poděbrada PL Rajec Toma Natura Valvert Vttel Aalýza dat 008/II 5

Metody sluové aalýzy Metody erarccé sluové aalýzy: mootetcé dvzví (S-PLUS) polytetcé aglomeratví dvzví (S-PLUS) modfovaé metody dvourozměré sluováí (STATISTICA, SYSTAT) dvouroová sluová aalýza (SPSS) ROCK (RObust Clusterg usg lks) Aalýza dat 008/II 6

Metody sluové aalýzy Metody erarccé sluové aalýzy: dvzví (DIANA) S-PLUS Hegt 0 4 6 8 Boaqua Eva Rajec Odrášova Dobrá voda Toma Natura Valvert Koruí Matto Vttel Haácá ys. Poděbrada Poděbrada PL Aalýza dat 008/II 7

Metody sluové aalýzy Metody erarccé sluové aalýzy: Boaqua Eva Rajec Odrášova Dobrá voda Toma Natura Valvert Koruí Matto Vttel Haácá ys. Poděbrada Poděbrada PL Stromový dagram pro 3 případů Úplé spojeí Euldovsé vzdáleost aglomeratví (AGNES) STATISTICA 0 4 6 8 0 Vzdáleost spojeí Aalýza dat 008/II 8

Metody sluové aalýzy Metody erarccé sluové aalýzy: Výsledy dvojrozměréo spojováí Boaqua Valvert Eva Rajec Vttel dvourozměré sluováí Dobrá vo Toma Nat Odrášov Koruí STATISTICA Matto Haácá Poděbrad Poděbrad Na+ Mg+ HCO3- Ca+ K+ Cl- SO4-5 4 3 Aalýza dat 008/II 9

Symbola (začeí) Objet Proměá.. m. l, =,,, l =,,, m počet sluů C D j D -tý slu vzdáleost -téo a j-téo objetu vzdáleost -téo a -téo sluu u míra příslušost -téo objetu -tému sluu Aalýza dat 008/II 0

Symbola (začeí) D j D j vzdáleost -téo a j-téo objetu m l ( euldovsá vzdáleost l jl ) j m q q Dj l jl Mowséo vzdáleost l D vzdáleost -téo a -téo sluu - mamum ze všec vzdáleostí dvojc z růzýc sluů - mmum ze všec vzdáleostí dvojc z růzýc sluů -průměr ze všec vzdáleostí dvojc z růzýc sluů - vzdáleost cetrodů (vetorů průměrů jedotl. proměýc) Aalýza dat 008/II

Porováí s očeávaým zařazeím objetů do sluů Kofúzí matce Etrope Čstota (purty) Přesost, porytí a F-míra Vzájemá formace (mutual formato) Rozdílost formace (varato of formato) Radova statsta a Jaccardův oefcet Aalýza dat 008/II

Porováí s očeávaým zařazeím objetů do sluů Kofúzí matce C strutura jao výslede sluováí P předpoládaá (zámá) strutura předpoládáme, že počet sluů v C P je stejý, přřadíme sobě sluy, teré obsaují co ejvíce stejýc objetů, tyto počty zapíšeme a dagoálu ofúzí matce a ozačíme MD míra esoulasu (odoty blízé dují vysoý stupeň esoulasu) Aalýza dat 008/II 3

Porováí s očeávaým zařazeím objetů do sluů Etrope H j j l j etrope -téo sluu počet prvů v -tém sluu strutury C j počet prvů z -téo sluu C, teré jsou v j-tém sluu P 0; l H ( C) H etrope strutury C 0; l (0 duje detcé strutury) Aalýza dat 008/II 4

Porováí s očeávaým zařazeím objetů do sluů Čstota (purty) p ma,, čstota -téo sluu /; p( C) p čstota strutury C ( duje optmálí struturu) Aalýza dat 008/II 5

Porováí s očeávaým zařazeím objetů do sluů Přesost a F-míra (pojmy z oblast vyledávaí formací IR) F j Pj Rj j j j j Pj Rj P R j j j oef. přesost (precso) oef. úplost (recall) -porytí F-míra Aalýza dat 008/II 6

Porováí s očeávaým zařazeím objetů do sluů Vzájemá formace (mutual formato) MI j j l j j 0 eí žádý vzta mez struturam Rozdílost formace (varato of formato) VI [ H ( C) MI ] [ H ( P) MI ] Aalýza dat 008/II 7

Porováí s očeávaým zařazeím objetů do sluů C strutura jao výslede sluováí P předpoládaá (zámá) strutura a počet párů objetů ve stejém sluu v C P b počet párů ve stejém sluu v C, ale e v P c počet párů ve stejém sluu v P, ale e v C d počet párů v růzýc slucíc v C v P M a b c d ( ) Aalýza dat 008/II 8

Porováí s očeávaým zařazeím objetů do sluů R a d M Radův oefcet (prosté sody) J a a b c Jaccardův oefcet FM a a b a a c Folesův a Mallowsův de (Ocaův) odoty z tervalu od 0 do Aalýza dat 008/II 9

Statstcé testy Testy absece strutury testy áodost ve vstupí datové matc testy áodost v matc vzdáleostí Testy erarccé strutury metody stablty (modfováí dat) reduce objetů, modface možy proměýc Testy omogety sluu (Bealeův test) Testy počtu sluů (metody založeé a ustotě) Aalýza dat 008/II 30

F W W W m Bealeův test W součet čtvercovýc vtrosluovýc vzdáleostí pro sledovaý slu W součet čtvercovýc vtrosluovýc vzdáleostí, poud by slu byl optmálím způsobem rozděle Statsta F má F rozděleí spočty stupňů volost m a ( )m. Aalýza dat 008/II 3

Testy o počtu sluů u metod založeýc a ustotě Posloupost testů: H 0 : počet sluů je odota ebo meší H : počet sluů je větší ež Zjštěí počtu sluů je součástí metod, užvatel ezadává počet sluů, ale zadává parametry pro orétí algortmus, a ěmž výsledý počet závsí (SAS, SYSTAT) Aalýza dat 008/II 3

Využtí orelačío oefcetu Hubertova statsta X vstupí matce D matce vzdáleostí ( ) Y matce g : X {,,, }. Y j, 0 jestlže ja g( ) g( j ), pro, j,,..., ( ) j D j Y j Aalýza dat 008/II 33

Využtí orelačío oefcetu Hubertova statsta ( ) j D j Y j ormalzovaá statsta ( ) j ( D j ) ( Y D D Y j Y ) odoty od do D ( ) D j j Y ( ) Y j j Aalýza dat 008/II 34

Využtí orelačío oefcetu Kofeetcý orelačí oefcet X vstupí matce D matce vzdáleostí ( ) C matce ; úroveň dy se prvy poprvé vysytou ve stejém sluu r DC ( ) D ( ) j j D D j C j D C ( ) C j C odoty od do odoceí metod erarccéo sluováí Aalýza dat 008/II 35

Využtí orelačío oefcetu Modfovaá Hubertova statsta ( ) j D j Q j Q j vzdáleost cetrodů sluů, v cž se acází -tý a j-tý objet ormalzovaá modfovaá statsta Aalýza dat 008/II 36

Idey pro odoceí sluů. R-square (RSQ) de SAS I RSQ S T S S T W m l ( l l ) m l C l ( l l ) m ( l l ). Sempartal R-squared (SPRSQ) de SAS I SPRSQ ( ) I RSQ( ) I RSQ ( ) Aalýza dat 008/II 37

Idey pro odoceí sluů SAS Aalýza dat 008/II 38

Aalýza dat 008/II 39 Idey pro odoceí sluů 3. Pseudo (Cals-Habarasz) F de SAS (PSF), SYSTAT (CHF) 4. Pseudo T-vadrát statsta SAS (PST) SYSTAT (PTS) W B W B CHF ) ( ) ( S S S S I PTS W W B I

Idey pro odoceí sluů SAS Aalýza dat 008/II 40

Idey pro odoceí sluů Merálí vody SAS Aalýza dat 008/II 4

Idey pro odoceí sluů SAS Aalýza dat 008/II 4

Idey pro odoceí sluů SAS Aalýza dat 008/II 43

Idey pro odoceí sluů SYSTAT Aalýza dat 008/II 44

Idey pro odoceí sluů 5. Root Mea Square Stadard Devato (RMSSTD) de SYSTAT I RMSSTD SW m( ) Aalýza dat 008/II 45

Idey pro odoceí sluů 6. Davesův-Bouldův (DB) de SYSTAT I R DB R s ma, D, D s D, s D (, ) C D, D D(, ) D(.,.) je Mowséo vzdáleost Aalýza dat 008/II 46

Aalýza dat 008/II 47 Idey pro odoceí sluů 7. Duův de SYSTAT (též separačí de) l l dam D I D ma m m ), ( m, j C C D D j ), ( ma, j C dam D j

Aalýza dat 008/II 48 Idey pro odoceí sluů Alteratví Duův de (AD) ), ( ma ma ), ( ), ( m m m,, AD j C l j C C D D D I j j vysoé odoty ompatí a dobře odděleé sluy

Aalýza dat 008/II 49 Idey pro odoceí sluů Idey platost (SD, S_Dbw ) s W ) ( ) ( X σ X σ průměrá vtrosluová caratersta C l l l ) ( l l l ) ( D D D s,, B ), ( ), ( m ), ( ma úplá separace ejlepší je mmálí odota (ze součtu) D(.,.) je euldovsá vzdáleost

Idey pro odoceí sluů Ide průměré ompatost I AC, C l j m l jl Rl ( ) R l varačí rozpětí porováí růzýc metod ejlepší je mmálí odota prcp lze použít pro ategorálí proměé Aalýza dat 008/II 50

Aalýza dat 008/II 5 Idey pro odoceí sluů Radův de je počet objetů vprůu sluů C a C C slu vytvořeý jou metodou ež C 0 zcela rozdílé sluy sluy jsou detcé R I

Koefcety pro odoceí sluů v systému S-PLUS (PAM, CLARA, FANNY) 8. Obrysový oefcet (slouette coeffcet) ma, Dj jc m jc D j Rajec Eva Toma Valve Dobrá Boaq Odrá Koru Haác Vtte Matto Poděb Poděb FANNY -0. 0.0 0. 0.4 0.6 0.8.0 Slouette wdt Average slouette wdt : 0.45 Aalýza dat 008/II 5

Koefcety pro odoceí sluů v systému S-PLUS (PAM, CLARA, FANNY) 8. Obrysový oefcet (slouette coeffcet) ma, Dj jc m jc D j Compoet - - 0 3-0 4 Compoet Tese two compoets epla 90.43 % of te pot varablty. Aalýza dat 008/II 53

Koefcety pro odoceí sluů v systému S-PLUS (PAM, CLARA, FANNY) 8. Obrysový oefcet (slouette coeffcet) ma, Dj jc m jc D j Rajec Toma Eva Valve Dobrá Odrá Boaq Matto Vtte Koru Haác Poděb Poděb PAM 0.0 0. 0.4 0.6 0.8.0 Slouette wdt Average slouette wdt : 0.6 Aalýza dat 008/II 54

Koefcety pro odoceí sluů v systému S-PLUS (PAM, CLARA, FANNY) 8. Obrysový oefcet (slouette coeffcet) ma, Dj jc m jc D j Compoet - 0 3-0 4 Compoet Tese two compoets epla 90.43 % of te pot varablty. Aalýza dat 008/II 55

Koefcety pro odoceí sluů v systému S-PLUS (PAM, CLARA, FANNY) 8. Obrysový oefcet (slouette coeffcet) ma, Dj jc m jc D j Rajec Eva Toma Valve Boaq Odrá Dobrá Matto Vtte Koru Poděb Poděb Haác PAM, FANNY 0.0 0. 0.4 0.6 0.8.0 Slouette wdt Average slouette wdt : 0.66 Aalýza dat 008/II 56

Krtéra pro odoceí sluů v systému SPSS (dvouroová SA) 9. Scwarzovo bayesovsé formačí rtérum BIC (Bayesa Iformato Crtero) I BIC w l( ) 0. Aaovo formačí rtérum AIC (Aae Iformato Crtero) I AIC w ( ) ( ) m m l( ) sl sl H l l l, w m m () ( K l l ) Aalýza dat 008/II 57 ( )

Krtéra pro odoceí sluů v systému SPSS (dvouroová SA) Aalýza dat 008/II 58

Krtéra pro odoceí sluů v systému SPSS (dvouroová SA) Aalýza dat 008/II 59

Koefcety pro odoceí výsledů fuzzy sluové aalýzy (S-PLUS). Duův oefcet rozladu (Partto Coeffcet) PC de (Bezde) I PC u /; Coeffcets: du_coeff ormalzed 0,77903 0,5458407 sluy I PC I PC I PC PC I ( *) ma I PC ( ) 0; Coeffcets: du_coeff ormalzed 0,59779 0,396688 Coeffcets: du_coeff ormalzed 0,4866308 0,355078 3 sluy 4 sluy Aalýza dat 008/II 60

Idey pro odoceí výsledů fuzzy sluové aalýzy. Etrope rozladu (Partto Etropy) PE de (Bezde) I PE u l( u ) 0; l I PE ( *) m I PE ( ) Aalýza dat 008/II 6

Idey pro odoceí výsledů fuzzy sluové aalýzy 3. Xeův a Beův (XB) de separačí (S) de I XB u m D D ( (,, ) ) u m I XB ( *) m I XB ( ) Aalýza dat 008/II 6

Idey pro odoceí výsledů fuzzy sluové aalýzy 4. Fuuyamův a Sugeoův (FS) de I q FS u ) q D (, ) D (, u Malé odoty dují, že objety jsou rozděley do ompatíc a dobře odděleýc sluů (CWS Compact ad Well Separated). Aalýza dat 008/II 63

Aalýza dat 008/II 64 Idey pro odoceí výsledů fuzzy sluové aalýzy 5. CS (Compact ad Separate) de q q u u D u D u I CS ), ( ), ( Nžší odota duje lepší rozděleí objetů do sluů.

Idey pro odoceí výsledů fuzzy sluové aalýzy 6. PS (Partto Separato) de PS u m ep u M I PS PS u M ma u I PS ( *) ma I PS ( ) Aalýza dat 008/II 65

Idey pro odoceí výsledů fuzzy sluové aalýzy 7. G de (Ree a O) D D P W D (, j) m{ u, u j} ( ) j D(.,.) je euldovsá vzdáleost B D (, j) m{ma u,ma u j} j podobost populace I G ma G P G ma je směrodatá odcyla z prvů -rozměréo vetoru, terý obsauje jao prví odotu (celový počet objetů) a ostatí odoty jsou uly, a IG *) je směrodatá odcyla z odot,,,, de je četost v -tém sluu pro pevé sluováí Aalýza dat 008/II 66 D D B W ( ma IG ( )