ANALÝZA A KLASIFIKACE DAT

Transkript

1 ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz

2 III. PŘÍZNAKOVÁ KLASIFIKACE - ÚVOD

3 PŘÍZNAKOVÝ POPIS Příznakový obraz x zpracovávaných dat je vyjádřen n-rozměrným (sloupcovým) vektorem hodnot x i, i=1,2,,n příznakových proměnných (veličin) charakterizujících vlastnosti těchto dat, tj. platí x=(x 1,x 2,,x n ) T.

4 PŘÍZNAKOVÝ POPIS Příznakové proměnné mohou popisovat kvantitativní i kvalitativní vlastnosti souboru dat. Jejich hodnoty nazýváme příznaky. Podle definičního oboru rozlišujeme proměnné: spojité nespojité, diskrétní, vyjmenovatelné logické, binární, alternativní, dichotomické

5 PŘÍZNAKOVÝ POPIS Vrchol každého příznakového vektoru (obrazu) představuje bod n-rozměrného prostoru X n, který nazýváme obrazovým prostorem. Obrazový prostor je definován kartézským součinem definičních oborů všech příznakovým proměnných, tzn. že jej tvoří všechny možné obrazy zpracovávaného souboru dat.

6 PŘÍZNAKOVÝ POPIS Při vhodném výběru příznakových veličin je podobnost signálů jedné klasifikační třídy vyjádřena blízkostí jejich obrazů v obrazovém prostoru. Vymezení klasifikační třídy: etalony - charakteristické reprezentativní obrazy hranice diskriminační funkce

7 PŘÍZNAKOVÝ KLASIFIKÁTOR Příznakový klasifikátor je stroj s tolika vstupy, kolik je příznaků a s jedním diskrétním výstupem, který udává třídu, do které klasifikátor zařadil rozpoznávaný obraz. ω r = d(x) d(x) je skalární funkce vektorového argumentu x, kterou nazýváme rozhodovací pravidlo klasifikátoru; ω r je identifikátor klasifikační třídy

8 PŘÍZNAKOVÝ KLASIFIKÁTOR deterministický a nedeterministický s pevným a proměnným počtem příznaků bez učení a s učením

9 PŘÍZNAKOVÝ KLASIFIKÁTOR deterministický a nedeterministický s pevným a proměnným počtem příznaků bez učení a s učením Nadále se nějaký čas věnujme deterministickým klasifikátorům s pevným počtem příznaků.

10 PŘÍZNAKOVÝ KLASIFIKÁTOR Obrazový prostor je rozhodovacím pravidlem rozdělen na R disjunktních prostorů R r, r=1,,r, přičemž každá podmnožina R r obsahuje ty obrazy x, pro které je ω r = d(x). Návrh rozhodovacího pravidla je základním problémem návrhu klasifikátoru.

11 KLASIFIKACE PODLE DISKRIMINAČNÍCH FUNKCÍ hranice klasifikačních tříd definujeme pomocí R skalárních funkcí g 1 (x), g 2 (x),, g R (x) takových, že pro obraz x z podmnožiny R r pro všechna r platí g r (x) > g s (x), pro s =1,2,,R a r s funkce g r (x) mohou vyjadřovat např. míru výskytu obrazu x patřícího do r-té klasifikační třídy v daném místě obrazového prostoru nazýváme je diskriminační funkce

12 KLASIFIKACE PODLE DISKRIMINAČNÍCH FUNKCÍ hranice mezi dvěma sousedními podmnožinami R r a R s je určena průmětem průsečíku funkcí g r (x) a g s (x), definovaného rovnicí g r (x) = g s (x), do obrazového prostoru.

13 BLOKOVÉ SCHÉMA KLASIFIKÁTORU POMOCÍ DISKRIMINAČNÍCH FUNKCÍ

14 BLOKOVÉ SCHÉMA KLASIFIKÁTORU POMOCÍ DISKRIMINAČNÍCH FUNKCÍ u dichotomického klasifikátoru (dvě třídy) je ω = sign (g 1 (x) g 2 (x))

15 KLASIFIKACE PODLE DISKRIMINAČNÍCH FUNKCÍ nejjednodušším tvarem diskriminační funkce je funkce lineární, která má tvar g r (x) = a r0 + a r1 x 1 + a r2 x a rn x n kde a r0 je práh diskriminační funkce posouvající počátek souřadného systému a a ri jsou váhové koeficienty i-tého příznaku x i lineárně separabilní třídy

16 KLASIFIKACE PODLE DISKRIMINAČNÍCH FUNKCÍ nejjednodušším tvarem diskriminační funkce je funkce lineární, která má tvar g r (x) = a r0 + a r1 x 1 + a r2 x a rn x n kde a r0 je práh diskriminační funkce posouvající počátek souřadného systému a a ri jsou váhové koeficienty i-tého příznaku x i lineárně separabilní třídy

17 KLASIFIKACE PODLE DISKRIMINAČNÍCH FUNKCÍ nejjednodušším tvarem diskriminační funkce je funkce lineární, která má tvar g r (x) = a r0 + a r1 x 1 + a r2 x a rn x n kde a r0 je práh diskriminační funkce posouvající počátek souřadného systému a a ri jsou váhové koeficienty i-tého příznaku x i lineárně separabilní třídy

18 KLASIFIKACE PODLE DISKRIMINAČNÍCH FUNKCÍ nejjednodušším tvarem diskriminační funkce je funkce lineární, která má tvar g r (x) = a r0 + a r1 x 1 + a r2 x a rn x n kde a r0 je práh diskriminační funkce posouvající počátek souřadného systému a a ri jsou váhové koeficienty i-tého příznaku x i lineárně separabilní třídy

19 KLASIFIKACE PODLE DISKRIMINAČNÍCH FUNKCÍ LINEÁRNĚ NESEPARABILNÍ TŘÍDY zachováme původní obrazový prostor a zvolíme nelineární diskriminační funkci definovanou obecně složenou po částech z lineárních úseků zobrazíme původní n-rozměrný obrazový prostor X n nelineární transformací Φ: X n X m do nového m-rozměrného prostoru X m, obecně je m n, tak, aby v novém prostoru byly klasifikační třídy lineárně separabilní a v novém prostoru použijeme lineární klasifikátor (Φ převodník)

20 KLASIFIKACE PODLE MINIMÁLN LNÍ VZDÁLENOSTI reprezentativní obrazy klasifikačních tříd - etalony je-li v obrazovém prostoru zadáno R poloh etalonů vektory x 1E, x 2E,, x RE, zařadí klasifikátor podle minimální vzdálenosti klasifikovaný obraz x do té třídy, jejíž etalon má od bodu x minimální vzdálenost. Rozhodovací pravidlo je určeno vztahem d( x) = x re x = min s x se x

21 KLASIFIKACE PODLE MINIMÁLN LNÍ VZDÁLENOSTI uvažme případ dvou tříd reprezentovaných etalony x 1E = (x 11E, x 12E ) a x 2E = (x 21E, x 22E ) ve dvoupříznakovém euklidovském prostoru; vzdálenost mezi obrazem x = (x 1,x 2 ) a libovolným z obou etalonů je pak definována v( x 2 2 se, x) = xse x = (xs1e x1) + (xs2e x2 ) hledáme menší z obou vzdáleností, tj. min s=1,2 v(x se,x), ale také min s=1,2 v 2 (x se,x); min v( x s se min x s, x) min v ( x min (x ( ) 2 2 x ) + (x x ) ( ) x 2[x x + x x (x + x )/ 2] 1 s 2 2 se s1e, x) = 1 s s2e 2 s1e 1 s1e s2e s1e 1 =

22 KLASIFIKACE PODLE MINIMÁLN LNÍ VZDÁLENOSTI

23 KLASIFIKACE PODLE MINIMÁLN LNÍ VZDÁLENOSTI diskriminační kuželové plochy se protínají v parabole a její průmět do obrazové roviny je přímka definovaná vztahem x 1 (x 11E -x 21E ) + x 2 (x 12E -x 22E ) - (x 2 12E + x2 11E -x2 21E -x2 22E )/2 = 0 Tato hraniční přímka mezi klasifikačními třídami je vždy kolmá na spojnici obou etalonů a tuto spojnici půlí klasifikátor pracující na základě kritéria minimální vzdálenosti je ekvivalentní lineárnímu klasifikátoru s diskriminačními funkcemi.

24 KLASIFIKACE PODLE MINIMÁLN LNÍ VZDÁLENOSTI Klasifikace podle minimální vzdálenosti s třídami reprezentovanými více etalony je ekvivalentní klasifikaci podle diskriminační funkce s po částech lineární hraniční plochou