Regresní lineární model symboly

Transkript

1

2 Lneární model, Dskrmnační analýza, Podůrné vektory Regresní lneární model symboly Použté značení b arametry modelu (vektor ) očet atrbutů (skalár) N očet říkladů (skalár) x jeden říklad (vektor ) x -tá hodnota říkladu x (skalár) X matce všech říkladů (matce N ) X -tý říklad (vektor ) y výstuní hodnota (skalár) Y vektor výstuů ( ) Y -tý výstu (skalár) b = x = X = X = Y = N N

3 Regresní lneární model úvod znalost uložena v koefcentech lneárního modelu odvození koefcentů metodou nejmenších čtverců (MNČ) exstují modely lnearzovatelné (nař. logtový model) Lneární model: Lneární model, Dskrmnační analýza, Podůrné vektory y b 0 j x j b j Predkce: yˆ x x b ˆ alaeomath.alass.org

4 Lneární model, Dskrmnační analýza, Podůrné vektory Regresní lneární model vlastnost často svou řesností řekonají nelneární modely, zejména v stuac, když je málo trénovacích dat slný bas (ředojatost), menší odíl chyby varance vstuní velčna x může být různě transformována: x, sn(x), x x, log(x), jsou tyto modely lneární? y=b 0 +b x y=b 0 sn(x ) y=b 0 +b x + b 0 b x y=b 0 sn(b x ) y=b 0 +b x+ b e x y=x + x b zajímá nás jak určt arametry b nterval solehlvost těchto arametrů jak regresní model oužít ke klasfkac

5 Lneární model, Dskrmnační analýza, Podůrné vektory Regresní lneární model b Odvození hodnot arametrů modelu tak, aby chyba ve výstuní velčně byla co nejmenší. Výočet chyby: metoda nejmenších čtverců RSS b y X b Y Xb Y Xb Po dervac odle b získáme tvar: N RSS b RSS X Y Xb X X bb

6 Lneární model, Dskrmnační analýza, Podůrné vektory Regresní lneární model b Postavím. dervac rovnu 0 X Y Xb 0 bˆ X X X Y Pro konečný model tedy latí: Yˆ X bˆ X X X X Y Pokud X X je matce sngulární (není nvertblní), arametry b nejsou jednoznačně určeny. Lze ubrat atrbuty (zůsobují atrbuty lneárně závslé korelace = ±). Co zůsobuje sngulartu matce X X? Jak j lze odstrant?

7 Lneární model, Dskrmnační analýza, Podůrné vektory Regresní lneární model nterval solehlvost b Y Xb Předoklad je, že, kde ε N(0,σ ) Kovaranční matc arametru b vyočteme jako: Cov b X X, kde ˆ Y Yˆ Y N Odhadu arametru b odléhá normálnímu rozložení Yˆ b Hyotézu H 0 : b =0 osoudíme odle Z-skóre. Čím je absolutní hodnota z větší, s tím větší ravděodobností lze H 0 zamítnout z b v N b, X X kde v je -tý rvek na hlavní dagonále matce (X X) -

8 Lneární model, Dskrmnační analýza, Podůrné vektory Lneární model klasfkace bnární o klasfkac rozhoduje vzdálenost od rovny třídy nahrazeny čísly 0 a nebo - a je defnována rozhodovací hrance (= krtcká hodnota, rahová hodnota) kódování 0/ krtcká hodnota = 0,5 kódování -/ krtcká hodnota = 0 Klasfkace: Gˆ x : : fˆ fˆ x x 0 0 neuron.felk.cvut.cz

9 Lneární model, Dskrmnační analýza, Podůrné vektory Lneární model klasfkace vícerozměrná mějme třídy g,,g K vytvoření K modelů, řčemž ro každý: vytvořena nová data, resektve nová výstuní velčna G matce G (ndcator matrx) má rozměr NK hodnoty matce tvořeny a 0 (odle říslušnost do třídy) naučeno K modelů f Klasfkace: Gˆ x arg max.. K fˆ x Jak se vytváří tzv. ndcator matrx?

10 Lneární model, Dskrmnační analýza, Podůrné vektory Lneární model klasfkace vícerozměrná rotože G je obdélníková matce, matce arametrů B je obdélníková aralelně se během výočtu vytvoří K lneárních modelů G XB G X X X X G B X X X G G N K B K

11 Lneární model, Dskrmnační analýza, Podůrné vektory Lneární model klasfkace vícerozměrná roblém s maskováním třídy (když rostřední shluk = 0, ostatní = ; funkce této substtuce vede středem třídy a bude maskována jednou z krajních tříd) he elements of statstcal learnng by. Haste and col. Co je to maskování tříd, čím je zůsobeno?

12 Lneární model, Dskrmnační analýza, Podůrné vektory Dskrmnační analýza o klasfkac rozhoduje hustota ravděodobnost dané třídy (nebo vzdálenost od růměru třídy v rostoru transformovaném kovaranční matcí a arorní ravděodobností) kovaranční matce v LDA (lneární dskrmnační analýze) je jedna solečná kovaranční matce ro všechny třídy v QDA (kvadratcké dskrmnační analýze) má každá třída svoj kovaranční matc dskrmnační skór = funkce vyjadřující vzdálenost vztahy rozšřovány o arorní ravděodobnost (vyočtená z četnost v trénovacích datech)

13 Lneární model, Dskrmnační analýza, Podůrné vektory Lneární dskrmnační analýza vs. PCA PCA mění souřadný systém tak, aby v co nejmenším očtu souřadnc vysvětlla celkový roztyl v datech LDA ředokládá stejný roztyl, maxmalzuje rozdíl v růměrech jednotlvých tříd

14 Lneární dskrmnační analýza (LDA) ro bnární roblém stejná jako lneární model ř vícerozměrné klasfkac zamezuje maskování tříd ředokládá vícerozměrné gausovské rozdělení tříd solečná kovaranční matce ro všechny třídy je možné rozšířt rostor vstuních atrbutů o jejch transformace (mocnna, ) Klasfkace: x arg max x arg max x ln ˆ k.. k.. k G Lneární model, Dskrmnační analýza, Podůrné vektory kde je arorní ravděodobnost -té třídy

15 LDA odvození odvození vycházející z Bayesova vzorce Dále se ředokládá normální rozložení dat (D h) Lneární model, Dskrmnační analýza, Podůrné vektory D D h h h D 0 0 ln h h D h D h h h D h D h x x x e N e N ; ;

16 LDA odvození arorní ravděodobnost odvozena z četností π=n k /N kovaranční matce se vyočte řes všechna data ro klasfkac mez dvěma třídam lze odvodt: Lneární model, Dskrmnační analýza, Podůrné vektory ln ln ln ln ln x x x x x x x x x e e D h h D h h D h D h

17 Lneární model, Dskrmnační analýza, Podůrné vektory LDA rozdělení rostoru he elements of statstcal learnng by. Haste and col.

18 Kvadratcká dskrmnační analýza (QDA) okud odlšné rozložení v jednotlvých třídách kovaranční matce ro každou třídu Klasfkace: Gˆ x arg max.. k Lneární model, Dskrmnační analýza, Podůrné vektory arg max.. k ln k x x x ln kde je arorní ravděodobnost -té třídy

19 Lneární model, Dskrmnační analýza, Podůrné vektory Příklad V evdenc je 400 acentů s vážnou nemocí. U každého je zaznamenána anamnéza a rovedeno vyšetření. Pacent jsou rozdělen do tří skun. V rvní skuně jsou t, kteří zemřel do 0 dnů o říchodu. Pacent z druhé skuny zemřel o delší době než 0 dnů nebo měl trvalé následky. řetí skuna je komletně vyléčená. Následující tabulka ukazuje konkrétní nformace získané z těchto údajů. Nový acent má hodnoty vstuních testů x=(5;7). Do které ze skun atří? (dle QDA). třída 3 N (5;5) (4;8) (6;9) Σ 3 x arg max ln x x ln ˆ.. k G

20 Lneární model, Dskrmnační analýza, Podůrné vektory Řešení =N /N (x) = -4,08 (x) = -4,58 3 (x) = -3,7 ln5 0 x ln Největší dskrmnační skór má oslední (třetí) skuna, acent má značnou šanc na vyléčení.

21 Lneární model, Dskrmnační analýza, Podůrné vektory Suort Vector Machnes Podůrné vektory Jak oddělt následující třídy omocí lneární rovnce f(x)=0? maování do nového říznakového rostoru Kam umístt hranc? otmální searující nadrovna

22 Lneární model, Dskrmnační analýza, Podůrné vektory SVM otmální searující nadrovna

23 Výočet otmální searující nadrovny model má N arametrů α, řešením je vektor nenulových arametrů α ty získáme maxmalzací účelové funkce: za odmínek: Lneární model, Dskrmnační analýza, Podůrné vektory 0; y 0 α,j α α j y y j x x j k nalezení otma se oužívá kvadratcké rogramování (obdoba lneárního rogramování, účelová funkce je však kvadratcká v neznámém arametru α)

24 Lneární model, Dskrmnační analýza, Podůrné vektory SVM nastavený model f N x sgn y x x N je očet trénovacích rvků, váha, nenulová u SV (odůrné vektory, ty jedné ak má smysl uložt)

25 Lneární model, Dskrmnační analýza, Podůrné vektory SVM kde je roblém v účelové funkc a fnálním modelu oužt skalární součn v ůvodním rostoru atrbutů (x.x ) aby bylo možné využít síly SVM, je žádoucí vytvoření celé řady nových atrbutů (z 5 nař ) ř transformac nař.(x,x ) na (x,x,x,x,x x,x 3,...) je třeba nejdříve každou nstanc řeočítat (rozšířt), až oté lze mez rvky v novém vícerozměrném rostoru očítat skalární součn a to stojí soustu času a takových transformací je třeba vyzkoušet více a hledat tu nejleší Lze to zjednodušt?

26 Lneární model, Dskrmnační analýza, Podůrné vektory SVM jádrová funkce k k(x,x ) x x h(x) h(x),h(x ) h(x ) h(x), h(x ) = k(x,x )

27 Lneární model, Dskrmnační analýza, Podůrné vektory SVM jádrový trk ve vzorc Původní vztah ro výočet otmální searující nadrovny: A jeho úrava skalární součn v novém říznakovém rostoru f N x sgn y kx, x b

28 Lneární model, Dskrmnační analýza, Podůrné vektory SVM jádrové funkce d dmenzí Vyočt skalární součn bodů x=(;) a x =(3;4) A) v ůvodním rostoru a v olynomálním rozšíření vstuního rostoru ř d= B) bez C) s kernelovým trkem A) Skalární součn x,x =.3+.4 = B) Skalární součn v 6-rozměrném rostoru (olynomální jádrová funkce. stuně): ( (.3) + (.4) ) = = 44 C) oto lze však vyočíst římo z jádrové funkce a ůvodního -rozměrného rostoru: K(x,x ) = (+ x,x ) = ( + ) = 44

29 Lneární model, Dskrmnační analýza, Podůrné vektory SVM říklad Kolk bodů (SV = suort vectors = odůrných vektorů) je třeba uložt, aby bylo možno klasfkovat následující rvky?