Support Vector Machines (jemný úvod)

Transkript

1 Support Vector Machines (jemný úvod)

2 Osnova Support Vector Classifier (SVC) Support Vector Machine (SVM) jádrový trik (kernel trick) klasifikace s měkkou hranicí (soft-margin classification) hledání optimálních parametrů

3 Formulace úlohy dáno: {x i, y i } n i=1 x i R p příznaky y i { 1, 1} třídy úloha: klasifikovat nové x R p do třídy 1 nebo 1

4 Motivace která přímka nejlépe odděluje instance daných dvou tříd?

5 Motivace která přímka nejlépe odděluje instance daných dvou tříd?

6 Přístup Support Vector Classifier (SVC) rozhodovací funkce f (x) = sign(w x + b)

7 Přístup SVC (2) myšlenka: maximalizace hranice o šířce d = 2 w

8 Přístup SVC (2) myšlenka: maximalizace hranice o šířce d = 2 w za podmínky správné klasifikace: w x i + b +1, když y i = +1 w x i + b 1, když y i = 1

9 Formulace optimalizační úlohy argmax w,b { 2 w } za podmínky správné klasifikace: w x i + b +1, když y i = +1 w x i + b 1, když y i = 1 nebo ekvivalentně: y(w x i + b) 1

10 Formulace optimalizační úlohy argmax w,b { 2 w } za podmínky správné klasifikace: w x i + b +1, když y i = +1 w x i + b 1, když y i = 1 nebo ekvivalentně: y(w x i + b) 1 ekvivalentně (formulace 1): argmin w,b { 1 2 w 2 } za podmínky správné klasifikace: y i (w x i + b) 1

11 Formulace optimalizační úlohy argmax w,b { 2 w } za podmínky správné klasifikace: w x i + b +1, když y i = +1 w x i + b 1, když y i = 1 nebo ekvivalentně: y(w x i + b) 1 ekvivalentně (formulace 1): argmin w,b { 1 2 w 2 } za podmínky správné klasifikace: y i (w x i + b) 1 ekvivalentně (chce se zbavit omezení) (formulace 2): L p = 1 2 w 2 n i=1 α i[(w x i + b)y i 1] L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n i=1 α i argmin w,b L p za podmínky: α i 0 α i - Lagrangeovy multiplikátory

12 Formulace optimalizační úlohy Primární a duální úloha L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n argmin w,b L p (za podmínky α i 0) i=1 α i

13 Formulace optimalizační úlohy Primární a duální úloha L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n argmin w,b L p (za podmínky α i 0) Lze ukázat: i=1 α i argmin w,b L p za podm. C 1 argmax w,b L p za podm. C 2 C 1 : Lp α i C 2 : Lp w = 0, α i 0 (odpovídá podm. správné klasifikace) = 0, Lp b = 0, α i 0

14 Formulace optimalizační úlohy Primární a duální úloha L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n argmin w,b L p (za podmínky α i 0) Lze ukázat: i=1 α i argmin w,b L p za podm. C 1 argmax w,b L p za podm. C 2 C 1 : Lp α i = 0, α i 0 (odpovídá podm. správné klasifikace) C 2 : Lp Lp w = 0, b = 0, α i 0 Hledám extrém L p : L p w = w n i=1 α ix i y i = 0

15 Formulace optimalizační úlohy Primární a duální úloha L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n argmin w,b L p (za podmínky α i 0) Lze ukázat: i=1 α i argmin w,b L p za podm. C 1 argmax w,b L p za podm. C 2 C 1 : Lp α i = 0, α i 0 (odpovídá podm. správné klasifikace) C 2 : Lp Lp w = 0, b = 0, α i 0 Hledám extrém L p : L p w = w n i=1 α ix i y i = 0 w = n i=1 α ix i y i

16 Formulace optimalizační úlohy Primární a duální úloha L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n argmin w,b L p (za podmínky α i 0) Lze ukázat: i=1 α i argmin w,b L p za podm. C 1 argmax w,b L p za podm. C 2 C 1 : Lp α i = 0, α i 0 (odpovídá podm. správné klasifikace) C 2 : Lp Lp w = 0, b = 0, α i 0 Hledám extrém L p : L p w = w n i=1 α ix i y i = 0 w = n i=1 α ix i y i = n i=1 α iy i = 0 L p b

17 Formulace optimalizační úlohy Primární a duální úloha L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n argmin w,b L p (za podmínky α i 0) Lze ukázat: i=1 α i argmin w,b L p za podm. C 1 argmax w,b L p za podm. C 2 C 1 : Lp α i = 0, α i 0 (odpovídá podm. správné klasifikace) C 2 : Lp Lp w = 0, b = 0, α i 0 Hledám extrém L p : L p w = w n i=1 α ix i y i = 0 w = n i=1 α ix i y i L p b = n i=1 α iy i = 0 Substitucí do L p získáme duální úlohu: L d = n i=1 α i 1 2 i,j α iα j x i x j y i y j argmax αi L d (za podmínky α i 0)

18 Optimalizační úlohy Rekapitulace formulace 1: argmin w,b { 1 2 w 2 } (za podm.: y i (w x i + b) 1)

19 Optimalizační úlohy Rekapitulace formulace 1: argmin w,b { 1 2 w 2 } (za podm.: y i (w x i + b) 1) p + 1 parametrů, n lin. omezení

20 Optimalizační úlohy Rekapitulace formulace 1: argmin w,b { 1 2 w 2 } (za podm.: y i (w x i + b) 1) p + 1 parametrů, n lin. omezení formulace 2: L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n i=1 α i argmin w,b L p (za podmínky α i 0)

21 Optimalizační úlohy Rekapitulace formulace 1: argmin w,b { 1 2 w 2 } (za podm.: y i (w x i + b) 1) p + 1 parametrů, n lin. omezení formulace 2: L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n i=1 α i argmin w,b L p (za podmínky α i 0) p + 1 parametrů, n omezení

22 Optimalizační úlohy Rekapitulace formulace 1: argmin w,b { 1 2 w 2 } (za podm.: y i (w x i + b) 1) p + 1 parametrů, n lin. omezení formulace 2: L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n i=1 α i argmin w,b L p (za podmínky α i 0) p + 1 parametrů, n omezení formulace 3: L d = n i=1 α i 1 2 i,j α iα j x i x j y i y j argmax αi L d (za podmínky α i 0)

23 Optimalizační úlohy Rekapitulace formulace 1: argmin w,b { 1 2 w 2 } (za podm.: y i (w x i + b) 1) p + 1 parametrů, n lin. omezení formulace 2: L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n i=1 α i argmin w,b L p (za podmínky α i 0) p + 1 parametrů, n omezení formulace 3: L d = n i=1 α i 1 2 i,j α iα j x i x j y i y j argmax αi L d (za podmínky α i 0) n parametrů, n omezení

24 Optimalizační úlohy Rekapitulace formulace 1: argmin w,b { 1 2 w 2 } (za podm.: y i (w x i + b) 1) p + 1 parametrů, n lin. omezení formulace 2: L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n i=1 α i argmin w,b L p (za podmínky α i 0) p + 1 parametrů, n omezení formulace 3: L d = n i=1 α i 1 2 i,j α iα j x i x j y i y j argmax αi L d (za podmínky α i 0) n parametrů, n omezení data x i vystupují pouze ve formě součinů x i x j

25 Optimalizační úlohy Rekapitulace formulace 1: argmin w,b { 1 2 w 2 } (za podm.: y i (w x i + b) 1) p + 1 parametrů, n lin. omezení formulace 2: L p = 1 2 w 2 n i=1 α i[(w x i + b)y i ] + n i=1 α i argmin w,b L p (za podmínky α i 0) p + 1 parametrů, n omezení formulace 3: L d = n i=1 α i 1 2 i,j α iα j x i x j y i y j argmax αi L d (za podmínky α i 0) n parametrů, n omezení data x i vystupují pouze ve formě součinů x i x j většina α i nulových, α i = 1 > 0 právě pro support vectors

26 Řešení optimalizační úlohy Rozhodovací funkce f (x) = sign(w x + b) w = n i=1 α ix i y i

27 Řešení optimalizační úlohy Rozhodovací funkce f (x) = sign(w x + b) w = n i=1 α ix i y i jak získat b?

28 Řešení optimalizační úlohy Rozhodovací funkce f (x) = sign(w x + b) w = n i=1 α ix i y i jak získat b? pro lib. support vector: y i (w x i + b) = 1 b = 1 y i w x i

29 Řešení optimalizační úlohy Rozhodovací funkce f (x) = sign(w x + b) w = n i=1 α ix i y i jak získat b? pro lib. support vector: y i (w x i + b) = 1 b = 1 y i w x i prakticky: b = P i,α i >0 ( 1 y i w x i ) P αi

30 Řešení optimalizační úlohy Rozhodovací funkce f (x) = sign(w x + b) w = n i=1 α ix i y i jak získat b? pro lib. support vector: y i (w x i + b) = 1 b = 1 y i w x i prakticky: b = P i,α i >0 ( 1 y i w x i ) P αi tedy konečně dostáváme: f (x) = sign( n i=1 α iy i x i x + b)

31 Trik s jádrem (Kernel trick) Rozhodovací funkce: f (x) = sign( n i=1 α iy i x i x + b)

32 Trik s jádrem (Kernel trick) Rozhodovací funkce: f (x) = sign( n i=1 α iy i x i x + b) Pozorování: příznaky x se vyskytují pouze ve formě skalárním součinu: x i x

33 Trik s jádrem (Kernel trick) Rozhodovací funkce: f (x) = sign( n i=1 α iy i x i x + b) Pozorování: příznaky x se vyskytují pouze ve formě skalárním součinu: x i x skalární součin x 1 x 2 lze nahradit jádrem K (x 1, x 2 )

34 Trik s jádrem (Kernel trick) Rozhodovací funkce: f (x) = sign( n i=1 α iy i x i x + b) Pozorování: příznaky x se vyskytují pouze ve formě skalárním součinu: x i x skalární součin x 1 x 2 lze nahradit jádrem K (x 1, x 2 ) K (x 1, x 2 ) = φ(x 1 ) φ(x 2 )

35 Trik s jádrem (Kernel trick) Rozhodovací funkce: f (x) = sign( n i=1 α iy i x i x + b) Pozorování: příznaky x se vyskytují pouze ve formě skalárním součinu: x i x skalární součin x 1 x 2 lze nahradit jádrem K (x 1, x 2 ) K (x 1, x 2 ) = φ(x 1 ) φ(x 2 ) jádro může realizovat operaci odpovídající skalárnímu součinu ve vysokorozměrném prostoru

36 Trik s jádrem (Kernel trick) Rozhodovací funkce: f (x) = sign( n i=1 α iy i x i x + b) Pozorování: příznaky x se vyskytují pouze ve formě skalárním součinu: x i x skalární součin x 1 x 2 lze nahradit jádrem K (x 1, x 2 ) K (x 1, x 2 ) = φ(x 1 ) φ(x 2 ) jádro může realizovat operaci odpovídající skalárnímu součinu ve vysokorozměrném prostoru použitím jádra se z SVC stávají SVM

37 Trik s jádrem (Kernel trick) Rozhodovací funkce: f (x) = sign( n i=1 α iy i x i x + b) Pozorování: příznaky x se vyskytují pouze ve formě skalárním součinu: x i x skalární součin x 1 x 2 lze nahradit jádrem K (x 1, x 2 ) K (x 1, x 2 ) = φ(x 1 ) φ(x 2 ) jádro může realizovat operaci odpovídající skalárnímu součinu ve vysokorozměrném prostoru použitím jádra se z SVC stávají SVM Používaná jádra: polynomiální: K (x 1, x 2 ) = (x 1 x 2 + 1) q Gaussian radial-basis function (RBF): K (x 1, x 2 ) = exp{ x 1 x 2 2 2σ 2 } hyperbolický tangens: K (x 1, x 2 ) = tanh{β 1 x 1 x 2 + β 2 }

38 Trik s jádrem (Kernel trick) Příklad Polynomiální jádro stupně q = 2: K (x, y) = (x y + 1) 2, x, y R 2 operuje v prostoru R 6 :

39 Trik s jádrem (Kernel trick) Příklad Polynomiální jádro stupně q = 2: K (x, y) = (x y + 1) 2, x, y R 2 operuje v prostoru R 6 : x φ(x) = {x 2 1, x 2 2, 2x 1 x 2, 2x 1, 2x 2, 1}

40 Trik s jádrem (Kernel trick) Příklad Polynomiální jádro stupně q = 2: K (x, y) = (x y + 1) 2, x, y R 2 operuje v prostoru R 6 : x φ(x) = {x 2 1, x 2 2, 2x 1 x 2, 2x 1, 2x 2, 1} y φ(y) = {y 2 1, y 2 2, 2y 1 y 2, 2y 1, 2y 2, 1}

41 Trik s jádrem (Kernel trick) Příklad Polynomiální jádro stupně q = 2: K (x, y) = (x y + 1) 2, x, y R 2 operuje v prostoru R 6 : x φ(x) = {x 2 1, x 2 2, 2x 1 x 2, 2x 1, 2x 2, 1} y φ(y) = {y 2 1, y 2 2, 2y 1 y 2, 2y 1, 2y 2, 1} φ(x) φ(y) = x 2 1 y x 2 2 y x 1x 2 y 1 y 2 + 2x 1 y 1 + 2x 2 y 2 + 1

42 Trik s jádrem (Kernel trick) Příklad Polynomiální jádro stupně q = 2: K (x, y) = (x y + 1) 2, x, y R 2 operuje v prostoru R 6 : x φ(x) = {x 2 1, x 2 2, 2x 1 x 2, 2x 1, 2x 2, 1} y φ(y) = {y 2 1, y 2 2, 2y 1 y 2, 2y 1, 2y 2, 1} φ(x) φ(y) = x 2 1 y x 2 2 y x 1x 2 y 1 y 2 + 2x 1 y 1 + 2x 2 y (x y + 1) 2 = (x 1 y 1 + x 2 y 2 + 1) 2 = x 2 1 y x 2 2 y x 1x 2 y 1 y 2 + 2x 1 y 1 + 2x 2 y 2

43 Ukázka jader

44 Klasifikace s měkkou hranicí Soft-margin classification Motivace: Řešení: Jak: třídy nemusejí být oddělitelné přesto chceme SVM použít dovolit SVM udělat malou chybu argmin w,b { 1 2 w 2 } +C n i=1 ξ i za podm. téměř správné klasifikace: y i (w x i + b) 1 ξ i C představuje regularizační konstantu C = odpovídá původní formulaci separabilní úlohy C se hledá nejčastěji pomocí křížové validace

45 SVM v praxi fungují velmi dobře časová složitost trénování: O(n 2 ) uživatel volí typ jádra a parametry parametry se hledají typicky křížovou validací po natrénování si stačí pamatovat support vectors

46 Klasifikace do více tříd SVM umí rozlišovat jen do dvou tříd možná řešení klasifikace do K tříd: jeden proti všem : K úloh: klasifikace třídy k proti zbytku, vítěz bere vše K (K 1) jeden na jednoho : 2 úloh: klasifikace třídy k 1 proti k 2, hlasování

47 Rozšíření SVM SVM regression detekce nečekaných pozorování novelty detection

48 Literatura Christopher J.C. Burges: A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining and Knowledge Discovery (1998), volume 2, p Hastie T., Tibshirani R., Friedman J.: The Elements of Statistical Learning, Springer New York Inc., 2001, New York, NY, USA, tibs/elemstatlearn/