Neuronové sítě. Biologický neuron. Modely neuronu. 1. Logický neuron (McCulloch, Pitts, 1943) w R, x, y {0, 1} Biologický neuron.

Transkript

1 Biologický euro Neuroové sítě Biologický euro Modely eurou Schéma eurou 1. Logický euro (McCulloch, Pitts, 1943) w R, x, y {0, 1} P. Berka, /23

2 2. DLINE (Widrow, 1960) x, w R, y {0, 1} SUM = w i x i i=1 y = 1 pro w i x i > w 0 i=1 y = 0 pro w i x i < w 0 i=1 Prostor atributů příjem koto příjem koto = 0 (aalogie s lieárí regresí) P. Berka, /23

3 3. Současé modely x, w R, y [0, 1] (ebo [-1,1]) Přeosové (aktivačí) fukce sigmoidálí fukce f(sum) = e - SUM ; v tomto případě výstup eurou y' abývá hodot z itervalu [0, 1], hyperbolický tages f(sum) = tah(sum); v tomto případě výstup eurou y' abývá hodot z itervalu [-1, 1]. Někdy aopak elieárí fukce chybí; resp. f(sum) = SUM. V tomto případě euro realizuje pouze vážeý součet vstupů P. Berka, /23

4 Schopost učeí Modifikace vah w a základě předložeých příkladů [x k, y k ] Učeí jako aproximace hledáme parametry daé fukce f(x) Hebbův záko w k+1 = w k + y k x k gradietí metoda Err(w) = 1 N 2 (y k - f(x k )) 2 k=1 d N dq (y k - f(x k )) 2 = 0 k=1 w k+1 = w k - Err(w) w pro y k = f(x k ) = w k x k = i w ik x ik w k+1 = w k + (y k - y k ) x k F = 1 (y w i 2 w k -y k) 2 = 1 i 2 k=1 k=1 2(y k -y k) (y w k - y k) = i k=1 (y k - y k) (y w k - w kx k) = i (y k - y k)(-x ik) i=1 P. Berka, /23

5 Chybová fukce pro lieárí aktivaci Chybová fukce pro skokovou aktivaci P. Berka, /23

6 Perceptro Roseblatt 1957, model zrakové soustavy (Kotek a kol., 1980) Hierarchický systém tvořeý třemi úrověmi: receptory (výstupy 0, 1) asociativí elemety (pevé váhy +1, -1) reagující elemety (vážeý součet i w i x i ) Učeí a úrovi reagujících elemetů P. Berka, /23

7 Problém oekvivalece: B B 1 T F F T 0 1 Obecěji: problém s úlohami, které ejsou lieárě separabilí Misky M., Pappert S.: Perceptros, a itroductio to computatioal geometry. MIT Press 1969 Tiché roky P. Berka, /23

8 Reesace euroových sítí, 80. léta složitější sítě - Hopfield, Hecht-Nielse, Rumelhart a Kohoe 1. schopost sítí aproximovat libovolou spojitou fukci pro libovolou logickou fukci v DNF formě stačí třívrstvá sít tvořeá z euroů pro kojukci, disjukci a egaci kojukce disjukce egace Např: oekvivalece B ( B) ( B) 2. ové algoritmy učeí P. Berka, /23

9 Vícevrstvý perceptro (MLP) Síť používaá pro klasifikaci resp. predikci 3 vrstvy: vstupí přeáší vstupí data dál skrytá výstupí ukazuje výsledek klasifikace resp. predikce sigmoidálí aktivačí fukce pro euroy ve skryté a výstupí vrstvě P. Berka, /23

10 Backpropagatio - algoritmus učeí s učitelem Miimalizace F(w) = 1 2 k=1 N (y vk - y vk ) 2 v výstupy Backpropagatio algoritmus 1. iicializuj váhy sítě malými áhodými čísly (apř. z itervalu [- 0.05,0.05]) 2. proveď 2.1. pro každý příklad [x,y] spočítej výstup ou pro každý euro u v síti pro každý euro v ve výstupí vrstvě spočítej chybu errorv = ov (1 - ov) (yv - ov) pro každý euro h ve skryté vrstvě spočítej chybu errorh = oh (1 - oh) v výstup (wh,v errorv ) pro každou vazbu vedoucí od eurou j do eurou k modifikuj váhu vazby wj,k = wj,k + wj,k, kde wj,k = errork xj,k dokud eí splěo kritérium pro zastaveí Kritéria zastaveí: počet iterací velikost chyby změa chyby mezi iteracemi P. Berka, /23

11 Implemetace (Weka) P. Berka, /23

12 RBF síť Síť používaá pro klasifikaci resp. predikci 3 vrstvy: vstupí přeáší vstupí data dál skrytá - RBF aktivačí fukce (apř. výstupí lieárí aktivačí fukce 1 exp ( x c) ) 1 exp ( x c 2 2 ) 2 P. Berka, /23

13 Implemetace (EM) P. Berka, /23

14 Rozdíl mezi MLP a RBF (Nauck, Klawo, Kruse, 1997) MLP klasifikuje globálě, RBF vytváří lokálí model MLP vhodější pro lieárě separabilí úlohy, RBF vhodější pro izolovaé eliptické shluky P. Berka, /23

15 Kohoeova mapa (SOM) Síť používaá pro segmetaci a shlukováí, kompetice mezi euroy (vítěz bere všecho). 2 vrstvy: vstupí přeáší vstupí data dál Kohoeova mapa aktivačí fukce x w laterálí ihibice vzdáleost od eurou učeí bez učitele: F(w) = 1 N 2 (x k - w) 2 k=1 w k+1 = w k + (x k - w k ) y k P. Berka, /23

16 Implemetace (Clemetie) Kohoeova mapa Nalezeé shluky P. Berka, /23

17 Způsob aplikace euroové sítě volba vhodé sítě (topologie, počet euroů) výběr tréovacích příkladů učeí sítě Typy úloh: klasifikace predikce asociace kódováí Prostor atributů příjem koto vyjadřovací síla vícevrstvého perceptrou euroové sítě jsou vhodější pro umerické atributy lze popsat složité shluky v prostoru atributů alezeé zalosti je obtížě iterpretovatelé P. Berka, /23

18 Klasifikace: Zařazeí ového objektu do jedé z tříd Úloha: vyhodocováí boity klieta baky Vstupy: údaje o žadateli Výstupy: doporučeí poskytout/eposkytout úvěr Řešeí: Typ sítě: MLP Vstupí vrstva: jede euro pro každý údaj o žadateli Výstupí vrstva: jede euro Skrytá vrstva:?? Učeí: iformace o dřívějších klietech + závěr baky P. Berka, /23

19 Predikce: Na základě historických dat předpověď dalšího vývoje Úloha: predikce vývoje směých kursů Vstupy: předchozí hodoty kursu Výstupy: budoucí hodota kurzu y t 0 t 1 t 2 t 3 t 4 t 5 t 6 t 7... t vstupy výstup y(t 0 ) y(t 1 ) y(t 2 ) y(t 3 ) y(t 4 ) [sig(y(t 4 ) - y(t 3 ))] y(t 1 ) y(t 2 ) y(t 3 ) y(t 4 ) y(t 5 ) [sig(y(t 5 ) - y(t 4 ))] y(t 2 ) y(t 3 ) y(t 4 ) y(t 5 ) y(t 6 ) [sig(y(t 6 ) - y(t 5 ))]... Řešeí: Typ sítě: MLP Vstupí vrstva: jede euro pro každou hodotu Výstupí vrstva: jede euro pro každou hodotu Skrytá vrstva:?? Učeí: historické + aktuálí údaje P. Berka, /23

20 Nový tred Deep Learig Neuroová síť s více skrytými vrstvami. Kovolučí euroová síť: hluboká (vícevrstvá), dopředá (feed-forward) euroová síť používaá pro aalýzu obrázků vrstvy jsou strukturováy ve 3 dimezích: výška, šířka, hloubka euroy z jedé vrstvy jsou spojey je s malou oblastí euroů v ásledující vrstvě výstupem ze sítě je vektor pravděpodobostí (skóre), orgaized alog the depth dimesio Kovolučí síť současě provádí předzpracováí (tvorbu přízaků) a klasifikaci P. Berka, /23

21 vícevrstvá vs. kovolučí síť Covolutio (combiatio of two fuctios): e.g. combies iput with a filter performig a matrix multiplicatio RELU: activatio fuctio f(x) = max(0,x) Poolig: o-liear dowsamplig (data compressio), e.g. max poolig P. Berka, /23

22 Metoda SVM 1. převést (pomocí vhodé datové trasformace) úlohy klasifikace do tříd, které ejsou lieárě separabilí a úlohu klasifikace do tříd lieárě separabilích 2 2 Φ ( x) Φ( x, x ) ( x, 2x x, ) z x2 2. alézt rozdělující adroviu, která má ejvětší odstup od trasformovaých příkladů z tréovací možiy (tzv. maximal margi hyperplae). Stačí pracovat s příklady, které leží ejblíže hledaé hraici mezi třídami P. Berka, /23

23 hledáme lieárí diskrimiačí fukci kde f ( x) w Φ( x) w w y i i (x ) i i (požadavek a adroviu s maximálím odstupem) 0 f ( x) i yi ( xi) ( x) w0 i Trik - pro výpočet lze použít jádrové fukce (kerel fuctios) f ( x) i yik( xi, x) w0 i Např. Polyomiálí jádro K(x i, x) = (x i x) d Gausovské jádro K(x i, x) = exp(- x i x 2 ) Hyperbolický taget K(x i, x) = tah( x i x + c) P. Berka, /23