Neuronové sítě Učení bipolárního perceptronu

Transkript

1 Neuronové sítě Učení bipolárního perceptronu

2 Základní pojmy bipolární perceptron vstupy a výstupy jsou ± Učení: vycházíme z kladných a záporných vzorů a učíme váhy w, w,..., w n ( n ) y = sign w k x k, x =, x k, y {, +} k= vzor (pattern) = uspořádaná dvojice vstupního signálu x a požadovaného (očekávaného) výstupu y (x T, y ) = (x, x,..., x n, y ) kladný vzor (x T, +) záporný vzor (x T, )

3 Základní pojmy množina vzorů S = {p, p 2,..., p m }, kde p i = (x T i, y i ) S = S + S počet vzorů: m = S, m + = S +, m = S Maticová reprezentace (X y ) X y p x x... x n y p m x m x m... x mn y m

4 Perfektní učení i =,..., m : i =,..., m : y i = yi ( n ) sign x ik w k k= = y i y i sign ( n ) sign x ik w k k= ( n ) sign x ik w k ( n k= k= x ik y i w k ) = y i /.y i = (y i ) 2 = =

5 Perfektní učení n k= n k= x ik y i w k >, i =,..., m x ik y i w k, i =,..., m n k= x ik w k, i =,..., m

6 Perfektní učení Máme dvě možnosti: soustava nerovnic nemá řešení musíme to řešit neperfektně 2 existuje alespoň jedno řešení (w, w,..., w n ) T R n+ a) existuje-li jedno, je jich nekonečně mnoho např. λ, (λw, λw,..., λw n ) T R n+ b) existuje (w, w,..., w n ) T Q n+ viz. Cramerovo pravidlo c) λ = nejmenší společný násobek (jm(w ),..., jm(w n )) tímto λ vynásobíme váhy z b) existuje (w, w,..., w n ) T Z n+ Závěr: existuje-li řešení soustavy nerovnic, pak existuje nekonečně mnoho celočíselných řešení

7 Perfektní učení x x x 2 y a + + b + + c d w w w 2 w + w w 2 w + w w 2 w w w 2

8 Perfektní učení x x x 2 y a + + b + + c d w w w 2 = w + w w 2 = w + w w 2 = w w w 2 = w = (,, ) T 2 2 2

9 Nastavení vah Nastavení vah Zajištění nenulového výstupu: (x,..., x n ) {, +} : sign n w k = 2j +, w k Z k= ( w + n k= Doplňková podmínka: (w,..., w n ) = min w + + w n = min w w 2 n = min max( w,..., w n ) = min x k w k )

10 Rosenblattovo učení Algoritmus náhodně vybereme vzor 2 vypočítáme výstup y a) y = y výstup odpovídá b) y y výstup neodpovídá y = + přičteme vzor k vahám y = odečteme vzor od vah w new = w + sign( ) x, = y y 3 pokračujeme dalším vzorem Konec algoritmu po čase přeruším náhodný výběr a systematicky proberu všechny vzory má-li soustava řešení, pak ho Rosenblattův algoritmus nalezne po konečném počtu kroků skutečný počet kroků roste exponenciálně s počtem vstupů

11 Rosenblattovo učení x x x 2 y a + + b c d posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T w w w 2 y y operace s w w () c: w + c w () + + b: w + b w (2) +2 d: w d w (3) +

12 Rosenblattovo učení x x x 2 y a + + b c d posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T w w w 2 y y operace s w w (3) + a: nic b: nic a: známe c: nic d: nic, konec w = (w, w, w 2 ) T = (,, ) T

13 Delta učení (Widrow Hoff) w new = w + λ x, λ >, = y y Rosenblattovo učení: pro y a λ = 2.

14 Delta učení x x x 2 y a + + b c d posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T λ =.8 w w w 2 y y w () : c:. w () :, 8, 8, 8 b:, 8 w (2) : 2, 4, 8, 8 d: 2, 4 w (3) :, 8 2, 4, 8

15 Delta učení x x x 2 y a + + b c d posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T λ =.8 w w w 2 y y w (3) :, 8 2, 4, 8 a: 4, (nic) b: 2, 4 (nic) a: známe c:, 8 w (4) : 2, 4, 8 2, 4

16 Delta učení x x x 2 y a + + b c d posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T λ =.8 w w w 2 y y w (4) : 2, 4, 8 2, 4 d:, 8 (nic) c: 4, (nic) a: 5, 6 (nic) b:, 8 (nic) w = ( 2, 4;, 8; 2, 4 ) T

17 Hebbovo učení w new = w + y x každý vzor bereme právě jednou Výhody a nevýhody: + je jednoduché + při učení nepotřebujeme y + výsledek učení nezávisí na pořadí vzorů + váhy lze snadno interpretovat nezaručuje perfektní učení w = X T y

18 Hebbovo učení x x x 2 y a + + b c d w w w 2 w () (+) a: + w () + (+) b: + + w (2) +2 2 (+) c: + + w (3) +3 ( ) d: w (4) w = (+2, 2, 2) T

19 Učení metodou LSQ y i = s i = n w k x ik, x i =, i =,... m k= Metoda je založena na soustavě rovnic w x + w x w n x n = y. w x m + w x m w n x mn = ym tj. Xw = y

20 Učení metodou LSQ musí být h(x y ) = h(x) a navíc pokud h(x) = n +, má soustava právě jedno řešení m y i yi = min i= Gauss: Xw = y X T (Xw) = X T y ( X T X ) w = X T y X T X w = ( X T X ) X T }{{} X + y X T X = regularizace LSQ w = ( X T X + λi ) X T y, λ > }{{} X [ + (X w = lim T X + λi ) ] X T y λ + }{{} X +

21 Učení metodou LSQ x x x 2 y LSQ: w = ( X T X ) X T y X T X = ( ) = h ( X T X ) = 2 X T X = ( X T X ) neexistuje

22 Učení metodou LSQ x x x 2 y Regularizace LSQ: λ =, λ = w = ( X T X + λi ) X T y, λ > λ + w = lim λ + [ (X T X + λi ) X T ] y

23 Učení metodou LSQ X T X + λi = 2 + λ λ 2 + λ ( X T X + λi ) : 2 + λ λ 2 + λ λ

24 Učení metodou LSQ 2 () () 2 4 () λ 2 +4λ λ 2 +4λ 2 λ 2 +4λ λ 2 +4λ

25 Učení metodou LSQ ( X T X + λi ) = λ 2 +4λ 2 λ 2 +4λ 2 λ 2 +4λ λ 2 +4λ X + = ( X T X + λi ) X T = λ 2 +4λ 2 λ 2 +4λ 2 λ 2 +4λ λ 2 +4λ = = λ λ 2 +4λ λ λ 2 +4λ λ λ 2 +4λ λ λ 2 +4λ = λ+4 λ+4 λ+4 λ+4

26 Učení metodou LSQ λ = λ = w = X + y = w = X + y = ( ( ) = ) = λ + w = X + y = ( ) =