Neuronové sítě Učení bipolárního perceptronu

Neuronové sítě Učení bipolárního perceptronu

Základní pojmy bipolární perceptron vstupy a výstupy jsou ± Učení: vycházíme z kladných a záporných vzorů a učíme váhy w, w,..., w n ( n ) y = sign w k x k, x =, x k, y {, +} k= vzor (pattern) = uspořádaná dvojice vstupního signálu x a požadovaného (očekávaného) výstupu y (x T, y ) = (x, x,..., x n, y ) kladný vzor (x T, +) záporný vzor (x T, )

Základní pojmy množina vzorů S = {p, p 2,..., p m }, kde p i = (x T i, y i ) S = S + S počet vzorů: m = S, m + = S +, m = S Maticová reprezentace (X y ) X y p x x... x n y p m x m x m... x mn y m

Perfektní učení i =,..., m : i =,..., m : y i = yi ( n ) sign x ik w k k= = y i y i sign ( n ) sign x ik w k k= ( n ) sign x ik w k ( n k= k= x ik y i w k ) = y i /.y i = (y i ) 2 = =

Perfektní učení n k= n k= x ik y i w k >, i =,..., m x ik y i w k, i =,..., m n k= x ik w k, i =,..., m

Perfektní učení Máme dvě možnosti: soustava nerovnic nemá řešení musíme to řešit neperfektně 2 existuje alespoň jedno řešení (w, w,..., w n ) T R n+ a) existuje-li jedno, je jich nekonečně mnoho např. λ, (λw, λw,..., λw n ) T R n+ b) existuje (w, w,..., w n ) T Q n+ viz. Cramerovo pravidlo c) λ = nejmenší společný násobek (jm(w ),..., jm(w n )) tímto λ vynásobíme váhy z b) existuje (w, w,..., w n ) T Z n+ Závěr: existuje-li řešení soustavy nerovnic, pak existuje nekonečně mnoho celočíselných řešení

Perfektní učení x x x 2 y a + + b + + c + + + d + + + w w w 2 w + w w 2 w + w w 2 w w w 2

Perfektní učení x x x 2 y a + + b + + c + + + d + + + w w w 2 = w + w w 2 = w + w w 2 = w w w 2 = 2 2 2 2 2 2 w = (,, ) T 2 2 2

Nastavení vah Nastavení vah Zajištění nenulového výstupu: (x,..., x n ) {, +} : sign n w k = 2j +, w k Z k= ( w + n k= Doplňková podmínka: (w,..., w n ) = min w + + w n = min w 2 + + w 2 n = min max( w,..., w n ) = min x k w k )

Rosenblattovo učení Algoritmus náhodně vybereme vzor 2 vypočítáme výstup y a) y = y výstup odpovídá b) y y výstup neodpovídá y = + přičteme vzor k vahám y = odečteme vzor od vah w new = w + sign( ) x, = y y 3 pokračujeme dalším vzorem Konec algoritmu po čase přeruším náhodný výběr a systematicky proberu všechny vzory má-li soustava řešení, pak ho Rosenblattův algoritmus nalezne po konečném počtu kroků skutečný počet kroků roste exponenciálně s počtem vstupů

Rosenblattovo učení x x x 2 y a + + b + + + c + + + d + + + posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T w w w 2 y y operace s w w () c: + + + w + c w () + + b: + + + w + b w (2) +2 d: + + + +2 + w d w (3) +

Rosenblattovo učení x x x 2 y a + + b + + + c + + + d + + + posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T w w w 2 y y operace s w w (3) + a: + +3 + + nic b: + + + + + nic a: známe c: + + + + + nic d: + + + nic, konec w = (w, w, w 2 ) T = (,, ) T

Delta učení (Widrow Hoff) w new = w + λ x, λ >, = y y Rosenblattovo učení: pro y a λ = 2.

Delta učení x x x 2 y a + + b + + + c + + + d + + + posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T λ =.8 w w w 2 y y w () : c:. w () :, 8, 8, 8 b:, 8 w (2) : 2, 4, 8, 8 d: 2, 4 w (3) :, 8 2, 4, 8

Delta učení x x x 2 y a + + b + + + c + + + d + + + posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T λ =.8 w w w 2 y y w (3) :, 8 2, 4, 8 a: 4, (nic) b: 2, 4 (nic) a: známe c:, 8 w (4) : 2, 4, 8 2, 4

Delta učení x x x 2 y a + + b + + + c + + + d + + + posloupnost: c, b, d, a; b, a, c, d; c, a, b, d;... počáteční váhy: w () = (,, ) T λ =.8 w w w 2 y y w (4) : 2, 4, 8 2, 4 d:, 8 (nic) c: 4, (nic) a: 5, 6 (nic) b:, 8 (nic) w = ( 2, 4;, 8; 2, 4 ) T

Hebbovo učení w new = w + y x každý vzor bereme právě jednou Výhody a nevýhody: + je jednoduché + při učení nepotřebujeme y + výsledek učení nezávisí na pořadí vzorů + váhy lze snadno interpretovat nezaručuje perfektní učení w = X T y

Hebbovo učení x x x 2 y a + + b + + + c + + + d + + + w w w 2 w () (+) a: + w () + (+) b: + + w (2) +2 2 (+) c: + + w (3) +3 ( ) d: w (4) +2 2 2 w = (+2, 2, 2) T

Učení metodou LSQ y i = s i = n w k x ik, x i =, i =,... m k= Metoda je založena na soustavě rovnic w x + w x +... + w n x n = y. w x m + w x m +... + w n x mn = ym tj. Xw = y

Učení metodou LSQ musí být h(x y ) = h(x) a navíc pokud h(x) = n +, má soustava právě jedno řešení m y i yi = min i= Gauss: Xw = y X T (Xw) = X T y ( X T X ) w = X T y X T X w = ( X T X ) X T }{{} X + y X T X = regularizace LSQ w = ( X T X + λi ) X T y, λ > }{{} X [ + (X w = lim T X + λi ) ] X T y λ + }{{} X +

Učení metodou LSQ x x x 2 y + + + + + LSQ: w = ( X T X ) X T y X T X = ( ) = 2 2 2 2 2 h ( X T X ) = 2 X T X = ( X T X ) neexistuje

Učení metodou LSQ x x x 2 y + + + + + Regularizace LSQ: λ =, λ = w = ( X T X + λi ) X T y, λ > λ + w = lim λ + [ (X T X + λi ) X T ] y

Učení metodou LSQ X T X + λi = 2 + λ 2 2 2 + λ 2 + λ ( X T X + λi ) : 2 + λ 2 2 2 + λ 2 + λ 2 2 2 + λ

Učení metodou LSQ 2 ()2 4 2 2 2 () 2 4 () 2 4 2 λ 2 +4λ λ 2 +4λ 2 λ 2 +4λ λ 2 +4λ

Učení metodou LSQ ( X T X + λi ) = λ 2 +4λ 2 λ 2 +4λ 2 λ 2 +4λ λ 2 +4λ X + = ( X T X + λi ) X T = λ 2 +4λ 2 λ 2 +4λ 2 λ 2 +4λ λ 2 +4λ = = λ λ 2 +4λ λ λ 2 +4λ λ λ 2 +4λ λ λ 2 +4λ = λ+4 λ+4 λ+4 λ+4

Učení metodou LSQ λ = λ = w = X + y = w = X + y = 5 5 3 4 4 2 5 5 3 4 4 2 ( ( ) = ) = 2 3 2 2 λ + w = X + y = 4 4 2 4 4 2 ( ) =