Úvod Příklad Výpočty a grafické znázornění. Filip Habr. České vysoké učení technické v Praze Fakulta jaderná a fyzikálně inženýrská

Transkript

1 Neuronové sítě-delta učení Filip Habr České vysoké učení technické v Praze Fakulta jaderná a fyzikálně inženýrská 30. března 2009

2 Obsah prezentace Obsah prezentace Delta učení 1 Teorie k delta učení 2 Zadání příkladu 3 Vyhledání m j a M j výpočet standardizovaných hodnot 4 Standardizovaná tabulka 5 Výpočet prvních dvou iterací w 1 a w 2 a výsledného w 6 Grafické znázornění

3 Obsah prezentace Příprava dat Data X R m n je vhodné před spuštěním perceptronu standardizovat např. rozpětím: X new ij = X ij m j M j m j 0, 1 m j = min(x kj ) M j = max(x kj )

4 Obsah prezentace Delta učení y = f (x, w) y k = f (x k, w) k = y k y k p k (w) = k P(w) = m k=1 p k(w) = min P(w) = m k= k = m k=1 1 2 (y k y k) 2 = m k=1 1 2 (y k f (x k, w)) 2 = min

5 Obsah prezentace Delta učení Algoritmus w 0 R n+1 (malé), λ 0 > 0 náhodná volba k. vzoru, λ j = λ 0 1+j výpočet y k a k výpočet citlivosti sítě na váhy adaptace vah Učení hladkého perceptronu y = f (x, w) = tanh( n i=0 w ix i ) tanh(x,w) w i = (1 y 2 )x i w j+1 = w j + λ j k (1 y 2 k )x k

6 Příklad Zadání příkladu Tabulka hodnot: x 0 x 1 x 2 y* , , , ,

7 Příklad Zadání příkladu Tabulka hodnot: x 0 x 1 x 2 y* , , , , Výpočet m j a M j : m 1 = 1 m 2 = 2 M 1 = 8 M 2 = 7

8 Příklad Zadání příkladu Tabulka hodnot: x 0 x 1 x 2 y* , , , , Výpočet m j a M j : m 1 = 1 m 2 = 2 M 1 = 8 M 2 = 7 Standardizované hodnoty: x 0 x 1 x 2 y* 1 0 0, ,14 0, , ,28 0, ,28 0, ,43 0, ,43 0, ,57 0, ,71 0,

9 První iterace Zvolili jsme λ 0 = 1

10 První iterace Zvolili jsme λ 0 = 1 Jako první vzor jsme náhodně vybrali: k = 2

11 První iterace Zvolili jsme λ 0 = 1 Jako první vzor jsme náhodně vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0)

12 První iterace Zvolili jsme λ 0 = 1 Jako první vzor jsme náhodně vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0) y 2 = tanh( , , 3) = 0 y = tanh( n i=0 w ix i )

13 První iterace Zvolili jsme λ 0 = 1 Jako první vzor jsme náhodně vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0) y 2 = tanh( , , 3) = 0 y = tanh( n i=0 w ix i ) 2 = 1 0 = 1 k = y k y k

14 První iterace Zvolili jsme λ 0 = 1 Jako první vzor jsme náhodně vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0) y 2 = tanh( , , 3) = 0 y = tanh( n i=0 w ix i ) 2 = 1 0 = 1 k = y k y k w 1 = (0; 0; 0) + 1 ( 1) (1 0 2 ) (1; 0, 14; 0, 3) = ( 1; 0, 14; 0, 3) w j+1 = w j + λ j k (1 y 2 k )x k

15 První iterace Zvolili jsme λ 0 = 1 Jako první vzor jsme náhodně vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0) y 2 = tanh( , , 3) = 0 y = tanh( n i=0 w ix i ) 2 = 1 0 = 1 k = y k y k w 1 = (0; 0; 0) + 1 ( 1) (1 0 2 ) (1; 0, 14; 0, 3) = ( 1; 0, 14; 0, 3) w j+1 = w j + λ j k (1 y 2 k )x k Rovnice přímky tedy vypadá takto: 0, 3x 1 1x 2 0, 14 = 0

16 První iterace Zvolili jsme λ 0 = 1 Jako první vzor jsme náhodně vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0) y 2 = tanh( , , 3) = 0 y = tanh( n i=0 w ix i ) 2 = 1 0 = 1 k = y k y k w 1 = (0; 0; 0) + 1 ( 1) (1 0 2 ) (1; 0, 14; 0, 3) = ( 1; 0, 14; 0, 3) w j+1 = w j + λ j k (1 y 2 k )x k Rovnice přímky tedy vypadá takto: 0, 3x 1 1x 2 0, 14 = 0 Průsečík s osou x 1 je: 0, 47

17 První iterace Zvolili jsme λ 0 = 1 Jako první vzor jsme náhodně vybrali: k = 2 Váhový vektor jsme zvolili w 0 = (0; 0; 0) y 2 = tanh( , , 3) = 0 y = tanh( n i=0 w ix i ) 2 = 1 0 = 1 k = y k y k w 1 = (0; 0; 0) + 1 ( 1) (1 0 2 ) (1; 0, 14; 0, 3) = ( 1; 0, 14; 0, 3) w j+1 = w j + λ j k (1 y 2 k )x k Rovnice přímky tedy vypadá takto: 0, 3x 1 1x 2 0, 14 = 0 Průsečík s osou x 1 je: 0, 47 Průsečík s osou x 2 je: 0, 14

18 První iterace

19 Druhá iterace Jako druhý vzor jsme náhodně vybrali: k = 7

20 Druhá iterace Jako druhý vzor jsme náhodně vybrali: k = 7 y 7 = tanh(( 1) 1 + ( 0, 14) 0, 43 + ( 0, 3) 0, 8) = 0, 86

21 Druhá iterace Jako druhý vzor jsme náhodně vybrali: k = 7 y 7 = tanh(( 1) 1 + ( 0, 14) 0, 43 + ( 0, 3) 0, 8) = 0, 86 7 = 1 ( 0, 86) = 1, 86

22 Druhá iterace Jako druhý vzor jsme náhodně vybrali: k = 7 y 7 = tanh(( 1) 1 + ( 0, 14) 0, 43 + ( 0, 3) 0, 8) = 0, 86 7 = 1 ( 0, 86) = 1, 86 λ 1 = 0, 5 λ j = λ 0 1+j

23 Druhá iterace Jako druhý vzor jsme náhodně vybrali: k = 7 y 7 = tanh(( 1) 1 + ( 0, 14) 0, 43 + ( 0, 3) 0, 8) = 0, 86 7 = 1 ( 0, 86) = 1, 86 λ 1 = 0, 5 λ j = λ 0 1+j w 2 = ( 1; 0, 14; 0, 3) + 0, 5 1, 86 (1 ( 0, 86) 2 ) (1; 0, 43; 0, 8) = = (0, 73; 0, 6; 1, 08)

24 Druhá iterace Jako druhý vzor jsme náhodně vybrali: k = 7 y 7 = tanh(( 1) 1 + ( 0, 14) 0, 43 + ( 0, 3) 0, 8) = 0, 86 7 = 1 ( 0, 86) = 1, 86 λ 1 = 0, 5 λ j = λ 0 1+j w 2 = ( 1; 0, 14; 0, 3) + 0, 5 1, 86 (1 ( 0, 86) 2 ) (1; 0, 43; 0, 8) = = (0, 73; 0, 6; 1, 08) Rovnice přímky tedy vypadá takto: 0.6x x = 0

25 Druhá iterace Jako druhý vzor jsme náhodně vybrali: k = 7 y 7 = tanh(( 1) 1 + ( 0, 14) 0, 43 + ( 0, 3) 0, 8) = 0, 86 7 = 1 ( 0, 86) = 1, 86 λ 1 = 0, 5 λ j = λ 0 1+j w 2 = ( 1; 0, 14; 0, 3) + 0, 5 1, 86 (1 ( 0, 86) 2 ) (1; 0, 43; 0, 8) = = (0, 73; 0, 6; 1, 08) Rovnice přímky tedy vypadá takto: 0.6x x = 0 Průsečík s osou x 1 je: 1, 22

26 Druhá iterace Jako druhý vzor jsme náhodně vybrali: k = 7 y 7 = tanh(( 1) 1 + ( 0, 14) 0, 43 + ( 0, 3) 0, 8) = 0, 86 7 = 1 ( 0, 86) = 1, 86 λ 1 = 0, 5 λ j = λ 0 1+j w 2 = ( 1; 0, 14; 0, 3) + 0, 5 1, 86 (1 ( 0, 86) 2 ) (1; 0, 43; 0, 8) = = (0, 73; 0, 6; 1, 08) Rovnice přímky tedy vypadá takto: 0.6x x = 0 Průsečík s osou x 1 je: 1, 22 Průsečík s osou x 2 je: 0, 68

27 Druhá iterace

28 Konečná iterace-výsledek V posledním kroku jsme vybrali: k = 7

29 Konečná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y 7 = 0, 86

30 Konečná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y 7 = 0, 86 7 = 0, 36

31 Konečná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y 7 = 0, 86 7 = 0, 36 λ n =

32 Konečná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y 7 = 0, 86 7 = 0, 36 λ n = w n = ( 0, 73; 1, 49; 0, 94)

33 Konečná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y 7 = 0, 86 7 = 0, 36 λ n = w n = ( 0, 73; 1, 49; 0, 94) Rovnice přímky tedy vypadá takto: 1, 49x 1 + 0, 94x 2 + 0, 73 = 0

34 Konečná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y 7 = 0, 86 7 = 0, 36 λ n = w n = ( 0, 73; 1, 49; 0, 94) Rovnice přímky tedy vypadá takto: 1, 49x 1 + 0, 94x 2 + 0, 73 = 0 Průsečík s osou x 1 je: 0, 49

35 Konečná iterace-výsledek V posledním kroku jsme vybrali: k = 7 y 7 = 0, 86 7 = 0, 36 λ n = w n = ( 0, 73; 1, 49; 0, 94) Rovnice přímky tedy vypadá takto: 1, 49x 1 + 0, 94x 2 + 0, 73 = 0 Průsečík s osou x 1 je: 0, 49 Průsečík s osou x 2 je: 0, 78

36 Konečná iterace