Rosenblattův perceptron

Transkript

1 Perceptron

2 Přenosové funkce

3 Rosenblattův perceptron Rosenblatt r Inspirace lidským okem Podle fyziologického vzoru je třívrstvá: Vstupní vrstva rozvětvovací jejím úkolem je mapování dvourozměrného pole čidel na jednorozměrný vektor přenosových elementů Druhá vrstva detektory rysů detekce příznaků (démony) Třetí vrstva rozpoznávače vzorů Váhy na první a druhé vrstvě jsou pevné, váhy na třetí nastavujeme při učení (proto tuto vrstvu počítáme mezi jednovrstvé, i když jsou zde tři vrstvy)

4 Rosenblattův perceptron

5 Rosenblattův perceptron Vlastní procesorové elementy se liší podle vrstev (další obrázek) Přenosová charakteristika neuronu perceptronové vrstvy je následující: výstup je nulový, je-li vážený součet všech jeho vstupů nulový nebo záporný. V opačném případě je výstup roven jedné (Heavisideova aktivační funkce)

6 Rosenblattův perceptron základní prvky

7 Perceptron Rozdíl mezi McCulloch-Pittsovým perceptronem a perceptronem podle Rosenblatta lze vyjádřit takto: Rosenblatt = McCulloch-Pitts + učící algoritmus

8 Učící algoritmus perceptronu MP perceptron zjednodušený Rosenblattův (základem je vždy McCulloch-Pittsův perceptron)

9 Učící algoritmus perceptronu

10 Učící algoritmus perceptronu je chyba perceptronu (odchylka jeho skutečného binárního výstupu y od požadovaného d, s j je jeho vnitřní potenciál Symbol η značí učící krok (učící koeficient - nabývá hodnot <0,1)

11 Geometrická interpretace učení

12 Geometrická interpretace učení perceptron naučený pro klasifikaci

13 Lineárně separovatelné a neseparovatelné množiny (XOR funkce, kritika neuronových sítí 1969) Funkce OR lineárně separabilní Funkce XOR není lineárně separabilní, není možné řešit pomocí jednoduchého perceptronu kritika neuronových sítí Později bylo dokázáno, že libovolná transformace může být provedena neuronovou sítí s alespoň třemi vrstvami Kolmogorovův teorém

14 ADALINE (Adaptive Linear Neuron)

15 ADALINE (Adaptive Linear Neuron) Zatímco u klasického perceptronu je vstupem do učícího bloku dvouhodnotový výstup neuronu je u ADALINE vstupem vnitřní potenciál neuronu Učící algoritmus minimalizuje Euklidovu vzdálenost požadované odezvy sítě a vnitřního potenciálu neuronu, tedy střední kvadratickou odchylku (LMS-Least Mean Squares) Tomuto algoritmu se také říká Widrow-Hoffovo delta pravidlo (jde o gradientní metodu)

16 Hopfieldova síť Jednovrstvá síť, zpětnovazební (rekurzivní) a binární Neuronem Hopfieldovy sítě je klasický McCulloh-Pitsův perceptron Skládá se z tolika neuronů, kolik má vstupů (pokud např. učíme síť obrázky, odpovídá každý pixel jednomu neuronu Výstup každého neuronu se vede zpět na vstupy ostatních neuronů přes synaptické váhy w ij (tak vznikají zpětnovazebné smyčky) tím vzniká diagonálně symetrická matice vah (váhy na spojích z jednoho do druhého neuronu jsou stejné v obou směrech Práh je nulový Všechny signály jsou binární (nabývají hodnot 0,1 nebo 1,+1) Hopfieldova síť patří mezi asociativní paměti. Její odpovědí na předložený vzor je přímo nalezený vzor

17 Hopfieldova síť

18 Hopfieldova síť jiné znázornění (funkčně stejné s předchozím)

19 Hopfieldova síť Vstupy x 0,x 1,,x N-1 jsou vstupy sítě, µ 0, µ 1,, µ N-1 jsou stavy v jednotlivých časových krocích, které se v následujícím kroku stávají opět vstupy. Výstupy y 0,y 1, y N-1 jsou po téměř celou dobu funkce sítě neaktivní. To se změní až po dosažení stabilního stavu při vybavování, kdy se jejich hodnota nastaví na µ 0, µ 1,, µ N-1. Vybavování je iteračním procesem, a proto je smysluplným výstupem až stav neuronů po posledním časovém kroku

20 Hopfieldova síť učení Pro každý vzor vytvoříme dílčí matici dimenze NxN (N je počet vstupů). Tuto matici tvoří prvky, které vzniknou vynásobením i-tého vstupu s j-tým výstupem (je-li i=j, je prvek nulový). Výsledná čtvercová matice vah vznikne jako součet všech dílčích matic jednotlivých vzorů, kterých je M Používá se Hammingova metrika (součet absolutních hodnot rozdílu sobě odpovídajících vektorových souřadnic)

21 Hopfieldova síť vybavování

22 Hopfieldova síť příklad Příklad Hopfieldova síť s 120 neurony (obrazce 12x10 = 120 bodů) Trénování bude pomocí =14400 vahami Bylo natrénováno 8 vzorů. Ty byly vybrány tak, aby mezi vzory byla velká Hammingova vzdálenost (jinak by si byly vzory podobné a docházelo k chybám při vybavování)

23 Hopfieldova síť příklad Vybavování trojka, která byla z 25% poškozena (náhodně bylo invertováno 30 pixelů). Potom takto poškozený obraz by přiložen na vstup jednotlivé fáze iterace jsou patrné z obrázku. Při vybavování hledá Hopfieldova síť ten vzor, který má nejmenší Hammingovu vzdálenost od vstupního obrazu