Kohonenova mapa - opakování

Transkript

1 Kohonenova mapa - opakování Organizační dynamika: Jednovrstvá sít y 1 y k y h w k1 w ki w kn x 1 x i x n Mezi neurony je navíc zavedena topologická struktura (tj. neurony tvoří uzly neorientovaného grafu). V drtivé většině případů je tato struktura bud jednorozměrná řada jednotek nebo dvojrozměrná mřížka. 1

2 Kohonenova mapa Aktivní dynamika: Pro vstup x R n a k = 1,..., h: x 1 k = arg min i=1,...,h wi y k = 0 jinak Adaptivní dynamika: V adaptivním režimu využijeme topologickou strukturu. Označme d(c, k) délku nejkratší cesty z neuronu c do neuronu k v topologické struktuře. Pro neuron c a dané s N 0 definujeme okolí neuronu c velikosti s takto: N s (c) = {k d(c, k) s} V kroku t po předložení vstupu x t adaptujeme každé w k takto: w (t) w (t 1) + θ ( x = k t w (t 1) ) k N k s (c) k w (t 1) jinak k kde c = arg min i=1,...,h x t w (t 1) i a kde θ R a s N 0 jsou parametry, které se mohou v průběhu učení měnit. 2

3 Kohonenova mapa - adaptivní dynamika Obecnější formulace adaptivní dynamiky: w (t) = w (t 1) + Θ(c, k) ( x w (t 1) ) k k k kde c = arg min i=1,...,h x t w (t 1) i. Předchozí případ potom odpovídá θ k N s (c) Θ(c, k) = 0 jinak Obvykle se používá plynulejší přechod mezi nenulovými a nulovými hodnotami, např. ( ) d(c, k) 2 Θ(c, k) = θ 0 exp σ 2 kde θ 0 R určuje maximální míru změny vah a σ R je šířka (oba parametry se mohou v průběhu měnit). 3

4 4 LVQ - klasifikace - opakování Přepodkládejme, že máme náhodně generované vzory tvaru ( x t, d t ) kde x t R n je vektor vlastností a d t {C 1,..., C q } určuje jednu z q tříd. Cílem je klasifikovat vstupy do tříd na základě znalosti vlastností, tj. každému x t chceme přiřadit třídu tak, abychom minimalizovali pravděpodobnost chyby. Př.: Po pásu jede náhodně naházené ovoce dvou druhů: jablka a meruňky. Námi sledovaná data budou ( x t, d t ) kde x t R 2, první vlastnost je hmotnost, druhá je průměr d t je bud J nebo M v závislosti na tom, jestli je daný kus jablko nebo meruňka Připouštíme možnost, že se najde jablko a meloun se stejnými mírami. Cílem je třídit ovoce na základě hmotnosti a průměru.

5 5 LVQ - klasifikace - opakování Využijeme vektorovou kvantizaci (Kohonenovu mapu) takto: 1. Natrénujeme mapu na vektorech vlastností x t kde t = 1,..., l. 2. Jednotlivé neurony označíme třídami. Třídu v c neuronu c nalezneme takto: Pro každý neuron c a třídu C i spočítáme četnost vzorů třídy C i, které jsou reprezentovány neuronem c. Toto lze provést jedním průchodem přes vzory Neuronu c přiřadíme třídu s maximální četností. 3. Doladíme sít pomocí algoritmu LVQ. Klasifikaci pomocí natrénované sítě provádíme takto: Na vektor vlastností x aplikujeme natrénovanou sít v aktivním režimu. Právě jeden neuron, řekněme c, bude mít výstup 1. Potom vstup zařadíme do třídy v c.

6 LVQ1 - opakování 6 Postupně projdi tréninkové vzory. Pro vzor ( x t, d t ) urči nejbližší neuron c c = arg min xt w i i=1,...,h Potom uprav váhy neuronu c takto: w (t) w (t 1) c c = w (t 1) c + α( x t w (t 1) c ) d t = v c α( x t w (t 1) c ) d t v c Parametr α by měl být od počátku malý (cca ) a postupně klesnout k 0. Hranice mezi třídami vytvořená pomocí LVQ1 je poměrně dobrou aproximací bayesovské rozhodovací hranice.

7 7 Oceánografická data Zdroj: Patterns of ocean current variability on the West Florida Shelf using the self-organizing map. Y. Liu a R. H. Weisberg, JOURNAL OF GEOPHYSICAL RESEARCH, 2005 Zkoumá se vývoj proudění vod v oceánu kolem pobřeží Floridy

8 Oceánografická data 8 11 měřicích stanic, 3 hloubky (hladina, dno, mezi) data: 2D vektory rychlosti (a směru) proudění měřeno po hodinách, hodin Celkově tedy řádků 66 dimenzionálních položek. Kohonenova mapa: mřížka 3 4 okolí dána Gaussovou funkcí ( ) d(c, k) 2 Θ(c, k) = θ 0 exp σ 2 se zmenšující se šířkou (navíc je tam lineárně se zmenšující rychlost učení, kterou se násobí změna polohy neuronů)

9 Oceánografická data - mapa 9

10 Oceánografická data 10 křížky označují vítězné neurony (po hodinách) ovlivněno lokálními fluktuacemi pozorovatelný trend: v zimě neurony 1-6 (jiho-východ) v létě neurony (severo-západ)

11 Oceánografická data 11 Srovnání směru větru a proudění vody (znatelná korelace) vítr: směr čáry = směr větru ; délka čáry = intenzita proudění vody v procentech úspěšnosti skupin neuronů

12 12 Analýza pohádek bratří Grimmů Zdroj: Contextual Relations of Words in Grimm Tales, Analyzed by Self-Organizing Map. T. Kohonen, T. Honkela a V. Pulkki, ICANN, 1995 Cílem je vizualizovat syntaktické a sémantické kategorie slov v pohádkách (v závislosti na kontextu). Vstup: Pohádky bratří Grimmů (srozumitelně kódované pomocí proudu 270-dimenzionálních vektorů) uvažují se trojice slov (předchůdce, klíč, následník) každá položka v trojici se zakóduje náhodně vybraným 90-dimenzionálním reálným vektorem (trojice má tedy dimenzi 270) Sít : Kohonenova mapa, neuronů, váhy neuronů jsou tvaru w = (w p, w k, w n ) kde w p, w k, w n R 90.

13 Analýza pohádek bratří Grimmů Adaptace: Sít je natrénována na trojicích po sobě jdoucích slov z pohádek Pozn. Tréninkovou sadu tvořilo 150 nejpoužívanějších slov se zprůměrovaným kontextem. Hrubé učení: iterací; Dolad ování: Nakonec 150 nejčastěji použitých slov označuje neurony: slovem u je označen ten neuron, pro jehož váhy w = (w p, w k, w n ) platí, že w k je nejblíže kódu slova u. 13

14 Analýza pohádek bratří Grimmů - výsledek 14

15 Konvoluční sítě Zbytek přednášky je založen na nové online knize Neural Networks and Deep Learning, autor Michael Nielsen. Konvoluční sítě jsou v současné době nejlepší metodou pro klasifikaci obrázků z databáze ImageNet. Jejich počátky sahají do 90. let sít LeNet-5 Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE,

16 Konvoluční sítě vs MNIST (ilustrace) 16 MNIST: Databáze (označkovaných) obrázků rukou psaných číslic: tréninkových, testovacích. Dimenze obrázků je 28 x 28 pixelů, jsou vycentrované do "těžiště" jednotlivých pixelů a normalizované na fixní velikost Více na Databáze se používá jako standardní benchmark v mnoha publikacích o rozpoznávání vzorů (nejen) pomocí neuronových sítí. Lze porovnávat přesnost klasifikace různých metod.

17 Konvoluční sítě - local receptive fields Každý neuron je spojen s polem 5 5 neuronů v nižší vrstvě (toto pole se nazývá local receptive field) Neuron je "standardní": Počítá vážený součet vstupů, na výsledek aplikuje aktivační funkci. 17

18 Konvoluční sítě - stride length Velikost posun vedle sebe ležících polí je stride length. Celá skupina neuronů (tj. všechny polohy) je feature map. Všechny neurony z dané feature map sdílí váhy a bias! 18

19 Feature maps 19 Každá feature map "reprezentuje" nějakou vlastnost vstupu. (v libovolné poloze ve vstupu) Typicky se uvažuje několik feature maps v jedné vrstvě.

20 Natrénované feature maps 20 (zde 20 feature maps, receptive fields 5 5)

21 Pooling Neuron v pooling vrstvě počítá funkci svého pole: Max-pooling : maximum hodnot neuronů L2-pooling : odmocnina ze součtu druhých mocnin hodnot neuronů Average-pooling : aritmetický průměr 21

22 Jednoduchá konvoluční sít obraz na vstupu, 3 feature maps, každá má svůj max-pooling (pole 5 5, stride = 1), 10 výstupních neuronů. Každý neuron ve výstupní vrstvě bere vstup z každého neuronu v pooling layer. Trénuje se typicky zpětnou propagací, kterou lze snadno upravit pro konvoluční sít (přepočítají se derivace).

23 Konvoluční sít 23

24 Jednoduchá konvoluční sít vs MNIST 24 dvě konvoluční-pooling vrstvy, jedna 20, druhá 40 feature maps, dvě úplně propojené vrstvy ( ), výtupní vrstva (10) Aktivační funkce feature maps a plně propojených: ReLU max-pooling výstupní vrstva: soft-max Chybová fce: negative log-likelihood V podstatě stochastický gradientní sestup (ve skutečnosti mini-batch velikosti 10) rychlost učení 0.03 L2 regularizace s "váhou"λ = dropout s pravd. 1/2 trénink 40 epoch (tj. vše se projde 40 krát) Datová sada upravena posouváním o jeden pixel do libovolného směru. Nakonec použito hlasování pěti sítí.

25 Konvoluční sít - Theano 25

26 MNIST 26 Z obrázků databáze MNIST, pouze těchto 33 bylo špatně klasifikováno:

27 Složitější konvoluční sít 27 Konvoluční sítě byly použity pro klasifikaci obrázků z databáze ImageNet (16 milionů barevných obrázků, 20 tisíc kategorií)

28 ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) 28 Soutěž v klasifikaci nad podmnožinou obrázků z ImageNet. V roce 2012: tréninková množina 1.2 milionů obrázků z 1000 kategorií. Validační množina , testovací Mnoho obrázků obsahuje více objektů za správnou odpověd se typicky považuje, když je správná kategorie mezi pěti, jimž sít přiřadí nejvyšší pravděpodobnost (top-5 kritérium).

29 29 KSH sít ImageNet classification with deep convolutional neural networks, by Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton (2012). Trénováno na dvou GPUs (NVIDIA GeForce GTX 580) Výsledky: úspěšnost 84.7 procenta v top-5 (druhý nejlepší alg procent) 63.3 procenta v "absolutní" klasifikaci

30 ILSVRC Stejná sada jako v roce 2012, top-5 kritérium. Sít GoogLeNet: hluboká konvoluční sít, 22 vrstev Výsledky: procent top-5 Jsou lidé stále schopni obstát proti tomuhle?

31 Superhuman GoogLeNet?! 31 Andrej Karpathy:...the task of labeling images with 5 out of 1000 categories quickly turned out to be extremely challenging, even for some friends in the lab who have been working on ILSVRC and its classes for a while. First we thought we would put it up on [Amazon Mechanical Turk]. Then we thought we could recruit paid undergrads. Then I organized a labeling party of intense labeling effort only among the (expert labelers) in our lab. Then I developed a modified interface that used GoogLeNet predictions to prune the number of categories from 1000 to only about 100. It was still too hard - people kept missing categories and getting up to ranges of 13-15% error rates. In the end I realized that to get anywhere competitively close to GoogLeNet, it was most efficient if I sat down and went through the painfully long training process and the subsequent careful annotation process myself... The labeling happened at a rate of about 1 per minute, but this decreased over time... Some images are easily recognized, while some images (such as those of fine-grained breeds of dogs, birds, or monkeys) can require multiple minutes of concentrated effort. I became very good at identifying breeds of dogs... Based on the sample of images I worked on, the GoogLeNet classification error turned out to be 6.8%... My own error in the end turned out to be 5.1%, approximately 1.7% better.