Fiala P., Karhan P., Ptáček J. Oddělení lékařské fyziky a radiační ochrany Fakultní nemocnice Olomouc

Transkript

1 Neuronové sítě a možnosti jejich využití Fiala P., Karhan P., Ptáček J. Oddělení lékařské fyziky a radiační ochrany Fakultní nemocnice Olomouc

2 1. Biologický neuron Osnova 2. Neuronové sítě Umělý neuron - Perceptron Jednovrstvá neuronová síť Vícevrstvá neuronová síť se zpětným šířením (Back-propagation) 3. Aplikace NS - BP v praxi ukázky experimentu

3 Biologický neuron živá buňka zaměřená na sběr, zpracování a přenos informací. hustota neuronů v lidském mozku je asi 7 až 8 x 10 4 na 1 mm 2 na jeden neuron připadá asi 10 až 100 tis spojů s jinými neurony. Skládá se tělo (soma) - přicházejí informace ze vstupních větví vstupní větve (dendridy) - až 10 tis na každý neuron výstup (axon) - na svém konci mnohočetně rozvětven - výstupní signál závisí na vstupech - propojení neuronů je uskutečněno pomocí dendridů s pomocí speciálních výběžků - synapsí na dendridy nebo přímo na těla jiných neuronů.

4 Biologický neuron Synapse (elektrická, chemická) přes synapse se přenášejí vzruchy mezi neurony dovolují měnit hodnotu signálu, které přes něj procházejí v místě synaptické štěrbiny dochází ke změně koncentrace kladných a záporných iontů a tím propustnost membrány vně a uvnitř buňky změna membránového potenciálu Charakter synaptické vazby - inhibiční snižuje membránový potenciál - excitační zvyšuje membránový potenciál Aktivace neuronu - po překročení daného prahu membránového potenciálu (výstupní signál) Výstupní signál nelineární transformace (aktivační funkce) všech vstupních podnětů

5 schéma neuronu Biologický neuron 1 dendridy w 0 práh neuron aktivační funkce vstupní signál 1 vstupní signál 2 w 1 w 2 výstupní signál průchodnost synapsí

6 vstupy váhy práh x 1 x 2 x 3 w 1 w 2 w 3 Umělý neuron Perceptron vzor x = [x 1, x 2, x 3,.. x n ] w = [w 1, w 2, w 3,.. w n ] w 0 (při fiktivním vstupu x 0 =1) (binární klasifikátor) X 0 =1 w 0 () práh aktivace neuronu charakteristika neuronu výstup neuronu práh neuronu y f y N i1 w i x i () y x. n w n v neuronu pobíhají dva procesy: výpočet (post-synaptického) potenciálu výpočet hodnoty výstupu pomocí aktivační funkce, (skoková funkce, sigmoida ) Biologické neuronové sítě dendrit axon synapse průchodnost synapsí soma neuron Umělé neuronové sítě vstupní vedení výstupní vedení paměťové elementy synaptické váhy w příjem signálů, nelin. transformace matematický procesor

7 Aktivační funkce Skoková funkce (hardlim) Skoková limitní funkce (hardlims) Perceptron binární klasifikátor Lineární přechodová funkce (pureline) Saturační lineární funkce (satlin) Sigmoidální funkce (logsig) Aproximace biologického neuronu Hyperbolická tangenciální sigmoidální funkce (tansig)

8 Umělý neuron Perceptron (binární klasifikátor pro lineárně separovatelné n-dimenzionálni prostory) x 1 w 1 w 2 x 0 () w 0 Skoková funkce () 0 y 1 vstupy váhy práh aktivace neuronu charakteristika neuronu výstup neuronu x = [x 1, x 2, x 3,.. x n ] w = [w 1, w 2, w 3,.. w n ] w 0 (při fiktivním vstupu x 0 =1) () y vzor y f N i1 w i x i x 2 Rovnice hraniční přímky Směrnice přímky Posuv přímky na ose x2 x 2 X 1 X 1 Y x 2 X 1 X 1 Y Klasifikace do dvou tříd A a B x 1 Logická operace AND x 1 Logická operace OR x 2? X 1 X 1 Y NEŘEŠITELNÉ x 1 Logická operace XOR

9 Umělý neuron Perceptron (binární klasifikátor pro lineárně separovatelné n-dimenzionálni prostory) x 0 příklad x 1 x 2 w 1 w 2 () w 0 y Skoková funkce 0 () 1 y f N i1 w i x i A hraniční přímka B Vzor a jeho parametry vstup parametr x 1 x 2 výška délka vlasů Klasifikace do dvou tříd A a B třída Výstup y A = ŽENA 1 B = MUŽ 0

10 Umělý neuron Perceptron režim učení (s učitelem) Učení je proces, při kterém se snažíme nalézt vhodné jednotlivé váhy pro váhový vektor w a minimalizovat chybu mezi skutečným a požadovaných výstupem Učení probíhá na takových vzorech (x 1, x 2..x n ), u kterých známe do které třídy patří (A, B), tj. známou odezvu d Pro každou učební dvojici (vzor, známá odezva) provést vhodnou adaptaci vah fáze režimu učení 1 epocha krok 1: inicializace vah w a práh na malé náhodné hodnoty krok 2: předložení vstupní trénovací dvojice (vstupní vektor x, požadovaná odezva d) krok 3: porovnání požadované odezvy d se skutečnou y krok 4: podle výsledku úprava váhového vektoru w krok 5: předložení další trénovací dvojice z množiny (krok 2-4) krok 6: vyhodnotit úspěšnost klasifikace ukončit učení / zahájit další epochu (krok 2-5)

11 Umělý neuron Perceptron režim učení s binárními vstupy a výstupem fáze režimu učení Hebbovo pravidlo vstupy a výstupy nabývají hodnoty 0 nebo 1 1 epocha krok 1: inicializace vah w a práh na malé náhodné hodnoty (v čase t=0) krok 2: předložení vstupní trénovací dvojice (vstupní vektor x, požadovaná odezva d) krok 3: výpočet skutečné aktuální odezvy y podle a porovnání s požadovanou d y f N i1 w i x i krok 4: úprava vah je-li výstup y správný váhy se nemění je-li výstup y = 0 a měl by být d = 1, pak posílit váhy w i (t+1) = w i (t) + je-li výstup y = 1 a měl by být d = 0, pak oslabit váhy w i (t+1) = w i (t) - krok 5: předložení další trénovací dvojice z množiny (krok 2-4) krok 6: vyhodnotit úspěšnost klasifikace ukončit učení / zahájit další epochu (krok 2-5)

12 Umělý neuron Perceptron Geometrická interpretace procesu učení t=0 t=1 t=2 t=3 t=4 t=10 t=20 t=30 Střední kvadratická chyba E error 1 n n y i di i1 2

13 Umělý neuron režim vybavování neuronu krok 1: předložení neznámého vzoru (vstupní vektor x) krok 2: výpočet skutečné aktuální odezvy y y f N i1 w i x i krok 3: podle odezvy y zařadit vzor do příslušné třídy (A, B ) krok 4: pokud jsou další neznámé vzory opakovat kroky 1-3

14 Umělý neuron jednovrstvá neuronová síť M paralelně pracujících neuronů možnosti klasifikace počet vstupů x dimenze prostoru pro N=1 přímka, pro N=2 - rovina, N=3 3D prostor, N>3 těžko představitelný N-dimenzionální prostor počet neuronů M počet hraničních přímek resp. počet podprostorů dělících N-dimenzionální prostor = M-počet klasifikačních tříd (A, B,.Z) y 1 y 2 y M 2w 3 1w 1 Mw n x 1 x 2 x 3 x n

15 Počet vstupů x 1 X 1 2 X 1 X 2 parametr Věk Věk Výška Počet neuronů 2 (1) 3 3 X 1 X 2 X 3 Věk Výška Váha

16 Vícevrstvá perceptronová neuronová sít Back-propagation y 1 y 2 y K Výstupní vrstva Aktivace: dopředný směr 2 w ij 3 w ij Zpětné šíření chyby 2. vrstva (skrytá) 1. vrstva (skrytá) 1 w ij x 1 x 2 x 3 x 4 x n vstupní vrstva (rozdělené signálů)

17 Vícevrstvá perceptronová neuronová sít Back-propagation x 2 Schopnost řešit operaci XOR X 1 X 1 Y x x 2 y 3 x 2 x x 1 x 1 x 2

18 1. vrstva Vícevrstvá perceptronová neuronová sít Back-propagation 2,3, 4. vrstva atd. Princip Kolmogorova teorému: Abychom dokázali vyřešit jakýkoliv problém týkající se klasifikace vzorů, nebudeme nikdy potřebovat více než dvě vrstvy perceptronové sítě (bez vstupní vrstvy), tj. vystačíme si maximálně se dvěma vrstvami. Přehled problémů řešení BP- sítí

19 Vícevrstvá perceptronová neuronová sít Back-propagation Skoková přenosová funkce Sigmoidální přenosová funkce

20 fáze režimu učení krok 1: inicializace vah w a práh na malé náhodné hodnoty (v čase t=0) krok 2: předložení vstupní trénovací dvojice (vstupní vektor x, požadovaná odezva d) krok 3: výpočet aktuální odezvy každého neuronu v každé vrstvě (M-vrstev) s p s1 j f w i1 krok 4: úprava vah Vícevrstvá perceptronová neuronová sít s ij s i - pravidlo Back-propagation Postupný výpočet výstupů z jednotlivých vrstev. Výstupy z předchozí vrstvy = vstupy následující vrstvy 1 epocha w s ij ( t 1) w s ij ( t) s1 j s i kde M j y j ( 1 y j ) ( d j y j ) pro poslední vrstvu využitím momentového parametru zlepšení konvergence pro předcházející vrstvy - parametr učení ovlivňuje rychlost řízení učení ( 1) - momentový parametr zlepšuje konvergenci ( 1) krok 5: předložení další trénovací dvojice z množiny (krok 2-4) krok 6: vyhodnotit úspěšnost klasifikace ukončit učení / zahájit další epochu (krok 2-5)

21 Vícevrstvá perceptronová neuronová sít Back-propagation režim vybavování krok 1: předložení neznámého vzoru (vstupní vektor x) krok 2: výpočet skutečné aktuální odezvy y y f N i1 w i x i krok 3: podle odezvy y zařadit vzor do příslušné třídy (A, B ) krok 4: pokud jsou další neznámé vzory opakovat kroky 1-3

22 Výpočet vzorů Projekt Využití NS-BP pro segmentaci obrazu Výstupní vrstva 1 neuron klasifikace: y = 1 - zájmová tkáň y = 0 - pozadí+ostatní y = 0,5 - rozhodovací úroveň 0 1 vzor: n-okolí (liché) v obraze (5x5 pix) Centrální pixel Vstupy jednoho vzoru: x 1 : histogram normovaný x 2 : unsharp mask x 3 : intenzita v centrálním pixelu x 4 : průměr okolí x 5 : median okolí x 6 : modus okolí x 7 : směrodatná odchylka x 8 : entropie okolí x 9 : šum jako odmocnina z průměru okolí

23 Aplikační prostředí (NS - režim učení sítě)

24 Aplikační prostředí (NS - režim vybavování sítě)

25 segmentace CT obrazu (kostní tkáň) Návrh neuronové BP sítě y 9 vstupů 1. vrstva 10 neuronů 2. vrstva 4 neurony Výstupní vrstva 1 neuron 30 epoch, = 0,005 učební množina: 243 tis vzorů x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9

26 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

27 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

28 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

29 segmentace CT obrazu (plícní tkáň) Návrh neuronové BP sítě y 9 vstupů 1. vrstva 10 neuronů Výstupní vrstva 1 neuron 28 epoch, = 0,005 učební množina: 210 tis vzorů x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9

30 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

31 vstupní obraz parametrický obraz binární maska segmentace

32 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

33 segmentace CT obrazu (kostní + plícní tkáň) Návrh neuronové BP sítě y 9 vstupů 1. vrstva 10 neuronů Výstupní vrstva 1 neuron 28 epoch, = 0,005 učební množina: 210 tis vzorů x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9

34

35 vstupní obraz parametrický obraz binární maska segmentace

36 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

37 Návrh neuronové BP sítě segmentace NM obrazu (štítná žláza) y 9 vstupů 1. vrstva 10 neuronů 2. vrstva 4 neurony Výstupní vrstva 1 neuron 40 epoch, = 0,005 učební množina: 50 tis vzorů y x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9

38 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

39 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

40 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

41 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

42 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

43 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

44 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

45 vstupní obraz parametrický obraz výstup z NS segmentace parametrický obraz binární maska

46 Projekt Výhody: uložení zkušeností NS v podobě přednastavených vah možnost přidávat další vzory (obrazy) k naučení sítě časová náročnost naučení NS v řádově desítek sekund až několik minut časově rychlé vybavování sítě zobrazení výsledku Nevýhody: časová náročnost vypočtu vzorů u rozměrných obrazů, nikoliv vybavování sítě vhodnější provést výřez obrazu se zájmovou oblastí normalizace dat a interpretace výsledku Další projekt (rozpracován) detekce a hodnocení akumulace příštítných tělísek v NM

47 Několik typů neuronových sítí Typy neuronových sítí Každá neuronová síť je vhodná pro jiné třídy úloh. Podle přítomnosti učitele můžeme neuronové sítě dělit na sítě s učitelem a bez učitele Existuje celá řada neuronových sítí, např. Vícevrstvá perceptonová síť Hopfieldova síť Hammingova síť Kohonenovy samoorganizující se mapy Síť RBF... Některé neuronové sítě se mohou vzájemně doplňovat.

48 Typické úlohy pro neuronové sítě Modelování, Identifikace a Analýza systémů Optimalizace Predikce signálů (časových řad) Klasifikace Rozpoznávání obrazců Detekce poruch Např.: rozpoznávání písma, rukopisu, některé programy pro rozpoznávání řeči,

49 Děkuji za pozornost