Aplikace teorie neuronových sítí

Transkript

1 Aplikace teoie neonoých sítí Doc. RND. Ieta Mázoá, CSc. Kateda teoetické infomatiky Matematicko-fyzikální faklta Uniezity Kaloy Paze

2 Aplikace teoie neonoých sítí - modely založené na samooganizaci - Doc. RND. Ieta Mázoá, CSc. Kateda teoetické infomatiky Matematicko-fyzikální faklta Uniezity Kaloy Paze

3 Učení bez čitele Učení bez čitele: Samooganizace a shlkoání Motiace: Síť sama ozhodne, kteá odeza e po daný zo nelepší a podle toho nastaí sé áhy Poblém: Učit počet a ozložení shlků příznakoém posto I. Mázoá: ATNS (NAIL013) 3

4 Učení bez čitele (2) Kompetiční čení: Bo o páo epezentoat předložený zo Potlačoání sopeřů INHIBICE Paidlo ítěz bee še (WTA Winne_takes_all) Posiloané čení (einfocement): Důaz na co nelepší epodkci stpů I. Mázoá: ATNS (NAIL013) 4

5 Kompetiční čení bez čitele n ozměný stpní zo e zpacoáán pomocí takoého počt neonů, kteý odpoídá (předpokládaném) počt shlků Neony tomto případě počítaí (Eklidosko) zdálenost mezi předloženým zoem a sým áhoým ektoem I. Mázoá: ATNS (NAIL013) 5

6 Kompetiční čení bez čitele (2) V kompetici ítězí neon, kteý ke neblíže předloženém zo Vítězný neon bde neaktiněší a bde potlačoat inhiboat aktiit ostatních neonů I. Mázoá: ATNS (NAIL013) 6

7 Kompetiční čení bez čitele (2a) Inhibice pomocí lateálních spoů > lateální inhibice Po ozhodntí, zda bde neon aktiní nebo ne, e ntná globální infomace o sta šech neonů síti Aktiita neon signalize příslšnost předloženého stp ke shlk ektoů epezentoaných tímto neonem I. Mázoá: ATNS (NAIL013) 7

8 Kompetiční čení bez čitele (3) Vítězný neon zadapte sé áhy směem k předloženém zo: Δ w α ( w ) plasticita sítě (během čení pomal klesá) Cíl: Umístit neony do střed shlků zoů Zachoat iž ytořeno stkt sítě I. Mázoá: ATNS (NAIL013) 8

9 Kompetiční čení bez čitele (4) Uychlení poces čení: Vhodná inicializace ah Např. podle náhodně ybaných zoů Poblémy: Mté (neyžité) neony Mřížka Kohonenoě stě Topologické okolí neon Řízená kompetice a mechanisms sědomí I. Mázoá: ATNS (NAIL013) 9

10 Kohonenoy mapy Teo Kohonen fonetický psací sto Topologické okolí NE (O) NE (t 1 ) I. Mázoá: ATNS (NAIL013) 10

11 Kohonenů model algoitms čení Motiace: Mřížka, na níž so spořádané neony, možňe identifikaci nebližších sosedů daného neon půběh čení se aktalizí áhy příslšných neonů i eich sosedů Cíl: sosední neony by měly také eagoat na elmi podobné signály I. Mázoá: ATNS (NAIL013) 11

12 Kohonenůmodel algoitms čení (5) Definice okolí: V ednoozměné Kohonenoě mapě patří do okolí neon k s poloměem 1 neony k 1 a k + 1 Neony na obo koncích ednoozměné Kohonenoy mapy maí asymetické okolí V 1 ozměné Kohonenoě mapě patří do okolí neon k o polomě šechny neony, kteé so od k zdáleny až o pozic dolea či dopaa Obdobně po íceozměné Kohonenoy mapy a zoleno metik na mřížce (čtecoá, heagonální, ) I. Mázoá: ATNS (NAIL013) 12

13 Kohonenůmodel algoitms čení (6) Fnkce lateální inteakce Φ(i,k): ~ síla lateální azby mezi neony i a k během čení Příklad: Φ(i,k)1 i z okolí k s poloměem a Φ(i,k)0 ostatní i Fnkce meického klobok a další I. Mázoá: ATNS (NAIL013) 13

14 Kohonenoy samooganizící se příznakoé mapy: algoitms Kok 1: Zol hodnoty ah mezi N stpmíni a M ýstpními neony ako malé náhodné hodnoty. Zol počáteční polomě okolí a fnkci lateální inteakce Φ. Kok 2: Předlož noý ténoací zo. Kok 3: Spočíte zdálenosti d mezi stpním a áhoým ektoem po každý ýstpní neon pomocí: d N 1 i 0 () t w () t ( ) i Kde i (t) e stpem neon i čase t a w i (t) e áho synapse ze stpního neon i k ýstpním neon čase t. Tto zdálenost lze pait áhoým koeficientem a předat kompetiční stě. i I. Mázoá: ATNS (NAIL013) 14 2

15 Kohonenoy samooganizící se příznakoé mapy: algoitms (2) Kok 4: Vybe (např. pomocí lateální inteakce) takoý ýstpní neon c, kteý má minimální d a označ ho ako ítěze. Kok 5: Váhy se aktalizí po neon c a šechny neony okolí definoaném pomocí N c. Noé áhy so: w i (t+1) w i (t) + α(t) Φ(c,) ( i (t) w i (t) ) Po N c ; 0 i N-1 α(t) e igilanční koeficient ( 0 < α(t) < 1), kteý klesá čase (igilance ~ bdělost). I. Mázoá: ATNS (NAIL013) 15

16 Kohonenoy samooganizící se příznakoé mapy: algoitms (3) Po olb α(t) by mělo platit: α Při poces čení tak ítězný neon paí sů áhoý ekto směem k aktálním stpním ekto. Totéž platí po neony okolí ítěze. Hodnota fnkce Φ(c,) klesá s ostocí zdáleností neonů od střed okolí N c. Kok 6: Předi ke Kok 2. () 2 t α () t < t 1 t 1 I. Mázoá: ATNS (NAIL013) 16

17 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) Kok 1: inicializte ektoy synaptických ah: m i ( 0 ) i ; i 1, K, p - inicializace pomocí ténoacích zoů omeze ýskyt patologických eů při čení založeném na algoitm NNR Kok 2: po náhodný ténoací zo ( t ) nadi nebližší ítězný ekto synaptických ah m ( t) m t t min m t t 2 2 kde 1 + K + n Kok 3: aktalizte ekto ítězných synaptických ah t pomocí algoitmů UCL, SCL1 anebo SCL2 m ( ) ( ) ( ) ( ) ( ) 2 i I. Mázoá: ATNS (NAIL013) 17 i

18 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (2) Kompetiční čení bez čitele UCL: ~ nspeised competitie leaning ( ) ( ) [ m ( ) ( )] t + 1 m t + c t t m t m i ( t + 1) m i ( t ) estliže i Paamet čení: {c t } e pomal klesaící poslopnost paametů čení, např. c t 0.1 ( 1 t / 2000 ), esp. c t 1 / t Konegence k lokálním minim: t 1 c t t 1 2 c t I. Mázoá: ATNS (NAIL013) 18 <

19 I. Mázoá: ATNS (NAIL013) 19 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (3) Kompetiční čení s čitelem 1 SCL1: ~ speised competitie leaning 1 Jiný zápis: Posiloací fnkce po čení s čitelem: i D D i I I ( ) ( ) ( ) ( ) [ ] ( ) () () () [ ] () ( ) ( ) i t m t m D t t m t c t m D t t m t c t m t m i i t t estliže 1 estliže estliže 1 ( ) ( ) ( ) ( ) [ ] t m t c t m t m t + + 1

20 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (4) Kompetiční čení s čitelem 2 SCL2: ~ speised competitie leaning 2 ( ) ( ) [ m ( ) ( )] t + 1 m t ct t m t m ( + ) () + [ () ()] l t 1 ml t ct t ml t estliže D namísto l D a estliže e m ( t ) nebližší ekto synaptických ah a m l ( t ) e další nebližší ekto synaptických ah: m t t < ml t t min mi t i m t + 1 m t po šechny ostatní případy () ( ) ( ) ( ) ( ) ( t ) i ( ) ( ) i I. Mázoá: ATNS (NAIL013) 20

21 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (5) Difeenciální kompetiční čení DCL: ~ diffeential competitie leaning Kombinace difeenciálního Hebboského a kompetičního čení: m ( )[ ( ) ] i S y S i i m i ( ( )[ m ( ) ]) S y S m kde S S K, S a m m,, m ( ) ( ) ( ) ( ) ( ) 1 1, n n 1 K m i označe áh synapse mezi i tým neonem stpní sty F X a tým neonem kompetiční sty F Y S i, S so nezáponé přenosoé fnkce I. Mázoá: ATNS (NAIL013) 21 n

22 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (6) Difeenciální kompetiční čení DCL (pokačoání): m i a S ( y ) označí deiace m i a S ( y ) čase, obykle: S po něako konstant c > 0 ( y ) cy e tý neon ítězí kompetici, estliže S 1, a poháá, estliže S 0 I. Mázoá: ATNS (NAIL013) 22

23 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (7) Difeenciální kompetiční čení DCL (pokačoání): m se adapte poze případě, že se hodnota S ( y ) mění ozdíl poti klasickém kompetičním čení: m i S ( y ) [ S i ( i ) - m i ] m se adapte případě, že -tý neon yhál kompetici I. Mázoá: ATNS (NAIL013) 23

24 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (8) Difeenciální kompetiční čení DCL: Kok 1: Inicializace: m i ( 0) ( i) Kok 2: Nadi ítězný m : ( t ) m t t min mi t i Kok 3: Aktalizace ítězného m ( t) : m t + 1 m t + c Δ S y t S m i ( ) ( ) ( ) ( t ) ( ) ( ) ( ) ( t + 1) m ( t ) i t ( )[ ( ( t )) m ( t )] estliže -tý neon ítězí estliže i tý neon poháá I. Mázoá: ATNS (NAIL013) 24

25 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (9) Difeenciální kompetiční čení DCL (pokačoání): Δ S ( y ( t ) ) předstae změn kompetičního signál S ( y ) tého neon z kompetiční sty: Δ S ( y ( t ) ) sgn [ S ( y ( t + 1 ) ) - S ( y ( t ) ) ] Opeáto signm defineme následoně: Aditiní aktalizace y e stě F Y : y sgn ( ) n ( t + 1) y () t + S i ( i () t ) m i ( t ) S k ( y k ( t )) w k + i estliže estliže estliže I. Mázoá: ATNS (NAIL013) 25 > < p k 0 0 0

26 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (10) Difeenciální kompetiční čení DCL (zednodšení): S i ( i ( t ) ) i Jeden ítěz každé iteaci y k w k, k značí ítězný neon Matice W ( p p ) : K 1 Každý neon F Y S m kóde isto tříd zoů S m cos S (, m ) ( ) ( ) ( ) W n i i 1 M 1 m () t Pozitiní čení ( m i >0) nastáá případě, že systém klasifike do nebližší třídy D i + O K 2 O O 1 1 I. Mázoá: ATNS (NAIL013) 26 + M 2

27 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (11) Difeenciální kompetiční čení DCL (zednodšení): Lineání data dáaí často elké hodnoty po i m i t : to způsobe sataci signálů S ΔS 0 ~ při kompetici neso patné žádné změny n i () X Δ y ~zůstáá citliost ůči změnám při kompetici) I. Mázoá: ATNS (NAIL013) 27

28 Kompetiční AVQ-algoitmy (Adaptie Vecto Qantization) (12) Difeenciální kompetiční čení DCL (zednodšení): Topologie sítě DCL: Učení bez čitele Konegence (ychleší než SCL) Pocházení centoidů I. Mázoá: ATNS (NAIL013) 28

29 Segmentace hlobkoých map Pochoý model: epezente poch obekt pomocí gaf, kteý yadře sosednost ploch na poch obekt Poch ako gaf fnkce: S { (, y, z ) ; z f (, y ) D R} Segmentace ~ozdělení pilů hlobkoé mapy do shlků, kteé epezentí hladné oblasti poch ohaničené nespoitými kontami poch I. Mázoá: ATNS (NAIL013) 29

30 Segmentace hlobkoých map (2) Půodní obázek Undesegmentation Oesegmentation I. Mázoá: ATNS (NAIL013) 30

31 Segmentace hlobkoých map (3) Hanoý přístp: Detekce pilů mapy předstaících nespoitosti plochy a eich klasifikace ako skokoé, osté nebo oblé hany Detekoané pily han so pak nazáem pospooány do han Fagmentace han, kteé e pak ntné spooat pomocí ůzných heistik Vyhlazoací opeátoy po edkci šm ozmýaí hany do íce pilů obtížněší lokalizace han I. Mázoá: ATNS (NAIL013) 31

32 Segmentace hlobkoých map (4) Plochoý přístp: Odhad křiosti plochy každém pil Klastoání pilů mapy do hladkých oblastí s homogenní křiostí Techniky naůstání oblastí Techniky klastoání příznakoých ektoů I. Mázoá: ATNS (NAIL013) 32

33 Segmentace hlobkoých map (5) Techniky naůstání oblastí: Každý pil e klasifikoán do ednoho z předem definoaných typů podle sé křiosti Počáteční klasifikace předstae základ následného naůstání oblastí Spooání a dělení sosedních oblastí e citlié na olb hodného kitéia Náh dobého kitéia založeného na odhad senzooého šm a zakřiení plochy e poblematický zhledem ke štěpení a spooání sosedních oblastí I. Mázoá: ATNS (NAIL013) 33

34 Segmentace hlobkoých map (6) Techniky naůstání oblastí (pokačoání): Možnost špatné segmentace případě ostých nebo oblých han ndesegmentation, esp. oesegmentation sosedních ploch: Undesegmentation (~ podsegmentoání) splyntí íceo oblastí do edné Oesegmentation (~ přesegmentoání) I. Mázoá: ATNS (NAIL013) 34

35 Segmentace hlobkoých map (7) Techniky klastoání příznakoých ektoů: Každém pil e přiřazen odpoídaící příznakoý ekto Vektooá kantizace příznakoých ektoů Rozčlenění n ozměných příznakoých ektoů do m oblastí za sočasné minimalizace chyboé fnkce Všechny body každé plochy by přitom měly být apoimoány epezentatiním ektoem i přiřazeným příslšné ploše Počet oblastí m by měl být znám a-pioi Není začena postooá spoitost (e smysl obazoých sořadnic) I. Mázoá: ATNS (NAIL013) 35

36 Segmentace hlobkoých map (8) Volba příznakoého ekto: Homogenita segmentoaných oblastí Vlastnosti příznaků: Obecnost ~ požitelnost šiokém spekt aplikací Úplná chaakteistika poch Poskytntí úplného popis po zpacoání na yšších úoních Lokální podpoa ~ ýpočet příznaků se poádí lokálním okénk ažoaného pil Stabilita a inaiance změna měřítka apod. Robstnost, snadná detekce, spolehliost I. Mázoá: ATNS (NAIL013) 36

37 Segmentace hlobkoých map (9) Volba příznakoého ekto (pokačoání): Homogenní oblasti hlobkoých map moho být ohaničeny třemi typy han: Skokoé hany: Diskontinita hlobkoých hodnot ~ eden obekt zakýá dhý anebo sám sebe infomaci o hlobce zahnot do příznakoého ekto Osté hany: Diskontinita nomáloých ektoů nomáloý ekto také zahnot do příznakoého ekto I. Mázoá: ATNS (NAIL013) 37

38 Segmentace hlobkoých map (10) Volba příznakoého ekto (pokačoání): Oblé hany: Diskontinita křiosti plochy křiosti plochy by měly být oněž zahnty do příznakoého ekto Záoeň by měly být do příznakoého ekto zahnty i oé a y oé sořadnice zachoání postooé spoitosti oblastí segmentoaném obaze I. Mázoá: ATNS (NAIL013) 38

39 Segmentace hlobkoých map (11) Volba příznakoého ekto (pokačoání): příznakoý ekto klastoacího algoitm e zolen ako 8 ozměný ekto: (, y, z ; n, n, n ; H K ) y z ; ( n, n y, n z ) ednotkoý nomáloý ekto bodě (, y, z ) na 3-ozměné ploše H a K střední a Gassoská křiost Předpoklad: y z f (, y ) f (, ) I. Mázoá: ATNS (NAIL013) 39

40 Segmentace hlobkoých map (12) Volba příznakoého ekto (pokačoání): po (, ) (,, f (, )) (, ) ( 1,0, f (, )) (, ) ( 0,1, f (, )) (, ) ( 0,0, f (, )) (, ) ( 0,0, f (, )) (, ) (, ) ( 0,0, f (, )) platí : I. Mázoá: ATNS (NAIL013) 40

41 I. Mázoá: ATNS (NAIL013) 41 Segmentace hlobkoých map (13) Volba příznakoého ekto (pokačoání): ( ) ( ) [ ] { } ( ) ( ) [ ] { } ( ) ( ) [ ] { } ( ) ( ) [ ] { } ( ) ( ) [ ] { } ,,,,,,,,,, : kde ( ) ( ) ( ) ( ) ( ) ( ) 2 2 1,1,,,,,, f f f f n + +

42 I. Mázoá: ATNS (NAIL013) 42 Segmentace hlobkoých map (14) Volba příznakoého ekto (pokačoání): a e nomáloý ekto plochy bodě (, ) Dále e třeba čit G a B: ( ) n, : f G g f f F g g f E g G + +

43 Segmentace hlobkoých map (15) Volba příznakoého ekto (pokačoání): B : b 11 L n f 1 + f 2 + f 2 b 12 b 21 M n 1 + f f 2 + f 2 b 22 N střední křiost: a Gassoská křiost: n H K B + f 1 [ tace ( G B ) ] I. Mázoá: ATNS (NAIL013) 43 f 2 G + f 2

44 Segmentace hlobkoých map (16) Volba příznakoého ekto (pokačoání): X ýpočet nomáloého ekto a křiostí pomocí okénkoých opeátoů Výpočet nomáloého ekto: p, Jednotkoý nomáloý ekto bodě ~ektooý sočin pních deiací podle a : p p n p p p (, ) (,, f ( ) ) I. Mázoá: ATNS (NAIL013) 44

45 Segmentace hlobkoých map (17) Výpočet nomáloého ekto (pokačoání): Odhad pních deiací pomocí opeátoů D a D : T T d d a D d d D kde d 0 d [ 1, 1, 1, 1, 1 ] [ 2, 1, 0, 1, 2 ] T T I. Mázoá: ATNS (NAIL013) 45

46 Segmentace hlobkoých map (18) Výpočet křiostí plochy (pokačoání): p Odhad křiosti plochy bodě e smě pil podle: n p n q k ( p, q ) s( p, q ) p q kde n p a n s, q ( p q) s s ( p, q ) 1, estliže p q ( p, q ) 1, inak n ednotkoé nomáloé ektoy bodě če konenost / konkánost p p n q q esp. q I. Mázoá: ATNS (NAIL013) 46

47 Segmentace hlobkoých map (19) Výpočet křiostí plochy (pokačoání): Výpočet střední a Gassoské křiosti pomocí nechť e množina pilů okolí pil p : Ω střední křiost: Gassoská křiost: kde k k ( ) p min ma H K ( p ) k ( p, q ) ( p ) k ( p, q ) min ma ( k ( p ) + k ( p ) ) min ma ( k ( p ) k ( p )) 1 0 min q Ω ma q Ω I. Mázoá: ATNS (NAIL013) 47 2 ( p ) ( p ) k k k ( p q ) ( p, q ), ( p, q )

48 Segmentace hlobkoých map (20) Výpočet křiostí plochy (pokačoání): Realizace ýpočt pomocí neonoé sítě neon po násobení Neon po půměoání Neon po ýpočet ( p ) I. Mázoá: ATNS (NAIL013) 48 k, q i

49 Segmentace hlobkoých map (21) Vyžití neonoé sítě pomocí nazáem se překýaících eceptooých polí I. Mázoá: ATNS (NAIL013) 49

50 Segmentace hlobkoých map (22) Vyžití Kohonenoých map k ektooé kantizaci příznakoých ektoů Nechť R 1, R 2,, R M označe M oblastí po segmentaci Kohonenoa mapa se msí načit zobazení (, y) a Ri, kteé by minimalizoalo předem dané kitéim Váhoé ektoy: (, y, z ; n, n, n ; H K ) Poblém: počet neonů y z ; w, ( w, w, w, w, w, w, w w ) y z n ny nz H K I. Mázoá: ATNS (NAIL013) 50

51 Segmentace hlobkoých map (23) Samooganizící se příznakoé mapy Kompetiční čení Vektooá kantizace Váhoé ektoy chaakteizí ednotlié shlky stpních ektoů středy shlků by měly odpoídat hstotě paděpodobnosti stpních dat V ideálním případě by měl být po skončení čení každý neon kompetiční sty citliý na edino oblast I. Mázoá: ATNS (NAIL013) 51

52 Segmentace hlobkoých map (24) Samooganizící se příznakoé mapy (pokačoání): Váhoý ekto w ( ) w, wy, wz, wn, wny, wnz, wh, wk epezente příslšno oblast ( w, w y, w z ) sořadnice centa oblasti e 3 ozměném posto ( w, w ny, w nz ) epezentatiní nomáloý ekto oblasti w H, w K epezentatiní střední a Gassoská křiost (~ nabýaí zhba půměných hodnot křiostí ednotliých pilů dané oblasti) I. Mázoá: ATNS (NAIL013) 52

53 Segmentace hlobkoých map (25) Samooganizící se příznakoé mapy (pokačoání): Počet neonů by měl odpoídat počt požadoaných oblastí segmentoaném obázk! Velká záislost na aktálním obsah scény, kteý není apioi znám Stkta (pní) kompetiční sty ícesté Kohonenoy mapy 2 X i 1, 2, K N stpní posto po 1. st W { } 1 i ;, f { w ( w, w, w, w, w, w, w, w ) ; 1, K N 2 } 1 y z n ny nz H K, po skončení čení obsahe epezentatiní ektoy odpoídaící pní úoni abstakce stpních ektoů I. Mázoá: ATNS (NAIL013) 53

54 I. Mázoá: ATNS (NAIL013) 54 Segmentace hlobkoých map (26) Stkta (pní) kompetiční sty ícesté Kohonenoy mapy O 1 W 1 množina áhoých ektoů odpoídaících ítězným neonům Toří množin stpních ektoů po dho st ( X 2 O 1 ) Ostatní neony se adaptí tak, aby intepoloaly hodnoty ítězných neonů Vážená eklidoská metika: ( ) ( ) ( ) z y n p n p i w n n n z y K H d c b a po analogicky a,,,, ; ; ; ; a 1,,, 0 kde ( ) K H n n p p i w K d w H c w b w a w d + + +,

55 Segmentace hlobkoých map (27) Stkta (pní) kompetiční sty ícesté Kohonenoy mapy w 2 o 1 dákoá ednotka ( w, w y, w z, w n, w ny, w nz, w H, w K ) W 1 2-D pole neonů i (, y, z ; n, n y, n z ; H ; K ) X 1 I. Mázoá: ATNS (NAIL013) 55

56 Segmentace hlobkoých map (27) Vícesté samooganizící se příznakoé mapy: (~ mlti-laye selfoganizing feate maps) Kontola počt segmentoaných oblastí, esp. neonů elikost: 1 1 elikost: 2 2 elikost: N N I. Mázoá: ATNS (NAIL013) 56

57 Segmentace hlobkoých map (28) Kontola počt segmentoaných oblastí 1 oblast 4 oblasti 8 oblastí 16 oblastí Abstakční stom Uzařený zel: Segmentoané oblasti: {R 1, R 2,, R 7 } 4. úoeň 3. úoeň 2. úoeň 1. úoeň I. Mázoá: ATNS (NAIL013) 57