Algoritmy a struktury neuropočítačů ASN P3

Transkript

1 Algoritmy a struktury neuropočítačů ASN P3 SOM algoritmus s učitelem i bez učitele U-matice Vektorová kvantizace Samoorganizující se mapy ( Self-Organizing Maps ) PROČ? Základní myšlenka: analogie s činností mozku různé podněty z jednotlivých orgánů jsou řízeny různými oblastmi mozku Vstupní data vstupují do neuronové sítě jsou zpracovávána zobrazují se v prostoru s nižší dimenzí

2 Podstata činnosti: vstupní erenční vektory se sdružují do skupin podle navzájem podobných vlastností a zobrazují se jako shluky (clustery) v elastické vrstvě mapy dochází ke změně vah komprese informací + zachování topologie a vzdáleností topological preserving maps SOM algoritmus funkce okolí W i (t+1) = W i (t) + h ci (t) [X(t) - W i (t)], i Nc h ci (t) 0, t proces konverguje Obvykle: h ci (t) = h( r c r i ) r c, r i poloha vektorů c, i Nejčastěji: h ci (t) = g(t), pro i N c h ci (t) = 0, pro i Nc

3 Adaptace W i (t+1) = W i (t) + g(t) [X(t) W i (t)], i Nc W i (t+1) = W i (t), pro všechna ostatní i N c je zvolené okolí vítězného neuronu, t je okamžitý čas, g(t) je skalár představující rychlost učení (gains) 0 < g(t) < 1 pouze doporučení přesnost mapování závisí na počtu iterací ( 500-krát více kroků než je neuronů v mapě) počet iterací je řádově 10 5 pro prvních 1000 iterací je obvykle g(t) konstantní, dále se monotónně snižuje (lineárně, exponenciálně, skokově, )

4 např. g(t) = 0.9 (1- t/1000), h ci (t) = g(t). exp {-[( r c r i ) 2 ] / 2a 2 (t)} konečná hodnota kolem 0.01 Gaussovská funkce, a šířka shluku volba velikosti okolí N c = N c (t) malé okolí na začátku procesu nejlépe neúplná mapa!!! minimálně 1/2 velikosti mapy SOM s učitelem nová varianta Kohonenova učení algoritmus učení je podobný SOM nové: do originálních trénovacích dat je přidán další parametr informace o třídě, do které vzorek náleží

5 dimenze vstupního vektoru se zvětší o počet tříd, do kterých chceme klasifikovat u každého tréninkového vektoru má jeden z nových parametrů hodnotu '1' (to odpovídá přidané třídě), ostatní mají hodnotu '0' Důvod: zlepšení klasifikace Příklad Topologie sítě je 12 x neuronů Trénování sítě: počet dětí je 20, věk 6-9 let, děvčata i chlapci trénují se vyslovené samohlásky 1810 vektorů všech samohlásek Řečový korpus: děti ze ZŠ, nejsou rozděleny podle věku. Důvod experimentu: ověření hypotézy o posunu v namapování samohlásek u nemocných dětí, případně dospělých jedinců Chyba na obrázcích je definována jako podíl (počet správných umístění) / (počet všech umístění) Jedná se o namapování konkrétní samohlásky do vokalického trojúhelníku vzniklého po natrénování promluv zdravých dětí.

6 Klasifikace samohlásky a muže Počet testovacích vektorů : 95 a m samohláska a vyslovená mužem Správná klasifikace bílá barva, chybná klasifikace černá barva KSOM chyba 60% SOM s učitelem chyba 44%

7 Klasifikace samohlásky a ženy Počet testovacích vektorů : 64 a z samohláska a vyslovená ženou Správná klasifikace bílá barva, chybná klasifikace černá barva KSOM chyba 43% SOM s učitelem chyba 40%

8 Klasifikace samohlásky a zdravých dětí Počet testovacích vektorů : 44 KSOM chyba 21% SOM s učitelem chyba 33%

9 Klasifikace samohlásky a nemocného dítěte č.1 Počet testovacích vektorů : 25 a 1n samohláska a vyslovená nemocným dítětem č.1 správná klasifikace bílá barva, chybná klasifikace černá barva KSOM chyba 82% SOM s učitelem chyba 58%

10 Klasifikace samohlásky a nemocného dítěte č.2 Počet testovacích vektorů : 47 a 2n samohláska a vyslovená nemocným dítětem č.2 správná klasifikace bílá barva, chybná klasifikace černá barva KSOM chyba 81% SOM s učitelem chyba 72%

11 Důvod: vizualizace shluků U - matice matice sjednocených vzdáleností jsou zobrazeny vzdálenosti mezi neurony a jejich sousedy vzdálenost mezi sousedními neurony je po výpočtu znázorněna různými barvami tmavé barvy mezi neurony velké vzdálenosti reprezentují velké rozdíly (mezery) ve vstupním prostoru světlé barvy mezi neurony vektory jsou ve vstupním prostoru blízko sebe Světlé oblasti reprezentují clustery a tmavé oblasti reprezentují hranice clusterů. Clustery jsou snadněji identifikovatelné. a) KSOM b) SOM s učitelem

12 Vektorová kvantizace (VQ) (Vector Quantization) Aproximace analogové hodnoty jednou z konečného počtu číselných hodnot = = kvantizace skalární - aproximuje jednotlivé parametry vektorová - aproximuje více parametrů současně Použití: pro kompresi dat Kvantizace je základ vektorových kvantizérů zobrazení množiny vektorů do předem neznámého počtu konečných skupin (tříd).

13 Rozdělení trénovací množiny na n oblastí Centroidy reprezentují jednotlivé oblasti Voronoiova mozaika (Voronoi tessellation) Používá se při rozpoznání vzorků pro ilustraci vektorové kvantizace. 2-dimenzionální prostor s konečným počtem kódových (erenčních) vektorů (bodů) souřadnice vymezuje hranice shluků pomocí po částech lineárních úseků Vektory v ohraničené části Voronoiovy mozaiky, které mají stejný erenční vektor, jako jejich nejbližší soused tvoří Voronoiovu množinu. Topologické uspořádání Vorinoiovy mozaiky je ekvivalentní množině okolí vítězů ze SOM

14 X 2 X 1 Voronoiova mřížka rozděluje 2-D prostor vzorků na oblasti kolem erenčních vektorů

15 Vektorová kvantizace učením ( Learning Vector Qvantization - LVQ ) hybridní neuronová síť kombinuje učení bez učitele a učení s učitelem Použití: klasifikace, jednoduché rozpoznání komprese dat pro přenos dat v digitálním kanálu pro snížení počtu stavů obecně pro možnost adaptivního rozšiřování počtu tříd Definuje kvantizační oblasti mezi sousedními vektory kódové knihy obdoba Voronoiových množin u klasické VQ

16 Hranice tříd : úseky po částech lineární Optimální hranice se určí odklonem všech váhových vektorů sítě, které leží mezi dvěma třídami a jejich přesunem blíž k jedné z nich. Není nutné počítat rozložení pravděpodobnosti!!! Výhoda oproti klasickému přístupu v Bayesově teorii pravděpodobnosti. Postup učení LVQ vypočteme centroidy pomocí samoorganizace charakterizují pravděpodobné třídy síti jsou opětovně předloženy trénovací vzory s informací o jejich příslušnosti k třídě určíme četnost, s jakou je každý vektor sítě nejblíže k trénovacím vektorům každé třídy přiřadíme třídu, která se vyskytuje nejčastěji

17 Pokud vzor nelze zařadit do již existující třídy, vytvoří se třída nová. Klasifikace do dvou tříd w i2 w i1 erenční vektory z třídy S1 erenční vektory z třídy S2 rozdělovací hranice určená podle LVQ Bayesova hranice

18 Varianty LVQ LVQ1 : minimalizace stupně chybné klasifikace W i jsou kódové vektory označující jednotlivé třídy vzorek x se umístí do stejné třídy, bude- li platit: c = arg mini X - W i Index pro nejbližší W i k X je index vítěze, centroidu. W i (t+1) = W c (t)+g(t)[ X (t) W c (t)], X a W c patří do stejné třídy W c (t+1) = W c (t) - g(t) [X (t) W c (t)], X a W c nepatří do stejné třídy 0< g(t) < 1 rychlost učení W i (t+1) = W i (t), i c

19 OLVQ1: optimalizovaná rychlost učení g(t) pro každý kódový vektor je individuálně modifikována g i (t) W c (t+1) = W c (t) + g c (t) [X(t) W c (t)], je-li X klasifikováno korektně W c (t+1) = W c (t) g c (t) [X(t) W c (t)], je-li X klasifikováno nekorektně W i (t+1) = W i (t), pro i c Pro rychlou konvergenci: W c (t+1) = [1 s (t) g c (t)] W c (t)+s (t) g c (t) X(t) s(t) = +1 pro korektní třídu s(t) = -1 pro nekorektní třídu Rekursívní tvar pro určení optimální hodnoty : g c (t) = [g c (t-1)] / [1+s(t) g c (t-1)]} Pro inicicializační hodnotu g(0) je dobré volit 0.3.

20 Batch LVQ1: W c (t+1) = W c (t)+g (t) s (t) δ ci [X(t) W c (t)] s(t) = +1 s(t) = -1 pro X a W c ze stejné třídy pro X a W c z různých tříd δ ci je Kroneckerovo delta, δ ci = 1 pro c = i, δ ci = 0 pro c i Pro každé i se určí nový erenční vektor ve tvaru W i * = t' s(t') X(t') / t' s(t') kde t' jsou vzorky v uzlu i. LVQ2 a LVQ2.1: redukce počtu bodů rozložení w i v blízkosti hraničních ploch. Rozdělení do tříd je stejné, jako u LVQ1, ale při učení existují 2 kódové knihy W i a W j.

21 Třídy se nacházejí ve vektorovém prostoru blízko sebe. Vektor X se musí klasifikovat do správné třídy, ale současně musí patřit do oblasti hodnot označených okénkem. min d d i j, d d j i s s 1 1 win win Euklideovské vzdálenosti X od W i a W j, Obvykle 0.2 < win < 0.3 relativní šířka okénka experimentálně

22 LVQ2.1 dovoluje, aby buď W i nebo W j byly uzavřené kódové knihy v LVQ2 to platilo pouze pro jednu z nich W c (t+1) = W c (t)+g(t) [X(t)- W c (t)], X (t) B k, X(t) S k W c (t+1) = W c (t)- g(t) [X(t) W c (t)], W i (t+1) = W i (t), i c X(t) B k, X(t) S r B k představuje Bayesovskou třídu. Ke korekci dochází jen pro X(t) z okna na špatné straně poloroviny.

23 LVQ3 : optimální umístění kódového vektoru W i (t+1) = W i (t) + g(t) [X(t) W j (t)], X(t) B k, X(t) S k, X(t) win W j (t+1) = W j (t) - g(t) [X(t) - W j (t)], X(t) B k, X(t) S r, X(t) win W k (t+1) = W k (t) ε g(t) [X(t) W k (t)], k {i, j} X(t), W i, W j patří dostejné třídy B k je Bayesovská třída win je šířka okénka 0.1 < ε < 0.5 pro win = 0.2 resp. win = 0.3

24 Optimální hodnota ε závisí přímo úměrně na šířce okénka. Optimální umístění kódových vektorů se během trénování nemění. Rozdíly mezi variantami: liší se mezi sebou v matematickém zápisu rovnic LVQ1 a LVQ3 jsou robustnější procesy pro LVQ1 je možné optimalizovat g(t), dosáhne se rychlejší konvergence LVQ 2 optimalizuje relativní vzdálenost kódových vektorů od hranic tříd, LVQ 2 negarantuje optimální umístění kódových vektorů U všech variant LVQ se definují hranice tříd podle pravidla nejbližšího okolí. Není třeba znát funkci rozložení vzorků jako u klasické VQ.

25 Přesnost klasifikace záleží na: přibližně optimálním počtu vektorů kódové knihy přiřazených k jednotlivým třídám na jejich inicializaci na použitém algoritmu na vhodném g(t) na vhodném kritériu ukončení učení Je vhodné provést inicializaci kódové knihy pomocí SOM. Konečné rozdělení kódových vektorů je totiž známé až po skončení učení!!! Doporučené pořadí: začít variantou LVQ1 nebo OLVQ1. Konvergence: počet iterací rovný 30ti 50ti násobku počtu kódových vektorů. OLVQ1 zrychluje učení. Ostatní varianty je možné navázat na LVQ1 resp. OLVQ1. Učení se ukončuje experimentálně.