Cvičení 2: Rozhodovací stromy, RBF sítě, vlastní algoritmy v RapidMineru

Transkript

1 České vysoké učeí techcké v Praze Fakulta formačích techologí Katedra teoretcké formatky Evropský socálí fod Praha & EU: Ivestujeme do vaší budoucost MI-ADM Algortmy data mgu 2010/2011 Cvčeí 2: Rozhodovací stromy, RBF sítě, vlastí algortmy v RapdMeru Pavel Kordík, FIT, Czech Techcal Uversty Prague 1

2 Obsah Expermety s rozhodovacím stromy Dskretzace dat Optmalzace parametrů RBFN Klasfkátor Regresí modely Učeí Vlastí algortmus v RapdMeru Kordk, CTU Prague, FIT, MI-ADM 2

3 Expermety s rozhodovacím stromy Kordk, CTU Prague, FIT, MI-ADM 3

4 Expermety s DTs Irs data Růzé dskretzace pro ID3 Prug Drect Marketg data ID3 Chad DT C4.5, CART Kordk, CTU Prague, FIT, MI-ADM 4

5 RBFN Radal Bass Fucto Network 1988, Bromhead, Lowe Neuroová síť Učeí s učtelem Použtí: Klasfkace Regrese lokálí jedotky vysvětlíme dále Y336VD Vytěžováí dat

6 Archtektura RBF sítě euroy euroy

7 Jak vypadá sféra vlvu Většou gaussovská fukce kerel f x, y = Ae 2 x x y y 2σ 0 2 x + posuv 2σ 0 2 y 2 ampltuda rozptyl x x 0 =0 y

8 Lokálí jedotky Co to zameá? pokrývají je část defčího oboru jsou eulové je v jstém úseku Globálí versus lokálí jedotky: gausovská fukce lokálí sgmoda globálí leárí fukce globálí polyom globálí, ale ve specálích případech může fugovat jako lokálí

9 Klasfkace pomocí globálích jedotek sgmoda 1 0

10 Klasfkace pomocí lokálích jedotek součet gausovských fukcí RBFN 표현아 Computer Scece, KAIST

11 RBFN jako klasfkátor Každý euro ve vtří vrstvě má sféru vlvu Ty se ve výstupí vrstvě vážeí sčítají pro každou třídu zvlášť

12 RBFN pro aproxmac regrese

13 RBF síť jako uverzálí aproxmátor

14 Neuroy RBF sítě Skrytá vrstva, vtří potecál lokálí eleárí aktvačí fukce y = fφ, apř. gaussovská ϕ = x = 1 c 2 výstupí vrstva, leárí přeosová fukce vážeý součet y = = 1 w y *

15 Dskuse archtektury RBF euroy: vtří potecál je mírou vzdáleost vstupího vektoru a středu reprezetovaého vaham eurou, aktvačí fukce vymezuje sféru vlvu. Výstupí euroy: asčítávají přírůstky, tak aby požadovaá aproxmace byla co ejpřesější.

16 Sféra vlvu Hyperkoule se středem C a poloměrem R, RBFN používá pro její určeí Eukledovskou metrku, prototyp reprezetuje jstou podmožu vstupích dat ve tvaru shluku,

17 Sféra vlvu - určeí Nejčastěj se používá Gaussova fukce zámá ze statstky. Pokud je vstupí vektor totožý s prototypem tj. ϕ = 0, abývá tato fukce maxma, které dosahuje hodoty jeda. To je také maxmálí hodota aktvty eurou. Se zvětšující se vzdáleostí od prototypu aktvta eurou klesá. Parametr σ, jež je aalogí rozptylu ormálího rozděleí, určuje strmost aktvačí fukce.

18 Sféra vlvu - geometrcká představa

19 Dskuse Gaussova fukce vyjadřuje míru příslušost vzoru ke středu. Je-l výstup eurou blízký jedčce, pak je také vzor velm podobý středu. Podobost vyhodocujeme pomocí metrk, které už důvěrě záme

20 Učeí RBF euroových sítí Přpomeutí: jedá se o učeí s učtelem, exstují tedy dvojce vzor x kategore klasfkátor, argumet fukce x fukčí hodota aproxmátor. Dvě fáze učeí: učeí prototypů, učeí výstupích euroů.

21 Učeí prototypů I Předem odhademe počet shluků ve vstupích datech, defujeme fukc příslušost m vzoru ke shluku, odhademe souřadce všech p vektorů C p, které jsou středy shluků.

22 Učeí prototypů I - pokračováí Kroky K-meas algortmu:. Náhodě calzuj středy RBF euroů C... Vypočítej m pro všechy vzory z tréovací možy.. Vypočítej ové středy C jako průměr všech vzorů, které áležely ke středu k podle fukce příslušost.. Ukoč, jestlže se m eměí, jak pokračuj bodem 2

23 K-Meas Example: ~ µ 2 ~ µ 1 Fgure 4: Square-error clusterg for smple 2-d data set P=9,K=2

24 Učeí prototypů II - pokračováí Kroky adaptvího K-meas algortmu:. Náhodě calzuj středy RBF euroů C... Přečt vzor X.. Urč k ěmu ejblžší ejblžší střed a změň jeho polohu podle pravdla: C + η X t+ 1 t t t k k k kde η je rychlost adaptace, která se postupě sžuje s počtem terací.. Ukoč, pokud η = 0 ebo po určtém počtu kroků. Jak pokračuj bodem 2 = C C

25 Učeí prototypů III. Pokud eumíme odhadout počet shluků v datech, vycházíme z jejch ulového počtu. Postup v tomto případě:. Přečt vzor. Vyhledej ejblžší shluk k. Pokud je vzdáleost meší ež r, modfkuj střed shluku podle + η X t+ 1 t t t k k k. Pokud je vzdáleost větší ež r, založ ový střed a pozc vzoru X, tj... Ukoč, pokud η = 0, ebo po určtém počtu kroků. Jak pokračuj bodem 2. C C = X = C t+ 1 t k C

26 Určeí parametru σ Parametr σ je možo určt jako středí kvadratckou vzdáleost vzorů od středu shluku. σ k = 1 kde X q je q-tý vzor áležející ke shluku se středem C k. Q Q = 1 C k X q 2

27 Učeí vah výstupích euroů Váhy ve výstupí vrstvě budeme opakovaě upravovat tak, abychom mmalzoval eergetckou fukc: w t = η E t = η D t Y t Y * t Vzpomíáte s? Covám to přpomíá?

28 Eergetckou fukcí je v tomto případě E = 1 2 m d t y t t= 1 = 1 2 Pro odvozeí vztahu pro úpravu vah jsme použl gradetí algortmus.

29 Gradetí učeí pro RBF Lear weghts output layer Postos of ceters hdde layer Spreads of ceters hdde layer = = Ε N j C j j G e w 1 t x M w E w w,..., 1,2, 1 1 = = + η = Σ = N j j C j j G e w E 1 1 ' ] [ 2 t x t x t M E,..., 1,2, 1 2 = = + t t t η = = Σ N j j C j j G e w E 1 ' 1 Q t x T j j j ] ][ [ t x t x Q = E Σ = Σ + Σ η 표현아 Computer Scece, KAIST

30 Lze RBFN učt jak? Geetka! Jak a to?

31 Implemetace sítě RBF euročp ZISC 36 Neuročp ZISC Zero Istructo Set Computer vyrábí frma IBM. Jedá se o jedoúčelový procesor spevě daou fukcí, který lze omezeě kofgurovat, ale kolv programovat. Číslo 36 v ázvu udává počet euroů mplemetovaých v jedompouzdře.

32 Charakterstky euročpu Prototyp má dmez 64. Dmeze prototypu zároveň určuje dmez vstupího vektoru, a proto j eí možo dále rozšřovat. Pro sížeí obvodové áročost byla v euročpu uplatěa řada zjedodušeí: odstraěí operace druhé mocy př výpočtu Eukledovské vzdáleost.

33 Neuročp přes WEB

34 Vlastí algortmus v RapdMeru 2 dokumety edux Kordk, CTU Prague, FIT, MI-ADM 34