Vytěžování znalostí z dat

Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 1/16 Vytěžování znalostí z dat Pavel Kordík, Josef Borkovec Department of Computer Systems Faculty of Information Technology Czech Technical University in Prague Cvičení 9: Učení neuronových sítí BI-VZD, 09/2011 MI-POA Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti

Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 2/16 Osnova cvičení Práce s MLP v Rapidmineru Nominální atributy Learning rate a počet iterací

Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 3/16 MLP v Rapidmineru Načteme si iris data MLP v Rapidmineru Přidáme operátor NeuralNet Zapojíme

MLP v Rapidmineru Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 4/16 Prohlédneme si strukturu sítě Síť má 3 neurony ve výstupní vrstvě (klasifikace do 3 tříd) 4 neurony ve vstupní vrstvě (data mají 4 atributy) +1 Threshold node (výstupem je vždy 1) V defaultním nastavení má síť jednu skrytou vrstvu počet neuronů ve skryté vrstvě se určí automaticky z počtu atributů a výstupních tříd

MLP v Rapidmineru Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 5/16 Zkusíme upravit parametry operátoru: přidáme 2 skryté vrstvy s 5 neurony

MLP v Rapidmineru Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 6/16 X -Validace Zapojíme hodnocení klasifikace cross validací Přidáme X-Validation Building block Edit -> New BuidlingBlock-> NominalX- Validation Vyměníme operátor Decisiontreeza NeuralNet

MLP v Rapidmineru Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 7/16 Zapojíme a prohlédneme si výsledek

Nominální atributy Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 8/16 Nominální atributy Nyní zkusíme použít jiná data: o Labor-Negotiations Data obsahují nominální atributy a chybějící hodnoty

Nominální atributy Neuronové sítě pracují pouze s numerickými atributy Nominální atributy musíme převést na numerické Zkuste dva způsoby převodu atributů na numerické a porovnejte úspěšnost klasifikace x-validací Operátor Nominal to Numerical zakóduje každou možnou hodnotu atributu unikátním integerem Operátor Nominal to Binomial + Nominal to numerical pro každou možnou hodnotu atributu vytvoří nový booleovský atribut Který je lepší a proč? Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 9/16

Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 10/16 Nominální atributy Nominal to Numerical Výsledky Nominal to Binomial Správné zakódování vstupů je důležité

Learning rate a počet iterací Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 11/16 Learningratea počet iterací Pomocí operátorů Loopparametersa Log zobrazte závislost trénovací a testovací chyby na počtu iterací

Learning rate a počet iterací Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 12/16 Začneme s Iris daty Přidáme operátor Loop parameters Do něj přidáme X-Validaci, hodnocení modelu a Log A do X-Validace Neuronovou síť

Learning rate a počet iterací Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 13/16 Nastavíme parametry u Loop parameters: a Log:

Learning rate a počet iterací Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 14/16 u Performance nastavíme, že nás zajímá classification error spustíme pro zobrazení použijeme graf Series poznámka: pokud jediným výsledkem procesu je záznam v logu, tak musíme sami překliknout workspace na výsledky

Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 15/16 Výsledek Learning rate a počet iterací

Learning rate a počet iterací Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 16/16 Pozorujte, jak se změní graf při různých nastaveních learning rate u neuronové sítě zkuste napřlearningrate0,9 a 0,1