Základy vytěžování dat
|
|
- Kamila Benešová
- před 8 lety
- Počet zobrazení:
Transkript
1 Základy vytěžování dat předmět A7Bb36vyd Vytěžování dat Filip Železný, Miroslav Čepek, Radomír Černoch, Jan Hrdlička katedra kybernetiky a katedra počítačů ČVUT v Praze, FEL Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
2 Klasifikace a predikce Odkaz na výukové materiály: (oddíl 5) Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
3 Vytěžování dat, přednáška 7: Klasifikace Filip Železný Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 24 Klasifikace
4 Učení s učitelem Pravděpodobnostní rozdělení P XY na X Y Předpokládáme, že Y je konečná množina Data: D je multimnožina D = {(x 1, y 1 ), (x 2, y 2 ),... (x m, y 2 )} (m N) prvky vybrány náhodně a navzájem nezávisle z P XY Vzor se bude používat na tomtéž X, Y a P XY Obvykle hledáme vzory aproximující (pro zadané x X) podmíněnou pravděpodobnost P Y X (y x) = P XY (x, y)/p X (x) nebo nejpravděpodobnější hodnotu arg max y Y P Y X (y x) tyto vzory nazýváme klasifikátory 2 / 24 Klasifikace
5 Klasifikace s jedním příznakem X Vysoké příjmy ano ano ne ano ne ne ne ano ano ano ne Y Splácí úvěr ano ne ano ano ne ne ano ano ano ano ne Kontingenční tabulka Y (splácí úvěr) ano ne X (vysoké ano příjmy) ne Nový žadatel o úvěr má vysoké příjmy. Bude splácet úvěr? S jakou pravděpodobností? 3 / 24 Klasifikace
6 Klasifikace dle aposteriorní pravděpodobnosti Klient má vysoké příjmy. Jak bude splácet úvěr? Tedy z x = vysoké urči nejpravděpodobnější hodnotu y (třídu). Hledáme y vyhovující Řešení je y = splácí y = arg max P Y X (y vysoké) y P Y X (y vysoké) 2/3 S pravděpodobností 1 P Y X (y vysoké) klasifikujeme chybně. Klasifikací y = splácí tedy minimalizujeme chybu. 4 / 24 Klasifikace
7 Ztrátová funkce Každá chyba klasifikace je jinak drahá. Např. příliš optimististické hodnocení klienta stojí víc než příliš skeptické. Klasifikace dle aposteriorní pravděpodobnosti toto nerespektuje. Pro zohlednění odlišných ztrát pro různé chyby potřebujeme pojem ztrátové funkce. Ztrátová funkce L(y, y ) zachycuje ztrátu pro každou kombinaci y - skutečná třída y - třída, do které klasifikujeme Pro náš příklad L(y, y ) např.: y y splácí problémy nesplácí splácí problémy nesplácí / 24 Klasifikace
8 Klasifikátor a Riziko Hledáme klasifikátor, tj. funkci f : X Y minimalizující střední hodnotu ztráty: R(f) = x,y L(y, f(x))p XY (x, y) Střední hodnotu ztráty pro f se nazývá riziko klasifikátoru f. Řešením f = arg min f R(f) je funkce f (x) = arg min y r(x, y ) kde r(x, y ) = y L(y, y )P Y X (y x) je riziko klasifikace y při příznaku x 6 / 24 Klasifikace
9 Klasifikace jako minimalizace rizika Jak klasifikovat vysokopříjmového klienta? P Y X L x y splácí problémy nesplácí vysoké 2/3 1/3 0/3 střední 2/6 2/6 2/6 nízké 0/2 1/2 1/2 y y splácí problémy nesplácí splácí problémy nesplácí Klasifikace y = splácí skut. třída ztráta s pravděp. splácí 0 2/3 problémy 5 1/3 nesplácí 10 0 Riziko při této klasifikaci: 0 2/ / = 5/3 7 / 24 Klasifikace
10 Klasifikace jako minimalizace rizika Jak klasifikovat vysokopříjmového klienta? P Y X L x y splácí problémy nesplácí vysoké 2/3 1/3 0/3 střední 2/6 2/6 2/6 nízké 0/2 1/2 1/2 y y splácí problémy nesplácí splácí problémy nesplácí Klasifikace y = problémy skut. třída ztráta s pravděp. splácí 1 2/3 problémy 0 1/3 nesplácí 5 0 Riziko při této klasifikaci: 1 2/ / = 2/3 8 / 24 Klasifikace
11 Klasifikace jako minimalizace rizika Jak klasifikovat vysokopříjmového klienta? P Y X L x y splácí problémy nesplácí vysoké 2/3 1/3 0/3 střední 2/6 2/6 2/6 nízké 0/2 1/2 1/2 y y splácí problémy nesplácí splácí problémy nesplácí Klasifikace y = nesplácí skut. třída ztráta s pravděp. splácí 2 2/3 problémy 1 1/3 nesplácí 0 0 Riziko při této klasifikaci: 2 2/ / = 4/3 9 / 24 Klasifikace
12 Klasifikace jako minimalizace rizika Klasifikujeme do y = arg min r(vysoké, y) = problémy y Pozor, jiný výsledek než dle aposteriorní pravděpodobnosti y = arg max P Y X (y vysoké) = splácí y Při jaké ztrátové funkci L(y, y ) by výsledky vyšly stejně? y y splácí problémy nesplácí splácí problémy nesplácí Tzv. L 01 ztrátová funkce. Je-li použita, je r(x, y ) pravděpodobnost, že klasifikace instance s příznakem x do třídy y je chybná. 10 / 24 Klasifikace
13 Klasifikace s několika příznaky Zatím jsme klasifikovali pouze dle jediného příznaku (x - výše příjmů) O klientech toho víme obvykle více. Příjmy (p) Rok narození (n) Úvěr (y) vysoké 1969 splácí nízké 1974 nesplácí střední 1940 problémy nízké 1985 problémy x (p, n) Třírozměrná kontingenční tabulka p vs. n vs. y 11 / 24 Klasifikace
14 Klasifikace s několika příznaky Na principech klasifikace se nic nemění. Např. jak klasifikovat nízkopříjmového klienta narozeného v r. 1985? Maximalizací aposteriorní pravděpodobnosti f(x) = y = arg max P Y P,N (y nízké, 1974) y Minimalizací rizika Z kontingenční tabulky f(x) = y = arg min y r((nízké, 1974), y) P Y P,N (y nízké, 1974) počet klientů s y = y, p = nízké, n = 1974 počet klientů s p = nízké, n = / 24 Klasifikace
15 Prokletí rozměrnosti P Y P,N (y nízké, 1974) počet klientů s y = y, p = nízké, n = 1974 počet klientů s p = nízké, n = 1974 Čím více příznaků, tím větší nebezpečí výsledku 0/0! Kolik dat potřebujeme, aby odhady dobře konvergovaly k pravděpodobnostem? Kontingenční tabulka musí být dostatečně zaplněna. V předchozím příkladě (jediný příznak) p y splácí problémy nesplácí vysoké střední nízké v průměru 11/9 případů na kolonku tabulky. 13 / 24 Klasifikace
16 Prokletí rozměrnosti Předpokládejme, že 11/9 je dostatečný poměr. Kolik případů (m) potřebujeme pro jeho zachování se dvěma příznaky p a n? Přepodkládejme 100 možných roků narození. Kontingenční tabulka má = 900 kolonek. m 900 = 11 9 tedy nyní již potřebujeme /9 = 1100 dat. Po přidání dalšího příznaku, např. roku ukončení studia už potřebujeme /9 = dat! Obecně pro odhady z kontingenční tabulky (tzv. neparametrické odhady) roste potřebný počet dat exponenciálně s počtem příznaků. Prokletí rozměrnosti 14 / 24 Klasifikace
17 Podmíněně nezávislé příznaky Situace se zjednoduší, jsou-li výše příjmů a rok narození podmíněně nezávislé, tj. platí P P,N Y (p, n y) = P P Y (p y) P N Y (n y) pro každou z hodnot y {splácí, problémy, nesplácí) Využijeme tzv. Bayesova pravidla P Y P,N (y p, n) = P P,N Y(p, n y)p Y (y) P P,N (p, n) 15 / 24 Klasifikace
18 Podmíněně nezávislé příznaky Z Bayesova pravidla platí pro klasifikaci maximalizací aposteriorní pravděpodobnosti arg max y P Y P,N (y p, n) = arg max P P,N Y (p, n y)p Y (y) y Podobně pro klasifikaci minimalizací rizika arg min L(y, y )P Y P,N (y p, n) y y = arg min L(y, y )P P,N Y (p, n y)p Y (y) y Proč zmizelo P P,N (p, n)? Nezávisí na y! y K oběma typům klasifikace tedy potřebujeme odhady dvou rozdělení: P P,N Y a P Y. 16 / 24 Klasifikace
19 Podmíněně nezávislé příznaky K oběma typům klasifikace tedy potřebujeme odhady dvou rozdělení: P P,N Y a P Y. P Y odhadneme z jednorozměrné kontingenční tabulky Z podmíněné nezávislosti plyne P P,N Y = P P Y P N Y P P Y odhadneme z dvourozměrné tabulky 3 3 P N Y odhadneme z dvourozměrné tabulky Nejnáročnější na počet dat, pro zachování poměru 11/9 vyžaduje cca 367 (<< 1100). Obecně: při podmíněně nezávislých příznacích neroste potřebný počet dat exponenciálně s počtem příznaků. Je určen příznakem s největším oborem hodnot. Příznaky obvykle nejsou podmíněně nezávislé! Je-li přesto použita tato metoda, mluvíme o naivní Bayesovské klasifikaci. 17 / 24 Klasifikace
20 Klasifikace dle nejbližšího souseda Metoda, která nevyžaduje odhad pravděpodobností. Předpoklad: umíme spočítat podobnost dvou datových instancí (jako např. u shlukování) Zde p, n N, u {splácí, problémy, nesplácí} 18 / 24 Klasifikace
21 Klasifikace dle nejbližšího souseda Zde podobnost např. (p 1 p 2 ) 2 + (n 1 n 2 ) 2 Zařazujeme do třídy nejpodobnější instance. Náchylné k šumu v datech. 19 / 24 Klasifikace
22 Klasifikace dle k nejbližších sousedů Zde podobnost např. (p 1 p 2 ) 2 + (n 1 n 2 ) 2 Zařazujeme do třídy převládající mezi k nejpodobnějšími instancemi. S rostoucím k klesá náchylnost k šumu. Nevýhody? 20 / 24 Klasifikace
23 Trénovací a skutečná chyba klasifikátoru Trénovací chyba Podíl instancí v datech chybně klasifikovaných klasifikátorem f sestrojeným z těchto dat (tzv. trénovacích dat). Skutečná chyba Pravděpodobnost chybné klasifikace f při náhodném výběru (x X, y Y) dle P XY. Při použití ztrátové funkce L 01 rovna riziku R(f). 21 / 24 Klasifikace
24 Jaké k je nejlepší? Experiment: generovaná data [Hastie et al.: Elements of Statistical Learning] k = 1 Nulová trénovací chyba, přesto klasifikace odlišná od optimální Dle maximální aposteriorní pravděpodobnosti (optimální) k = 15 Malá náchylnost k šumu, přesto klasifikace odlišná od optimální 22 / 24 Klasifikace
25 Trénovací vs. skutečná chyba Typický průběh chyb pro k = m (počet dat), m 1,... 1 Trénovací chyba obecně není dobrým odhadem skutečné chyby! 23 / 24 Klasifikace
26 Klasifikace dle etalonů Metoda nevyžadující přístup ke všem instancím při klasifikaci. Každá třída má etalon, tj. instanci s minimální průměrnou vzdáleností ke všem instancím třídy. (vybírána buďto z trénovacích dat, nebo z celého oboru hodnot (p, n)) Etalony jsou jednoduchým nepravděpodobnostním modelem dat. 24 / 24 Klasifikace
27 Vytěžování dat, přednáška 7: Rozhodovací stromy Filip Železný Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 26 Rozhodovací stromy
28 Reálné příznaky Lineární/polynomiální modely: příznaky jsou reálná čísla 2 / 26 Rozhodovací stromy
29 Nominální příznaky teplota bolest svalů diagnóza zvýšená ne nachlazení normální ne hypochondr horečka ano chřipka Lze převést na příznaky s oborem {0, 1} : reprezentace 1 z n teplota bolest diagnóza normální zvýšená horečka svalů nachlaz. chřipka hypoch Umožňuje využití lineárních resp. polynomiálních klasifikátorů, ale nešikovné. Klasifikační modely přímo pro nominální příznaky? 3 / 26 Rozhodovací stromy
30 Rozhodovací strom Klasifikační model Uzly (mimo listy): testy příznaků, hrany: možné hodnoty Klasifikace: cesta z kořene do listu podle hodnot příznaků Jak strom zkonstruovat? 4 / 26 Rozhodovací stromy
31 Rekurzivní rozdělování: příklad 2 binární příznaky x 1, x 2 {+, } Instance spadají do 3 tříd: 10 červených instancí 8 zelených instancí 5 modrých instancí Všech 10 s x 1 = + má y = Všech 10 s x 1 = + má y = Zbývá 13 instancí s x 1 = Všech 8 s x 2 = + má y = Všech 5 s x 2 = má y = 5 / 26 Rozhodovací stromy
32 Algoritmus pro tvorbu rozhodovacího stromu TDIT(D,I) /* Top Down Induction of Decision Trees */ Input: D trénovací data, I indexy příznaků if všechny instance v D mají stejnou třídu y then return uzel označený y else if I = then return uzel označený většinovou třídou v D else vyber i I a vytvoř uzel označený x i for v j Range(x i ) /* konečný obor hodnot x i */ do E j = všechny instance z D u nichž x i = v j Vyveď z uzlu x i hranu označenou v j if E j = then připoj list na hranu v j označený většinovou třídou v D else připoj výsledek TDIT(E j, I \ {i}) na hranu v i end end end end return vytvořený strom s kořenem x i 6 / 26 Rozhodovací stromy
33 TDIT: rekurzivní volání 7 / 26 Rozhodovací stromy
34 Výběr příznaku Jak implementovat příkaz vyber i I v algoritmu TDIT? Příklad Třída: barva Příznaky: tvar, velikost, průhlednost Začínáme konstruovat strom. Jaký příznak zvolit první? Měl by co nejčistěji dělit data podle tříd 8 / 26 Rozhodovací stromy
35 Výběr příznaku 9 / 26 Rozhodovací stromy
36 Entropie Entropie množiny instancí D s t třídami H(D) = t p i log 2 p i i=1 p 1, p 2... p t... poměrné velikosti tříd p i = počet instancí třídy i v D počet všech instancí v D Minimální H(D) = 0, pokud jsou všechny příklady v jedné třídě. Maximální H(D) = log 2 t, pokud p 1 = p 2 =... = p t. 10 / 26 Rozhodovací stromy
37 Entropie Pro dvě třídy 11 / 26 Rozhodovací stromy
38 Entropie p zelená = p červená = 1 2 H(D) = 1 ( ) 1 2 log 2 1 ( ) log 2 = / 26 Rozhodovací stromy
39 Entropie po rozdělení množiny E velké = velké instance p zelená = p červená = 0.5 H(E velké ) = 1 Vážený průměr entropií E malé = malé instance p zelená = p červená = 0.5 H(E malé ) = 1 j {velké,malé} E j D H(E j) = = 1 13 / 26 Rozhodovací stromy
40 Entropie po rozdělení množiny E j H(Ej ) = = / 26 Rozhodovací stromy E průhledné = průhledné instance p zelená = 1 p červená = 0 H(E průhledné ) = 0 Vážený průměr entropií E neprůhledné = neprůhledné instance p zelená = 1/3 p červená = 2/3 H(E neprůhledné ) = 0.92
41 Entropie po rozdělení množiny E hranaté = hranaté instance p zelená = 1 p červená = 0 H(E hranaté ) = 0 Vážený průměr entropií E kulaté = kulaté instance p zelená = 0 p červená = 1 H(E kulaté ) = 0 j {hranaté,kulaté} 15 / 26 Rozhodovací stromy E j D H(E j) = = 0
42 Pokles entropie H(D, x i ) = H(D) v j Range(x i ) E j D H(E j) Rozdíl entropie původní množiny D a váženého průměru entropií množiny rozdělené hodnotami příznaku x i Jak implementovat příkaz vyber i I v algoritmu TDIT? Vybereme i, které maximalizuje H(D, x i ) Pozn: pro výběr i není sčítanec H(D) důležitý (nezávisí na i). 16 / 26 Rozhodovací stromy
43 Pokles entropie Jak implementovat příkaz vyber i I v algoritmu TDIT? Vybereme i, které maximalizuje H(D, xi ) 17 / 26 Rozhodovací stromy
44 Složitost rozhodovacího stromu Algoritmus TDIT se snaží minimalizovat trénovací chybu za cenu velké složitosti (košatosti) stromu Stále platí kompromis mezi složitostí modelu a trénovací chybou! Vymyslete úpravu algoritmu TDIT omezující složitost stromu Nevětvíme, pokud maxi H(D, x i ) < θ, θ > 0... parametr 18 / 26 Rozhodovací stromy
45 Ordinální příznaky Ordinální veličina Veličina, jejíž obor hodnot je uspořádán Např. přirozená (nebo reálná) čísla 1 < 2 < 3 <... ale i např. nízký < střední < vysoký 19 / 26 Rozhodovací stromy
46 Ordinální příznaky Pro ordinální příznaky obvykle test x > h v uzlech, kde h je zvolená hraniční hodnota 20 / 26 Rozhodovací stromy
47 Převod na nominální příznaky Před tvorbou stromu můžeme každý ordinální příznak, např. teplota převést na množinu nominálních příznaků teplota > h 1, teplota > h 2,..., teplota > h n z nichž každý má binární obor hodnot. Co jsou h 1, h 2,... h n? V nejjednodušším případě celý obor hodnot původního příznaku, je-li konečný (a malý). Obvykle ale jen některé z oboru hodnot. Které? 21 / 26 Rozhodovací stromy
48 Diskretizace U některých veličin se hraniční hodnoty nabízejí. x i < 36.5 podchlazení 36.5 x i < 37 normální teplota 37 x i < 38 zvýšená teplota 38 x i < 42 horečka 42 x i smrt Zde tedy uvažujeme hraniční hodnoty {36.5, 37, 38, 42} Pozn.: převedení reálné veličiny (teplota) na veličinu s konečným oborem hodnot = diskretizace. V obecném případě vhodné hraniční hodnoty předem neznáme. 22 / 26 Rozhodovací stromy
49 Diskretizace: 3 obecné způsoby Intervaly stejné délky Intervaly stejné pravděpodobnosti Intervaly obsahující instance stejné třídy (nejužívanější pro stromy) 23 / 26 Rozhodovací stromy
50 Separace: srovnání Separace v prostoru dvou reálných příznaků Lineární klasifikátor (nelze rozdělit) Kvadratický klasifikátor Rozhodovací strom 24 / 26 Rozhodovací stromy
51 Separace rozhodovacím stromem Separace v prostoru dvou reálných příznaků 25 / 26 Rozhodovací stromy
52 Minimalizace nákladů na rozhodování Rozhodovací strom netestuje vždy všechny příznaky! TDIT lze přizpůsobit tak, aby levné testy byly blíže ke kořeni 26 / 26 Rozhodovací stromy
53 Vytěžování dat, přednáška 9: Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 32 Lineární klasifikátor
54 Klasifikátory Jaké znáte klasifikační algoritmy? Naive Bayes Rozhodovací strom KNN Jak fungují? Naive Bayes počítá pravděpodobnost přiřazení do třídy za podmínky dané pozorováním. Rozhodovací strom generuje posloupnost rozhodnutí. KNN hledá nejbližsí instance z trénovací množiny. 2 / 32 Lineární klasifikátor
55 Rozhodovací hranice Další možný pohled je z hlediska rozhodovací hranice. Rozhodovací hranice je místo, kde instance přestávají patřit do třídy A a začínají patřit do třídy B. Převzadto z http: //openclassroom.stanford.edu/mainfolder/documentpage. php?course=machinelearning&doc=exercises/ex8/ex8.html 3 / 32 Lineární klasifikátor
56 Rozhodovací hranice (2) Co když mám následující data: Jak bude vypadat nejjednodušší rozhodovací hranice, která data oklasifikuje bez chyby? Stačí přece přímka! 4 / 32 Lineární klasifikátor
57 Lineární klasifikátor Takovou přímku umíme celkem jednoduše najít a vyrobit :). Jak vypadá rovnice přímky? y = j w j x j = wx Jak zjistíme, do které třídy patří vzor x? Prostým dosazením! Pokud y > 0 vzor patří do jedné třídy, y < 0 vzor patří do druhé třídy. y = 0 je rozhodovací hranice, kde se nelze rozhodnout. Naštěstí se toto nestává často. Porovnání < 0 nebo > 0 můžeme nahradit například funkcí signum(y) která vrací +1 pro kladná čísla a 1 pro záporná. 5 / 32 Lineární klasifikátor
58 Lineární klasifikátor (2) Vidíte v rovnici nějaký problém? Zkusme dosadit do rovnice x 1 = x 2 = 0. Co vyjde? y = 0 bez ohledu na nastavení vah w 1, w 2. Rozhodovací hranice libovolného klasifikátoru tedy musí procházet nulou resp. vektorem (0, 0,..., 0). To je docela nepříjemné omezení rozhodovací hranice se vlastně pouze otáčí kolem nuly. Co s tím? Můžeme přidat změnit rovnici přímky na j w jx j + Θ = 0. Θ je aditivní konstanta a označuje se jako práh. 6 / 32 Lineární klasifikátor
59 Lineární klasifikátor (3) Rovnice pro lineární klasifikátor se tedy mírně změní: y = j w j x j + Θ = wx + Θ Ale jinak vše zůstane stejné. Pokud tedy vyjde, že y > 0 vzor patří do jedné třídy, y < 0 vzor patří do druhé třídy. 7 / 32 Lineární klasifikátor
60 Práh Teď zbývá pouze najít vektor koeficientů (vah) (w 1, w 2,..., w n ) a prahu Θ. Nejprve se zamysleme zda práh Θ představuje nějakou anomálii, která potřebuje speciální zacházení. Tak napůl :). Nepotřebuje, pokud trochu upravíme vstupní data. Co kdyby všechny vzory měli jeden atribut (vstupní proměnnou, řekněme x 0 ) se stejnou hodnotou? Když pak budu počítat w 0 x 0, vyjde mi vždy stejná hodnota... to je přece náš práh! Takže přidám ke každému vzoru ještě jednu dimenzi, která bude mít konstantní hodnotu pro jednoduchost 1 (ale můžete mu přiřadit libovolnou nenulovou hodnotu). Pak už se o práh nemusím speciálně starat. 8 / 32 Lineární klasifikátor
61 Gradientní sestup krok stranou Gradientní sestup je iterativní optimalizační metoda. Jde o to, že máme funkci f(x) a hledáme její minimum. A jak minimum najít? Budu hledat takové x, kde má funkce f(x) nejnižší hodnotu. Mám nějaké x 0 a znám hodnotu f(x 0 ). A hledám v okolí x 0, nejaké x 1, kde bude hodnota f(x 1 ) nižší. A to budu opakovat stále dokola, až to dál nepůjde. Na horách se chci dostat do údolí. Podívám se, kterým směrem se kopec nejvíc snižuje a udělám krok tím směrem. A zase se podívám, kam je to nejvíc z kopce a udělám krok. A tak dále, až jednou zjistím, že to dál nejde, čili jsem v údolí. 9 / 32 Lineární klasifikátor
62 Gradientní sestup krok stranou (2) V matematice existuje možnost, jak zjistit směr největšího vzestupu hodnoty funkce - gradient. To je první parciální derivace podle všech dimenzí. Když půjdu přesně opačně, půjdu ve směru největšího poklesu. Gradient je vektor parciálních derivací podle jednotlivých proměnných: grad(f(x 1, x 2,..., x n )) = ( f x 1, f x 2,..., f x n ) 10 / 32 Lineární klasifikátor
63 Chybová funkce a gradientní sestup Stejně jako u jiných klasifikačních metod, hledáme nastavení klasifikátoru (zde vah) takové, aby klasifikoval správně co nejvíc vzorů. Mějme tedy chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z testovací množiny) při daných vahách w. Ale taková se nám nehodí neumím spočítat parciální derivace (a tudíž ani gradient). Zkusme jinou E(w) = x χ err( w(t)x), kde χerr jsou špatně klasifikované vzory z χ. To už je spojitá funkce. A chybovou funkci E mohu minimalizovat změnou vah pomocí gradientního sestupu. 11 / 32 Lineární klasifikátor
64 Chybová funkce a gradientní sestup Parciální derivace chybové funkce E podle jedné proměnné vypadá takto: E = x 1 χ err( w 1(t)x 1 ) w 1 w 1 Kde x 1 je první souřadnice z x a w 1 je první souřadnice z w. x 1 χ err( w 1(t)x 1 ) w 1 = x 1 χ err x 1 Z toho plyne závěr, že nejvíce chybu snížím, pokud váhu w 1 změním o součet hodnot prvních vstupních proměnných x 1 vzorů na kterých jsem udělal chybu. Analogicky i ostatní vstupní proměnné (včetně prahu). 12 / 32 Lineární klasifikátor
65 Učení lineárního klasifikátoru A přesně na této myšlence je založen Perceptronový algoritmus. (Proč zrovna perceptronový, necháme teď stranou). 1. Inicializuj váhy na náhodné hodnoty. 2. Vezmi náhodný vstupní vzor x. A spočítej hodnotu y(x) = sgn( j w jx j = wx). 3. Pokud se požadovaný výstup d(x) liší od skutečného y(x), oprav váhy (w) takto: e(x) = d(x) y(x) wi (t + 1) = w i (t) + ηe(x)x i 4. Pokud chceš, pokračuj bodem 2). η je koeficient učení, který s postupem času může klesat k nule / 32 Lineární klasifikátor
66 Jednoznačnost výsledné přímky Jak poznám, že se perceptronový algoritmus zastavil? Je výsledná přímka jediná možná? Ne, takových přímek je dokonce nekonečně mnoho. Přesto jsou některé lepší něž jiné. Kterou mám vybrat? A kterou nám vybere Perceptronový algoritmus? 14 / 32 Lineární klasifikátor
67 Lineárně separovatelné problémy Lze pomocí tohoto algoritmu klasifikovat bezchybně následující data? Ne! Třídám (datům), které lze oddělit přímkou říkáme lineárně separovatelná. 15 / 32 Lineární klasifikátor
68 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? Ne. K tomu potřebuji přidat další kvalitu. 1. Jednou z možností je zkombinovat lin. klasifikátory. (O tom bude příští přednáška.) 2. Rozšíření báze. 16 / 32 Lineární klasifikátor
69 Rozšíření báze Když data nejsou separabilní v originálním prostoru, zkusme jestli by nebyla lineárně separovatelná ve více-dimenzionálním prostoru. 17 / 32 Lineární klasifikátor
70 Transformace Zase existuje mnoho transformací. Jedna z těch jednodušších přidává ke stávajícím dimenzím také součiny originálních dimenzí. Je charakterizovaná parametrem s maximálním stupněm součinu. Pro s = 2 z původních dimenzí (x 1, x 2 ) získám 5D prostor dimenzí (x 1, x 2, χ 1, χ 2, χ 3 ), kde χ 1 = x 2 1 χ2 = x 1 x 2 χ 3 = x / 32 Lineární klasifikátor
71 Učení nelineárního klasifikátoru Když mám teď nové dimenze, jak naučím můj klasifikátor? Díky rozšíření báze teď mám více-dimenzionální prostor a (třeba) teď dokáži třídy lineárně separovat. Úplně stejně jako v předchozím případě. Tj použiji například perceptronový algoritmus. Pokud se mi nepodaří získat lineární separaci, mohu zkusit zvýšit maximální stupeň součinu a zkusit separaci znovu. 19 / 32 Lineární klasifikátor
72 Rozhodovací hranice Jak pak bude vypadat projekce rozhodovací hranice zpět do originálních dimenzí? Tím se nám podařilo dosáhnout toho, že se rozhodovací hranice ohnula. A pokud budu zvyšovat parametr s, bude hranice stále poddajnější. 20 / 32 Lineární klasifikátor
73 Rozhodovací hranice (2) Můžu zvyšovat maximální stupeň součinu (parametr s) do nekonečna? Nebo někde narazím? S vyšším maximálním stupněm s vyvstávají dva problémy: 1. Jednak mám více vah, které musím nastavovat a perceptronový (nebo jakýkoliv jiný) algoritmus to nemusí zvládnout čili váhy se nastaví špatně. 2. Zvyšuji pravděpodobnost, že se klasifikátor přeučí. Tj. naučí se šum a chyby v trénovacích datech a nedokáže vlastnosti trénovacích dat zobecnit. (Podobně jako například 1-NN klasifikátor.) 21 / 32 Lineární klasifikátor
74 Klasifikace do několika tříd Co když mám více než dvě třídy? Mohu použít (ne-)lineární separaci? Případně jak? Budu rozhodovat o každé třídě samostatně. Čili pro problém s N třídami budu mít N klasifikátorů. Každý bude říkat Instance patří do mé třídy / Instance nepatří do mé třídy. Při rozhodování o neznámé instanci x se zeptám všech N klasifikátorů na jejich rozhodnutí. 1. x patří právě do jedné třídy. 2. x patří do více tříd pak se musím rozhodnout například podle hodnoty xw (čím je větší, tím je x dále od rozhodovací hranice). 3. analogoicky, pokud x nepatří do žádné třídy. Hledám tedy trídu, kam x nepatří nejméně :). 22 / 32 Lineární klasifikátor
75 Problémy lineárních klasifikátorů Linearita Pokud se dostatečně pohnu i jen v jedné proměnné, můžu získat obrácený výsledek. Hodnota xw roste se vzdáleností od rozhodovací hranice a nemá žádnou interpretaci. Lineární klasifikátory špatně snášejí chybějící hodnoty. Pokud provádím rozšíření báze, může trvat učení velmi dlouho. 23 / 32 Lineární klasifikátor
76 Linear Discriminant Analysis LDA je statistický přístup k problému lineární separace. Pamatujete si PCA? (Principal Component Analisis mluvili jsme o něm u SOM) LDA redukuje původní prostor na přímku (1 dimenzi) a to tak, co nejvíce oddělil vzory různých tříd. V jistém smyslu je to opak rozšíření báze. 24 / 32 Lineární klasifikátor
77 Linear Discriminant Analysis (2) Obraz vzoru v nové souřadnici pak získám jako xw, kde w jsou váhy. V principu počítám to samé jako u lineárního klasifikátoru, ale interpretace a postup jsou úplně jiné. 25 / 32 Lineární klasifikátor
78 Linear Discriminant Analysis (3) Při počítání LDA se snažím maximalizovat separaci mezi třídami. Nejprve pro každou třídu musím spočítat rozptyl v obraze (scatter). µ s1 = 1 s 1 x i s 1 x i y i = x i w µ s1 = 1 s 1 s 1 2 = y i = 1 s 1 x i s 1 µ s1 x 1 s 1 y i x i s 1 x i w 26 / 32 Lineární klasifikátor
79 Linear Discriminant Analysis (4) A nyní můžu spočítat míru separace pro projekci danou vahami w. J(w) = µ s 1 µ s2 2 s s 2 Hledáme tedy projekci, která co nejvíc seskupí vzory stejné třídy a co nejvíc zároveň oddělí vzory různých tříd. 27 / 32 Lineární klasifikátor
80 LDA pro více tříd LDA lze zobecnit tak, aby dokázalo klasifikovat do více tříd. Pak se nevytváří pouze jedna nová dimenze, ale počet tříd -1 nových dimenzí a mírně se upraví vzorečky :). 28 / 32 Lineární klasifikátor
81 Problémy LDA Stejně jako všechno, má i LDA nějaké mouchy: Počet dimenzí vytvořený LDA nemusí stačit ke správném zařazení do třídy. LDA předpokládá normální rozložení dat ve třídách. A selhává, pokud tomu tak není. (Například třídy mají komplexní tvary). Rozíly mezi třídami jsou spíše v rozptylu hodnot než v rozdílu středních hodnot. 29 / 32 Lineární klasifikátor
82 Logistická regrese Co kdybych chtěl, abych dokázal vzdálenosti od rozhodovací hranice nějak interpretovat. Ideálně ještě tak, že je to pravděpodobnost příslušnosti k dané třídě. Existuje logistická funkce, která je definovaná takto f(z) = 1 1+e z Její hodnoty jsou omezené na interval A navíc kolem z = 0 (rozhodovací hranice) je její změna největší. 30 / 32 Lineární klasifikátor
83 Logistická regrese (2) Zkusíme zavést pojem sance = p 1 p Abychom ji dostali do rozmezí zkusme ji zlogaritmovat. Tím získáme funkci logit(p) = log(sance(p)) = log( p 1 p ) Zkusme předpokládat, že logit(p) = β 0 + β 1 x 1 + β 2 x β k x k Kde β 1,..., β k jsou regresní koeficienty a β 0 je posun. A teď zkusme opět dopočítat pravděpodobnost vzoru x. p(x) = 1 1+e β 0 +β 1 x 1 +β 2 x β k x k 31 / 32 Lineární klasifikátor
84 Zdroje LDA převzata z research.cs.tamu.edu/prism/lectures/pr/pr_l10.pdf logisticregression/html/logisticregression.htm 32 / 32 Lineární klasifikátor
85 Vytěžování dat, přednáška 10: Neuronové sítě s dopřednou architekturou Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 30 Neuronové sítě
86 Umělé neuronové sítě Umělá neuronová síť je matematickým přiblížením biologické neuronové sítě. A snahou je napodobovat funkci biologických neuronových sítí. Umělé neuronové sítě představují jiný přístup k řešení problémů než konvenční výpočetní technika. Ale mezi schopnostmi umělých neuronových sítí a mozku je přecejen ještě obrovský rozdíl. 2 / 30 Neuronové sítě
87 Biologická neuronová síť Více si můžete přečíst například na nebo 3 / 30 Neuronové sítě
88 Umělá neuronová síť Se skládá ze vzájemně propojených jednotek neuronů. Každý neuron transformuje své vstupy na výstup. Čili umí jen velmi málo, ale jejich síla je v jejich spolupráci. Konekcionistivký přístup k umělé inteligenci představa, že spoluprácí mnoha hloupých jednotek dosáhnu chování, které je kvalitativně chytřejší než jen součet možností jednotlivých elementů. Neuron při transformaci může uplantit svou lokální paměť. Výstupy neuronu jsou přivedeny na vstupy dalších neuronů. 4 / 30 Neuronové sítě
89 Historie První, kdo se začal zabývat výzkumem umělých neuronových sítí byl v roce 1943 jistý profesor McCulloch a jeho žák Pitts. Oba v prvním plánu hledali matematický model biologického neuronu. Tento jejich model se dodnes používá a nazývá se McCulloch-Pittsův neuron. Občas se označuje také jako Perceptron. kk-thesis/kk-thesis-html/node12.html 5 / 30 Neuronové sítě
90 Princip práce McCulloch-Pittsova neuronu Na vstupy x 1, x 2,... x n (na předchozím odrázku označeny jako I 1, I 2,... I n ) předložím pozorované hodnoty. Tyto hodnoty přenásobím vahami w 1, w 2,... w n a spočítám tzv. aktivaci neuronu. n a = w i x i i=1 Aktivace odpovídá aktivaci biologického neuronu. A ten vypálí výstup jen v případě, že aktivace překročí určitý práh. To se v umělých neuronových sítích simuluje pomocí aktivační funkce. V případě perceptronu skokovou funkcí. f(a) = 0, pro a < konst, jinak f(a) = 1. Nepřipomíná vám to něco? 6 / 30 Neuronové sítě
91 Rozhodovací hranice a učení Jak vypadá rozhodovací hranice Perceptronu (McCulloch-Pittsova neuronu)? A jak nastavíme váhy? Přece pomocí perceptronového algoritmu! Jaké jsou limity perceptronu? 7 / 30 Neuronové sítě
92 Aktivační funkce Prvním vylepšením perceptronu jsou různé aktivační funkce, kterými se transformuje aktivaci na výstup. 8 / 30 Neuronové sítě
93 ADALINE Drobné vylepšení perceptronu, které se týká učícího algoritmu. Při učení se chyba nepočítá přímo z výstupu, ale z aktivace. Což znamená, že musím znát požadovanou aktivaci. 9 / 30 Neuronové sítě
94 Vícevrstvá síť perceptronů Madaline MADALINE Multiple Adaptive Linear Element síť s jednou skrytou vrstvou a jednou výstupní vrstvou. 10 / 30 Neuronové sítě
95 MADALINE vybavování Výpočet odpovědi sítě na předložený vstupní vzor je jednoduchý. Přivedu na vstupy všech neuronů odpovídající hodnoty vstupů. Pro každý neuron přenásobím vstupní hodnoty vstupnímy vahami a sečtu. Tím získám aktivaci neuronu. Aktivaci transformuji aktivační funkcí na výstup. Když takto vypočítám výstupy všech neuronů, aplikuji majoritu (spočítám kolik neuronů zařadilo vzor do třídy 0 a kolik do třídy 1). A podle toho předpovím výstupní třídu sítě. 11 / 30 Neuronové sítě
96 Učení MADALINE Učení jen nastíním předložím vstupní vzor a spočítám výstup sítě. Pokud se výstup shoduje s požadovaným, nedělám nic. Pokud se vypočítaný a skutečný výstup liší, musím změnit váhy nějakého neuronu, který předpovídá špatnou třídu, aby příště změnil názor a tím se majorita přiklonila na správnou stranu. A nejjednodušší je přesvědčit neuron, který má aktivaci nejblíž nule. Tomuto neuronu přepočítám váhy. 12 / 30 Neuronové sítě
97 Použití MADALINE Je dnes spíše ilustrativní. Učící algoritmus nezvládá komplexní úpravy a nedokáže měnit váhy neuronů dostatečně flexibilně. Druhý a stejně závažný problém MADALINE z principu fungování nemůže zvládnout lineárně neseparabilné problémy. Vymyslíte proč? Problém dělá ta majorita / 30 Neuronové sítě
98 Back Propagation Neuronová síť typu back propagation představuje elegantní cestu, jak se vypořádat s problémy sítě MADALINE a zárověň zvládnout učení několika skrytých vrstev. Podle jména dochází k zpětnému šíření kokrétně ke zpětnému šíření chyby. Nejedná se v pravém slova smyslu o jednu neuronovou síť, ale označuje se tímto pojmem libovolná síť, ve které se při učení šíří chyba z výstupu zpět na vstup. Můžete narazit i na jiné back propagation síť, než o které budu vyprávět já. BP jsou prakticky jediným typem sítí, který je znám mimo výzkumnou komunitu zabývající se NS. 14 / 30 Neuronové sítě
99 Struktura Back Propagation Jedná se o dopřednou síť s jednou nebo dvěma skrytými vrstvami. Vrstva se skládá z neuronů jejich počet v jednotlivých vrstvách (a počet vrstev) je jedním z parametrů, který musíte určit experimentálně tj. zkusit. Existuje celá teorie, která dokazuje, že k aproximaci libovolné funkce (libovolné rozhodovací hranice) stačí dvě skryté vrstvy. 15 / 30 Neuronové sítě
100 Back Propagation neuron Jedná se o standardní Perceptron se spojitou (!!) aktivační funkcí. Spojitost funkce budeme používat při učení budeme počítat derivace. 16 / 30 Neuronové sítě
101 Back Propagation aktivační funkce 17 / 30 Neuronové sítě
102 Back Propagation učení (1) Učící algoritmus je trochu podobný tomu, co jsme již viděli. Nejprve se spočítá odpověď (výstup) sítě na předložený vstup, pak se spočítá rozdím mezi vypočítaným a požadovaným výstupem. Co je úplně jiné je výpočet změny vah. Chyba se totiž distribuuje zpět ke vstupům a postupně se upravují váhy ve skrytých vrstvách. A pak se pokračuje předložením dalšího vzoru, až do té doby než dosáhneme zastavujícího kritéria. 18 / 30 Neuronové sítě
103 Back Propagation učení (2) 1. Inicializuj všechny váhy všech neuronů na náhodné hodnoty. 2. Vytvoř permutaci trénovací množiny. 3. Vyber další vzor x i z vytvořené permutace. 4. Vypočítej výstup sítě y i. 5. Spočítej chybu (rozdíl) mezi y i a skutečnou hodnotou d i. 6. Postupně propaguj chybu zpět a modifikuj váhy. 7. Pokud jsi dosud nepředložil všechny prvky z trénovací množiny pokračuj bodem Pokud chyba přes všechny trénovací vzory je větší než zvolené kritétium, pokračuj bodem / 30 Neuronové sítě
104 Back Propagation učení (3). Výpočet výstupu sítě se provádí již známým způsobem. Pro každý neuron, u nějž známe všechny vstupy spočítáme aktivaci. n a = w i x i + Θ i=1 Pokud znám aktivaci můžu spočítat výstup pomocí zvolené aktivační funkce. Pro, například, logistickou funkci tedy 1 y = 1 + e γa Takto postupuji pro všechny neurony, až zjistím výstup výstupního neuronu. 20 / 30 Neuronové sítě
105 Back Propagation učení (4) Když zjistím výstup pro všechny vzory v trénovací množině, můžu zjistit globální chybu (energii) sítě. E = 1 n (y 2 i d i ) 2 i=1 A snažíme se chybu (energii) minimalizovat. To se dá dělat různě a jednou z variant je gradientní sestup. Gradientní metoda mění váhy tak, aby energie klesla co možná nejvíc. 21 / 30 Neuronové sítě
106 Back Propagation učení (4) Na horách se chci dostat do údolí. Podívám se, kterým směrem se kopec nejvíc snižuje a udělám krok tím směrem. A zase se podívám, kam je to nejvíc z kopce a udělám krok. A tak dále, až jednou zjistím, že to dál nejde, čili jsem v údolí. V matematice existuje možnost, jak zjistit směr největšího vzestupu hodnoty funkce - gradient. To je první parciální derivace podle všech dimenzí. Když půjdu přesně opačně, půjdu ve směru největšího poklesu. 22 / 30 Neuronové sítě
107 Back Propagation učení (5) Po chvíli derivování spočítáme (viz například skripta Miroslav Šnorek: Neuronové sítě a neuropočítače ), dojdeme k následujícím vzorcům. δ o i (t) = (y o i d i )S (ϕ) Kde δi o (t) je požadovaná změna neuronu i ve výstupní vrstvě o při skutečném výstupu y i oproti skutečnému výstupu d i. S je funkce inverzní k aktivační funkci a ϕ je aktivace neuronu. Změnu váhy mezi neuronem i ve vástupní vrstvě a neuronem j v první skryté vrstvě pak spočítám takto: w o ij(t + 1) = w o ij(t) + w o ij(t) w o ij(t) = ηδ o i (t)y h j Kde y h j je výstup j-tého neuronu ve druhé skryté vstvě. 23 / 30 Neuronové sítě
108 Back Propagation učení (6) Nový práh neuronu i ve výstupní vrstvě o pak spočítám takto: Θ o i (t + 1) = Θ o i (t) + Θ o i (t) Θ o i (t) = ηδ o i (t) 24 / 30 Neuronové sítě
109 Back Propagation učení (7) V druhé skryté vrstvě pak změnu vah vypočítám podle následujících vzorců: δ h i (t) = y h i (1 yh i ) w o ik δo k w h ij(t + 1) = w h ij(t) + w h ij(t) w h ij(t) = ηδ h i (t)y h 1 j Θ h i (t + 1) = Θ h i (t) + Θ h i (t) Θ h i (t) = ηδi h (t) Kde w h ij e váha mezi neuronem i ve druhé skryté vrstvě a j v první skryté vrstvě. y h 1 j je výstup j-tého neuronu v první skryté vrstvě. 25 / 30 Neuronové sítě
110 Back Propagation vylepšení trénovacího algoritmu Všechna vylepšení směřují k tomu, abych zvýšil pravděpodobnost toho, že (rychleji) najdu globální minimum energetické funkce. Lze si jednoduše představit situaci, kdy gradientní sestup tak jak jsem o něm teď mluvil skončí v lokálním extrému. (Všechny body ve vzdálenosti 1 krok jsou výše, ale rozhodně nejsem v globálním minimu). Setrvačnost při hledání směru kroku v čase t + 1 zohledním nejen současný gradient, ale i směr a velikost minulého kroku. Restart nejde o vylepšení učícího algoritmu v pravém smyslu slova, ale pokud se sestup energetické funkce zastaví, zapamatuji si výsledek a začnu znova. Další podrobnosti viz. například skripta Miroslav Šnorek: Neuronové sítě a neuropočítače. 26 / 30 Neuronové sítě
111 Další neuronové sítě Prezentované sítě nejsou zdaleka jediné, které existují. I když Back propagation je nejznámější, neznamená to, že je nejlepší, nejzajímavější a nejlépe fungující. Exitují například sítě, které při učení mění nejen váhy, ale i svou strukturu sítě GMDH a GAME. Navíc mohou používat úplně jiné aktivační funkce. Síť s jiným typem neuronů (a v každé vrstvě jiné) RBF síť. Sítě s velkými počty neuronů, kde váha mezi neurony i a j není určena zapamatovanou hodnotou, ale nějakou funkcí w(i, j) HyperNEAT (umožňuje tvořit sítě s tisíci neuronů). Sítě pro shlukování SOM. 27 / 30 Neuronové sítě
112 Použití neuronových sítí Klasifikace Regrese Shlukování Komprese dat Filtrování Řízení 28 / 30 Neuronové sítě
113 Problémy / Nevýhody Umělé neurnové sítě (stejně jako cokoliv) nejsou všemocné. A na některé problémy se nehodí nebo jsou zbytečně složité. Předtím než začnete zkoušet NS zkuste se zamyslet nad následujícími otázkami: Dokáži jednoduše popsat řešení problému? Pokud ano, je mnohem jednodušší držet se tradičního programování. Mám dostatečné množství ohodnocených dat v trénovací množině? Musím získat absolutně přesné hodnoty na výstupu? Potřebuji být schopen jednoduše vysvětlit funkci modelu? 29 / 30 Neuronové sítě
114 Zdroje php?modgui=212 chapters.html skripta Miroslav Šnorek: Neuronové sítě a neuropočítače. série knih Mařík a spol: Umělá inteligence 30 / 30 Neuronové sítě
115 Vytěžování dat, cvičení 9: Strojové učení Radomír Černoch Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 11 Strojové učení
116 Iris data ještě jednou 2 / 11 Strojové učení
LDA, logistická regrese
Vytěžování Dat Přednáška 9 Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vícelogistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vytěžování Dat Přednáška 9 Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vícelogistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vytěžování Dat Přednáška 9 Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
VícePřednáška 13 Redukce dimenzionality
Vytěžování Dat Přednáška 13 Redukce dimenzionality Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti ČVUT (FEL) Redukce dimenzionality 1 /
VíceKatedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group
Vytěžování dat Miroslav Čepek, Filip Železný Katedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group Evropský sociální fond Praha & EU: Investujeme
VíceVytěžování znalostí z dat
Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 8 1/26 Vytěžování znalostí z dat Pavel Kordík, Josef Borkovec Department of Computer Systems Faculty of Information
VíceKybernetika a umělá inteligence, cvičení 10/11
Kybernetika a umělá inteligence, cvičení 10/11 Program 1. seminární cvičení: základní typy klasifikátorů a jejich princip 2. počítačové cvičení: procvičení na problému rozpoznávání číslic... body za aktivitu
VíceDobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze
Dobývání znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Bayesovské modely Doc. RNDr. Iveta Mrázová, CSc.
VíceÚloha - rozpoznávání číslic
Úloha - rozpoznávání číslic Vojtěch Franc, Tomáš Pajdla a Tomáš Svoboda http://cmp.felk.cvut.cz 27. listopadu 26 Abstrakt Podpůrný text pro cvičení předmětu X33KUI. Vysvětluje tři způsoby rozpoznávání
VíceZáklady vytěžování dat
Základy vytěžování dat předmět A7Bb36vyd Vytěžování dat Filip Železný, Miroslav Čepek, Radomír Černoch, Jan Hrdlička katedra kybernetiky a katedra počítačů ČVUT v Praze, FEL Evropský sociální fond Praha
VícePokročilé neparametrické metody. Klára Kubošová
Pokročilé neparametrické metody Klára Kubošová Pokročilé neparametrické metody Výuka 13 přednášek doplněných o praktické cvičení v SW Úvod do neparametrických metod + princip rozhodovacích stromů Klasifikační
VíceKlasifikace a rozpoznávání. Lineární klasifikátory
Klasifikace a rozpoznávání Lineární klasifikátory Opakování - Skalární součin x = x1 x 2 w = w T x = w 1 w 2 x 1 x 2 w1 w 2 = w 1 x 1 + w 2 x 2 x. w w T x w Lineární klasifikátor y(x) = w T x + w 0 Vyber
VíceStrukturální regresní modely. určitý nadhled nad rozličnými typy modelů
Strukturální regresní modely určitý nadhled nad rozličnými typy modelů Jde zlepšit odhad k-nn? Odhad k-nn konverguje pro slušné k očekávané hodnotě. ALE POMALU! Jiné přístupy přidají předpoklad o funkci
VíceUČENÍ BEZ UČITELE. Václav Hlaváč
UČENÍ BEZ UČITELE Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz, http://cmp.felk.cvut.cz/~hlavac 1/22 OBSAH PŘEDNÁŠKY ÚVOD Učení
VíceAlgoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů)
Algoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů) Autor: Vladimir Vapnik Vapnik, V. The Nature of Statistical Learning Theory.
VíceÚvod do optimalizace, metody hladké optimalizace
Evropský sociální fond Investujeme do vaší budoucnosti Úvod do optimalizace, metody hladké optimalizace Matematika pro informatiky, FIT ČVUT Martin Holeňa, 13. týden LS 2010/2011 O čem to bude? Příklady
VíceKatedra kybernetiky skupina Inteligentní Datové Analýzy (IDA) 9. ledna 2017
Vytěžování dat Filip Železný Katedra kybernetiky skupina Inteligentní Datové Analýzy (IDA) 9. ledna 2017 Rozhodovací pravidla Strom lze převést na seznam pravidel ve tvaru if podmínky then třída if teplota=horečka
Více1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.
Prostá regresní a korelační analýza 1 1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004. Problematika závislosti V podstatě lze rozlišovat mezi závislostí nepodstatnou, čili náhodnou
VíceANALÝZA A KLASIFIKACE DAT
ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz IV. LINEÁRNÍ KLASIFIKACE PRINCIPY KLASIFIKACE pomocí diskriminačních funkcí funkcí,
VíceAlgoritmy a struktury neuropočítačů ASN P4. Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby
Algoritmy a struktury neuropočítačů ASN P4 Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby Vrstevnatá struktura - vícevrstvé NN (Multilayer NN, MLNN) vstupní vrstva (input layer)
VíceRosenblattův perceptron
Perceptron Přenosové funkce Rosenblattův perceptron Rosenblatt r. 1958. Inspirace lidským okem Podle fyziologického vzoru je třívrstvá: Vstupní vrstva rozvětvovací jejím úkolem je mapování dvourozměrného
VíceFiala P., Karhan P., Ptáček J. Oddělení lékařské fyziky a radiační ochrany Fakultní nemocnice Olomouc
Neuronové sítě a možnosti jejich využití Fiala P., Karhan P., Ptáček J. Oddělení lékařské fyziky a radiační ochrany Fakultní nemocnice Olomouc 1. Biologický neuron Osnova 2. Neuronové sítě Umělý neuron
VíceModerní systémy pro získávání znalostí z informací a dat
Moderní systémy pro získávání znalostí z informací a dat Jan Žižka IBA Institut biostatistiky a analýz PřF & LF, Masarykova universita Kamenice 126/3, 625 00 Brno Email: zizka@iba.muni.cz Bioinformatika:
VíceAplikovaná numerická matematika
Aplikovaná numerická matematika 6. Metoda nejmenších čtverců doc. Ing. Róbert Lórencz, CSc. České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových systémů Příprava studijních
VíceMiroslav Čepek. Fakulta Elektrotechnická, ČVUT. Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vytěžování Dat Přednáška 12 Kombinování modelů Miroslav Čepek Pavel Kordík a Jan Černý (FIT) Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti ČVUT (FEL)
VíceAVDAT Nelineární regresní model
AVDAT Nelineární regresní model Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Nelineární regresní model Ey i = f (x i, β) kde x i je k-členný vektor vysvětlujících proměnných
VíceANALÝZA A KLASIFIKACE BIOMEDICÍNSKÝCH DAT. Institut biostatistiky a analýz
ANALÝZA A KLASIFIKACE BIOMEDICÍNSKÝCH DAT prof. Ing. Jiří Holčík,, CSc. NEURONOVÉ SÍTĚ otázky a odpovědi 1 AKD_predn4, slide 8: Hodnota výstupu závisí na znaménku funkce net i, tedy na tom, zda bude suma
Víceoddělení Inteligentní Datové Analýzy (IDA)
Vytěžování dat Filip Železný Katedra počítačů oddělení Inteligentní Datové Analýzy (IDA) 22. září 2014 Filip Železný (ČVUT) Vytěžování dat 22. září 2014 1 / 25 Odhad rozdělení Úloha: Vstup: data D = {
VíceLineární klasifikátory
Lineární klasifikátory Lineární klasifikátory obsah: perceptronový algoritmus základní verze varianta perceptronového algoritmu přihrádkový algoritmus podpůrné vektorové stroje Lineární klasifikátor navrhnout
Vícepřetrénování = ztráta schopnosti generalizovat vlivem přílišného zaměření klasifikátorů na rozeznávání pouze konkrétních trénovacích dat
Zkouška ISR 2013 přetrénování = ztráta schopnosti generalizovat vlivem přílišného zaměření klasifikátorů na rozeznávání pouze konkrétních trénovacích dat 1. Rozdílné principy u induktivního a deduktivního
Více3. Vícevrstvé dopředné sítě
3. Vícevrstvé dopředné sítě! Jsou tvořeny jednou nebo více vrstvami neuronů (perceptronů). Výstup jedné vrstvy je přitom připojen na vstup následující vrstvy a signál se v pracovní fázi sítě šíří pouze
Více8 Střední hodnota a rozptyl
Břetislav Fajmon, UMAT FEKT, VUT Brno Této přednášce odpovídá kapitola 10 ze skript [1]. Také je k dispozici sbírka úloh [2], kde si můžete procvičit příklady z kapitol 2, 3 a 4. K samostatnému procvičení
VíceObsah přednášky Jaká asi bude chyba modelu na nových datech?
Obsah přednášky Jaká asi bude chyba modelu na nových datech? Chyba modelu Bootstrap Cross Validation Vapnik-Chervonenkisova dimenze 2 Chyba skutečná a trénovací Máme 30 záznamů, rozhodli jsme se na jejich
VíceVytěžování znalostí z dat
Vytěžování znalostí z dat Department of Computer Systems Faculty of Information Technology Czech Technical University in Prague Přednáška 5: Hodnocení kvality modelu BI-VZD, 09/2011 MI-POA Evropský sociální
VíceDobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze
Dobývání znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Pravděpodobnost a učení Doc. RNDr. Iveta Mrázová,
VíceCvičení ze statistiky - 3. Filip Děchtěrenko
Cvičení ze statistiky - 3 Filip Děchtěrenko Minule bylo.. Dokončili jsme základní statistiky, typy proměnných a začali analýzu kvalitativních dat Tyhle termíny by měly být známé: Histogram, krabicový graf
VíceAlgoritmus pro hledání nejkratší cesty orientovaným grafem
1.1 Úvod Algoritmus pro hledání nejkratší cesty orientovaným grafem Naprogramoval jsem v Matlabu funkci, která dokáže určit nejkratší cestu v orientovaném grafu mezi libovolnými dvěma vrcholy. Nastudoval
VíceStátnice odborné č. 20
Státnice odborné č. 20 Shlukování dat Shlukování dat. Metoda k-středů, hierarchické (aglomerativní) shlukování, Kohonenova mapa SOM Shlukování dat Shluková analýza je snaha o seskupení objektů do skupin
VíceIng. Petr Hájek, Ph.D. Podpora přednášky kurzu Aplikace umělé inteligence
APLIKACE UMĚLÉ INTELIGENCE Ing. Petr Hájek, Ph.D. Podpora přednášky kurzu Aplikace umělé inteligence Aplikace umělé inteligence - seminář ING. PETR HÁJEK, PH.D. ÚSTAV SYSTÉMOVÉHO INŽENÝRSTVÍ A INFORMATIKY
VícePokročilé neparametrické metody. Klára Kubošová
Klára Kubošová Další typy stromů CHAID, PRIM, MARS CHAID - Chi-squared Automatic Interaction Detector G.V.Kass (1980) nebinární strom pro kategoriální proměnné. Jako kriteriální statistika pro větvení
VíceUsuzování za neurčitosti
Usuzování za neurčitosti 25.11.2014 8-1 Usuzování za neurčitosti Hypotetické usuzování a zpětná indukce Míry postačitelnosti a nezbytnosti Kombinace důkazů Šíření pravděpodobnosti v inferenčních sítích
VíceTrénování sítě pomocí učení s učitelem
Trénování sítě pomocí učení s učitelem! předpokládá se, že máme k dispozici trénovací množinu, tj. množinu P dvojic [vstup x p, požadovaný výstup u p ]! chceme nastavit váhy a prahy sítě tak, aby výstup
VícePravděpodobně skoro správné. PAC učení 1
Pravděpodobně skoro správné (PAC) učení PAC učení 1 Výpočetní teorie strojového učení Věta o ošklivém kačátku. Nechť E je klasifikovaná trénovací množina pro koncept K, který tvoří podmnožinu konečného
VíceVektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice
Vektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice Vektorové podprostory K množina reálných nebo komplexních čísel, U vektorový prostor nad K. Lineární kombinace vektorů u 1, u 2,...,u
VíceAsociativní sítě (paměti) Asociace známého vstupního vzoru s daným výstupním vzorem. Typická funkce 1 / 44
Asociativní paměti Asociativní sítě (paměti) Cíl učení Asociace známého vstupního vzoru s daným výstupním vzorem Okoĺı známého vstupního vzoru x by se mělo také zobrazit na výstup y odpovídající x správný
VíceNumerické metody 6. května FJFI ČVUT v Praze
Extrémy funkcí Numerické metody 6. května 2018 FJFI ČVUT v Praze 1 Úvod Úvod 1D Více dimenzí Kombinatorika Lineární programování Programy 1 Úvod Úvod - Úloha Snažíme se najít extrém funkce, at už jedné
VíceOptimální rozdělující nadplocha 4. Support vector machine. Adaboost.
Optimální rozdělující nadplocha. Support vector machine. Adaboost. Petr Pošík Czech Technical University in Prague Faculty of Electrical Engineering Dept. of Cybernetics Opakování Lineární diskriminační
VíceAVDAT Mnohorozměrné metody, metody klasifikace
AVDAT Mnohorozměrné metody, metody klasifikace Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Mnohorozměrné metody Regrese jedna náhodná veličina je vysvětlována pomocí jiných
VíceAproximace funkcí. Numerické metody 6. května FJFI ČVUT v Praze
Aproximace funkcí Numerické metody 6. května 2018 FJFI ČVUT v Praze 1 Úvod Dělení Interpolace 1D Více dimenzí Minimalizace Důvody 1 Dělení Dělení - Získané data zadané data 2 Dělení - Získané data Obecně
VíceVytěžování znalostí z dat
Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 7 1/27 Vytěžování znalostí z dat Pavel Kordík, Jan Motl Department of Computer Systems Faculty of Information Technology
VíceDynamické programování
Dynamické programování prof. Ing. Pavel Tvrdík CSc. Katedra počítačových systémů Fakulta informačních technologií České vysoké učení technické v Praze c Pavel Tvrdík, 2010 Efektivní algoritmy (BI-EFA)
VíceAproximace funkcí. x je systém m 1 jednoduchých, LN a dostatečně hladkých funkcí. x c m. g 1. g m. a 1. x a 2. x 2 a k. x k b 1. x b 2.
Aproximace funkcí Aproximace je výpočet funkčních hodnot funkce z nějaké třídy funkcí, která je v určitém smyslu nejbližší funkci nebo datům, která chceme aproximovat. Třída funkcí, ze které volíme aproximace
VíceStrojové učení Marta Vomlelová
Strojové učení Marta Vomlelová marta@ktiml.mff.cuni.cz KTIML, S303 Literatura 1.T. Hastie, R. Tishirani, and J. Friedman. The Elements of Statistical Learning, Data Mining, Inference and Prediction. Springer
VíceVytěžování znalostí z dat
Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 1 1/32 Vytěžování znalostí z dat Pavel Kordík, Jan Motl Department of Computer Systems Faculty of Information Technology
VíceStatistická teorie učení
Statistická teorie učení Petr Havel Marek Myslivec přednáška z 9. týdne 1 Úvod Představme si situaci výrobce a zákazníka, který si u výrobce objednal algoritmus rozpoznávání. Zákazník dodal experimentální
VíceStavový model a Kalmanův filtr
Stavový model a Kalmanův filtr 2 prosince 23 Stav je veličina, kterou neznáme, ale chtěli bychom znát Dozvídáme se o ní zprostředkovaně prostřednictvím výstupů Příkladem může býapř nějaký zašuměný signál,
VíceAgent pracující v částečně pozorovatelném prostředí udržuje na základě senzorického modelu odhaduje, jak se svět může vyvíjet.
Umělá inteligence II Roman Barták, KTIML roman.bartak@mff.cuni.cz http://ktiml.mff.cuni.cz/~bartak Dnešní program Agent pracující v částečně pozorovatelném prostředí udržuje na základě senzorického modelu
VícePravděpodobnost, náhoda, kostky
Pravděpodobnost, náhoda, kostky Radek Pelánek IV122 Výhled pravděpodobnost náhodná čísla lineární regrese detekce shluků Dnes lehce nesourodá směs úloh souvisejících s pravděpodobností připomenutí, souvislosti
VíceProjekční algoritmus. Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění. Jan Klíma
Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění Jan Klíma Obsah Motivace & cíle práce Evoluční algoritmy Náhradní modelování Stromové regresní metody Implementace a výsledky
VíceFunkce - pro třídu 1EB
Variace 1 Funkce - pro třídu 1EB Autor: Mgr. Jaromír JUŘEK Kopírování a jakékoliv využití výukového materiálu je povoleno pouze s odkazem na www.jarjurek.cz. 1. Funkce Funkce je přiřazení, které každému
VíceFaculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague
1 / 40 regula Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague regula 1 2 3 4 5 regula 6 7 8 2 / 40 2 / 40 regula Iterační pro nelineární e Bud f reálná funkce
Více1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15
Úvodní poznámky... 11 1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15 1.1 Základní pojmy... 15 1.2 Aplikační oblasti a etapy zpracování signálů... 17 1.3 Klasifikace diskretních
VíceNeuronové časové řady (ANN-TS)
Neuronové časové řady (ANN-TS) Menu: QCExpert Prediktivní metody Neuronové časové řady Tento modul (Artificial Neural Network Time Series ANN-TS) využívá modelovacího potenciálu neuronové sítě k predikci
Více3. ANTAGONISTICKÉ HRY
3. ANTAGONISTICKÉ HRY ANTAGONISTICKÝ KONFLIKT Antagonistický konflikt je rozhodovací situace, v níž vystupují dva inteligentní rozhodovatelé, kteří se po volbě svých rozhodnutí rozdělí o pevnou částku,
VíceOdhady - Sdružené rozdělení pravděpodobnosti
Odhady - Sdružené rozdělení pravděpodobnosti 4. listopadu 203 Kdybych chtěl znát maximum informací o náhodné veličině, musel bych znát všechny hodnoty, které mohou padnout, a jejich pravděpodobnosti. Tedy
Více7. Rozdělení pravděpodobnosti ve statistice
7. Rozdělení pravděpodobnosti ve statistice Statistika nuda je, má však cenné údaje, neklesejte na mysli, ona nám to vyčíslí Jednou z úloh statistiky je odhad (výpočet) hodnot statistického znaku x i,
VíceV předchozí kapitole jsme podstatným způsobem rozšířili naši představu o tom, co je to číslo. Nadále jsou pro nás důležité především vlastnosti
Kapitola 5 Vektorové prostory V předchozí kapitole jsme podstatným způsobem rozšířili naši představu o tom, co je to číslo. Nadále jsou pro nás důležité především vlastnosti operací sčítání a násobení
Více8.3). S ohledem na jednoduchost a názornost je výhodné seznámit se s touto Základní pojmy a vztahy. Definice
9. Lineární diferenciální rovnice 2. řádu Cíle Diferenciální rovnice, v nichž hledaná funkce vystupuje ve druhé či vyšší derivaci, nazýváme diferenciálními rovnicemi druhého a vyššího řádu. Analogicky
VíceUmělé neuronové sítě
Umělé neuronové sítě 17. 3. 2018 5-1 Model umělého neuronu y výstup neuronu u vnitřní potenciál neuronu w i váhy neuronu x i vstupy neuronu Θ práh neuronu f neuronová aktivační funkce 5-2 Neuronové aktivační
Vícepouze u některých typů rovnic a v tomto textu se jím nebudeme až na
Matematika II 7.1. Zavedení diferenciálních rovnic Definice 7.1.1. Rovnice tvaru F(y (n), y (n 1),, y, y, x) = 0 se nazývá diferenciální rovnice n-tého řádu pro funkci y = y(x). Speciálně je F(y, y, x)
VíceNeuronové sítě Ladislav Horký Karel Břinda
Neuronové sítě Ladislav Horký Karel Břinda Obsah Úvod, historie Modely neuronu, aktivační funkce Topologie sítí Principy učení Konkrétní typy sítí s ukázkami v prostředí Wolfram Mathematica Praktické aplikace
VíceANTAGONISTICKE HRY 172
5 ANTAGONISTICKÉ HRY 172 Antagonistický konflikt je rozhodovací situace, v níž vystupují dva inteligentní rozhodovatelé, kteří se po volbě svých rozhodnutí rozdělí o pevnou částku, jejíž výše nezávisí
VíceAlgoritmizace Dynamické programování. Jiří Vyskočil, Marko Genyg-Berezovskyj 2010
Dynamické programování Jiří Vyskočil, Marko Genyg-Berezovskyj 2010 Rozděl a panuj (divide-and-conquer) Rozděl (Divide): Rozděl problém na několik podproblémů tak, aby tyto podproblémy odpovídaly původnímu
VíceRNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr.
Analýza dat pro Neurovědy RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr. Jaro 2014 Institut biostatistiky Janoušová, a analýz Dušek: Analýza dat pro neurovědy Blok 7 Jak hodnotit vztah spojitých proměnných
VíceLineární diskriminační funkce. Perceptronový algoritmus.
Lineární. Perceptronový algoritmus. Petr Pošík Czech Technical University in Prague Faculty of Electrical Engineering Dept. of Cybernetics P. Pošík c 2012 Artificial Intelligence 1 / 12 Binární klasifikace
Více5. Lokální, vázané a globální extrémy
5 Lokální, vázané a globální extrémy Studijní text Lokální extrémy 5 Lokální, vázané a globální extrémy Definice 51 Řekneme, že f : R n R má v bodě a Df: 1 lokální maximum, když Ka, δ Df tak, že x Ka,
VíceBinární vyhledávací stromy pokročilé partie
Binární vyhledávací stromy pokročilé partie KMI/ALS lekce Jan Konečný 30.9.204 Literatura Cormen Thomas H., Introduction to Algorithms, 2nd edition MIT Press, 200. ISBN 0-262-5396-8 6, 3, A Knuth Donald
VíceÚvod do Matlabu. Praha & EU: Investujeme do vaší budoucnosti. 1 / 24 Úvod do Matlabu
Vytěžování dat, cvičení 1: Úvod do Matlabu Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 24 Úvod do Matlabu Proč proboha Matlab? Matlab je SW pro
VíceNáhodný vektor. Náhodný vektor. Hustota náhodného vektoru. Hustota náhodného vektoru. Náhodný vektor je dvojice náhodných veličin (X, Y ) T = ( X
Náhodný vektor Náhodný vektor zatím jsme sledovali jednu náhodnou veličinu, její rozdělení a charakteristiky často potřebujeme vyšetřovat vzájemný vztah několika náhodných veličin musíme sledovat jejich
Více1 0 0 u 22 u 23 l 31. l u11
LU dekompozice Jedná se o rozklad matice A na dvě trojúhelníkové matice L a U, A=LU. Matice L je dolní trojúhelníková s jedničkami na diagonále a matice U je horní trojúhelníková. a a2 a3 a 2 a 22 a 23
Více1 Linearní prostory nad komplexními čísly
1 Linearní prostory nad komplexními čísly V této přednášce budeme hledat kořeny polynomů, které se dále budou moci vyskytovat jako složky vektorů nebo matic Vzhledem k tomu, že kořeny polynomu (i reálného)
VíceK možnostem krátkodobé předpovědi úrovně znečištění ovzduší statistickými metodami. Josef Keder
K možnostem krátkodobé předpovědi úrovně znečištění ovzduší statistickými metodami Josef Keder Motivace Předpověď budoucí úrovně znečištění ovzduší s předstihem v řádu alespoň několika hodin má význam
VíceANALYTICKÁ GEOMETRIE LINEÁRNÍCH ÚTVARŮ V ROVINĚ
ANALYTICKÁ GEOMETRIE LINEÁRNÍCH ÚTVARŮ V ROVINĚ Parametrické vyjádření přímky v rovině Máme přímku p v rovině určenou body A, B. Sestrojíme vektor u = B A. Pro bod B tím pádem platí: B = A + u. Je zřejmé,
VíceFunkce a lineární funkce pro studijní obory
Variace 1 Funkce a lineární funkce pro studijní obory Autor: Mgr. Jaromír JUŘEK Kopírování a jakékoliv další využití výukového materiálu je povoleno pouze s uvedením odkazu na www.jarjurek.cz. 1. Funkce
VíceUNIVERZITA PARDUBICE. 4.4 Aproximace křivek a vyhlazování křivek
UNIVERZITA PARDUBICE Licenční Studium Archimedes Statistické zpracování dat a informatika 4.4 Aproximace křivek a vyhlazování křivek Mgr. Jana Kubátová Endokrinologický ústav V Praze, leden 2012 Obsah
VícePředzpracování dat. Lenka Vysloužilová
Předzpracování dat Lenka Vysloužilová 1 Metodika CRISP-DM (www.crisp-dm.org) Příprava dat Data Preparation příprava dat pro modelování selekce příznaků výběr relevantních příznaků čištění dat získávání
VíceNumerické metody a programování. Lekce 8
Numerické metody a programování Lekce 8 Optimalizace hledáme bod x, ve kterém funkce jedné nebo více proměnných f x má minimum (maximum) maximalizace f x je totéž jako minimalizace f x Minimum funkce lokální:
Více( + ) ( ) f x x f x. x bude zmenšovat nekonečně přesný. = derivace funkce f v bodě x. nazýváme ji derivací funkce f v bodě x. - náš základní zápis
1.. Derivace elementárních funkcí I Předpoklad: 1 Shrnutí z minulé hodin: Chceme znát jakým způsobem se mění hodnot funkce f ( f ( + f ( přibližná hodnota změn = přesnost výpočtu se bude zvětšovat, kdž
VíceJednoduché cykly 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45.
Jednoduché cykly Tento oddíl obsahuje úlohy na první procvičení práce s cykly. Při řešení každé ze zde uvedených úloh stačí použít vedle podmíněných příkazů jen jediný cyklus. Nepotřebujeme používat ani
VíceKatedra kybernetiky, FEL, ČVUT v Praze.
Strojové učení a dolování dat přehled Jiří Kléma Katedra kybernetiky, FEL, ČVUT v Praze http://ida.felk.cvut.cz posnova přednášek Přednáška Učitel Obsah 1. J. Kléma Úvod do předmětu, učení s a bez učitele.
VíceKombinatorická minimalizace
Kombinatorická minimalizace Cílem je nalézt globální minimum ve velké diskrétní množině, kde může být mnoho lokálních minim. Úloha obchodního cestujícího Cílem je najít nejkratší cestu, která spojuje všechny
Více10. cvičení - LS 2017
10. cvičení - LS 2017 Michal Outrata Příklad 1 Spočtěte následující itu daných posloupností: (a) (b) (c) n 3 +5n 2 n 3 6n 2 +3 n ; n 4 3n 2 6 n 4 + 3n 2 + 6; n 2 15n+2(1 n). 2(n 2) 3 2n 3 Příklad 2 Pro
VíceRozdělování dat do trénovacích a testovacích množin
Rozdělování dat do trénovacích a testovacích množin Marcel Jiřina Rozpoznávání je důležitou metodou při zpracování reálných úloh. Rozpoznávání je definováno dvěma kroky a to pořízením dat o reálném rozpoznávaném
Více5. Umělé neuronové sítě. Neuronové sítě
Neuronové sítě Přesný algoritmus práce přírodních neuronových systémů není doposud znám. Přesto experimentální výsledky na modelech těchto systémů dávají dnes velmi slibné výsledky. Tyto systémy, včetně
VíceKapitola 1. Logistická regrese. 1.1 Model
Kapitola Logistická regrese Předpokládám, že už jsme zavedli základní pojmy jako rysy a že už máme nějaké značení Velkost trenovacich dat a pocet parametru Motivační povídání... jeden z nejpoužívanějších
VícePolynomy a interpolace text neobsahuje přesné matematické definice, pouze jejich vysvětlení
Polynomy a interpolace text neobsahuje přesné matematické definice, pouze jejich vysvětlení Polynom nad R = zobrazení f : R R f(x) = a n x n + a n 1 x n 1 +... + a 1 x + a 0, kde a i R jsou pevně daná
VíceMĚŘENÍ STATISTICKÝCH ZÁVISLOSTÍ
MĚŘENÍ STATISTICKÝCH ZÁVISLOSTÍ v praxi u jednoho prvku souboru se často zkoumá více veličin, které mohou na sobě různě záviset jednorozměrný výběrový soubor VSS X vícerozměrným výběrovým souborem VSS
VíceRegresní a korelační analýza
Regresní a korelační analýza Mějme dvojici proměnných, které spolu nějak souvisí. x je nezávisle (vysvětlující) proměnná y je závisle (vysvětlovaná) proměnná Chceme zjistit funkční závislost y = f(x).
Více11MAMY LS 2017/2018. Úvod do Matlabu. 21. února Skupina 01. reseni2.m a tak dále + M souborem zadané funkce z příkladu 3 + souborem skupina.
11MAMY LS 2017/2018 Cvičení č. 2: 21. 2. 2018 Úvod do Matlabu. Jan Přikryl 21. února 2018 Po skupinách, na které jste se doufám rozdělili samostatně včera, vyřešte tak, jak nejlépe svedete, níže uvedená
Více