logistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
|
|
|
- Tomáš Kašpar
- před 6 lety
- Počet zobrazení:
Transkript
1 Vytěžování Dat Přednáška 9 Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti ČVUT (FEL) Lineární klasifikace / 34
2 Klasifikátory Jaké znáte klasifikační algoritmy? ČVUT (FEL) Lineární klasifikace / 34
3 Klasifikátory Jaké znáte klasifikační algoritmy? naivní Bayesův klasifikátor (NB), rozhodovací strom, k nejbližších sousedů (knn). ČVUT (FEL) Lineární klasifikace / 34
4 Klasifikátory Jaké znáte klasifikační algoritmy? naivní Bayesův klasifikátor (NB), rozhodovací strom, k nejbližších sousedů (knn). Jak fungují? ČVUT (FEL) Lineární klasifikace / 34
5 Klasifikátory Jaké znáte klasifikační algoritmy? naivní Bayesův klasifikátor (NB), rozhodovací strom, k nejbližších sousedů (knn). Jak fungují? NB počítá pravděpodobnost přiřazení do třídy za podmínky dané pozorováním, rozhodovací strom generuje posloupnost rozhodnutí, knn hledá nejbližsí instance z trénovací množiny. ČVUT (FEL) Lineární klasifikace / 34
6 Rozhodovací hranice Další možný pohled je z hlediska rozhodovací hranice. Rozhodovací hranice je místo, kde instance přestávají patřit do třídy A a začínají patřit do třídy B. Andrew Ng: Machine Learning. Open Classroom course. ČVUT (FEL) Lineární klasifikace / 34
7 Rozhodovací hranice (2) Jak bude vypadat nejjednodušší rozhodovací hranice, která data oklasifikuje bez chyby? ČVUT (FEL) Lineární klasifikace / 34
8 Rozhodovací hranice (2) Jak bude vypadat nejjednodušší rozhodovací hranice, která data oklasifikuje bez chyby? Stačí přece přímka! Nejjednodušší = s nejmenším počtem parametrů. ČVUT (FEL) Lineární klasifikace / 34
9 Lineární klasifikátor Takovou přímku umíme celkem jednoduše najít a vyrobit :). Jak vypadá rovnice přímky, resp. nadroviny pro větší dimenze? Uvažujme d dimenzionální reálný vstupní prostor x R d. Výstup nechť je binární y {+1, 1}. ČVUT (FEL) Lineární klasifikace / 34
10 Lineární klasifikátor Takovou přímku umíme celkem jednoduše najít a vyrobit :). Jak vypadá rovnice přímky, resp. nadroviny pro větší dimenze? Uvažujme d dimenzionální reálný vstupní prostor x R d. Výstup nechť je binární y {+1, 1}. d w j x j = w x = 0 j=1 ČVUT (FEL) Lineární klasifikace / 34
11 Lineární klasifikátor (2) Jak odhadneme, do které třídy patří vzor x? ČVUT (FEL) Lineární klasifikace / 34
12 Lineární klasifikátor (2) Jak odhadneme, do které třídy patří vzor x? Prostým dosazením! Pokud w x > 0 vzor patří do třídy +1, pokud w x < 0 vzor patří do třídy 1. 0 je rozhodovací hranice, kde se nelze rozhodnout. Naštěstí se toto nestává často. Formálně lze zapsat y = signum(w x) kde signum je znaménkovou funkcí vrací +1 pro kladná čísla, 1 pro záporná a 0 pro nulový vstup. ČVUT (FEL) Lineární klasifikace / 34
13 Lineární klasifikátor (3) Vidíte v rovnici w x = 0 nějaký problém? ČVUT (FEL) Lineární klasifikace / 34
14 Lineární klasifikátor (3) Vidíte v rovnici w x = 0 nějaký problém? Zkusme pro d = 2 dosadit do rovnice x 1 = x 2 = 0. Co vyjde? 0 bez ohledu na nastavení vah w1 a w 2. Rozhodovací hranice vždy prochází 0, resp. vektorem (0, 0,..., 0). Nepříjemné omezení hranicí pouze otáčíme kolem středu. Co s tím? Můžeme rozšířit rovnice rozhodovací hranice a klasifikátoru na d w j x j + Θ = 0, resp. y = signum(w x + Θ) j=1 Θ je aditivní konstanta a označuje se jako práh. ČVUT (FEL) Lineární klasifikace / 34
15 Práh Zbývá najít vektor koeficientů (vah) (w 1, w 2,..., w n ) a práh Θ. Představuje práh Θ anomálii, která potřebuje speciální zacházení? ČVUT (FEL) Lineární klasifikace / 34
16 Práh Zbývá najít vektor koeficientů (vah) (w 1, w 2,..., w n ) a práh Θ. Představuje práh Θ anomálii, která potřebuje speciální zacházení? Tak napůl :). Nepotřebuje, pokud trochu upravíme vstupní data. Co kdyby všechny vzory měly jeden atribut (vstupní proměnnou, řekněme x 0 ) se stejnou hodnotou? Když pak budu počítat w 0 x 0, vyjde mi vždy stejná hodnota... to je přece náš práh! ČVUT (FEL) Lineární klasifikace / 34
17 Práh Zbývá najít vektor koeficientů (vah) (w 1, w 2,..., w n ) a práh Θ. Představuje práh Θ anomálii, která potřebuje speciální zacházení? Tak napůl :). Nepotřebuje, pokud trochu upravíme vstupní data. Co kdyby všechny vzory měly jeden atribut (vstupní proměnnou, řekněme x 0 ) se stejnou hodnotou? Když pak budu počítat w 0 x 0, vyjde mi vždy stejná hodnota... to je přece náš práh! Ke každému vzoru přidám ještě jednu dimenzi s konstantní hodnotou pro jednoduchost 1. Pak už se o práh nemusím speciálně starat. ČVUT (FEL) Lineární klasifikace / 34
18 Gradientní sestup krok stranou Gradientní sestup je iterativní optimalizační metoda. Hledáme minimum funkce f(x). Tj. hledáme takové x, kde má funkce f(x) nejnižší hodnotu. Mám nějaké x 0 a znám hodnotu f(x 0 ). Hledám v okoĺı x 0, nejaké x 1, kde bude hodnota f(x 1 ) nižší. A to budu opakovat stále dokola, až to dál nepůjde. ČVUT (FEL) Lineární klasifikace / 34
19 Gradientní sestup krok stranou Gradientní sestup je iterativní optimalizační metoda. Hledáme minimum funkce f(x). Tj. hledáme takové x, kde má funkce f(x) nejnižší hodnotu. Mám nějaké x 0 a znám hodnotu f(x 0 ). Hledám v okoĺı x 0, nejaké x 1, kde bude hodnota f(x 1 ) nižší. A to budu opakovat stále dokola, až to dál nepůjde. Na horách se chci dostat do údoĺı. Podívám se, kterým směrem se kopec nejvíc snižuje a udělám krok tím směrem. A zase se podívám, kam je to nejvíc z kopce a udělám krok. A tak dále, až jednou zjistím, že to dál nejde, čili jsem v údoĺı. ČVUT (FEL) Lineární klasifikace / 34
20 Gradientní sestup krok stranou (2) V matematice existuje možnost, jak zjistit směr největšího vzestupu hodnoty funkce gradient. Tou je první parciální derivace podle všech dimenzí. Když půjdu přesně opačně, půjdu ve směru největšího poklesu. Gradient je vektor parciálních derivací podle jednotlivých proměnných: ( f grad(f(x 1, x 2,..., x n )) =, f,..., f ) x 1 x 2 x n ČVUT (FEL) Lineární klasifikace / 34
21 Chybová funkce a gradientní sestup Jako u jiných klasifikačních metod hledáme nastavení klasifikátoru (zde vah) takové, abychom správně označili co nejvíc vzorů. Uvažujme nejprve chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z trénovací množiny) při daných vahách w. ČVUT (FEL) Lineární klasifikace / 34
22 Chybová funkce a gradientní sestup Jako u jiných klasifikačních metod hledáme nastavení klasifikátoru (zde vah) takové, abychom správně označili co nejvíc vzorů. Uvažujme nejprve chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z trénovací množiny) při daných vahách w. Nehodí se neumím spočítat parciální derivace (a ani gradient). ČVUT (FEL) Lineární klasifikace / 34
23 Chybová funkce a gradientní sestup Jako u jiných klasifikačních metod hledáme nastavení klasifikátoru (zde vah) takové, abychom správně označili co nejvíc vzorů. Uvažujme nejprve chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z trénovací množiny) při daných vahách w. Nehodí se neumím spočítat parciální derivace (a ani gradient). Zkusme jinou E(w) = x e χ err ( y e w(t) x e ) kde χ err jsou špatně klasifikované vzory z χ, a y e je korektní klasifikace instance x e. ČVUT (FEL) Lineární klasifikace / 34
24 Chybová funkce a gradientní sestup Jako u jiných klasifikačních metod hledáme nastavení klasifikátoru (zde vah) takové, abychom správně označili co nejvíc vzorů. Uvažujme nejprve chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z trénovací množiny) při daných vahách w. Nehodí se neumím spočítat parciální derivace (a ani gradient). Zkusme jinou E(w) = x e χ err ( y e w(t) x e ) kde χ err jsou špatně klasifikované vzory z χ, a y e je korektní klasifikace instance x e. To už je spojitá funkce. E mohu minimalizovat změnou vah pomocí gradientního sestupu. ČVUT (FEL) Lineární klasifikace / 34
25 Chybová funkce a gradientní sestup Parciální derivace chybové funkce E podle jedné proměnné: E = x e χ err( y ew 1 (t)x 1e ) w 1 w 1 Kde x 1e je první souřadnice z x e a w 1 je první souřadnice z w. x 1 χ err( y ew 1 (t)x 1e ) = y e x 1e w 1 x e χ err Chybu nejvíce snížím změnou váhy w 1 o součet hodnot prvních vstupních proměnných x 1 pozitivních vzorů, na kterých jsem udělal chybu (u negativních vzorů budu odečítat). Analogicky i ostatní vstupní proměnné (včetně prahu). ČVUT (FEL) Lineární klasifikace / 34
26 Učení lineárního klasifikátoru Perceptronový algoritmus Založen přesně na této myšlence... 1 Inicializuj váhy na náhodné hodnoty. 2 Vezmi náhodný vstupní vzor x. A spočítej hodnotu y (x) = sgn( j w j x j = w x) 3 Liší-li se požadovaný výstup y od odhadu y, oprav váhy w takto: e(x e ) = signum(y e y e) w(t + 1) = w(t) + ηe(x e )x e η je koeficient učení, který s postupem času může klesat k nule. 4 Pokud chceš, pokračuj bodem 2). ČVUT (FEL) Lineární klasifikace / 34
27 Ilustrace učení percetronu 4 pozitivní příklady, děĺıcí přímka středem... ukázka konvergence. Rojas: Neural Networks. ČVUT (FEL) Lineární klasifikace / 34
28 Jednoznačnost výsledné přímky Jak poznám, že se perceptronový algoritmus zastavil? ČVUT (FEL) Lineární klasifikace / 34
29 Jednoznačnost výsledné přímky Jak poznám, že se perceptronový algoritmus zastavil? Je výsledná přímka jediná možná? ČVUT (FEL) Lineární klasifikace / 34
30 Jednoznačnost výsledné přímky Jak poznám, že se perceptronový algoritmus zastavil? Je výsledná přímka jediná možná? Ne, takových přímek je dokonce nekonečně mnoho. Přesto jsou některé lepší něž jiné. Kterou mám vybrat? A kterou nám vybere Perceptronový algoritmus? ČVUT (FEL) Lineární klasifikace / 34
31 Lineárně separovatelné problémy Lze pomocí perceptronu bezchybně klasifikovat následující data? ČVUT (FEL) Lineární klasifikace / 34
32 Lineárně separovatelné problémy Lze pomocí perceptronu bezchybně klasifikovat následující data? Ne! Třídám (datům), které lze oddělit přímkou, říkáme lineárně separovatelná. ČVUT (FEL) Lineární klasifikace / 34
33 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? ČVUT (FEL) Lineární klasifikace / 34
34 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? Ne. K tomu potřebuji přidat další kvalitu. ČVUT (FEL) Lineární klasifikace / 34
35 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? Ne. K tomu potřebuji přidat další kvalitu. 1 Jednou z možností je zkombinovat lineární klasifikátory. O tom bude příští přednáška. ČVUT (FEL) Lineární klasifikace / 34
36 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? Ne. K tomu potřebuji přidat další kvalitu. 1 Jednou z možností je zkombinovat lineární klasifikátory. O tom bude příští přednáška. 2 Rozšíření báze. ČVUT (FEL) Lineární klasifikace / 34
37 Rozšíření báze Když data nejsou oddělitelná v původním prostoru, zkusme jestli by nebyla lineárně separovatelná ve více-dimenzionálním prostoru. ČVUT (FEL) Lineární klasifikace / 34
38 Transformace Zase existuje mnoho transformací. Přidej ke stávajícím dimenzím součiny originálních dimenzí. Jedna z těch jednodušších metod. Pracuje s parametrem s maximálním stupněm součinu. ČVUT (FEL) Lineární klasifikace / 34
39 Transformace Zase existuje mnoho transformací. Přidej ke stávajícím dimenzím součiny originálních dimenzí. Jedna z těch jednodušších metod. Pracuje s parametrem s maximálním stupněm součinu. Příklad pro s = 2 a původní dimenze (x 1, x 2 ) získám 5D prostor dimenzí (x 1, x 2, χ 1, χ 2, χ 3 ) χ1 = x 2 1 χ2 = x 1 x 2 χ3 = x 2 2 ČVUT (FEL) Lineární klasifikace / 34
40 Učení nelineárního klasifikátoru Jak naučím klasifikátor v novém prostoru? ČVUT (FEL) Lineární klasifikace / 34
41 Učení nelineárního klasifikátoru Jak naučím klasifikátor v novém prostoru? Díky rozšíření báze nakládám s více-dimenzionálním prostorem a (třeba) dokáži třídy lineárně separovat. Postupuji úplně stejně jako v předchozím případě. Tj. použiji např. perceptronový algoritmus. ČVUT (FEL) Lineární klasifikace / 34
42 Učení nelineárního klasifikátoru Jak naučím klasifikátor v novém prostoru? Díky rozšíření báze nakládám s více-dimenzionálním prostorem a (třeba) dokáži třídy lineárně separovat. Postupuji úplně stejně jako v předchozím případě. Tj. použiji např. perceptronový algoritmus. Pokud se mi nepodaří získat lineární separaci, mohu zkusit zvýšit maximální stupeň součinu a zkusit separaci znovu. Obecně platí, že k oddělení N bodů stačí prostor o N 1 dimenzích. ČVUT (FEL) Lineární klasifikace / 34
43 Rozhodovací hranice Jak pak bude vypadat projekce rozhodovací hranice zpět do originálních dimenzí? Podařilo se dosáhnout ohnutí rozhodovací hranice. Hranice bude poddajnější s rostoucím s. ČVUT (FEL) Lineární klasifikace / 34
44 Rozhodovací hranice (2) Můžu zvyšovat maximální stupeň součinu (parametr s) do nekonečna? Nebo někde narazím? ČVUT (FEL) Lineární klasifikace / 34
45 Rozhodovací hranice (2) Můžu zvyšovat maximální stupeň součinu (parametr s) do nekonečna? Nebo někde narazím? S vyšším maximálním stupněm s vyvstávají dva problémy: 1 Musím nastavovat více vah, perceptronový (nebo jakýkoliv jiný) algoritmus to nemusí zvládnout, váhy se nastaví špatně. 2 Zvyšuji pravděpodobnost, že se klasifikátor přeučí, tj. naučí se šum a chyby v trénovacích datech, nedokáže vlastnosti trénovacích dat zobecnit, podobně jako například 1-NN klasifikátor. ČVUT (FEL) Lineární klasifikace / 34
46 Klasifikace do několika tříd Co když mám více než dvě třídy? Mohu použít (ne-)lineární separaci? Případně jak? ČVUT (FEL) Lineární klasifikace / 34
47 Klasifikace do několika tříd Co když mám více než dvě třídy? Mohu použít (ne-)lineární separaci? Případně jak? Budu rozhodovat o každé třídě samostatně. Pro problém s N třídami budu mít N klasifikátorů. Každý bude říkat Instance patří resp. nepatří do mé třídy. ČVUT (FEL) Lineární klasifikace / 34
48 Klasifikace do několika tříd Co když mám více než dvě třídy? Mohu použít (ne-)lineární separaci? Případně jak? Budu rozhodovat o každé třídě samostatně. Pro problém s N třídami budu mít N klasifikátorů. Každý bude říkat Instance patří resp. nepatří do mé třídy. Při rozhodování o neznámé instanci x se zeptám všech N klasifikátorů na jejich rozhodnutí: 1 x patří právě do jedné třídy OK. 2 x patří do více tříd rozhodu např. podle hodnoty w x (čím je větší, tím je x dále od rozhodovací hranice). 3 analogicky, pokud x nepatří do žádné třídy hledám třídu, kam x nepatří nejméně :). ČVUT (FEL) Lineární klasifikace / 34
49 Problémy lineárních klasifikátorů Linearita Pokud se dostatečně pohnu i jen v jedné proměnné, můžu získat obrácený výsledek. Hodnota w x roste se vzdáleností od rozhodovací hranice a nemá žádnou interpretaci. Lineární klasifikátory špatně snášejí chybějící hodnoty. Pokud provádím rozšíření báze, může trvat učení velmi dlouho. ČVUT (FEL) Lineární klasifikace / 34
50 Linear Discriminant Analysis LDA je statistický přístup k problému lineární separace. Pamatujete si PCA? Principal Component Analysis mluvili jsme o ní u SOM. ČVUT (FEL) Lineární klasifikace / 34
51 Linear Discriminant Analysis LDA je statistický přístup k problému lineární separace. Pamatujete si PCA? Principal Component Analysis mluvili jsme o ní u SOM. LDA redukuje původní prostor na přímku (1 dimenzi) Dělá to tak, aby co nejvíce oddělila vzory různých tříd. V jistém smyslu je to opak rozšíření báze. ČVUT (FEL) Lineární klasifikace / 34
52 Linear Discriminant Analysis (2) Obraz vzoru v nové souřadnici získám jako w x, kde w jsou váhy. V principu počítám to samé jako u lineárního klasifikátoru interpretace a postup jsou úplně jiné. ČVUT (FEL) Lineární klasifikace / 34
53 Linear Discriminant Analysis (3) Při počítání LDA se snažím maximalizovat separaci mezi třídami. Nejprve pro každou třídu musím spočítat rozptyl v obraze (scatter). Projekce objektu do nové souřadnice: y i = x i w Odhad střední hodnoty (pro pozitivní třídu χ + ): µ χ + = 1 χ + y i = 1 χ + x i χ + Odhad rozptylu v obraze (pro pozitivní třídu χ + ) s 2 χ + = x 1 χ + y i µ χ + x i χ + x i w ČVUT (FEL) Lineární klasifikace / 34
54 Linear Discriminant Analysis (4) Nyní můžu spočítat míru separace pro projekci danou vahami w: J(w) = µ χ + µ χ 2 s 2 χ + + s 2 χ Hledáme tedy projekci, která co nejvíc seskupí vzory stejné třídy a zároveň co nejvíc odděĺı vzory různých tříd. ČVUT (FEL) Lineární klasifikace / 34
55 LDA pro více tříd LDA lze zobecnit tak, aby dokázala klasifikovat do více tříd. Pak se nevytváří pouze jedna nová dimenze, ale počet tříd -1 nových dimenzí a mírně se upraví vzorečky :). ČVUT (FEL) Lineární klasifikace / 34
56 Problémy LDA Stejně jako všechno, má i LDA nějaké mouchy: LDA dimenze nemusí stačit ke správném zařazení do třídy. LDA předpokládá normální rozložení dat ve třídách. A selhává, pokud tomu tak není (např. pokud třídy mají komplexní tvary). Rozíly mezi třídami jsou spíše v rozptylu hodnot než v rozdílu středních hodnot. ČVUT (FEL) Lineární klasifikace / 34
57 Logistická regrese Mohu interpretovat vzdálenosti objektů od rozhodovací hranice? Ideálně jako pravděpodobnost příslušnosti k dané třídě. ČVUT (FEL) Lineární klasifikace / 34
58 Logistická regrese Mohu interpretovat vzdálenosti objektů od rozhodovací hranice? Ideálně jako pravděpodobnost příslušnosti k dané třídě. Existuje logistická funkce Definovaná jako f(z) = 1 1+e. z Její hodnoty jsou omezené na interval Navíc kolem z = 0 (rozhodovací hranice) je její změna největší. ČVUT (FEL) Lineární klasifikace / 34
59 Logistická regrese (2) Zkusíme zavést pojem sance = p 1 p ČVUT (FEL) Lineární klasifikace / 34
60 Logistická regrese (2) Zkusíme zavést pojem sance = p 1 p Zlogaritmujeme ji a položíme rovnou vzdálenosti k děĺıcí hranici Tím nejprve získáme funkci logit(p) = log(sance(p)) = log( p Následně logit(p) = β0 + β 1 x 1 + β 2 x β k x k Kde β1,..., β k jsou regresní koeficienty a β 0 je posun. Přičtení vzdálenosti teď odpovídá násobení šance. 1 p ) ČVUT (FEL) Lineární klasifikace / 34
61 Logistická regrese (2) Zkusíme zavést pojem sance = p 1 p Zlogaritmujeme ji a položíme rovnou vzdálenosti k děĺıcí hranici Tím nejprve získáme funkci logit(p) = log(sance(p)) = log( p Následně logit(p) = β0 + β 1 x 1 + β 2 x β k x k Kde β1,..., β k jsou regresní koeficienty a β 0 je posun. Přičtení vzdálenosti teď odpovídá násobení šance. Zkusme zpětně dopočítat pravděpodobnost vzoru x: p(x) = e (β 0+β 1 x 1 +β 2 x β k x k ) Pro dvě třídy stačí rozhodnutí dle testu p(x) > p ) ČVUT (FEL) Lineární klasifikace / 34
62 Shrnutí Tři lineární metody klasifikace Perceptron diskriminativní model, optimalizuje děĺıcí hranici. LDA vhodná při splnění silných předpokladů, generativní model. Logistická regrese pravděpodobnostní přístup. Na začátku jsme nezmínili použití metody nejmenších čtverců Klasický přístup v lineární regresi. Při klasifikaci pro každou třídu zavedeme jako závislou veličinou indikátorový vektor třídy. Objekt zařazen do třídy, k jejíž nadrovině má největší kladnou vzdálenost. Je citlivá na odlehlé hodnoty. Při větším počtu tříd některé z nich odmaskovává. Přednost má logistická regrese. ČVUT (FEL) Lineární klasifikace / 34
63 Zdroje Perceptron, čtěte např. Hagan et al.: Neural Network Design, hagan.okstate.edu/4_perceptron.pdf LDA převzata z research.cs.tamu.edu/prism/lectures/pr/pr_l10.pdf Logistic Regression tutorial research/logisticregression/html/logisticregression.htm ČVUT (FEL) Lineární klasifikace / 34
logistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vytěžování Dat Přednáška 9 Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
LDA, logistická regrese
Vytěžování Dat Přednáška 9 Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Přednáška 13 Redukce dimenzionality
Vytěžování Dat Přednáška 13 Redukce dimenzionality Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti ČVUT (FEL) Redukce dimenzionality 1 /
Lineární klasifikátory
Lineární klasifikátory Lineární klasifikátory obsah: perceptronový algoritmus základní verze varianta perceptronového algoritmu přihrádkový algoritmus podpůrné vektorové stroje Lineární klasifikátor navrhnout
Klasifikace a rozpoznávání. Lineární klasifikátory
Klasifikace a rozpoznávání Lineární klasifikátory Opakování - Skalární součin x = x1 x 2 w = w T x = w 1 w 2 x 1 x 2 w1 w 2 = w 1 x 1 + w 2 x 2 x. w w T x w Lineární klasifikátor y(x) = w T x + w 0 Vyber
AVDAT Nelineární regresní model
AVDAT Nelineární regresní model Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Nelineární regresní model Ey i = f (x i, β) kde x i je k-členný vektor vysvětlujících proměnných
Kybernetika a umělá inteligence, cvičení 10/11
Kybernetika a umělá inteligence, cvičení 10/11 Program 1. seminární cvičení: základní typy klasifikátorů a jejich princip 2. počítačové cvičení: procvičení na problému rozpoznávání číslic... body za aktivitu
Úloha - rozpoznávání číslic
Úloha - rozpoznávání číslic Vojtěch Franc, Tomáš Pajdla a Tomáš Svoboda http://cmp.felk.cvut.cz 27. listopadu 26 Abstrakt Podpůrný text pro cvičení předmětu X33KUI. Vysvětluje tři způsoby rozpoznávání
Algoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů)
Algoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů) Autor: Vladimir Vapnik Vapnik, V. The Nature of Statistical Learning Theory.
Úvod do optimalizace, metody hladké optimalizace
Evropský sociální fond Investujeme do vaší budoucnosti Úvod do optimalizace, metody hladké optimalizace Matematika pro informatiky, FIT ČVUT Martin Holeňa, 13. týden LS 2010/2011 O čem to bude? Příklady
1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.
Prostá regresní a korelační analýza 1 1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004. Problematika závislosti V podstatě lze rozlišovat mezi závislostí nepodstatnou, čili náhodnou
ANALÝZA A KLASIFIKACE DAT
ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz IV. LINEÁRNÍ KLASIFIKACE PRINCIPY KLASIFIKACE pomocí diskriminačních funkcí funkcí,
Strukturální regresní modely. určitý nadhled nad rozličnými typy modelů
Strukturální regresní modely určitý nadhled nad rozličnými typy modelů Jde zlepšit odhad k-nn? Odhad k-nn konverguje pro slušné k očekávané hodnotě. ALE POMALU! Jiné přístupy přidají předpoklad o funkci
Vytěžování znalostí z dat
Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 8 1/26 Vytěžování znalostí z dat Pavel Kordík, Josef Borkovec Department of Computer Systems Faculty of Information
Aplikovaná numerická matematika
Aplikovaná numerická matematika 6. Metoda nejmenších čtverců doc. Ing. Róbert Lórencz, CSc. České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových systémů Příprava studijních
Odhady Parametrů Lineární Regrese
Odhady Parametrů Lineární Regrese Mgr. Rudolf B. Blažek, Ph.D. prof. RNDr. Roman Kotecký, DrSc. Katedra počítačových systémů Katedra teoretické informatiky Fakulta informačních technologií České vysoké
Miroslav Čepek. Fakulta Elektrotechnická, ČVUT. Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vytěžování Dat Přednáška 12 Kombinování modelů Miroslav Čepek Pavel Kordík a Jan Černý (FIT) Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti ČVUT (FEL)
AVDAT Mnohorozměrné metody, metody klasifikace
AVDAT Mnohorozměrné metody, metody klasifikace Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Mnohorozměrné metody Regrese jedna náhodná veličina je vysvětlována pomocí jiných
Pokročilé neparametrické metody. Klára Kubošová
Pokročilé neparametrické metody Klára Kubošová Pokročilé neparametrické metody Výuka 13 přednášek doplněných o praktické cvičení v SW Úvod do neparametrických metod + princip rozhodovacích stromů Klasifikační
4. Aplikace matematiky v ekonomii
4. Aplikace matematiky v ekonomii 1 Lineární algebra Soustavy 1) Na základě statistických údajů se zjistilo, že závislost množství statku z poptávaného v průběhu jednoho týdne lze popsat vztahem q d =
Pokročilé neparametrické metody. Klára Kubošová
Klára Kubošová Další typy stromů CHAID, PRIM, MARS CHAID - Chi-squared Automatic Interaction Detector G.V.Kass (1980) nebinární strom pro kategoriální proměnné. Jako kriteriální statistika pro větvení
Katedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group
Vytěžování dat Miroslav Čepek, Filip Železný Katedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group Evropský sociální fond Praha & EU: Investujeme
Definice. Vektorový prostor V nad tělesem T je množina s operacemi + : V V V, tj. u, v V : u + v V : T V V, tj. ( u V )( a T ) : a u V které splňují
Definice. Vektorový prostor V nad tělesem T je množina s operacemi + : V V V, tj. u, v V : u + v V : T V V, tj. ( u V )( a T ) : a u V které splňují 1. u + v = v + u, u, v V 2. (u + v) + w = u + (v + w),
Rosenblattův perceptron
Perceptron Přenosové funkce Rosenblattův perceptron Rosenblatt r. 1958. Inspirace lidským okem Podle fyziologického vzoru je třívrstvá: Vstupní vrstva rozvětvovací jejím úkolem je mapování dvourozměrného
RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr.
Analýza dat pro Neurovědy RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr. Jaro 2014 Institut biostatistiky Janoušová, a analýz Dušek: Analýza dat pro neurovědy Blok 7 Jak hodnotit vztah spojitých proměnných
UČENÍ BEZ UČITELE. Václav Hlaváč
UČENÍ BEZ UČITELE Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz, http://cmp.felk.cvut.cz/~hlavac 1/22 OBSAH PŘEDNÁŠKY ÚVOD Učení
oddělení Inteligentní Datové Analýzy (IDA)
Vytěžování dat Filip Železný Katedra počítačů oddělení Inteligentní Datové Analýzy (IDA) 22. září 2014 Filip Železný (ČVUT) Vytěžování dat 22. září 2014 1 / 25 Odhad rozdělení Úloha: Vstup: data D = {
Odhady - Sdružené rozdělení pravděpodobnosti
Odhady - Sdružené rozdělení pravděpodobnosti 4. listopadu 203 Kdybych chtěl znát maximum informací o náhodné veličině, musel bych znát všechny hodnoty, které mohou padnout, a jejich pravděpodobnosti. Tedy
Stavový model a Kalmanův filtr
Stavový model a Kalmanův filtr 2 prosince 23 Stav je veličina, kterou neznáme, ale chtěli bychom znát Dozvídáme se o ní zprostředkovaně prostřednictvím výstupů Příkladem může býapř nějaký zašuměný signál,
Kapitola 1. Logistická regrese. 1.1 Model
Kapitola Logistická regrese Předpokládám, že už jsme zavedli základní pojmy jako rysy a že už máme nějaké značení Velkost trenovacich dat a pocet parametru Motivační povídání... jeden z nejpoužívanějších
Literatura: Kapitola 2 d) ze skript Karel Rektorys: Matematika 43, ČVUT, Praha, Text přednášky na webové stránce přednášejícího.
Předmět: MA4 Dnešní látka: Metoda sítí v 1D. Myšlenka náhrada derivací diferenčními podíly Přibližné řešení okrajových úloh Aproximace vlastních čísel Literatura: Kapitola 2 d) ze skript Karel Rektorys:
Numerické metody a programování. Lekce 8
Numerické metody a programování Lekce 8 Optimalizace hledáme bod x, ve kterém funkce jedné nebo více proměnných f x má minimum (maximum) maximalizace f x je totéž jako minimalizace f x Minimum funkce lokální:
Matematika (CŽV Kadaň) aneb Úvod do lineární algebry Matice a soustavy rovnic
Přednáška třetí (a pravděpodobně i čtvrtá) aneb Úvod do lineární algebry Matice a soustavy rovnic Lineární rovnice o 2 neznámých Lineární rovnice o 2 neznámých Lineární rovnice o dvou neznámých x, y je
Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze
Dobývání znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Bayesovské modely Doc. RNDr. Iveta Mrázová, CSc.
Regresní analýza. Ekonometrie. Jiří Neubauer. Katedra ekonometrie FVL UO Brno kancelář 69a, tel
Regresní analýza Ekonometrie Jiří Neubauer Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Jiří Neubauer (Katedra ekonometrie UO Brno) Regresní analýza 1 / 23
1 Linearní prostory nad komplexními čísly
1 Linearní prostory nad komplexními čísly V této přednášce budeme hledat kořeny polynomů, které se dále budou moci vyskytovat jako složky vektorů nebo matic Vzhledem k tomu, že kořeny polynomu (i reálného)
BAYESOVSKÉ ODHADY. Michal Friesl V NĚKTERÝCH MODELECH. Katedra matematiky Fakulta aplikovaných věd Západočeská univerzita v Plzni
BAYESOVSKÉ ODHADY V NĚKTERÝCH MODELECH Michal Friesl Katedra matematiky Fakulta aplikovaných věd Západočeská univerzita v Plzni Slunce Řidiči IQ Regrese Přežití Obvyklý model Pozorování X = (X 1,..., X
Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1
Logistická regrese Menu: QCExpert Regrese Logistická Modul Logistická regrese umožňuje analýzu dat, kdy odezva je binární, nebo frekvenční veličina vyjádřená hodnotami 0 nebo 1, případně poměry v intervalu
Lineární zobrazení. 1. A(x y) = A(x) A(y) (vlastnost aditivity) 2. A(α x) = α A(x) (vlastnost homogenity)
4 Lineární zobrazení Definice: Nechť V a W jsou vektorové prostory Zobrazení A : V W (zobrazení z V do W nazýváme lineárním zobrazením, pokud pro všechna x V, y V a α R platí 1 A(x y = A(x A(y (vlastnost
Regrese. používáme tehdy, jestliže je vysvětlující proměnná kontinuální pokud je kategoriální, jde o ANOVA
Regrese používáme tehd, jestliže je vsvětlující proměnná kontinuální pokud je kategoriální, jde o ANOVA Specifikace modelu = a + bx a závisle proměnná b x vsvětlující proměnná Cíl analýz Odhadnout hodnot
Odhad parametrů N(µ, σ 2 )
Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný
Trénování sítě pomocí učení s učitelem
Trénování sítě pomocí učení s učitelem! předpokládá se, že máme k dispozici trénovací množinu, tj. množinu P dvojic [vstup x p, požadovaný výstup u p ]! chceme nastavit váhy a prahy sítě tak, aby výstup
ANALÝZA A KLASIFIKACE BIOMEDICÍNSKÝCH DAT. Institut biostatistiky a analýz
ANALÝZA A KLASIFIKACE BIOMEDICÍNSKÝCH DAT prof. Ing. Jiří Holčík,, CSc. NEURONOVÉ SÍTĚ otázky a odpovědi 1 AKD_predn4, slide 8: Hodnota výstupu závisí na znaménku funkce net i, tedy na tom, zda bude suma
Obsah přednášky Jaká asi bude chyba modelu na nových datech?
Obsah přednášky Jaká asi bude chyba modelu na nových datech? Chyba modelu Bootstrap Cross Validation Vapnik-Chervonenkisova dimenze 2 Chyba skutečná a trénovací Máme 30 záznamů, rozhodli jsme se na jejich
8 Coxův model proporcionálních rizik I
8 Coxův model proporcionálních rizik I Předpokládané výstupy z výuky: 1. Student umí formulovat Coxův model proporcionálních rizik 2. Student rozumí významu regresních koeficientů modelu 3. Student zná
Lineární algebra : Metrická geometrie
Lineární algebra : Metrická geometrie (16. přednáška) František Štampach, Karel Klouda LS 2013/2014 vytvořeno: 6. května 2014, 10:42 1 2 Úvod Zatím jsme se lineární geometrii věnovali v kapitole o lineárních
Odhad parametrů N(µ, σ 2 )
Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný
Časové řady, typy trendových funkcí a odhady trendů
Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel 973 442029 email:jirineubauer@unobcz Stochastický proces Posloupnost náhodných veličin {Y t, t = 0, ±1, ±2 } se nazývá stochastický proces
Matice. Je dána matice A R m,n, pak máme zobrazení A : R n R m.
Matice lineárních zobrazení [1] Připomenutí Zobrazení A : L 1 L 2 je lineární, když A( x + y ) = A( x ) + A( y ), A(α x ) = α A( x ). Což je ekvivalentní s principem superpozice: A(α 1 x 1 + + α n x n
Časové řady, typy trendových funkcí a odhady trendů
Časové řady, typy trendových funkcí a odhady trendů Jiří Neubauer Katedra ekonometrie FVL UO Brno kancelář 69a, tel 973 442029 email:jirineubauer@unobcz Jiří Neubauer (Katedra ekonometrie UO Brno) Časové
V předchozí kapitole jsme podstatným způsobem rozšířili naši představu o tom, co je to číslo. Nadále jsou pro nás důležité především vlastnosti
Kapitola 5 Vektorové prostory V předchozí kapitole jsme podstatným způsobem rozšířili naši představu o tom, co je to číslo. Nadále jsou pro nás důležité především vlastnosti operací sčítání a násobení
Klasifikace a rozpoznávání. Bayesovská rozhodovací teorie
Klasifikace a rozpoznávání Bayesovská rozhodovací teorie Extrakce p íznaků Granáty Četnost Jablka Váha [dkg] Pravděpodobnosti - diskrétní p íznaky Uvažujme diskrétní p íznaky váhové kategorie Nechť tabulka
Základy vytěžování dat
Základy vytěžování dat předmět A7Bb36vyd Vytěžování dat Filip Železný, Miroslav Čepek, Radomír Černoch, Jan Hrdlička katedra kybernetiky a katedra počítačů ČVUT v Praze, FEL Evropský sociální fond Praha
Základní pojmy teorie množin Vektorové prostory
Základní pojmy teorie množin Přednáška MATEMATIKA č. 1 Katedra ekonometrie FEM UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz 7. 10. 2010 Základní pojmy teorie množin Základní pojmy
ANALYTICKÁ GEOMETRIE LINEÁRNÍCH ÚTVARŮ V ROVINĚ
ANALYTICKÁ GEOMETRIE LINEÁRNÍCH ÚTVARŮ V ROVINĚ Parametrické vyjádření přímky v rovině Máme přímku p v rovině určenou body A, B. Sestrojíme vektor u = B A. Pro bod B tím pádem platí: B = A + u. Je zřejmé,
Interpolace, aproximace
11 Interpolace, aproximace Metoda nejmenších čtverců 11.1 Interpolace Mějme body [x i,y i ], i =0, 1,...,n 1. Cílem interpolace je najít funkci f(x), jejíž graf prochází všemi těmito body, tj. f(x i )=y
1 Polynomiální interpolace
Polynomiální interpolace. Metoda neurčitých koeficientů Příklad.. Nalezněte polynom p co nejmenšího stupně, pro který platí p() = 0, p(2) =, p( ) = 6. Řešení. Polynom hledáme metodou neurčitých koeficientů,
Matematická analýza pro informatiky I. Limita posloupnosti (I)
Matematická analýza pro informatiky I. 3. přednáška Limita posloupnosti (I) Jan Tomeček tomecek@inf.upol.cz http://aix-slx.upol.cz/ tomecek/index Univerzita Palackého v Olomouci 25. února 2011 tomecek@inf.upol.cz
Základy matematiky pro FEK
Základy matematiky pro FEK 8. přednáška Blanka Šedivá KMA zimní semestr 2016/2017 Blanka Šedivá (KMA) Základy matematiky pro FEK zimní semestr 2016/2017 1 / 14 Derivace funkce U lineárních funkcí ve tvaru
DERIVACE FUKNCÍ VÍCE PROMĚNNÝCH
DERIVACE FUKNCÍ VÍCE PROMĚNNÝCH Reálná funkce dvou proměnných a definiční obor Kartézský součin R R značíme R 2 R 2 je množina všech uspořádaných dvojic reálných čísel (rovina) Prvk R 2 jsou bod v rovině
Regresní a korelační analýza
Regresní a korelační analýza Mějme dvojici proměnných, které spolu nějak souvisí. x je nezávisle (vysvětlující) proměnná y je závisle (vysvětlovaná) proměnná Chceme zjistit funkční závislost y = f(x).
Algoritmy a struktury neuropočítačů ASN P4. Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby
Algoritmy a struktury neuropočítačů ASN P4 Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby Vrstevnatá struktura - vícevrstvé NN (Multilayer NN, MLNN) vstupní vrstva (input layer)
Teorie měření a regulace
Ústav technologie, mechanizace a řízení staveb Teorie měření a regulace 22.z-3.tr ZS 2015/2016 2015 - Ing. Václav Rada, CSc. TEORIE ŘÍZENÍ druhá část tématu předmětu pokračuje. oblastí matematických pomůcek
Jednoduchá exponenciální rovnice
Jednoduchá exponenciální rovnice Z běžné rovnice se exponenciální stává, pokud obsahuje proměnnou v exponentu. Obecně bychom mohli exponenciální rovnici zapsat takto: a f(x) = b g(x), kde a, b > 0. Typickým
0.1 Úvod do lineární algebry
Matematika KMI/PMATE 1 01 Úvod do lineární algebry 011 Lineární rovnice o 2 neznámých Definice 011 Lineární rovnice o dvou neznámých x, y je rovnice, která může být vyjádřena ve tvaru ax + by = c, kde
1.1 Existence a jednoznačnost řešení. Příklad 1.1: [M2-P1] diferenciální rovnice (DR) řádu n: speciálně nás budou zajímat rovnice typu
![1.1 Existence a jednoznačnost řešení. Příklad 1.1: [M2-P1] diferenciální rovnice (DR) řádu n: speciálně nás budou zajímat rovnice typu](/thumbs/102/155926571.jpg "1.1 Existence a jednoznačnost řešení. Příklad 1.1: [M2-P1] diferenciální rovnice (DR) řádu n: speciálně nás budou zajímat rovnice typu")
[M2-P1] KAPITOLA 1: Diferenciální rovnice 1. řádu diferenciální rovnice (DR) řádu n: speciálně nás budou zajímat rovnice typu G(x, y, y, y,..., y (n) ) = 0 y (n) = F (x, y, y,..., y (n 1) ) Příklad 1.1:
Vytěžování znalostí z dat
Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 1 1/32 Vytěžování znalostí z dat Pavel Kordík, Jan Motl Department of Computer Systems Faculty of Information Technology
Čebyševovy aproximace
Čebyševovy aproximace Čebyševova aproximace je tzv hledání nejlepší stejnoměrné aproximace funkce v daném intervalu Hledáme funkci h x, která v intervalu a,b minimalizuje maximální absolutní hodnotu rozdílu
Teorie informace a kódování (KMI/TIK) Reed-Mullerovy kódy
Teorie informace a kódování (KMI/TIK) Reed-Mullerovy kódy Lukáš Havrlant Univerzita Palackého 10. ledna 2014 Primární zdroj Jiří Adámek: Foundations of Coding. Strany 137 160. Na webu ke stažení, heslo:
Numerické řešení diferenciálních rovnic
Numerické řešení diferenciálních rovnic Omezení: obyčejné (nikoli parciální) diferenciální rovnice, Cauchyho počáteční úloha, pouze jedna diferenciální rovnice 1. řádu 1/1 Numerické řešení diferenciálních
( + ) ( ) f x x f x. x bude zmenšovat nekonečně přesný. = derivace funkce f v bodě x. nazýváme ji derivací funkce f v bodě x. - náš základní zápis
1.. Derivace elementárních funkcí I Předpoklad: 1 Shrnutí z minulé hodin: Chceme znát jakým způsobem se mění hodnot funkce f ( f ( + f ( přibližná hodnota změn = přesnost výpočtu se bude zvětšovat, kdž
0.1 Úvod do lineární algebry
Matematika KMI/PMATE 1 01 Úvod do lineární algebry 011 Vektory Definice 011 Vektorem aritmetického prostorur n budeme rozumět uspořádanou n-tici reálných čísel x 1, x 2,, x n Definice 012 Definice sčítání
Střední hodnota a rozptyl náhodné. kvantilu. Ing. Michael Rost, Ph.D.
Střední hodnota a rozptyl náhodné veličiny, vybraná rozdělení diskrétních a spojitých náhodných veličin, pojem kvantilu Ing. Michael Rost, Ph.D. Príklad Předpokládejme že máme náhodnou veličinu X která
Lineární algebra : Úvod a opakování
Lineární algebra : Úvod a opakování (1. přednáška) František Štampach, Karel Klouda LS 013/014 vytvořeno: 19. února 014, 13:15 1 0.1 Lineární prostory R a R 3 V této přednášce si na jednoduchém příkladu
Zadání Máme data hdp.wf1, která najdete zde: Bodová předpověď: Intervalová předpověď:
Predikce Text o predikci pro upřesnění pro ty, které zajímá, kde se v EViews všechna ta čísla berou. Ruční výpočty u průběžného testu nebudou potřeba. Co bude v závěrečném testu, to nevím. Ale přečíst
Fakulta informačních technologií VUT Brno. Předmět: Srovnání klasifikátorů Autor : Jakub Mahdal Login: xmahda03 Datum:
Fakulta informačních technologií VUT Brno Předmět: Projekt: SRE Srovnání klasifikátorů Autor : Jakub Mahdal Login: xmahda03 Datum: 9.12.2006 Zadání Vyberte si jakékoliv 2 klasifikátory, např. GMM vs. neuronová
Státnice odborné č. 20
Státnice odborné č. 20 Shlukování dat Shlukování dat. Metoda k-středů, hierarchické (aglomerativní) shlukování, Kohonenova mapa SOM Shlukování dat Shluková analýza je snaha o seskupení objektů do skupin
Diferenciální rovnice 3
Diferenciální rovnice 3 Lineární diferenciální rovnice n-tého řádu Lineární diferenciální rovnice (dále jen LDR) n-tého řádu je rovnice tvaru + + + + = kde = je hledaná funkce, pravá strana a koeficienty
21. Úvod do teorie parciálních diferenciálních rovnic
21. Úvod do teorie parciálních diferenciálních rovnic Aplikovaná matematika IV, NMAF074 M. Rokyta, KMA MFF UK LS 2014/15 21.1 Základní termíny Definice Vektor tvaru α = (α 1,...,α m ), kde α j N {0}, j
2.1.4 Funkce, definiční obor funkce. π 4. Předpoklady: 2103. Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují.
.. Funkce, definiční obor funkce Předpoklady: 03 Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují. Uděláme si na tabuli jenom krátký seznam: S = a, y = x, s = vt, výška lidí v
Lineární regrese. Komentované řešení pomocí MS Excel
Lineární regrese Komentované řešení pomocí MS Excel Vstupní data Tabulka se vstupními daty je umístěna v oblasti A1:B11 (viz. obrázek) na listu cela data Postup Základní výpočty - regrese Výpočet základních
8.3). S ohledem na jednoduchost a názornost je výhodné seznámit se s touto Základní pojmy a vztahy. Definice
9. Lineární diferenciální rovnice 2. řádu Cíle Diferenciální rovnice, v nichž hledaná funkce vystupuje ve druhé či vyšší derivaci, nazýváme diferenciálními rovnicemi druhého a vyššího řádu. Analogicky
Vektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice
Vektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice Vektorové podprostory K množina reálných nebo komplexních čísel, U vektorový prostor nad K. Lineární kombinace vektorů u 1, u 2,...,u
Testování hypotéz o parametrech regresního modelu
Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Lineární regresní model kde Y = Xβ + e, y 1 e 1 β y 2 Y =., e = e 2 x 11 x 1 1k., X =....... β 2,
y = 2x2 + 10xy + 5. (a) = 7. y Úloha 2.: Určete rovnici tečné roviny a normály ke grafu funkce f = f(x, y) v bodě (a, f(a)). f(x, y) = x, a = (1, 1).
III Diferenciál funkce a tečná rovina Úloha 1: Určete rovnici tečné roviny ke grafu funkce f = f(x, y) v bodě (a, f(a)) f(x, y) = 3x 3 x y + 5xy 6x + 5y + 10, a = (1, 1) Řešení Definičním oborem funkce
Testování hypotéz o parametrech regresního modelu
Testování hypotéz o parametrech regresního modelu Ekonometrie Jiří Neubauer Katedra kvantitativních metod FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Jiří Neubauer (Katedra UO
Dnešní látka: Literatura: Kapitoly 3 a 4 ze skript Karel Rektorys: Matematika 43, ČVUT, Praha, Text přednášky na webové stránce přednášejícího.
Předmět: MA4 Dnešní látka: Od okrajových úloh v 1D k o. ú. ve 2D Laplaceův diferenciální operátor Variačně formulované okrajové úlohy pro parciální diferenciální rovnice a metody jejich přibližného řešení
Dnešní látka Variačně formulované okrajové úlohy zúplnění prostoru funkcí. Lineární zobrazení.
Předmět: MA4 Dnešní látka Variačně formulované okrajové úlohy zúplnění prostoru funkcí. Lineární zobrazení. Literatura: Kapitola 2 a)-c) a kapitola 4 a)-c) ze skript Karel Rektorys: Matematika 43, ČVUT,
Náhodný vektor. Náhodný vektor. Hustota náhodného vektoru. Hustota náhodného vektoru. Náhodný vektor je dvojice náhodných veličin (X, Y ) T = ( X
Náhodný vektor Náhodný vektor zatím jsme sledovali jednu náhodnou veličinu, její rozdělení a charakteristiky často potřebujeme vyšetřovat vzájemný vztah několika náhodných veličin musíme sledovat jejich
Numerická stabilita algoritmů
Numerická stabilita algoritmů Petr Tichý 9. října 2013 1 Numerická stabilita algoritmů Pravidla v konečné aritmetice Pro počítání v konečné aritmetice počítače platí určitá pravidla, která jsou důležitá
Statistická teorie učení
Statistická teorie učení Petr Havel Marek Myslivec přednáška z 9. týdne 1 Úvod Představme si situaci výrobce a zákazníka, který si u výrobce objednal algoritmus rozpoznávání. Zákazník dodal experimentální
Regresní a korelační analýza
Regresní a korelační analýza Mějme dvojici proměnných, které spolu nějak souvisí. x je nezávisle (vysvětlující) proměnná y je závisle (vysvětlovaná) proměnná Chceme zjistit funkční závislost y = f(x).
PRAVDĚPODOBNOST A STATISTIKA
PRAVDĚPODOBNOST A STATISTIKA Náhodný výběr Nechť X je náhodná proměnná, která má distribuční funkci F(x, ϑ). Předpokládejme, že známe tvar distribuční funkce (víme jaké má rozdělení) a neznáme parametr
Aplikovaná numerická matematika - ANM
Aplikovaná numerická matematika - ANM 3 Řešení soustav lineárních rovnic iterační metody doc Ing Róbert Lórencz, CSc České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových
AVDAT Klasický lineární model, metoda nejmenších
AVDAT Klasický lineární model, metoda nejmenších čtverců Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Lineární model y i = β 0 + β 1 x i1 + + β k x ik + ε i (1) kde y i
Kombinatorická minimalizace
Kombinatorická minimalizace Cílem je nalézt globální minimum ve velké diskrétní množině, kde může být mnoho lokálních minim. Úloha obchodního cestujícího Cílem je najít nejkratší cestu, která spojuje všechny
Pokročilé metody učení neuronových sítí. Tomáš Řehořek tomas.rehorek@fit.cvut.cz
Pokročilé metody učení neuronových sítí Tomáš Řehořek tomas.rehorek@fit.cvut.cz Problém učení neuronové sítě (1) Nechť N = (V, I, O, S, w, f, h) je dopředná neuronová síť, kde: V je množina neuronů I V
LINEÁRNÍ REGRESE. Lineární regresní model
LINEÁRNÍ REGRESE Chemometrie I, David MILDE Lineární regresní model 1 Typy závislosti 2 proměnných FUNKČNÍ VZTAH: 2 závisle proměnné: určité hodnotě x odpovídá jediná hodnota y. KORELACE: 2 náhodné (nezávislé)
Téma 22. Ondřej Nývlt
Téma 22 Ondřej Nývlt nyvlto1@fel.cvut.cz Náhodná veličina a náhodný vektor. Distribuční funkce, hustota a pravděpodobnostní funkce náhodné veličiny. Střední hodnota a rozptyl náhodné veličiny. Sdružené