LDA, logistická regrese
|
|
|
- Jaromír Prokop
- před 7 lety
- Počet zobrazení:
Transkript
1 Vytěžování Dat Přednáška 9 Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti ČVUT (FEL) Self Organizing Map / 32
2 Klasifikátory Jaké znáte klasifikační algoritmy? ČVUT (FEL) Self Organizing Map / 32
3 Klasifikátory Jaké znáte klasifikační algoritmy? Naive Bayes Rozhodovací strom KNN ČVUT (FEL) Self Organizing Map / 32
4 Klasifikátory Jaké znáte klasifikační algoritmy? Naive Bayes Rozhodovací strom KNN Jak fungují? ČVUT (FEL) Self Organizing Map / 32
5 Klasifikátory Jaké znáte klasifikační algoritmy? Naive Bayes Rozhodovací strom KNN Jak fungují? Naive Bayes počítá pravděpodobnost přiřazení do třídy za podmínky dané pozorováním. Rozhodovací strom generuje posloupnost rozhodnutí. KNN hledá nejbližsí instance z trénovací množiny. ČVUT (FEL) Self Organizing Map / 32
6 Rozhodovací hranice Další možný pohled je z hlediska rozhodovací hranice. Rozhodovací hranice je místo, kde instance přestávají patřit do třídy A a začínají patřit do třídy B. Převzadto z MainFolder/DocumentPage.php?course= MachineLearning&doc=exercises/ex8/ex8.html ČVUT (FEL) Self Organizing Map / 32
7 Rozhodovací hranice (2) Co když mám následující data: Jak bude vypadat nejjednodušší rozhodovací hranice, která data oklasifikuje bez chyby? ČVUT (FEL) Self Organizing Map / 32
8 Rozhodovací hranice (2) Co když mám následující data: Jak bude vypadat nejjednodušší rozhodovací hranice, která data oklasifikuje bez chyby? Stačí přece přímka! ČVUT (FEL) Self Organizing Map / 32
9 Lineární klasifikátor Takovou přímku umíme celkem jednoduše najít a vyrobit :). Jak vypadá rovnice přímky? ČVUT (FEL) Self Organizing Map / 32
10 Lineární klasifikátor Takovou přímku umíme celkem jednoduše najít a vyrobit :). Jak vypadá rovnice přímky? y = j w j x j = wx ČVUT (FEL) Self Organizing Map / 32
11 Lineární klasifikátor Takovou přímku umíme celkem jednoduše najít a vyrobit :). Jak vypadá rovnice přímky? y = j w j x j = wx Jak zjistíme, do které třídy patří vzor x? ČVUT (FEL) Self Organizing Map / 32
12 Lineární klasifikátor Takovou přímku umíme celkem jednoduše najít a vyrobit :). Jak vypadá rovnice přímky? y = j w j x j = wx Jak zjistíme, do které třídy patří vzor x? Prostým dosazením! Pokud y > 0 vzor patří do jedné třídy, y < 0 vzor patří do druhé třídy. y = 0 je rozhodovací hranice, kde se nelze rozhodnout. Naštěstí se toto nestává často. ČVUT (FEL) Self Organizing Map / 32
13 Lineární klasifikátor Takovou přímku umíme celkem jednoduše najít a vyrobit :). Jak vypadá rovnice přímky? y = j w j x j = wx Jak zjistíme, do které třídy patří vzor x? Prostým dosazením! Pokud y > 0 vzor patří do jedné třídy, y < 0 vzor patří do druhé třídy. y = 0 je rozhodovací hranice, kde se nelze rozhodnout. Naštěstí se toto nestává často. Porovnání < 0 nebo > 0 můžeme nahradit například funkcí signum(y) která vrací +1 pro kladná čísla a 1 pro záporná. ČVUT (FEL) Self Organizing Map / 32
14 Lineární klasifikátor (2) Vidíte v rovnici nějaký problém? ČVUT (FEL) Self Organizing Map / 32
15 Lineární klasifikátor (2) Vidíte v rovnici nějaký problém? Zkusme dosadit do rovnice x 1 = x 2 = 0. Co vyjde? y = 0 bez ohledu na nastavení vah w 1, w 2. Rozhodovací hranice libovolného klasifikátoru tedy musí procházet nulou resp. vektorem (0, 0,..., 0). ČVUT (FEL) Self Organizing Map / 32
16 Lineární klasifikátor (2) Vidíte v rovnici nějaký problém? Zkusme dosadit do rovnice x 1 = x 2 = 0. Co vyjde? y = 0 bez ohledu na nastavení vah w 1, w 2. Rozhodovací hranice libovolného klasifikátoru tedy musí procházet nulou resp. vektorem (0, 0,..., 0). To je docela nepříjemné omezení rozhodovací hranice se vlastně pouze otáčí kolem nuly. Co s tím? ČVUT (FEL) Self Organizing Map / 32
17 Lineární klasifikátor (2) Vidíte v rovnici nějaký problém? Zkusme dosadit do rovnice x 1 = x 2 = 0. Co vyjde? y = 0 bez ohledu na nastavení vah w 1, w 2. Rozhodovací hranice libovolného klasifikátoru tedy musí procházet nulou resp. vektorem (0, 0,..., 0). To je docela nepříjemné omezení rozhodovací hranice se vlastně pouze otáčí kolem nuly. Co s tím? Můžeme přidat změnit rovnici přímky na j w jx j + Θ = 0. Θ je aditivní konstanta a označuje se jako práh. ČVUT (FEL) Self Organizing Map / 32
18 Lineární klasifikátor (3) Rovnice pro lineární klasifikátor se tedy mírně změní: y = j w j x j + Θ = wx + Θ Ale jinak vše zůstane stejné. Pokud tedy vyjde, že y > 0 vzor patří do jedné třídy, y < 0 vzor patří do druhé třídy. ČVUT (FEL) Self Organizing Map / 32
19 Práh Teď zbývá pouze najít vektor koeficientů (vah) (w 1, w 2,..., w n ) a prahu Θ. Nejprve se zamysleme zda práh Θ představuje nějakou anomálii, která potřebuje speciální zacházení. ČVUT (FEL) Self Organizing Map / 32
20 Práh Teď zbývá pouze najít vektor koeficientů (vah) (w 1, w 2,..., w n ) a prahu Θ. Nejprve se zamysleme zda práh Θ představuje nějakou anomálii, která potřebuje speciální zacházení. Tak napůl :). Nepotřebuje, pokud trochu upravíme vstupní data. Co kdyby všechny vzory měli jeden atribut (vstupní proměnnou, řekněme x 0 ) se stejnou hodnotou? Když pak budu počítat w 0 x 0, vyjde mi vždy stejná hodnota... to je přece náš práh! ČVUT (FEL) Self Organizing Map / 32
21 Práh Teď zbývá pouze najít vektor koeficientů (vah) (w 1, w 2,..., w n ) a prahu Θ. Nejprve se zamysleme zda práh Θ představuje nějakou anomálii, která potřebuje speciální zacházení. Tak napůl :). Nepotřebuje, pokud trochu upravíme vstupní data. Co kdyby všechny vzory měli jeden atribut (vstupní proměnnou, řekněme x 0 ) se stejnou hodnotou? Když pak budu počítat w 0 x 0, vyjde mi vždy stejná hodnota... to je přece náš práh! Takže přidám ke každému vzoru ještě jednu dimenzi, která bude mít konstantní hodnotu pro jednoduchost 1 (ale můžete mu přiřadit libovolnou nenulovou hodnotu). Pak už se o práh nemusím speciálně starat. ČVUT (FEL) Self Organizing Map / 32
22 Gradientní sestup krok stranou Gradientní sestup je iterativní optimalizační metoda. Jde o to, že máme funkci f (x) a hledáme její minimum. A jak minimum najít? Budu hledat takové x, kde má funkce f (x) nejnižší hodnotu. Mám nějaké x 0 a znám hodnotu f (x 0 ). A hledám v okolí x 0, nejaké x 1, kde bude hodnota f (x 1 ) nižší. A to budu opakovat stále dokola, až to dál nepůjde. ČVUT (FEL) Self Organizing Map / 32
23 Gradientní sestup krok stranou Gradientní sestup je iterativní optimalizační metoda. Jde o to, že máme funkci f (x) a hledáme její minimum. A jak minimum najít? Budu hledat takové x, kde má funkce f (x) nejnižší hodnotu. Mám nějaké x 0 a znám hodnotu f (x 0 ). A hledám v okolí x 0, nejaké x 1, kde bude hodnota f (x 1 ) nižší. A to budu opakovat stále dokola, až to dál nepůjde. Na horách se chci dostat do údolí. Podívám se, kterým směrem se kopec nejvíc snižuje a udělám krok tím směrem. A zase se podívám, kam je to nejvíc z kopce a udělám krok. A tak dále, až jednou zjistím, že to dál nejde, čili jsem v údolí. ČVUT (FEL) Self Organizing Map / 32
24 Gradientní sestup krok stranou (2) V matematice existuje možnost, jak zjistit směr největšího vzestupu hodnoty funkce - gradient. To je první parciální derivace podle všech dimenzí. Když půjdu přesně opačně, půjdu ve směru největšího poklesu. Gradient je vektor parciálních derivací podle jednotlivých proměnných: grad(f (x 1, x 2,..., x n )) = ( f x 1, f x 2,..., f x n ) ČVUT (FEL) Self Organizing Map / 32
25 Chybová funkce a gradientní sestup Stejně jako u jiných klasifikačních metod, hledáme nastavení klasifikátoru (zde vah) takové, aby klasifikoval správně co nejvíc vzorů. Mějme tedy chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z testovací množiny) při daných vahách w. ČVUT (FEL) Self Organizing Map / 32
26 Chybová funkce a gradientní sestup Stejně jako u jiných klasifikačních metod, hledáme nastavení klasifikátoru (zde vah) takové, aby klasifikoval správně co nejvíc vzorů. Mějme tedy chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z testovací množiny) při daných vahách w. Ale taková se nám nehodí neumím spočítat parciální derivace (a tudíž ani gradient). ČVUT (FEL) Self Organizing Map / 32
27 Chybová funkce a gradientní sestup Stejně jako u jiných klasifikačních metod, hledáme nastavení klasifikátoru (zde vah) takové, aby klasifikoval správně co nejvíc vzorů. Mějme tedy chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z testovací množiny) při daných vahách w. Ale taková se nám nehodí neumím spočítat parciální derivace (a tudíž ani gradient). Zkusme jinou E(w) = x χ err( w(t)x), kde χerr jsou špatně klasifikované vzory z χ. To už je spojitá funkce. ČVUT (FEL) Self Organizing Map / 32
28 Chybová funkce a gradientní sestup Stejně jako u jiných klasifikačních metod, hledáme nastavení klasifikátoru (zde vah) takové, aby klasifikoval správně co nejvíc vzorů. Mějme tedy chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z testovací množiny) při daných vahách w. Ale taková se nám nehodí neumím spočítat parciální derivace (a tudíž ani gradient). Zkusme jinou E(w) = x χ err( w(t)x), kde χerr jsou špatně klasifikované vzory z χ. To už je spojitá funkce. A chybovou funkci E mohu minimalizovat změnou vah pomocí gradientního sestupu. ČVUT (FEL) Self Organizing Map / 32
29 Chybová funkce a gradientní sestup Parciální derivace chybové funkce E podle jedné proměnné vypadá takto: E = x 1 χ err( w 1(t)x 1 ) w 1 w 1 Kde x 1 je první souřadnice z x a w 1 je první souřadnice z w. x 1 χ err( w 1(t)x 1 ) = w 1 x 1 χ err x 1 Z toho plyne závěr, že nejvíce chybu snížím, pokud váhu w 1 změním o součet hodnot prvních vstupních proměnných x 1 vzorů na kterých jsem udělal chybu. Analogicky i ostatní vstupní proměnné (včetně prahu). ČVUT (FEL) Self Organizing Map / 32
30 Učení lineárního klasifikátoru A přesně na této myšlence je založen Perceptronový algoritmus. (Proč zrovna perceptronový, necháme teď stranou). ČVUT (FEL) Self Organizing Map / 32
31 Učení lineárního klasifikátoru A přesně na této myšlence je založen Perceptronový algoritmus. (Proč zrovna perceptronový, necháme teď stranou). 1 Inicializuj váhy na náhodné hodnoty. 2 Vezmi náhodný vstupní vzor x. A spočítej hodnotu y(x) = sgn( j w jx j = wx). 3 Pokud se požadovaný výstup d(x) liší od skutečného y(x), oprav váhy (w) takto: e(x) = d(x) y(x) w i (t + 1) = w i (t) + ηe(x)x i 4 Pokud chceš, pokračuj bodem 2). η je koeficient učení, který s postupem času může klesat k nule. ČVUT (FEL) Self Organizing Map / 32
32 Jednoznačnost výsledné přímky Jak poznám, že se perceptronový algoritmus zastavil? ČVUT (FEL) Self Organizing Map / 32
33 Jednoznačnost výsledné přímky Jak poznám, že se perceptronový algoritmus zastavil? Je výsledná přímka jediná možná? ČVUT (FEL) Self Organizing Map / 32
34 Jednoznačnost výsledné přímky Jak poznám, že se perceptronový algoritmus zastavil? Je výsledná přímka jediná možná? Ne, takových přímek je dokonce nekonečně mnoho. Přesto jsou některé lepší něž jiné. Kterou mám vybrat? A kterou nám vybere Perceptronový algoritmus? ČVUT (FEL) Self Organizing Map / 32
35 Lineárně separovatelné problémy Lze pomocí tohoto algoritmu klasifikovat bezchybně následující data? ČVUT (FEL) Self Organizing Map / 32
36 Lineárně separovatelné problémy Lze pomocí tohoto algoritmu klasifikovat bezchybně následující data? Ne! Třídám (datům), které lze oddělit přímkou říkáme lineárně separovatelná. ČVUT (FEL) Self Organizing Map / 32
37 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? ČVUT (FEL) Self Organizing Map / 32
38 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? Ne. K tomu potřebuji přidat další kvalitu. ČVUT (FEL) Self Organizing Map / 32
39 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? Ne. K tomu potřebuji přidat další kvalitu. 1 Jednou z možností je zkombinovat lin. klasifikátory. (O tom bude příští přednáška.) ČVUT (FEL) Self Organizing Map / 32
40 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? Ne. K tomu potřebuji přidat další kvalitu. 1 Jednou z možností je zkombinovat lin. klasifikátory. (O tom bude příští přednáška.) 2 Rozšíření báze. ČVUT (FEL) Self Organizing Map / 32
41 Rozšíření báze Když data nejsou separabilní v originálním prostoru, zkusme jestli by nebyla lineárně separovatelná ve více-dimenzionálním prostoru. ČVUT (FEL) Self Organizing Map / 32
42 Transformace Zase existuje mnoho transformací. Jedna z těch jednodušších přidává ke stávajícím dimenzím také součiny originálních dimenzí. Je charakterizovaná parametrem s maximálním stupněm součinu. ČVUT (FEL) Self Organizing Map / 32
43 Transformace Zase existuje mnoho transformací. Jedna z těch jednodušších přidává ke stávajícím dimenzím také součiny originálních dimenzí. Je charakterizovaná parametrem s maximálním stupněm součinu. Pro s = 2 z původních dimenzí (x 1, x 2 ) získám 5D prostor dimenzí (x 1, x 2, χ 1, χ 2, χ 3 ), kde χ 1 = x 2 1 χ2 = x 1 x 2 χ3 = x 2 2 ČVUT (FEL) Self Organizing Map / 32
44 Učení nelineárního klasifikátoru Když mám teď nové dimenze, jak naučím můj klasifikátor? ČVUT (FEL) Self Organizing Map / 32
45 Učení nelineárního klasifikátoru Když mám teď nové dimenze, jak naučím můj klasifikátor? Díky rozšíření báze teď mám více-dimenzionální prostor a (třeba) teď dokáži třídy lineárně separovat. Úplně stejně jako v předchozím případě. Tj použiji například perceptronový algoritmus. ČVUT (FEL) Self Organizing Map / 32
46 Učení nelineárního klasifikátoru Když mám teď nové dimenze, jak naučím můj klasifikátor? Díky rozšíření báze teď mám více-dimenzionální prostor a (třeba) teď dokáži třídy lineárně separovat. Úplně stejně jako v předchozím případě. Tj použiji například perceptronový algoritmus. Pokud se mi nepodaří získat lineární separaci, mohu zkusit zvýšit maximální stupeň součinu a zkusit separaci znovu. ČVUT (FEL) Self Organizing Map / 32
47 Rozhodovací hranice Jak pak bude vypadat projekce rozhodovací hranice zpět do originálních dimenzí? Tím se nám podařilo dosáhnout toho, že se rozhodovací hranice ohnula. A pokud budu zvyšovat parametr s, bude hranice stále poddajnější. ČVUT (FEL) Self Organizing Map / 32
48 Rozhodovací hranice (2) Můžu zvyšovat maximální stupeň součinu (parametr s) do nekonečna? Nebo někde narazím? ČVUT (FEL) Self Organizing Map / 32
49 Rozhodovací hranice (2) Můžu zvyšovat maximální stupeň součinu (parametr s) do nekonečna? Nebo někde narazím? S vyšším maximálním stupněm s vyvstávají dva problémy: 1 Jednak mám více vah, které musím nastavovat a perceptronový (nebo jakýkoliv jiný) algoritmus to nemusí zvládnout čili váhy se nastaví špatně. 2 Zvyšuji pravděpodobnost, že se klasifikátor přeučí. Tj. naučí se šum a chyby v trénovacích datech a nedokáže vlastnosti trénovacích dat zobecnit. (Podobně jako například 1-NN klasifikátor.) ČVUT (FEL) Self Organizing Map / 32
50 Klasifikace do několika tříd Co když mám více než dvě třídy? Mohu použít (ne-)lineární separaci? Případně jak? ČVUT (FEL) Self Organizing Map / 32
51 Klasifikace do několika tříd Co když mám více než dvě třídy? Mohu použít (ne-)lineární separaci? Případně jak? Budu rozhodovat o každé třídě samostatně. Čili pro problém s N třídami budu mít N klasifikátorů. Každý bude říkat Instance patří do mé třídy / Instance nepatří do mé třídy. ČVUT (FEL) Self Organizing Map / 32
52 Klasifikace do několika tříd Co když mám více než dvě třídy? Mohu použít (ne-)lineární separaci? Případně jak? Budu rozhodovat o každé třídě samostatně. Čili pro problém s N třídami budu mít N klasifikátorů. Každý bude říkat Instance patří do mé třídy / Instance nepatří do mé třídy. Při rozhodování o neznámé instanci x se zeptám všech N klasifikátorů na jejich rozhodnutí. 1 x patří právě do jedné třídy. 2 x patří do více tříd pak se musím rozhodnout například podle hodnoty xw (čím je větší, tím je x dále od rozhodovací hranice). 3 analogoicky, pokud x nepatří do žádné třídy. Hledám tedy trídu, kam x nepatří nejméně :). ČVUT (FEL) Self Organizing Map / 32
53 Problémy lineárních klasifikátorů Linearita Pokud se dostatečně pohnu i jen v jedné proměnné, můžu získat obrácený výsledek. Hodnota xw roste se vzdáleností od rozhodovací hranice a nemá žádnou interpretaci. Lineární klasifikátory špatně snášejí chybějící hodnoty. Pokud provádím rozšíření báze, může trvat učení velmi dlouho. ČVUT (FEL) Self Organizing Map / 32
54 Linear Discriminant Analysis LDA je statistický přístup k problému lineární separace. Pamatujete si PCA? (Principal Component Analisis mluvili jsme o něm u SOM) ČVUT (FEL) Self Organizing Map / 32
55 Linear Discriminant Analysis LDA je statistický přístup k problému lineární separace. Pamatujete si PCA? (Principal Component Analisis mluvili jsme o něm u SOM) LDA redukuje původní prostor na přímku (1 dimenzi) a to tak, co nejvíce oddělil vzory různých tříd. V jistém smyslu je to opak rozšíření báze. ČVUT (FEL) Self Organizing Map / 32
56 Linear Discriminant Analysis (2) Obraz vzoru v nové souřadnici pak získám jako xw, kde w jsou váhy. V principu počítám to samé jako u lineárního klasifikátoru, ale interpretace a postup jsou úplně jiné. ČVUT (FEL) Self Organizing Map / 32
57 Linear Discriminant Analysis (3) Při počítání LDA se snažím maximalizovat separaci mezi třídami. Nejprve pro každou třídu musím spočítat rozptyl v obraze (scatter). µ s1 = 1 s 1 x i s 1 x i y i = x i w µ s1 = 1 s 1 s 1 2 = y i = 1 s 1 x i s 1 µ s1 x 1 s 1 y i x i s 1 x i w ČVUT (FEL) Self Organizing Map / 32
58 Linear Discriminant Analysis (4) A nyní můžu spočítat míru separace pro projekci danou vahami w. J(w) = µ s 1 µ s2 2 s s 2 Hledáme tedy projekci, která co nejvíc seskupí vzory stejné třídy a co nejvíc zároveň oddělí vzory různých tříd. ČVUT (FEL) Self Organizing Map / 32
59 LDA pro více tříd LDA lze zobecnit tak, aby dokázalo klasifikovat do více tříd. Pak se nevytváří pouze jedna nová dimenze, ale počet tříd -1 nových dimenzí a mírně se upraví vzorečky :). ČVUT (FEL) Self Organizing Map / 32
60 Problémy LDA Stejně jako všechno, má i LDA nějaké mouchy: Počet dimenzí vytvořený LDA nemusí stačit ke správném zařazení do třídy. LDA předpokládá normální rozložení dat ve třídách. A selhává, pokud tomu tak není. (Například třídy mají komplexní tvary). Rozíly mezi třídami jsou spíše v rozptylu hodnot než v rozdílu středních hodnot. ČVUT (FEL) Self Organizing Map / 32
61 Logistická regrese Co kdybych chtěl, abych dokázal vzdálenosti od rozhodovací hranice nějak interpretovat. Ideálně ještě tak, že je to pravděpodobnost příslušnosti k dané třídě. ČVUT (FEL) Self Organizing Map / 32
62 Logistická regrese Co kdybych chtěl, abych dokázal vzdálenosti od rozhodovací hranice nějak interpretovat. Ideálně ještě tak, že je to pravděpodobnost příslušnosti k dané třídě. Existuje logistická funkce, která je definovaná takto f (z) = 1 1+e z Její hodnoty jsou omezené na interval A navíc kolem z = 0 (rozhodovací hranice) je její změna největší. ČVUT (FEL) Self Organizing Map / 32
63 Logistická regrese (2) Zkusíme zavést pojem sance = p 1 p ČVUT (FEL) Self Organizing Map / 32
64 Logistická regrese (2) Zkusíme zavést pojem sance = p 1 p Abychom ji dostali do rozmezí zkusme ji zlogaritmovat. Tím získáme funkci logit(p) = log(sance(p)) = log( p 1 p ) ČVUT (FEL) Self Organizing Map / 32
65 Logistická regrese (2) Zkusíme zavést pojem sance = p 1 p Abychom ji dostali do rozmezí zkusme ji zlogaritmovat. Tím získáme funkci logit(p) = log(sance(p)) = log( p 1 p ) Zkusme předpokládat, že logit(p) = β 0 + β 1 x 1 + β 2 x β k x k Kde β 1,..., β k jsou regresní koeficienty a β 0 je posun. ČVUT (FEL) Self Organizing Map / 32
66 Logistická regrese (2) Zkusíme zavést pojem sance = p 1 p Abychom ji dostali do rozmezí zkusme ji zlogaritmovat. Tím získáme funkci logit(p) = log(sance(p)) = log( p 1 p ) Zkusme předpokládat, že logit(p) = β 0 + β 1 x 1 + β 2 x β k x k Kde β 1,..., β k jsou regresní koeficienty a β 0 je posun. A teď zkusme opět dopočítat pravděpodobnost vzoru x. p(x) = 1 1+e β 0 +β 1 x 1 +β 2 x β k x k ČVUT (FEL) Self Organizing Map / 32
67 Zdroje LDA převzata z research.cs.tamu.edu/prism/lectures/ pr/pr_l10.pdf logisticregression/html/logisticregression.htm ČVUT (FEL) Self Organizing Map / 32
logistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vytěžování Dat Přednáška 9 Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
logistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vytěžování Dat Přednáška 9 Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Přednáška 13 Redukce dimenzionality
Vytěžování Dat Přednáška 13 Redukce dimenzionality Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti ČVUT (FEL) Redukce dimenzionality 1 /
Klasifikace a rozpoznávání. Lineární klasifikátory
Klasifikace a rozpoznávání Lineární klasifikátory Opakování - Skalární součin x = x1 x 2 w = w T x = w 1 w 2 x 1 x 2 w1 w 2 = w 1 x 1 + w 2 x 2 x. w w T x w Lineární klasifikátor y(x) = w T x + w 0 Vyber
Lineární klasifikátory
Lineární klasifikátory Lineární klasifikátory obsah: perceptronový algoritmus základní verze varianta perceptronového algoritmu přihrádkový algoritmus podpůrné vektorové stroje Lineární klasifikátor navrhnout
Kybernetika a umělá inteligence, cvičení 10/11
Kybernetika a umělá inteligence, cvičení 10/11 Program 1. seminární cvičení: základní typy klasifikátorů a jejich princip 2. počítačové cvičení: procvičení na problému rozpoznávání číslic... body za aktivitu
Miroslav Čepek. Fakulta Elektrotechnická, ČVUT. Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti
Vytěžování Dat Přednáška 12 Kombinování modelů Miroslav Čepek Pavel Kordík a Jan Černý (FIT) Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti ČVUT (FEL)
Základy vytěžování dat
Základy vytěžování dat předmět A7Bb36vyd Vytěžování dat Filip Železný, Miroslav Čepek, Radomír Černoch, Jan Hrdlička katedra kybernetiky a katedra počítačů ČVUT v Praze, FEL Evropský sociální fond Praha
Algoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů)
Algoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů) Autor: Vladimir Vapnik Vapnik, V. The Nature of Statistical Learning Theory.
AVDAT Nelineární regresní model
AVDAT Nelineární regresní model Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Nelineární regresní model Ey i = f (x i, β) kde x i je k-členný vektor vysvětlujících proměnných
Úloha - rozpoznávání číslic
Úloha - rozpoznávání číslic Vojtěch Franc, Tomáš Pajdla a Tomáš Svoboda http://cmp.felk.cvut.cz 27. listopadu 26 Abstrakt Podpůrný text pro cvičení předmětu X33KUI. Vysvětluje tři způsoby rozpoznávání
ANALÝZA A KLASIFIKACE DAT
ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz IV. LINEÁRNÍ KLASIFIKACE PRINCIPY KLASIFIKACE pomocí diskriminačních funkcí funkcí,
Úvod do optimalizace, metody hladké optimalizace
Evropský sociální fond Investujeme do vaší budoucnosti Úvod do optimalizace, metody hladké optimalizace Matematika pro informatiky, FIT ČVUT Martin Holeňa, 13. týden LS 2010/2011 O čem to bude? Příklady
1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.
Prostá regresní a korelační analýza 1 1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004. Problematika závislosti V podstatě lze rozlišovat mezi závislostí nepodstatnou, čili náhodnou
Vytěžování znalostí z dat
Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 8 1/26 Vytěžování znalostí z dat Pavel Kordík, Josef Borkovec Department of Computer Systems Faculty of Information
Rosenblattův perceptron
Perceptron Přenosové funkce Rosenblattův perceptron Rosenblatt r. 1958. Inspirace lidským okem Podle fyziologického vzoru je třívrstvá: Vstupní vrstva rozvětvovací jejím úkolem je mapování dvourozměrného
1 Linearní prostory nad komplexními čísly
1 Linearní prostory nad komplexními čísly V této přednášce budeme hledat kořeny polynomů, které se dále budou moci vyskytovat jako složky vektorů nebo matic Vzhledem k tomu, že kořeny polynomu (i reálného)
8.3). S ohledem na jednoduchost a názornost je výhodné seznámit se s touto Základní pojmy a vztahy. Definice
9. Lineární diferenciální rovnice 2. řádu Cíle Diferenciální rovnice, v nichž hledaná funkce vystupuje ve druhé či vyšší derivaci, nazýváme diferenciálními rovnicemi druhého a vyššího řádu. Analogicky
Odhady - Sdružené rozdělení pravděpodobnosti
Odhady - Sdružené rozdělení pravděpodobnosti 4. listopadu 203 Kdybych chtěl znát maximum informací o náhodné veličině, musel bych znát všechny hodnoty, které mohou padnout, a jejich pravděpodobnosti. Tedy
Aplikovaná numerická matematika
Aplikovaná numerická matematika 6. Metoda nejmenších čtverců doc. Ing. Róbert Lórencz, CSc. České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových systémů Příprava studijních
Strukturální regresní modely. určitý nadhled nad rozličnými typy modelů
Strukturální regresní modely určitý nadhled nad rozličnými typy modelů Jde zlepšit odhad k-nn? Odhad k-nn konverguje pro slušné k očekávané hodnotě. ALE POMALU! Jiné přístupy přidají předpoklad o funkci
Státnice odborné č. 20
Státnice odborné č. 20 Shlukování dat Shlukování dat. Metoda k-středů, hierarchické (aglomerativní) shlukování, Kohonenova mapa SOM Shlukování dat Shluková analýza je snaha o seskupení objektů do skupin
Definice. Vektorový prostor V nad tělesem T je množina s operacemi + : V V V, tj. u, v V : u + v V : T V V, tj. ( u V )( a T ) : a u V které splňují
Definice. Vektorový prostor V nad tělesem T je množina s operacemi + : V V V, tj. u, v V : u + v V : T V V, tj. ( u V )( a T ) : a u V které splňují 1. u + v = v + u, u, v V 2. (u + v) + w = u + (v + w),
AVDAT Mnohorozměrné metody, metody klasifikace
AVDAT Mnohorozměrné metody, metody klasifikace Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Mnohorozměrné metody Regrese jedna náhodná veličina je vysvětlována pomocí jiných
Vektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice
Vektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice Vektorové podprostory K množina reálných nebo komplexních čísel, U vektorový prostor nad K. Lineární kombinace vektorů u 1, u 2,...,u
Dnešní látka Variačně formulované okrajové úlohy zúplnění prostoru funkcí. Lineární zobrazení.
Předmět: MA4 Dnešní látka Variačně formulované okrajové úlohy zúplnění prostoru funkcí. Lineární zobrazení. Literatura: Kapitola 2 a)-c) a kapitola 4 a)-c) ze skript Karel Rektorys: Matematika 43, ČVUT,
Stavový model a Kalmanův filtr
Stavový model a Kalmanův filtr 2 prosince 23 Stav je veličina, kterou neznáme, ale chtěli bychom znát Dozvídáme se o ní zprostředkovaně prostřednictvím výstupů Příkladem může býapř nějaký zašuměný signál,
ANALYTICKÁ GEOMETRIE LINEÁRNÍCH ÚTVARŮ V ROVINĚ
ANALYTICKÁ GEOMETRIE LINEÁRNÍCH ÚTVARŮ V ROVINĚ Parametrické vyjádření přímky v rovině Máme přímku p v rovině určenou body A, B. Sestrojíme vektor u = B A. Pro bod B tím pádem platí: B = A + u. Je zřejmé,
4. Aplikace matematiky v ekonomii
4. Aplikace matematiky v ekonomii 1 Lineární algebra Soustavy 1) Na základě statistických údajů se zjistilo, že závislost množství statku z poptávaného v průběhu jednoho týdne lze popsat vztahem q d =
Fakt. Každou soustavu n lineárních ODR řádů n i lze eliminací převést ekvivalentně na jednu lineární ODR
DEN: ODR teoreticky: soustavy rovnic Soustava lineárních ODR 1 řádu s konstantními koeficienty je soustava ve tvaru y 1 = a 11 y 1 + a 12 y 2 + + a 1n y n + b 1 (x) y 2 = a 21 y 1 + a 22 y 2 + + a 2n y
Odhady Parametrů Lineární Regrese
Odhady Parametrů Lineární Regrese Mgr. Rudolf B. Blažek, Ph.D. prof. RNDr. Roman Kotecký, DrSc. Katedra počítačových systémů Katedra teoretické informatiky Fakulta informačních technologií České vysoké
Nejdřív spočítáme jeden příklad na variaci konstant pro lineární diferenciální rovnici 2. řádu s kostantními koeficienty. y + y = 4 sin t.
1 Variace konstanty Nejdřív spočítáme jeden příklad na variaci konstant pro lineární diferenciální rovnici 2. řádu s kostantními koeficienty. Příklad 1 Najděte obecné řešení rovnice: y + y = 4 sin t. Co
Interpolace, aproximace
11 Interpolace, aproximace Metoda nejmenších čtverců 11.1 Interpolace Mějme body [x i,y i ], i =0, 1,...,n 1. Cílem interpolace je najít funkci f(x), jejíž graf prochází všemi těmito body, tj. f(x i )=y
Katedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group
Vytěžování dat Miroslav Čepek, Filip Železný Katedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group Evropský sociální fond Praha & EU: Investujeme
UČENÍ BEZ UČITELE. Václav Hlaváč
UČENÍ BEZ UČITELE Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz, http://cmp.felk.cvut.cz/~hlavac 1/22 OBSAH PŘEDNÁŠKY ÚVOD Učení
verze 1.3 kde ρ(, ) je vzdálenost dvou bodů v R r. Redukovaným ε-ovým okolím nazveme ε-ové okolí bodu x 0 mimo tohoto bodu, tedy množinu
Úvod Diferenciální počet více proměnných verze.3 Následující text popisuje základy diferenciálního počtu více proměnných. Měl by sloužit především studentům předmětu MATEMAT na Univerzitě Hradec Králové
Aplikovaná statistika v R - cvičení 3
Aplikovaná statistika v R - cvičení 3 Filip Děchtěrenko Matematicko-fyzikální fakulta filip.dechterenko@gmail.com 5.8.2014 Filip Děchtěrenko (MFF UK) Aplikovaná statistika v R 5.8.2014 1 / 10 Lineární
Umělé neuronové sítě
Umělé neuronové sítě 17. 3. 2018 5-1 Model umělého neuronu y výstup neuronu u vnitřní potenciál neuronu w i váhy neuronu x i vstupy neuronu Θ práh neuronu f neuronová aktivační funkce 5-2 Neuronové aktivační
Výběrové charakteristiky a jejich rozdělení
Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Statistické šetření úplné (vyčerpávající) neúplné (výběrové) U výběrového šetření se snažíme o to, aby výběrový
Numerické metody a programování. Lekce 8
Numerické metody a programování Lekce 8 Optimalizace hledáme bod x, ve kterém funkce jedné nebo více proměnných f x má minimum (maximum) maximalizace f x je totéž jako minimalizace f x Minimum funkce lokální:
Pokročilé neparametrické metody. Klára Kubošová
Klára Kubošová Další typy stromů CHAID, PRIM, MARS CHAID - Chi-squared Automatic Interaction Detector G.V.Kass (1980) nebinární strom pro kategoriální proměnné. Jako kriteriální statistika pro větvení
ANALÝZA A KLASIFIKACE DAT
ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz III. PŘÍZNAKOVÁ KLASIFIKACE - ÚVOD PŘÍZNAKOVÝ POPIS Příznakový obraz x zpracovávaných
Odhad parametrů N(µ, σ 2 )
Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný
Dnešní látka: Literatura: Kapitoly 3 a 4 ze skript Karel Rektorys: Matematika 43, ČVUT, Praha, Text přednášky na webové stránce přednášejícího.
Předmět: MA4 Dnešní látka: Od okrajových úloh v 1D k o. ú. ve 2D Laplaceův diferenciální operátor Variačně formulované okrajové úlohy pro parciální diferenciální rovnice a metody jejich přibližného řešení
Optimální rozdělující nadplocha 4. Support vector machine. Adaboost.
Optimální rozdělující nadplocha. Support vector machine. Adaboost. Petr Pošík Czech Technical University in Prague Faculty of Electrical Engineering Dept. of Cybernetics Opakování Lineární diskriminační
Numerické metody 6. května FJFI ČVUT v Praze
Extrémy funkcí Numerické metody 6. května 2018 FJFI ČVUT v Praze 1 Úvod Úvod 1D Více dimenzí Kombinatorika Lineární programování Programy 1 Úvod Úvod - Úloha Snažíme se najít extrém funkce, at už jedné
1.1 Existence a jednoznačnost řešení. Příklad 1.1: [M2-P1] diferenciální rovnice (DR) řádu n: speciálně nás budou zajímat rovnice typu
![1.1 Existence a jednoznačnost řešení. Příklad 1.1: [M2-P1] diferenciální rovnice (DR) řádu n: speciálně nás budou zajímat rovnice typu](/thumbs/102/155926571.jpg "1.1 Existence a jednoznačnost řešení. Příklad 1.1: [M2-P1] diferenciální rovnice (DR) řádu n: speciálně nás budou zajímat rovnice typu")
[M2-P1] KAPITOLA 1: Diferenciální rovnice 1. řádu diferenciální rovnice (DR) řádu n: speciálně nás budou zajímat rovnice typu G(x, y, y, y,..., y (n) ) = 0 y (n) = F (x, y, y,..., y (n 1) ) Příklad 1.1:
Literatura: Kapitola 2 d) ze skript Karel Rektorys: Matematika 43, ČVUT, Praha, Text přednášky na webové stránce přednášejícího.
Předmět: MA4 Dnešní látka: Metoda sítí v 1D. Myšlenka náhrada derivací diferenčními podíly Přibližné řešení okrajových úloh Aproximace vlastních čísel Literatura: Kapitola 2 d) ze skript Karel Rektorys:
Odhad parametrů N(µ, σ 2 )
Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný
Zpracování digitalizovaného obrazu (ZDO) - Popisy III
Zpracování digitalizovaného obrazu (ZDO) - Popisy III Statistické popisy tvaru a vzhledu Ing. Zdeněk Krňoul, Ph.D. Katedra Kybernetiky Fakulta aplikovaných věd Západočeská univerzita v Plzni Zpracování
1 Polynomiální interpolace
Polynomiální interpolace. Metoda neurčitých koeficientů Příklad.. Nalezněte polynom p co nejmenšího stupně, pro který platí p() = 0, p(2) =, p( ) = 6. Řešení. Polynom hledáme metodou neurčitých koeficientů,
pouze u některých typů rovnic a v tomto textu se jím nebudeme až na
Matematika II 7.1. Zavedení diferenciálních rovnic Definice 7.1.1. Rovnice tvaru F(y (n), y (n 1),, y, y, x) = 0 se nazývá diferenciální rovnice n-tého řádu pro funkci y = y(x). Speciálně je F(y, y, x)
Lineární algebra : Metrická geometrie
Lineární algebra : Metrická geometrie (16. přednáška) František Štampach, Karel Klouda LS 2013/2014 vytvořeno: 6. května 2014, 10:42 1 2 Úvod Zatím jsme se lineární geometrii věnovali v kapitole o lineárních
Trénování sítě pomocí učení s učitelem
Trénování sítě pomocí učení s učitelem! předpokládá se, že máme k dispozici trénovací množinu, tj. množinu P dvojic [vstup x p, požadovaný výstup u p ]! chceme nastavit váhy a prahy sítě tak, aby výstup
Vytěžování znalostí z dat
Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 1 1/32 Vytěžování znalostí z dat Pavel Kordík, Jan Motl Department of Computer Systems Faculty of Information Technology
V předchozí kapitole jsme podstatným způsobem rozšířili naši představu o tom, co je to číslo. Nadále jsou pro nás důležité především vlastnosti
Kapitola 5 Vektorové prostory V předchozí kapitole jsme podstatným způsobem rozšířili naši představu o tom, co je to číslo. Nadále jsou pro nás důležité především vlastnosti operací sčítání a násobení
3. ANTAGONISTICKÉ HRY
3. ANTAGONISTICKÉ HRY ANTAGONISTICKÝ KONFLIKT Antagonistický konflikt je rozhodovací situace, v níž vystupují dva inteligentní rozhodovatelé, kteří se po volbě svých rozhodnutí rozdělí o pevnou částku,
y = 2x2 + 10xy + 5. (a) = 7. y Úloha 2.: Určete rovnici tečné roviny a normály ke grafu funkce f = f(x, y) v bodě (a, f(a)). f(x, y) = x, a = (1, 1).
III Diferenciál funkce a tečná rovina Úloha 1: Určete rovnici tečné roviny ke grafu funkce f = f(x, y) v bodě (a, f(a)) f(x, y) = 3x 3 x y + 5xy 6x + 5y + 10, a = (1, 1) Řešení Definičním oborem funkce
Co jsme udělali: Au = f, u D(A)
Předmět: MA4 Dnešní látka: Od okrajových úloh v 1D k o. ú. ve 2D Laplaceův diferenciální operátor Variačně formulované okrajové úlohy pro parciální diferenciální rovnice a metody jejich přibližného řešení
Učební texty k státní bakalářské zkoušce Matematika Diferenciální rovnice. študenti MFF 15. augusta 2008
Učební texty k státní bakalářské zkoušce Matematika Diferenciální rovnice študenti MFF 15. augusta 2008 1 7 Diferenciální rovnice Požadavky Soustavy lineárních diferenciálních rovnic prvního řádu lineární
Matematika pro geometrickou morfometrii
Matematika pro geometrickou morfometrii Václav Krajíček Vaclav.Krajicek@mff.cuni.cz Department of Software and Computer Science Education Faculty of Mathematics and Physics Charles University Přednáška
Kapitola 1. Logistická regrese. 1.1 Model
Kapitola Logistická regrese Předpokládám, že už jsme zavedli základní pojmy jako rysy a že už máme nějaké značení Velkost trenovacich dat a pocet parametru Motivační povídání... jeden z nejpoužívanějších
INVESTICE DO ROZVOJE VZDĚLÁVÁNÍ. Modernizace studijního programu Matematika na PřF Univerzity Palackého v Olomouci CZ.1.07/2.2.00/28.
INVESTICE DO ROZVOJE VZDĚLÁVÁNÍ Modernizace studijního programu Matematika na PřF Univerzity Palackého v Olomouci CZ.1.07/2.2.00/28.0141 Báze vektorových prostorů, transformace souřadnic Michal Botur Přednáška
Parametrické programování
Parametrické programování Příklad 1 Parametrické pravé strany Firma vyrábí tři výrobky. K jejich výrobě potřebuje jednak surovinu a jednak stroje, na kterých dochází ke zpracování. Na první výrobek jsou
Fakulta informačních technologií VUT Brno. Předmět: Srovnání klasifikátorů Autor : Jakub Mahdal Login: xmahda03 Datum:
Fakulta informačních technologií VUT Brno Předmět: Projekt: SRE Srovnání klasifikátorů Autor : Jakub Mahdal Login: xmahda03 Datum: 9.12.2006 Zadání Vyberte si jakékoliv 2 klasifikátory, např. GMM vs. neuronová
9. Úvod do teorie PDR
9. Úvod do teorie PDR A. Základní poznatky o soustavách ODR1 Diferenciální rovnici nazveme parciální, jestliže neznámá funkce závisí na dvou či více proměnných (příslušná rovnice tedy obsahuje parciální
Kapitola 11: Lineární diferenciální rovnice 1/15
Kapitola 11: Lineární diferenciální rovnice 1/15 Lineární diferenciální rovnice 2. řádu Definice: Lineární diferenciální rovnice 2-tého řádu je rovnice tvaru kde: y C 2 (I) je hledaná funkce a 0 (x)y +
řešeny numericky 6 Obyčejné diferenciální rovnice řešeny numericky
řešeny numericky řešeny numericky Břetislav Fajmon, UMAT FEKT, VUT Brno Na minulé přednášce jsme viděli některé klasické metody a přístupy pro řešení diferenciálních rovnic: stručně řečeno, rovnice obsahující
Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze
Dobývání znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Bayesovské modely Doc. RNDr. Iveta Mrázová, CSc.
Statistická teorie učení
Statistická teorie učení Petr Havel Marek Myslivec přednáška z 9. týdne 1 Úvod Představme si situaci výrobce a zákazníka, který si u výrobce objednal algoritmus rozpoznávání. Zákazník dodal experimentální
Lineární zobrazení. 1. A(x y) = A(x) A(y) (vlastnost aditivity) 2. A(α x) = α A(x) (vlastnost homogenity)
4 Lineární zobrazení Definice: Nechť V a W jsou vektorové prostory Zobrazení A : V W (zobrazení z V do W nazýváme lineárním zobrazením, pokud pro všechna x V, y V a α R platí 1 A(x y = A(x A(y (vlastnost
DERIVACE FUKNCÍ VÍCE PROMĚNNÝCH
DERIVACE FUKNCÍ VÍCE PROMĚNNÝCH Reálná funkce dvou proměnných a definiční obor Kartézský součin R R značíme R 2 R 2 je množina všech uspořádaných dvojic reálných čísel (rovina) Prvk R 2 jsou bod v rovině
1. Náhodný vektor (X, Y ) má diskrétní rozdělení s pravděpodobnostní funkcí p, kde. p(x, y) = a(x + y + 1), x, y {0, 1, 2}.
VIII. Náhodný vektor. Náhodný vektor (X, Y má diskrétní rozdělení s pravděpodobnostní funkcí p, kde p(x, y a(x + y +, x, y {,, }. a Určete číslo a a napište tabulku pravděpodobnostní funkce p. Řešení:
[1] Motivace. p = {t u ; t R}, A(p) = {A(t u ); t R} = {t A( u ); t R}
![[1] Motivace. p = {t u ; t R}, A(p) = {A(t u ); t R} = {t A( u ); t R}](/thumbs/26/7692117.jpg "[1] Motivace. p = {t u ; t R}, A(p) = {A(t u ); t R} = {t A( u ); t R}")
Vlastní číslo, vektor motivace: směr přímky, kterou lin. transformace nezmění invariantní podprostory charakteristický polynom báze, vzhledem ke které je matice transformace nejjednodušší podobnost s diagonální
Regrese. používáme tehdy, jestliže je vysvětlující proměnná kontinuální pokud je kategoriální, jde o ANOVA
Regrese používáme tehd, jestliže je vsvětlující proměnná kontinuální pokud je kategoriální, jde o ANOVA Specifikace modelu = a + bx a závisle proměnná b x vsvětlující proměnná Cíl analýz Odhadnout hodnot
Lineární regrese. Komentované řešení pomocí MS Excel
Lineární regrese Komentované řešení pomocí MS Excel Vstupní data Tabulka se vstupními daty je umístěna v oblasti A1:B11 (viz. obrázek) na listu cela data Postup Základní výpočty - regrese Výpočet základních
2.1.4 Funkce, definiční obor funkce. π 4. Předpoklady: 2103. Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují.
.. Funkce, definiční obor funkce Předpoklady: 03 Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují. Uděláme si na tabuli jenom krátký seznam: S = a, y = x, s = vt, výška lidí v
Cvičení ze statistiky - 3. Filip Děchtěrenko
Cvičení ze statistiky - 3 Filip Děchtěrenko Minule bylo.. Dokončili jsme základní statistiky, typy proměnných a začali analýzu kvalitativních dat Tyhle termíny by měly být známé: Histogram, krabicový graf
Matice. Je dána matice A R m,n, pak máme zobrazení A : R n R m.
Matice lineárních zobrazení [1] Připomenutí Zobrazení A : L 1 L 2 je lineární, když A( x + y ) = A( x ) + A( y ), A(α x ) = α A( x ). Což je ekvivalentní s principem superpozice: A(α 1 x 1 + + α n x n
RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr.
Analýza dat pro Neurovědy RNDr. Eva Janoušová doc. RNDr. Ladislav Dušek, Dr. Jaro 2014 Institut biostatistiky Janoušová, a analýz Dušek: Analýza dat pro neurovědy Blok 7 Jak hodnotit vztah spojitých proměnných
transformace je posunutí plus lineární transformace má svou matici vzhledem k homogenním souřadnicím [1]
![transformace je posunutí plus lineární transformace má svou matici vzhledem k homogenním souřadnicím [1]](/thumbs/88/115112143.jpg "transformace je posunutí plus lineární transformace má svou matici vzhledem k homogenním souřadnicím [1]")
[1] Afinní transformace je posunutí plus lineární transformace má svou matici vzhledem k homogenním souřadnicím využití například v počítačové grafice Evropský sociální fond Praha & EU. Investujeme do
Vytěžování znalostí z dat
Pavel Kordík, Jan Motl (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 7 1/27 Vytěžování znalostí z dat Pavel Kordík, Jan Motl Department of Computer Systems Faculty of Information Technology
Interpolace, ortogonální polynomy, Gaussova kvadratura
Interpolace, ortogonální polynomy, Gaussova kvadratura Petr Tichý 20. listopadu 2013 1 Úloha Lagrangeovy interpolace Dán omezený uzavřený interval [a, b] a v něm n + 1 různých bodů x 0, x 1,..., x n. Nechť
Lingebraické kapitolky - Analytická geometrie
Lingebraické kapitolky - Analytická geometrie Jaroslav Horáček KAM MFF UK 2013 Co je to vektor? Šipička na tabuli? Ehm? Množina orientovaných úseček majících stejný směr. Prvek vektorového prostoru. V
Obyčejnými diferenciálními rovnicemi (ODR) budeme nazývat rovnice, ve kterých
Obyčejné diferenciální rovnice Obyčejnými diferenciálními rovnicemi (ODR) budeme nazývat rovnice, ve kterých se vyskytují derivace neznámé funkce jedné reálné proměnné. Příklad. Bud dána funkce f : R R.
7. Rozdělení pravděpodobnosti ve statistice
7. Rozdělení pravděpodobnosti ve statistice Statistika nuda je, má však cenné údaje, neklesejte na mysli, ona nám to vyčíslí Jednou z úloh statistiky je odhad (výpočet) hodnot statistického znaku x i,
Katedra aplikované matematiky FEI VŠB Technická univerzita Ostrava luk76/la1
Lineární algebra 5. přednáška: Báze a řešitelnost soustav Dalibor Lukáš Katedra aplikované matematiky FEI VŠB Technická univerzita Ostrava email: dalibor.lukas@vsb.cz http://homel.vsb.cz/ luk76/la1 Text
Časové řady, typy trendových funkcí a odhady trendů
Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel 973 442029 email:jirineubauer@unobcz Stochastický proces Posloupnost náhodných veličin {Y t, t = 0, ±1, ±2 } se nazývá stochastický proces
Algoritmy a struktury neuropočítačů ASN P4. Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby
Algoritmy a struktury neuropočítačů ASN P4 Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby Vrstevnatá struktura - vícevrstvé NN (Multilayer NN, MLNN) vstupní vrstva (input layer)
Časové řady, typy trendových funkcí a odhady trendů
Časové řady, typy trendových funkcí a odhady trendů Jiří Neubauer Katedra ekonometrie FVL UO Brno kancelář 69a, tel 973 442029 email:jirineubauer@unobcz Jiří Neubauer (Katedra ekonometrie UO Brno) Časové
Diferenciál funkce dvou proměnných. Má-li funkce f = f(x, y) spojité parciální derivace v bodě a, pak lineární formu (funkci)
2. Diferenciál funkce, tečná rovina. Diferenciál funkce dvou proměnných. Má-li funkce f = f(x, y) spojité parciální derivace v bodě a, pak lineární formu (funkci) df(a, h) = x (a)h + (a)h 2, h = (h, h
Regresní a korelační analýza
Regresní a korelační analýza Mějme dvojici proměnných, které spolu nějak souvisí. x je nezávisle (vysvětlující) proměnná y je závisle (vysvětlovaná) proměnná Chceme zjistit funkční závislost y = f(x).
Jednoduchá exponenciální rovnice
Jednoduchá exponenciální rovnice Z běžné rovnice se exponenciální stává, pokud obsahuje proměnnou v exponentu. Obecně bychom mohli exponenciální rovnici zapsat takto: a f(x) = b g(x), kde a, b > 0. Typickým
19 Hilbertovy prostory
M. Rokyta, MFF UK: Aplikovaná matematika III kap. 19: Hilbertovy prostory 34 19 Hilbertovy prostory 19.1 Úvod, základní pojmy Poznámka (připomenutí). Necht (X,(, )) je vektorový prostor se skalárním součinem
PRIMITIVNÍ FUNKCE. Primitivní funkce primitivní funkce. geometrický popis integrály 1 integrály 2 spojité funkce konstrukce prim.
PRIMITIVNÍ FUNKCE V předchozích částech byly zkoumány derivace funkcí a hlavním tématem byly funkce, které derivace mají. V této kapitole se budou zkoumat funkce, které naopak jsou derivacemi jiných funkcí
Nepřímá úměrnost I
.. Nepřímá úměrnost I Předpoklady: 000 Př. : Která z následujících slovních úloh popisuje nepřímou úměrnost? Zapiš nepřímou úměrnost jako funkci. a) 7 rohlíků stojí Kč. Kolik bude stát rohlíků? b) Pokud
aneb jiný úhel pohledu na prvák
Účelná matematika aneb jiný úhel pohledu na prvák Jan Hejtmánek FEL, ČVUT v Praze 24. června 2015 Jan Hejtmánek (FEL, ČVUT v Praze) Technokrati 2015 24. června 2015 1 / 18 Outline 1 Motivace 2 Proč tolik
Diferenciální rovnice 3
Diferenciální rovnice 3 Lineární diferenciální rovnice n-tého řádu Lineární diferenciální rovnice (dále jen LDR) n-tého řádu je rovnice tvaru + + + + = kde = je hledaná funkce, pravá strana a koeficienty
Kreslení elipsy Andrej Podzimek 22. prosince 2005
Kreslení elipsy Andrej Podzimek 22. prosince 2005 Kreslení elipsy v obecné poloze O co půjde Ukázat přesný matematický model elipsy Odvodit vzorce pro výpočet souřadnic důležitých bodů Nalézt algoritmus
Lineární diskriminační funkce. Perceptronový algoritmus.
Lineární. Perceptronový algoritmus. Petr Pošík Czech Technical University in Prague Faculty of Electrical Engineering Dept. of Cybernetics P. Pošík c 2012 Artificial Intelligence 1 / 12 Binární klasifikace