Základy vytěžování dat

Save this PDF as:
 WORD  PNG  TXT  JPG

Rozměr: px
Začít zobrazení ze stránky:

Download "Základy vytěžování dat"

Transkript

1 Základy vytěžování dat předmět A7Bb36vyd Vytěžování dat Filip Železný, Miroslav Čepek, Radomír Černoch, Jan Hrdlička katedra kybernetiky a katedra počítačů ČVUT v Praze, FEL Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti

2 Klasifikace a predikce Odkaz na výukové materiály: https://cw.felk.cvut.cz/doku.php/courses/a7b36vyd/moduly/start (oddíl 5) Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti

3 Vytěžování dat, přednáška 7: Klasifikace Filip Železný Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 24 Klasifikace

4 Učení s učitelem Pravděpodobnostní rozdělení P XY na X Y Předpokládáme, že Y je konečná množina Data: D je multimnožina D = {(x 1, y 1 ), (x 2, y 2 ),... (x m, y 2 )} (m N) prvky vybrány náhodně a navzájem nezávisle z P XY Vzor se bude používat na tomtéž X, Y a P XY Obvykle hledáme vzory aproximující (pro zadané x X) podmíněnou pravděpodobnost P Y X (y x) = P XY (x, y)/p X (x) nebo nejpravděpodobnější hodnotu arg max y Y P Y X (y x) tyto vzory nazýváme klasifikátory 2 / 24 Klasifikace

5 Klasifikace s jedním příznakem X Vysoké příjmy ano ano ne ano ne ne ne ano ano ano ne Y Splácí úvěr ano ne ano ano ne ne ano ano ano ano ne Kontingenční tabulka Y (splácí úvěr) ano ne X (vysoké ano příjmy) ne Nový žadatel o úvěr má vysoké příjmy. Bude splácet úvěr? S jakou pravděpodobností? 3 / 24 Klasifikace

6 Klasifikace dle aposteriorní pravděpodobnosti Klient má vysoké příjmy. Jak bude splácet úvěr? Tedy z x = vysoké urči nejpravděpodobnější hodnotu y (třídu). Hledáme y vyhovující Řešení je y = splácí y = arg max P Y X (y vysoké) y P Y X (y vysoké) 2/3 S pravděpodobností 1 P Y X (y vysoké) klasifikujeme chybně. Klasifikací y = splácí tedy minimalizujeme chybu. 4 / 24 Klasifikace

7 Ztrátová funkce Každá chyba klasifikace je jinak drahá. Např. příliš optimististické hodnocení klienta stojí víc než příliš skeptické. Klasifikace dle aposteriorní pravděpodobnosti toto nerespektuje. Pro zohlednění odlišných ztrát pro různé chyby potřebujeme pojem ztrátové funkce. Ztrátová funkce L(y, y ) zachycuje ztrátu pro každou kombinaci y - skutečná třída y - třída, do které klasifikujeme Pro náš příklad L(y, y ) např.: y y splácí problémy nesplácí splácí problémy nesplácí / 24 Klasifikace

8 Klasifikátor a Riziko Hledáme klasifikátor, tj. funkci f : X Y minimalizující střední hodnotu ztráty: R(f) = x,y L(y, f(x))p XY (x, y) Střední hodnotu ztráty pro f se nazývá riziko klasifikátoru f. Řešením f = arg min f R(f) je funkce f (x) = arg min y r(x, y ) kde r(x, y ) = y L(y, y )P Y X (y x) je riziko klasifikace y při příznaku x 6 / 24 Klasifikace

9 Klasifikace jako minimalizace rizika Jak klasifikovat vysokopříjmového klienta? P Y X L x y splácí problémy nesplácí vysoké 2/3 1/3 0/3 střední 2/6 2/6 2/6 nízké 0/2 1/2 1/2 y y splácí problémy nesplácí splácí problémy nesplácí Klasifikace y = splácí skut. třída ztráta s pravděp. splácí 0 2/3 problémy 5 1/3 nesplácí 10 0 Riziko při této klasifikaci: 0 2/ / = 5/3 7 / 24 Klasifikace

10 Klasifikace jako minimalizace rizika Jak klasifikovat vysokopříjmového klienta? P Y X L x y splácí problémy nesplácí vysoké 2/3 1/3 0/3 střední 2/6 2/6 2/6 nízké 0/2 1/2 1/2 y y splácí problémy nesplácí splácí problémy nesplácí Klasifikace y = problémy skut. třída ztráta s pravděp. splácí 1 2/3 problémy 0 1/3 nesplácí 5 0 Riziko při této klasifikaci: 1 2/ / = 2/3 8 / 24 Klasifikace

11 Klasifikace jako minimalizace rizika Jak klasifikovat vysokopříjmového klienta? P Y X L x y splácí problémy nesplácí vysoké 2/3 1/3 0/3 střední 2/6 2/6 2/6 nízké 0/2 1/2 1/2 y y splácí problémy nesplácí splácí problémy nesplácí Klasifikace y = nesplácí skut. třída ztráta s pravděp. splácí 2 2/3 problémy 1 1/3 nesplácí 0 0 Riziko při této klasifikaci: 2 2/ / = 4/3 9 / 24 Klasifikace

12 Klasifikace jako minimalizace rizika Klasifikujeme do y = arg min r(vysoké, y) = problémy y Pozor, jiný výsledek než dle aposteriorní pravděpodobnosti y = arg max P Y X (y vysoké) = splácí y Při jaké ztrátové funkci L(y, y ) by výsledky vyšly stejně? y y splácí problémy nesplácí splácí problémy nesplácí Tzv. L 01 ztrátová funkce. Je-li použita, je r(x, y ) pravděpodobnost, že klasifikace instance s příznakem x do třídy y je chybná. 10 / 24 Klasifikace

13 Klasifikace s několika příznaky Zatím jsme klasifikovali pouze dle jediného příznaku (x - výše příjmů) O klientech toho víme obvykle více. Příjmy (p) Rok narození (n) Úvěr (y) vysoké 1969 splácí nízké 1974 nesplácí střední 1940 problémy nízké 1985 problémy x (p, n) Třírozměrná kontingenční tabulka p vs. n vs. y 11 / 24 Klasifikace

14 Klasifikace s několika příznaky Na principech klasifikace se nic nemění. Např. jak klasifikovat nízkopříjmového klienta narozeného v r. 1985? Maximalizací aposteriorní pravděpodobnosti f(x) = y = arg max P Y P,N (y nízké, 1974) y Minimalizací rizika Z kontingenční tabulky f(x) = y = arg min y r((nízké, 1974), y) P Y P,N (y nízké, 1974) počet klientů s y = y, p = nízké, n = 1974 počet klientů s p = nízké, n = / 24 Klasifikace

15 Prokletí rozměrnosti P Y P,N (y nízké, 1974) počet klientů s y = y, p = nízké, n = 1974 počet klientů s p = nízké, n = 1974 Čím více příznaků, tím větší nebezpečí výsledku 0/0! Kolik dat potřebujeme, aby odhady dobře konvergovaly k pravděpodobnostem? Kontingenční tabulka musí být dostatečně zaplněna. V předchozím příkladě (jediný příznak) p y splácí problémy nesplácí vysoké střední nízké v průměru 11/9 případů na kolonku tabulky. 13 / 24 Klasifikace

16 Prokletí rozměrnosti Předpokládejme, že 11/9 je dostatečný poměr. Kolik případů (m) potřebujeme pro jeho zachování se dvěma příznaky p a n? Přepodkládejme 100 možných roků narození. Kontingenční tabulka má = 900 kolonek. m 900 = 11 9 tedy nyní již potřebujeme /9 = 1100 dat. Po přidání dalšího příznaku, např. roku ukončení studia už potřebujeme /9 = dat! Obecně pro odhady z kontingenční tabulky (tzv. neparametrické odhady) roste potřebný počet dat exponenciálně s počtem příznaků. Prokletí rozměrnosti 14 / 24 Klasifikace

17 Podmíněně nezávislé příznaky Situace se zjednoduší, jsou-li výše příjmů a rok narození podmíněně nezávislé, tj. platí P P,N Y (p, n y) = P P Y (p y) P N Y (n y) pro každou z hodnot y {splácí, problémy, nesplácí) Využijeme tzv. Bayesova pravidla P Y P,N (y p, n) = P P,N Y(p, n y)p Y (y) P P,N (p, n) 15 / 24 Klasifikace

18 Podmíněně nezávislé příznaky Z Bayesova pravidla platí pro klasifikaci maximalizací aposteriorní pravděpodobnosti arg max y P Y P,N (y p, n) = arg max P P,N Y (p, n y)p Y (y) y Podobně pro klasifikaci minimalizací rizika arg min L(y, y )P Y P,N (y p, n) y y = arg min L(y, y )P P,N Y (p, n y)p Y (y) y Proč zmizelo P P,N (p, n)? Nezávisí na y! y K oběma typům klasifikace tedy potřebujeme odhady dvou rozdělení: P P,N Y a P Y. 16 / 24 Klasifikace

19 Podmíněně nezávislé příznaky K oběma typům klasifikace tedy potřebujeme odhady dvou rozdělení: P P,N Y a P Y. P Y odhadneme z jednorozměrné kontingenční tabulky Z podmíněné nezávislosti plyne P P,N Y = P P Y P N Y P P Y odhadneme z dvourozměrné tabulky 3 3 P N Y odhadneme z dvourozměrné tabulky Nejnáročnější na počet dat, pro zachování poměru 11/9 vyžaduje cca 367 (<< 1100). Obecně: při podmíněně nezávislých příznacích neroste potřebný počet dat exponenciálně s počtem příznaků. Je určen příznakem s největším oborem hodnot. Příznaky obvykle nejsou podmíněně nezávislé! Je-li přesto použita tato metoda, mluvíme o naivní Bayesovské klasifikaci. 17 / 24 Klasifikace

20 Klasifikace dle nejbližšího souseda Metoda, která nevyžaduje odhad pravděpodobností. Předpoklad: umíme spočítat podobnost dvou datových instancí (jako např. u shlukování) Zde p, n N, u {splácí, problémy, nesplácí} 18 / 24 Klasifikace

21 Klasifikace dle nejbližšího souseda Zde podobnost např. (p 1 p 2 ) 2 + (n 1 n 2 ) 2 Zařazujeme do třídy nejpodobnější instance. Náchylné k šumu v datech. 19 / 24 Klasifikace

22 Klasifikace dle k nejbližších sousedů Zde podobnost např. (p 1 p 2 ) 2 + (n 1 n 2 ) 2 Zařazujeme do třídy převládající mezi k nejpodobnějšími instancemi. S rostoucím k klesá náchylnost k šumu. Nevýhody? 20 / 24 Klasifikace

23 Trénovací a skutečná chyba klasifikátoru Trénovací chyba Podíl instancí v datech chybně klasifikovaných klasifikátorem f sestrojeným z těchto dat (tzv. trénovacích dat). Skutečná chyba Pravděpodobnost chybné klasifikace f při náhodném výběru (x X, y Y) dle P XY. Při použití ztrátové funkce L 01 rovna riziku R(f). 21 / 24 Klasifikace

24 Jaké k je nejlepší? Experiment: generovaná data [Hastie et al.: Elements of Statistical Learning] k = 1 Nulová trénovací chyba, přesto klasifikace odlišná od optimální Dle maximální aposteriorní pravděpodobnosti (optimální) k = 15 Malá náchylnost k šumu, přesto klasifikace odlišná od optimální 22 / 24 Klasifikace

25 Trénovací vs. skutečná chyba Typický průběh chyb pro k = m (počet dat), m 1,... 1 Trénovací chyba obecně není dobrým odhadem skutečné chyby! 23 / 24 Klasifikace

26 Klasifikace dle etalonů Metoda nevyžadující přístup ke všem instancím při klasifikaci. Každá třída má etalon, tj. instanci s minimální průměrnou vzdáleností ke všem instancím třídy. (vybírána buďto z trénovacích dat, nebo z celého oboru hodnot (p, n)) Etalony jsou jednoduchým nepravděpodobnostním modelem dat. 24 / 24 Klasifikace

27 Vytěžování dat, přednáška 7: Rozhodovací stromy Filip Železný Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 26 Rozhodovací stromy

28 Reálné příznaky Lineární/polynomiální modely: příznaky jsou reálná čísla 2 / 26 Rozhodovací stromy

29 Nominální příznaky teplota bolest svalů diagnóza zvýšená ne nachlazení normální ne hypochondr horečka ano chřipka Lze převést na příznaky s oborem {0, 1} : reprezentace 1 z n teplota bolest diagnóza normální zvýšená horečka svalů nachlaz. chřipka hypoch Umožňuje využití lineárních resp. polynomiálních klasifikátorů, ale nešikovné. Klasifikační modely přímo pro nominální příznaky? 3 / 26 Rozhodovací stromy

30 Rozhodovací strom Klasifikační model Uzly (mimo listy): testy příznaků, hrany: možné hodnoty Klasifikace: cesta z kořene do listu podle hodnot příznaků Jak strom zkonstruovat? 4 / 26 Rozhodovací stromy

31 Rekurzivní rozdělování: příklad 2 binární příznaky x 1, x 2 {+, } Instance spadají do 3 tříd: 10 červených instancí 8 zelených instancí 5 modrých instancí Všech 10 s x 1 = + má y = Všech 10 s x 1 = + má y = Zbývá 13 instancí s x 1 = Všech 8 s x 2 = + má y = Všech 5 s x 2 = má y = 5 / 26 Rozhodovací stromy

32 Algoritmus pro tvorbu rozhodovacího stromu TDIT(D,I) /* Top Down Induction of Decision Trees */ Input: D trénovací data, I indexy příznaků if všechny instance v D mají stejnou třídu y then return uzel označený y else if I = then return uzel označený většinovou třídou v D else vyber i I a vytvoř uzel označený x i for v j Range(x i ) /* konečný obor hodnot x i */ do E j = všechny instance z D u nichž x i = v j Vyveď z uzlu x i hranu označenou v j if E j = then připoj list na hranu v j označený většinovou třídou v D else připoj výsledek TDIT(E j, I \ {i}) na hranu v i end end end end return vytvořený strom s kořenem x i 6 / 26 Rozhodovací stromy

33 TDIT: rekurzivní volání 7 / 26 Rozhodovací stromy

34 Výběr příznaku Jak implementovat příkaz vyber i I v algoritmu TDIT? Příklad Třída: barva Příznaky: tvar, velikost, průhlednost Začínáme konstruovat strom. Jaký příznak zvolit první? Měl by co nejčistěji dělit data podle tříd 8 / 26 Rozhodovací stromy

35 Výběr příznaku 9 / 26 Rozhodovací stromy

36 Entropie Entropie množiny instancí D s t třídami H(D) = t p i log 2 p i i=1 p 1, p 2... p t... poměrné velikosti tříd p i = počet instancí třídy i v D počet všech instancí v D Minimální H(D) = 0, pokud jsou všechny příklady v jedné třídě. Maximální H(D) = log 2 t, pokud p 1 = p 2 =... = p t. 10 / 26 Rozhodovací stromy

37 Entropie Pro dvě třídy 11 / 26 Rozhodovací stromy

38 Entropie p zelená = p červená = 1 2 H(D) = 1 ( ) 1 2 log 2 1 ( ) log 2 = / 26 Rozhodovací stromy

39 Entropie po rozdělení množiny E velké = velké instance p zelená = p červená = 0.5 H(E velké ) = 1 Vážený průměr entropií E malé = malé instance p zelená = p červená = 0.5 H(E malé ) = 1 j {velké,malé} E j D H(E j) = = 1 13 / 26 Rozhodovací stromy

40 Entropie po rozdělení množiny E j H(Ej ) = = / 26 Rozhodovací stromy E průhledné = průhledné instance p zelená = 1 p červená = 0 H(E průhledné ) = 0 Vážený průměr entropií E neprůhledné = neprůhledné instance p zelená = 1/3 p červená = 2/3 H(E neprůhledné ) = 0.92

41 Entropie po rozdělení množiny E hranaté = hranaté instance p zelená = 1 p červená = 0 H(E hranaté ) = 0 Vážený průměr entropií E kulaté = kulaté instance p zelená = 0 p červená = 1 H(E kulaté ) = 0 j {hranaté,kulaté} 15 / 26 Rozhodovací stromy E j D H(E j) = = 0

42 Pokles entropie H(D, x i ) = H(D) v j Range(x i ) E j D H(E j) Rozdíl entropie původní množiny D a váženého průměru entropií množiny rozdělené hodnotami příznaku x i Jak implementovat příkaz vyber i I v algoritmu TDIT? Vybereme i, které maximalizuje H(D, x i ) Pozn: pro výběr i není sčítanec H(D) důležitý (nezávisí na i). 16 / 26 Rozhodovací stromy

43 Pokles entropie Jak implementovat příkaz vyber i I v algoritmu TDIT? Vybereme i, které maximalizuje H(D, xi ) 17 / 26 Rozhodovací stromy

44 Složitost rozhodovacího stromu Algoritmus TDIT se snaží minimalizovat trénovací chybu za cenu velké složitosti (košatosti) stromu Stále platí kompromis mezi složitostí modelu a trénovací chybou! Vymyslete úpravu algoritmu TDIT omezující složitost stromu Nevětvíme, pokud maxi H(D, x i ) < θ, θ > 0... parametr 18 / 26 Rozhodovací stromy

45 Ordinální příznaky Ordinální veličina Veličina, jejíž obor hodnot je uspořádán Např. přirozená (nebo reálná) čísla 1 < 2 < 3 <... ale i např. nízký < střední < vysoký 19 / 26 Rozhodovací stromy

46 Ordinální příznaky Pro ordinální příznaky obvykle test x > h v uzlech, kde h je zvolená hraniční hodnota 20 / 26 Rozhodovací stromy

47 Převod na nominální příznaky Před tvorbou stromu můžeme každý ordinální příznak, např. teplota převést na množinu nominálních příznaků teplota > h 1, teplota > h 2,..., teplota > h n z nichž každý má binární obor hodnot. Co jsou h 1, h 2,... h n? V nejjednodušším případě celý obor hodnot původního příznaku, je-li konečný (a malý). Obvykle ale jen některé z oboru hodnot. Které? 21 / 26 Rozhodovací stromy

48 Diskretizace U některých veličin se hraniční hodnoty nabízejí. x i < 36.5 podchlazení 36.5 x i < 37 normální teplota 37 x i < 38 zvýšená teplota 38 x i < 42 horečka 42 x i smrt Zde tedy uvažujeme hraniční hodnoty {36.5, 37, 38, 42} Pozn.: převedení reálné veličiny (teplota) na veličinu s konečným oborem hodnot = diskretizace. V obecném případě vhodné hraniční hodnoty předem neznáme. 22 / 26 Rozhodovací stromy

49 Diskretizace: 3 obecné způsoby Intervaly stejné délky Intervaly stejné pravděpodobnosti Intervaly obsahující instance stejné třídy (nejužívanější pro stromy) 23 / 26 Rozhodovací stromy

50 Separace: srovnání Separace v prostoru dvou reálných příznaků Lineární klasifikátor (nelze rozdělit) Kvadratický klasifikátor Rozhodovací strom 24 / 26 Rozhodovací stromy

51 Separace rozhodovacím stromem Separace v prostoru dvou reálných příznaků 25 / 26 Rozhodovací stromy

52 Minimalizace nákladů na rozhodování Rozhodovací strom netestuje vždy všechny příznaky! TDIT lze přizpůsobit tak, aby levné testy byly blíže ke kořeni 26 / 26 Rozhodovací stromy

53 Vytěžování dat, přednáška 9: Lineární klasifikátor, rozšíření báze, LDA, logistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 32 Lineární klasifikátor

54 Klasifikátory Jaké znáte klasifikační algoritmy? Naive Bayes Rozhodovací strom KNN Jak fungují? Naive Bayes počítá pravděpodobnost přiřazení do třídy za podmínky dané pozorováním. Rozhodovací strom generuje posloupnost rozhodnutí. KNN hledá nejbližsí instance z trénovací množiny. 2 / 32 Lineární klasifikátor

55 Rozhodovací hranice Další možný pohled je z hlediska rozhodovací hranice. Rozhodovací hranice je místo, kde instance přestávají patřit do třídy A a začínají patřit do třídy B. Převzadto z http: //openclassroom.stanford.edu/mainfolder/documentpage. php?course=machinelearning&doc=exercises/ex8/ex8.html 3 / 32 Lineární klasifikátor

56 Rozhodovací hranice (2) Co když mám následující data: Jak bude vypadat nejjednodušší rozhodovací hranice, která data oklasifikuje bez chyby? Stačí přece přímka! 4 / 32 Lineární klasifikátor

57 Lineární klasifikátor Takovou přímku umíme celkem jednoduše najít a vyrobit :). Jak vypadá rovnice přímky? y = j w j x j = wx Jak zjistíme, do které třídy patří vzor x? Prostým dosazením! Pokud y > 0 vzor patří do jedné třídy, y < 0 vzor patří do druhé třídy. y = 0 je rozhodovací hranice, kde se nelze rozhodnout. Naštěstí se toto nestává často. Porovnání < 0 nebo > 0 můžeme nahradit například funkcí signum(y) která vrací +1 pro kladná čísla a 1 pro záporná. 5 / 32 Lineární klasifikátor

58 Lineární klasifikátor (2) Vidíte v rovnici nějaký problém? Zkusme dosadit do rovnice x 1 = x 2 = 0. Co vyjde? y = 0 bez ohledu na nastavení vah w 1, w 2. Rozhodovací hranice libovolného klasifikátoru tedy musí procházet nulou resp. vektorem (0, 0,..., 0). To je docela nepříjemné omezení rozhodovací hranice se vlastně pouze otáčí kolem nuly. Co s tím? Můžeme přidat změnit rovnici přímky na j w jx j + Θ = 0. Θ je aditivní konstanta a označuje se jako práh. 6 / 32 Lineární klasifikátor

59 Lineární klasifikátor (3) Rovnice pro lineární klasifikátor se tedy mírně změní: y = j w j x j + Θ = wx + Θ Ale jinak vše zůstane stejné. Pokud tedy vyjde, že y > 0 vzor patří do jedné třídy, y < 0 vzor patří do druhé třídy. 7 / 32 Lineární klasifikátor

60 Práh Teď zbývá pouze najít vektor koeficientů (vah) (w 1, w 2,..., w n ) a prahu Θ. Nejprve se zamysleme zda práh Θ představuje nějakou anomálii, která potřebuje speciální zacházení. Tak napůl :). Nepotřebuje, pokud trochu upravíme vstupní data. Co kdyby všechny vzory měli jeden atribut (vstupní proměnnou, řekněme x 0 ) se stejnou hodnotou? Když pak budu počítat w 0 x 0, vyjde mi vždy stejná hodnota... to je přece náš práh! Takže přidám ke každému vzoru ještě jednu dimenzi, která bude mít konstantní hodnotu pro jednoduchost 1 (ale můžete mu přiřadit libovolnou nenulovou hodnotu). Pak už se o práh nemusím speciálně starat. 8 / 32 Lineární klasifikátor

61 Gradientní sestup krok stranou Gradientní sestup je iterativní optimalizační metoda. Jde o to, že máme funkci f(x) a hledáme její minimum. A jak minimum najít? Budu hledat takové x, kde má funkce f(x) nejnižší hodnotu. Mám nějaké x 0 a znám hodnotu f(x 0 ). A hledám v okolí x 0, nejaké x 1, kde bude hodnota f(x 1 ) nižší. A to budu opakovat stále dokola, až to dál nepůjde. Na horách se chci dostat do údolí. Podívám se, kterým směrem se kopec nejvíc snižuje a udělám krok tím směrem. A zase se podívám, kam je to nejvíc z kopce a udělám krok. A tak dále, až jednou zjistím, že to dál nejde, čili jsem v údolí. 9 / 32 Lineární klasifikátor

62 Gradientní sestup krok stranou (2) V matematice existuje možnost, jak zjistit směr největšího vzestupu hodnoty funkce - gradient. To je první parciální derivace podle všech dimenzí. Když půjdu přesně opačně, půjdu ve směru největšího poklesu. Gradient je vektor parciálních derivací podle jednotlivých proměnných: grad(f(x 1, x 2,..., x n )) = ( f x 1, f x 2,..., f x n ) 10 / 32 Lineární klasifikátor

63 Chybová funkce a gradientní sestup Stejně jako u jiných klasifikačních metod, hledáme nastavení klasifikátoru (zde vah) takové, aby klasifikoval správně co nejvíc vzorů. Mějme tedy chybovou funkci J(w, χ), která vrací počet špatně klasifikovaných vzorů x z množiny vzorů χ (například z testovací množiny) při daných vahách w. Ale taková se nám nehodí neumím spočítat parciální derivace (a tudíž ani gradient). Zkusme jinou E(w) = x χ err( w(t)x), kde χerr jsou špatně klasifikované vzory z χ. To už je spojitá funkce. A chybovou funkci E mohu minimalizovat změnou vah pomocí gradientního sestupu. 11 / 32 Lineární klasifikátor

64 Chybová funkce a gradientní sestup Parciální derivace chybové funkce E podle jedné proměnné vypadá takto: E = x 1 χ err( w 1(t)x 1 ) w 1 w 1 Kde x 1 je první souřadnice z x a w 1 je první souřadnice z w. x 1 χ err( w 1(t)x 1 ) w 1 = x 1 χ err x 1 Z toho plyne závěr, že nejvíce chybu snížím, pokud váhu w 1 změním o součet hodnot prvních vstupních proměnných x 1 vzorů na kterých jsem udělal chybu. Analogicky i ostatní vstupní proměnné (včetně prahu). 12 / 32 Lineární klasifikátor

65 Učení lineárního klasifikátoru A přesně na této myšlence je založen Perceptronový algoritmus. (Proč zrovna perceptronový, necháme teď stranou). 1. Inicializuj váhy na náhodné hodnoty. 2. Vezmi náhodný vstupní vzor x. A spočítej hodnotu y(x) = sgn( j w jx j = wx). 3. Pokud se požadovaný výstup d(x) liší od skutečného y(x), oprav váhy (w) takto: e(x) = d(x) y(x) wi (t + 1) = w i (t) + ηe(x)x i 4. Pokud chceš, pokračuj bodem 2). η je koeficient učení, který s postupem času může klesat k nule. 13 / 32 Lineární klasifikátor

66 Jednoznačnost výsledné přímky Jak poznám, že se perceptronový algoritmus zastavil? Je výsledná přímka jediná možná? Ne, takových přímek je dokonce nekonečně mnoho. Přesto jsou některé lepší něž jiné. Kterou mám vybrat? A kterou nám vybere Perceptronový algoritmus? 14 / 32 Lineární klasifikátor

67 Lineárně separovatelné problémy Lze pomocí tohoto algoritmu klasifikovat bezchybně následující data? Ne! Třídám (datům), které lze oddělit přímkou říkáme lineárně separovatelná. 15 / 32 Lineární klasifikátor

68 Lineárně ne separovatelné problémy Lze pomocí lineárního klasifikátoru vyřešit lineárně ne-separovatelné problémy? Ne. K tomu potřebuji přidat další kvalitu. 1. Jednou z možností je zkombinovat lin. klasifikátory. (O tom bude příští přednáška.) 2. Rozšíření báze. 16 / 32 Lineární klasifikátor

69 Rozšíření báze Když data nejsou separabilní v originálním prostoru, zkusme jestli by nebyla lineárně separovatelná ve více-dimenzionálním prostoru. 17 / 32 Lineární klasifikátor

70 Transformace Zase existuje mnoho transformací. Jedna z těch jednodušších přidává ke stávajícím dimenzím také součiny originálních dimenzí. Je charakterizovaná parametrem s maximálním stupněm součinu. Pro s = 2 z původních dimenzí (x 1, x 2 ) získám 5D prostor dimenzí (x 1, x 2, χ 1, χ 2, χ 3 ), kde χ 1 = x 2 1 χ2 = x 1 x 2 χ 3 = x / 32 Lineární klasifikátor

71 Učení nelineárního klasifikátoru Když mám teď nové dimenze, jak naučím můj klasifikátor? Díky rozšíření báze teď mám více-dimenzionální prostor a (třeba) teď dokáži třídy lineárně separovat. Úplně stejně jako v předchozím případě. Tj použiji například perceptronový algoritmus. Pokud se mi nepodaří získat lineární separaci, mohu zkusit zvýšit maximální stupeň součinu a zkusit separaci znovu. 19 / 32 Lineární klasifikátor

72 Rozhodovací hranice Jak pak bude vypadat projekce rozhodovací hranice zpět do originálních dimenzí? Tím se nám podařilo dosáhnout toho, že se rozhodovací hranice ohnula. A pokud budu zvyšovat parametr s, bude hranice stále poddajnější. 20 / 32 Lineární klasifikátor

73 Rozhodovací hranice (2) Můžu zvyšovat maximální stupeň součinu (parametr s) do nekonečna? Nebo někde narazím? S vyšším maximálním stupněm s vyvstávají dva problémy: 1. Jednak mám více vah, které musím nastavovat a perceptronový (nebo jakýkoliv jiný) algoritmus to nemusí zvládnout čili váhy se nastaví špatně. 2. Zvyšuji pravděpodobnost, že se klasifikátor přeučí. Tj. naučí se šum a chyby v trénovacích datech a nedokáže vlastnosti trénovacích dat zobecnit. (Podobně jako například 1-NN klasifikátor.) 21 / 32 Lineární klasifikátor

74 Klasifikace do několika tříd Co když mám více než dvě třídy? Mohu použít (ne-)lineární separaci? Případně jak? Budu rozhodovat o každé třídě samostatně. Čili pro problém s N třídami budu mít N klasifikátorů. Každý bude říkat Instance patří do mé třídy / Instance nepatří do mé třídy. Při rozhodování o neznámé instanci x se zeptám všech N klasifikátorů na jejich rozhodnutí. 1. x patří právě do jedné třídy. 2. x patří do více tříd pak se musím rozhodnout například podle hodnoty xw (čím je větší, tím je x dále od rozhodovací hranice). 3. analogoicky, pokud x nepatří do žádné třídy. Hledám tedy trídu, kam x nepatří nejméně :). 22 / 32 Lineární klasifikátor

75 Problémy lineárních klasifikátorů Linearita Pokud se dostatečně pohnu i jen v jedné proměnné, můžu získat obrácený výsledek. Hodnota xw roste se vzdáleností od rozhodovací hranice a nemá žádnou interpretaci. Lineární klasifikátory špatně snášejí chybějící hodnoty. Pokud provádím rozšíření báze, může trvat učení velmi dlouho. 23 / 32 Lineární klasifikátor

76 Linear Discriminant Analysis LDA je statistický přístup k problému lineární separace. Pamatujete si PCA? (Principal Component Analisis mluvili jsme o něm u SOM) LDA redukuje původní prostor na přímku (1 dimenzi) a to tak, co nejvíce oddělil vzory různých tříd. V jistém smyslu je to opak rozšíření báze. 24 / 32 Lineární klasifikátor

77 Linear Discriminant Analysis (2) Obraz vzoru v nové souřadnici pak získám jako xw, kde w jsou váhy. V principu počítám to samé jako u lineárního klasifikátoru, ale interpretace a postup jsou úplně jiné. 25 / 32 Lineární klasifikátor

78 Linear Discriminant Analysis (3) Při počítání LDA se snažím maximalizovat separaci mezi třídami. Nejprve pro každou třídu musím spočítat rozptyl v obraze (scatter). µ s1 = 1 s 1 x i s 1 x i y i = x i w µ s1 = 1 s 1 s 1 2 = y i = 1 s 1 x i s 1 µ s1 x 1 s 1 y i x i s 1 x i w 26 / 32 Lineární klasifikátor

79 Linear Discriminant Analysis (4) A nyní můžu spočítat míru separace pro projekci danou vahami w. J(w) = µ s 1 µ s2 2 s s 2 Hledáme tedy projekci, která co nejvíc seskupí vzory stejné třídy a co nejvíc zároveň oddělí vzory různých tříd. 27 / 32 Lineární klasifikátor

80 LDA pro více tříd LDA lze zobecnit tak, aby dokázalo klasifikovat do více tříd. Pak se nevytváří pouze jedna nová dimenze, ale počet tříd -1 nových dimenzí a mírně se upraví vzorečky :). 28 / 32 Lineární klasifikátor

81 Problémy LDA Stejně jako všechno, má i LDA nějaké mouchy: Počet dimenzí vytvořený LDA nemusí stačit ke správném zařazení do třídy. LDA předpokládá normální rozložení dat ve třídách. A selhává, pokud tomu tak není. (Například třídy mají komplexní tvary). Rozíly mezi třídami jsou spíše v rozptylu hodnot než v rozdílu středních hodnot. 29 / 32 Lineární klasifikátor

82 Logistická regrese Co kdybych chtěl, abych dokázal vzdálenosti od rozhodovací hranice nějak interpretovat. Ideálně ještě tak, že je to pravděpodobnost příslušnosti k dané třídě. Existuje logistická funkce, která je definovaná takto f(z) = 1 1+e z Její hodnoty jsou omezené na interval A navíc kolem z = 0 (rozhodovací hranice) je její změna největší. 30 / 32 Lineární klasifikátor

83 Logistická regrese (2) Zkusíme zavést pojem sance = p 1 p Abychom ji dostali do rozmezí zkusme ji zlogaritmovat. Tím získáme funkci logit(p) = log(sance(p)) = log( p 1 p ) Zkusme předpokládat, že logit(p) = β 0 + β 1 x 1 + β 2 x β k x k Kde β 1,..., β k jsou regresní koeficienty a β 0 je posun. A teď zkusme opět dopočítat pravděpodobnost vzoru x. p(x) = 1 1+e β 0 +β 1 x 1 +β 2 x β k x k 31 / 32 Lineární klasifikátor

84 Zdroje LDA převzata z research.cs.tamu.edu/prism/lectures/pr/pr_l10.pdf logisticregression/html/logisticregression.htm 32 / 32 Lineární klasifikátor

85 Vytěžování dat, přednáška 10: Neuronové sítě s dopřednou architekturou Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 30 Neuronové sítě

86 Umělé neuronové sítě Umělá neuronová síť je matematickým přiblížením biologické neuronové sítě. A snahou je napodobovat funkci biologických neuronových sítí. Umělé neuronové sítě představují jiný přístup k řešení problémů než konvenční výpočetní technika. Ale mezi schopnostmi umělých neuronových sítí a mozku je přecejen ještě obrovský rozdíl. 2 / 30 Neuronové sítě

87 Biologická neuronová síť Více si můžete přečíst například na nebo 3 / 30 Neuronové sítě

88 Umělá neuronová síť Se skládá ze vzájemně propojených jednotek neuronů. Každý neuron transformuje své vstupy na výstup. Čili umí jen velmi málo, ale jejich síla je v jejich spolupráci. Konekcionistivký přístup k umělé inteligenci představa, že spoluprácí mnoha hloupých jednotek dosáhnu chování, které je kvalitativně chytřejší než jen součet možností jednotlivých elementů. Neuron při transformaci může uplantit svou lokální paměť. Výstupy neuronu jsou přivedeny na vstupy dalších neuronů. 4 / 30 Neuronové sítě

89 Historie První, kdo se začal zabývat výzkumem umělých neuronových sítí byl v roce 1943 jistý profesor McCulloch a jeho žák Pitts. Oba v prvním plánu hledali matematický model biologického neuronu. Tento jejich model se dodnes používá a nazývá se McCulloch-Pittsův neuron. Občas se označuje také jako Perceptron. kk-thesis/kk-thesis-html/node12.html 5 / 30 Neuronové sítě

90 Princip práce McCulloch-Pittsova neuronu Na vstupy x 1, x 2,... x n (na předchozím odrázku označeny jako I 1, I 2,... I n ) předložím pozorované hodnoty. Tyto hodnoty přenásobím vahami w 1, w 2,... w n a spočítám tzv. aktivaci neuronu. n a = w i x i i=1 Aktivace odpovídá aktivaci biologického neuronu. A ten vypálí výstup jen v případě, že aktivace překročí určitý práh. To se v umělých neuronových sítích simuluje pomocí aktivační funkce. V případě perceptronu skokovou funkcí. f(a) = 0, pro a < konst, jinak f(a) = 1. Nepřipomíná vám to něco? 6 / 30 Neuronové sítě

91 Rozhodovací hranice a učení Jak vypadá rozhodovací hranice Perceptronu (McCulloch-Pittsova neuronu)? A jak nastavíme váhy? Přece pomocí perceptronového algoritmu! Jaké jsou limity perceptronu? 7 / 30 Neuronové sítě

92 Aktivační funkce Prvním vylepšením perceptronu jsou různé aktivační funkce, kterými se transformuje aktivaci na výstup. 8 / 30 Neuronové sítě

93 ADALINE Drobné vylepšení perceptronu, které se týká učícího algoritmu. Při učení se chyba nepočítá přímo z výstupu, ale z aktivace. Což znamená, že musím znát požadovanou aktivaci. 9 / 30 Neuronové sítě

94 Vícevrstvá síť perceptronů Madaline MADALINE Multiple Adaptive Linear Element síť s jednou skrytou vrstvou a jednou výstupní vrstvou. 10 / 30 Neuronové sítě

95 MADALINE vybavování Výpočet odpovědi sítě na předložený vstupní vzor je jednoduchý. Přivedu na vstupy všech neuronů odpovídající hodnoty vstupů. Pro každý neuron přenásobím vstupní hodnoty vstupnímy vahami a sečtu. Tím získám aktivaci neuronu. Aktivaci transformuji aktivační funkcí na výstup. Když takto vypočítám výstupy všech neuronů, aplikuji majoritu (spočítám kolik neuronů zařadilo vzor do třídy 0 a kolik do třídy 1). A podle toho předpovím výstupní třídu sítě. 11 / 30 Neuronové sítě

96 Učení MADALINE Učení jen nastíním předložím vstupní vzor a spočítám výstup sítě. Pokud se výstup shoduje s požadovaným, nedělám nic. Pokud se vypočítaný a skutečný výstup liší, musím změnit váhy nějakého neuronu, který předpovídá špatnou třídu, aby příště změnil názor a tím se majorita přiklonila na správnou stranu. A nejjednodušší je přesvědčit neuron, který má aktivaci nejblíž nule. Tomuto neuronu přepočítám váhy. 12 / 30 Neuronové sítě

97 Použití MADALINE Je dnes spíše ilustrativní. Učící algoritmus nezvládá komplexní úpravy a nedokáže měnit váhy neuronů dostatečně flexibilně. Druhý a stejně závažný problém MADALINE z principu fungování nemůže zvládnout lineárně neseparabilné problémy. Vymyslíte proč? Problém dělá ta majorita / 30 Neuronové sítě

98 Back Propagation Neuronová síť typu back propagation představuje elegantní cestu, jak se vypořádat s problémy sítě MADALINE a zárověň zvládnout učení několika skrytých vrstev. Podle jména dochází k zpětnému šíření kokrétně ke zpětnému šíření chyby. Nejedná se v pravém slova smyslu o jednu neuronovou síť, ale označuje se tímto pojmem libovolná síť, ve které se při učení šíří chyba z výstupu zpět na vstup. Můžete narazit i na jiné back propagation síť, než o které budu vyprávět já. BP jsou prakticky jediným typem sítí, který je znám mimo výzkumnou komunitu zabývající se NS. 14 / 30 Neuronové sítě

99 Struktura Back Propagation Jedná se o dopřednou síť s jednou nebo dvěma skrytými vrstvami. Vrstva se skládá z neuronů jejich počet v jednotlivých vrstvách (a počet vrstev) je jedním z parametrů, který musíte určit experimentálně tj. zkusit. Existuje celá teorie, která dokazuje, že k aproximaci libovolné funkce (libovolné rozhodovací hranice) stačí dvě skryté vrstvy. 15 / 30 Neuronové sítě

100 Back Propagation neuron Jedná se o standardní Perceptron se spojitou (!!) aktivační funkcí. Spojitost funkce budeme používat při učení budeme počítat derivace. 16 / 30 Neuronové sítě

101 Back Propagation aktivační funkce 17 / 30 Neuronové sítě

102 Back Propagation učení (1) Učící algoritmus je trochu podobný tomu, co jsme již viděli. Nejprve se spočítá odpověď (výstup) sítě na předložený vstup, pak se spočítá rozdím mezi vypočítaným a požadovaným výstupem. Co je úplně jiné je výpočet změny vah. Chyba se totiž distribuuje zpět ke vstupům a postupně se upravují váhy ve skrytých vrstvách. A pak se pokračuje předložením dalšího vzoru, až do té doby než dosáhneme zastavujícího kritéria. 18 / 30 Neuronové sítě

103 Back Propagation učení (2) 1. Inicializuj všechny váhy všech neuronů na náhodné hodnoty. 2. Vytvoř permutaci trénovací množiny. 3. Vyber další vzor x i z vytvořené permutace. 4. Vypočítej výstup sítě y i. 5. Spočítej chybu (rozdíl) mezi y i a skutečnou hodnotou d i. 6. Postupně propaguj chybu zpět a modifikuj váhy. 7. Pokud jsi dosud nepředložil všechny prvky z trénovací množiny pokračuj bodem Pokud chyba přes všechny trénovací vzory je větší než zvolené kritétium, pokračuj bodem / 30 Neuronové sítě

104 Back Propagation učení (3). Výpočet výstupu sítě se provádí již známým způsobem. Pro každý neuron, u nějž známe všechny vstupy spočítáme aktivaci. n a = w i x i + Θ i=1 Pokud znám aktivaci můžu spočítat výstup pomocí zvolené aktivační funkce. Pro, například, logistickou funkci tedy 1 y = 1 + e γa Takto postupuji pro všechny neurony, až zjistím výstup výstupního neuronu. 20 / 30 Neuronové sítě

105 Back Propagation učení (4) Když zjistím výstup pro všechny vzory v trénovací množině, můžu zjistit globální chybu (energii) sítě. E = 1 n (y 2 i d i ) 2 i=1 A snažíme se chybu (energii) minimalizovat. To se dá dělat různě a jednou z variant je gradientní sestup. Gradientní metoda mění váhy tak, aby energie klesla co možná nejvíc. 21 / 30 Neuronové sítě

106 Back Propagation učení (4) Na horách se chci dostat do údolí. Podívám se, kterým směrem se kopec nejvíc snižuje a udělám krok tím směrem. A zase se podívám, kam je to nejvíc z kopce a udělám krok. A tak dále, až jednou zjistím, že to dál nejde, čili jsem v údolí. V matematice existuje možnost, jak zjistit směr největšího vzestupu hodnoty funkce - gradient. To je první parciální derivace podle všech dimenzí. Když půjdu přesně opačně, půjdu ve směru největšího poklesu. 22 / 30 Neuronové sítě

107 Back Propagation učení (5) Po chvíli derivování spočítáme (viz například skripta Miroslav Šnorek: Neuronové sítě a neuropočítače ), dojdeme k následujícím vzorcům. δ o i (t) = (y o i d i )S (ϕ) Kde δi o (t) je požadovaná změna neuronu i ve výstupní vrstvě o při skutečném výstupu y i oproti skutečnému výstupu d i. S je funkce inverzní k aktivační funkci a ϕ je aktivace neuronu. Změnu váhy mezi neuronem i ve vástupní vrstvě a neuronem j v první skryté vrstvě pak spočítám takto: w o ij(t + 1) = w o ij(t) + w o ij(t) w o ij(t) = ηδ o i (t)y h j Kde y h j je výstup j-tého neuronu ve druhé skryté vstvě. 23 / 30 Neuronové sítě

108 Back Propagation učení (6) Nový práh neuronu i ve výstupní vrstvě o pak spočítám takto: Θ o i (t + 1) = Θ o i (t) + Θ o i (t) Θ o i (t) = ηδ o i (t) 24 / 30 Neuronové sítě

109 Back Propagation učení (7) V druhé skryté vrstvě pak změnu vah vypočítám podle následujících vzorců: δ h i (t) = y h i (1 yh i ) w o ik δo k w h ij(t + 1) = w h ij(t) + w h ij(t) w h ij(t) = ηδ h i (t)y h 1 j Θ h i (t + 1) = Θ h i (t) + Θ h i (t) Θ h i (t) = ηδi h (t) Kde w h ij e váha mezi neuronem i ve druhé skryté vrstvě a j v první skryté vrstvě. y h 1 j je výstup j-tého neuronu v první skryté vrstvě. 25 / 30 Neuronové sítě

110 Back Propagation vylepšení trénovacího algoritmu Všechna vylepšení směřují k tomu, abych zvýšil pravděpodobnost toho, že (rychleji) najdu globální minimum energetické funkce. Lze si jednoduše představit situaci, kdy gradientní sestup tak jak jsem o něm teď mluvil skončí v lokálním extrému. (Všechny body ve vzdálenosti 1 krok jsou výše, ale rozhodně nejsem v globálním minimu). Setrvačnost při hledání směru kroku v čase t + 1 zohledním nejen současný gradient, ale i směr a velikost minulého kroku. Restart nejde o vylepšení učícího algoritmu v pravém smyslu slova, ale pokud se sestup energetické funkce zastaví, zapamatuji si výsledek a začnu znova. Další podrobnosti viz. například skripta Miroslav Šnorek: Neuronové sítě a neuropočítače. 26 / 30 Neuronové sítě

111 Další neuronové sítě Prezentované sítě nejsou zdaleka jediné, které existují. I když Back propagation je nejznámější, neznamená to, že je nejlepší, nejzajímavější a nejlépe fungující. Exitují například sítě, které při učení mění nejen váhy, ale i svou strukturu sítě GMDH a GAME. Navíc mohou používat úplně jiné aktivační funkce. Síť s jiným typem neuronů (a v každé vrstvě jiné) RBF síť. Sítě s velkými počty neuronů, kde váha mezi neurony i a j není určena zapamatovanou hodnotou, ale nějakou funkcí w(i, j) HyperNEAT (umožňuje tvořit sítě s tisíci neuronů). Sítě pro shlukování SOM. 27 / 30 Neuronové sítě

112 Použití neuronových sítí Klasifikace Regrese Shlukování Komprese dat Filtrování Řízení 28 / 30 Neuronové sítě

113 Problémy / Nevýhody Umělé neurnové sítě (stejně jako cokoliv) nejsou všemocné. A na některé problémy se nehodí nebo jsou zbytečně složité. Předtím než začnete zkoušet NS zkuste se zamyslet nad následujícími otázkami: Dokáži jednoduše popsat řešení problému? Pokud ano, je mnohem jednodušší držet se tradičního programování. Mám dostatečné množství ohodnocených dat v trénovací množině? Musím získat absolutně přesné hodnoty na výstupu? Potřebuji být schopen jednoduše vysvětlit funkci modelu? 29 / 30 Neuronové sítě

114 Zdroje php?modgui=212 chapters.html skripta Miroslav Šnorek: Neuronové sítě a neuropočítače. série knih Mařík a spol: Umělá inteligence 30 / 30 Neuronové sítě

115 Vytěžování dat, cvičení 9: Strojové učení Radomír Černoch Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Fakulta elektrotechnická, ČVUT 1 / 11 Strojové učení

116 Iris data ještě jednou 2 / 11 Strojové učení

8 Střední hodnota a rozptyl

8 Střední hodnota a rozptyl Břetislav Fajmon, UMAT FEKT, VUT Brno Této přednášce odpovídá kapitola 10 ze skript [1]. Také je k dispozici sbírka úloh [2], kde si můžete procvičit příklady z kapitol 2, 3 a 4. K samostatnému procvičení

Více

Aproximace funkcí. x je systém m 1 jednoduchých, LN a dostatečně hladkých funkcí. x c m. g 1. g m. a 1. x a 2. x 2 a k. x k b 1. x b 2.

Aproximace funkcí. x je systém m 1 jednoduchých, LN a dostatečně hladkých funkcí. x c m. g 1. g m. a 1. x a 2. x 2 a k. x k b 1. x b 2. Aproximace funkcí Aproximace je výpočet funkčních hodnot funkce z nějaké třídy funkcí, která je v určitém smyslu nejbližší funkci nebo datům, která chceme aproximovat. Třída funkcí, ze které volíme aproximace

Více

StatSoft Úvod do neuronových sítí

StatSoft Úvod do neuronových sítí StatSoft Úvod do neuronových sítí Vzhledem k vzrůstající popularitě neuronových sítí jsme se rozhodli Vám je v tomto článku představit a říci si něco o jejich využití. Co si tedy představit pod pojmem

Více

Lineární diskriminační funkce. Perceptronový algoritmus.

Lineární diskriminační funkce. Perceptronový algoritmus. Lineární. Perceptronový algoritmus. Petr Pošík Czech Technical University in Prague Faculty of Electrical Engineering Dept. of Cybernetics P. Pošík c 2012 Artificial Intelligence 1 / 12 Binární klasifikace

Více

Neuronové časové řady (ANN-TS)

Neuronové časové řady (ANN-TS) Neuronové časové řady (ANN-TS) Menu: QCExpert Prediktivní metody Neuronové časové řady Tento modul (Artificial Neural Network Time Series ANN-TS) využívá modelovacího potenciálu neuronové sítě k predikci

Více

Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Rozhodovací stromy Doc. RNDr. Iveta Mrázová, CSc.

Více

Definice. Vektorový prostor V nad tělesem T je množina s operacemi + : V V V, tj. u, v V : u + v V : T V V, tj. ( u V )( a T ) : a u V které splňují

Definice. Vektorový prostor V nad tělesem T je množina s operacemi + : V V V, tj. u, v V : u + v V : T V V, tj. ( u V )( a T ) : a u V které splňují Definice. Vektorový prostor V nad tělesem T je množina s operacemi + : V V V, tj. u, v V : u + v V : T V V, tj. ( u V )( a T ) : a u V které splňují 1. u + v = v + u, u, v V 2. (u + v) + w = u + (v + w),

Více

MATURITNÍ TÉMATA Z MATEMATIKY

MATURITNÍ TÉMATA Z MATEMATIKY MATURITNÍ TÉMATA Z MATEMATIKY 1. Základní poznatky z logiky a teorie množin Pojem konstanty a proměnné. Obor proměnné. Pojem výroku a jeho pravdivostní hodnota. Operace s výroky, složené výroky, logické

Více

Měření závislosti statistických dat

Měření závislosti statistických dat 5.1 Měření závislosti statistických dat Každý pořádný astronom je schopen vám předpovědět, kde se bude nacházet daná hvězda půl hodiny před půlnocí. Ne každý je však téhož schopen předpovědět v případě

Více

Číselné charakteristiky a jejich výpočet

Číselné charakteristiky a jejich výpočet Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz charakteristiky polohy charakteristiky variability charakteristiky koncetrace charakteristiky polohy charakteristiky

Více

Tomáš Karel LS 2012/2013

Tomáš Karel LS 2012/2013 Tomáš Karel LS 2012/2013 Doplňkový materiál ke cvičení z předmětu 4ST201. Na případné faktické chyby v této presentaci mě prosím upozorněte. Děkuji. Tyto slidy berte pouze jako doplňkový materiál není

Více

Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1

Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1 Logistická regrese Menu: QCExpert Regrese Logistická Modul Logistická regrese umožňuje analýzu dat, kdy odezva je binární, nebo frekvenční veličina vyjádřená hodnotami 0 nebo 1, případně poměry v intervalu

Více

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ metodický list č. 1 Dobývání znalostí z databází Cílem tohoto tematického celku je vysvětlení základních pojmů z oblasti dobývání znalostí z databází i východisek dobývání znalostí z databází inspirovaných

Více

7 Kardinální informace o kritériích (část 1)

7 Kardinální informace o kritériích (část 1) 7 Kardinální informace o kritériích (část 1) Předpokládejme stejná značení jako v předchozích cvičeních. Kardinální informací o kritériích se rozumí ohodnocení jejich důležitosti k pomocí váhového vektoru

Více

Úvodem Dříve les než stromy 3 Operace s maticemi

Úvodem Dříve les než stromy 3 Operace s maticemi Obsah 1 Úvodem 13 2 Dříve les než stromy 17 2.1 Nejednoznačnost terminologie 17 2.2 Volba metody analýzy dat 23 2.3 Přehled vybraných vícerozměrných metod 25 2.3.1 Metoda hlavních komponent 26 2.3.2 Faktorová

Více

Střední hodnota a rozptyl náhodné. kvantilu. Ing. Michael Rost, Ph.D.

Střední hodnota a rozptyl náhodné. kvantilu. Ing. Michael Rost, Ph.D. Střední hodnota a rozptyl náhodné veličiny, vybraná rozdělení diskrétních a spojitých náhodných veličin, pojem kvantilu Ing. Michael Rost, Ph.D. Príklad Předpokládejme že máme náhodnou veličinu X která

Více

vzorek1 0.0033390 0.0047277 0.0062653 0.0077811 0.0090141... vzorek 30 0.0056775 0.0058778 0.0066916 0.0076192 0.0087291

vzorek1 0.0033390 0.0047277 0.0062653 0.0077811 0.0090141... vzorek 30 0.0056775 0.0058778 0.0066916 0.0076192 0.0087291 Vzorová úloha 4.16 Postup vícerozměrné kalibrace Postup vícerozměrné kalibrace ukážeme na úloze C4.10 Vícerozměrný kalibrační model kvality bezolovnatého benzinu. Dle následujících kroků na základě naměřených

Více

Statistika. Regresní a korelační analýza Úvod do problému. Roman Biskup

Statistika. Regresní a korelační analýza Úvod do problému. Roman Biskup Statistika Regresní a korelační analýza Úvod do problému Roman Biskup Jihočeská univerzita v Českých Budějovicích Ekonomická fakulta (Zemědělská fakulta) Katedra aplikované matematiky a informatiky 2008/2009

Více

Řešení. Hledaná dimenze je (podle definice) rovna hodnosti matice. a 1 2. 1 + a 2 2 1

Řešení. Hledaná dimenze je (podle definice) rovna hodnosti matice. a 1 2. 1 + a 2 2 1 Příklad 1. Určete všechna řešení následující soustavy rovnic nad Z 2 : 0 0 0 1 1 1 0 1 0 1 1 1 1 1 0 1 0 1 0 1 1 Gaussovou eliminací převedeme zadanou soustavu na ekvivalentní soustavu v odstupňovaném

Více

Programy na PODMÍNĚNÝ příkaz IF a CASE

Programy na PODMÍNĚNÝ příkaz IF a CASE Vstupy a výstupy budou vždy upraveny tak, aby bylo zřejmé, co zadáváme a co se zobrazuje. Není-li určeno, zadáváme přirozená čísla. Je-li to možné, používej generátor náhodných čísel vysvětli, co a jak

Více

1 Linearní prostory nad komplexními čísly

1 Linearní prostory nad komplexními čísly 1 Linearní prostory nad komplexními čísly V této přednášce budeme hledat kořeny polynomů, které se dále budou moci vyskytovat jako složky vektorů nebo matic Vzhledem k tomu, že kořeny polynomu (i reálného)

Více

Simulace. Simulace dat. Parametry

Simulace. Simulace dat. Parametry Simulace Simulace dat Menu: QCExpert Simulace Simulace dat Tento modul je určen pro generování pseudonáhodných dat s danými statistickými vlastnostmi. Nabízí čtyři typy rozdělení: normální, logaritmicko-normální,

Více

Pracovní listy - programování (algoritmy v jazyce Visual Basic) Algoritmus

Pracovní listy - programování (algoritmy v jazyce Visual Basic) Algoritmus Pracovní listy - programování (algoritmy v jazyce Visual Basic) Předmět: Seminář z informatiky a výpočetní techniky Třída: 3. a 4. ročník vyššího stupně gymnázia Algoritmus Zadání v jazyce českém: 1. Je

Více

1 Mnohočleny a algebraické rovnice

1 Mnohočleny a algebraické rovnice 1 Mnohočleny a algebraické rovnice 1.1 Pojem mnohočlenu (polynomu) Připomeňme, že výrazům typu a 2 x 2 + a 1 x + a 0 říkáme kvadratický trojčlen, když a 2 0. Číslům a 0, a 1, a 2 říkáme koeficienty a písmenem

Více

19 Hilbertovy prostory

19 Hilbertovy prostory M. Rokyta, MFF UK: Aplikovaná matematika III kap. 19: Hilbertovy prostory 34 19 Hilbertovy prostory 19.1 Úvod, základní pojmy Poznámka (připomenutí). Necht (X,(, )) je vektorový prostor se skalárním součinem

Více

Úloha 1. Napište matici pro případ lineárního regresního spline vyjádřeného přes useknuté

Úloha 1. Napište matici pro případ lineárního regresního spline vyjádřeného přes useknuté Úloha 1. Napište matici pro případ lineárního regresního spline vyjádřeného přes useknuté polynomy pro případ dvou uzlových bodů ξ 1 = 1 a ξ 2 = 4. Experimentální body jsou x = [0.2 0.4 0.6 1.5 2.0 3.0

Více

5 Vícerozměrná data - kontingenční tabulky, testy nezávislosti, regresní analýza

5 Vícerozměrná data - kontingenční tabulky, testy nezávislosti, regresní analýza 5 Vícerozměrná data - kontingenční tabulky, testy nezávislosti, regresní analýza 5.1 Vícerozměrná data a vícerozměrná rozdělení Při zpracování vícerozměrných dat se hledají souvislosti mezi dvěma, případně

Více

Hodina 50 Strana 1/14. Gymnázium Budějovická. Hodnocení akcií

Hodina 50 Strana 1/14. Gymnázium Budějovická. Hodnocení akcií Hodina 50 Strana /4 Gymnázium Budějovická Volitelný předmět Ekonomie - jednoletý BLOK ČÍSLO 8 Hodnocení akcií Předpokládaný počet : 9 hodin Použitá literatura : František Egermayer, Jan Kožíšek Statistická

Více

Mimo samotné správnosti výsledku vypočteného zapsaným algoritmem je ještě jedno

Mimo samotné správnosti výsledku vypočteného zapsaným algoritmem je ještě jedno 12 Délka výpočtu algoritmu Mimo samotné správnosti výsledku vypočteného zapsaným algoritmem je ještě jedno neméně důležité hledisko k posouzení vhodnosti algoritmu k řešení zadané úlohy. Jedná se o čas,

Více

O FUNKCÍCH. Obsah. Petr Šedivý www.e-matematika.cz Šedivá matematika

O FUNKCÍCH. Obsah. Petr Šedivý www.e-matematika.cz Šedivá matematika O FUNKCÍCH Obsah Nezbytně nutná kapitola, kterou musíte znát pro studium limit, derivací a integrálů. Základ, bez kterého se neobejdete. Nejprve se seznámíte se všemi typy funkcí, které budete potřebovat,

Více

ROZPOZNÁVÁNÍ S MARKOVSKÝMI MODELY

ROZPOZNÁVÁNÍ S MARKOVSKÝMI MODELY ROZPOZNÁVÁNÍ S MARKOVSKÝMI MODELY Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz, http://cmp.felk.cvut.cz/ hlavac 1/31 PLÁN PŘEDNÁŠKY

Více

Vlastní číslo, vektor

Vlastní číslo, vektor [1] Vlastní číslo, vektor motivace: směr přímky, kterou lin. transformace nezmění invariantní podprostory charakteristický polynom báze, vzhledem ke které je matice transformace nejjednodušší podobnost

Více

2. spojitost (7. cvičení) 3. sudost/lichost, periodicita (3. cvičení) 4. první derivace, stacionární body, intervaly monotonie (10.

2. spojitost (7. cvičení) 3. sudost/lichost, periodicita (3. cvičení) 4. první derivace, stacionární body, intervaly monotonie (10. MA. cvičení průběh funkce Lukáš Pospíšil,202 Průběh funkce Pod úkolem vyšetřete průběh funkce budeme rozumět nalezení všech kvalitativních vlastností zadané funkce - tedy bude potřeba zjistit o funkci

Více

Všechno, co jste kdy chtěli vědět o maticích, ale báli jste se zeptat

Všechno, co jste kdy chtěli vědět o maticích, ale báli jste se zeptat Všechno, co jste kdy chtěli vědět o maticích, ale báli jste se zeptat Čtvercová matice n n, např. může reprezentovat: A = A A 2 A 3 A 2 A 22 A 23 A 3 A 32 A 33 matici koeficientů soustavy n lineárních

Více

1. Několik základních pojmů ze středoškolské matematiky. Na začátku si připomeneme následující pojmy:

1. Několik základních pojmů ze středoškolské matematiky. Na začátku si připomeneme následující pojmy: Opakování středoškolské matematiky Slovo úvodem: Tato pomůcka je určena zejména těm studentům presenčního i kombinovaného studia na VŠFS, kteří na středních školách neprošli dostatečnou průpravou z matematiky

Více

PRAVDĚPODOBNOST A STATISTIKA aneb Krátký průvodce skripty [1] a [2]

PRAVDĚPODOBNOST A STATISTIKA aneb Krátký průvodce skripty [1] a [2] PRAVDĚPODOBNOST A STATISTIKA aneb Krátký průvodce skripty [1] a [2] Použitá literatura: [1]: J.Reif, Z.Kobeda: Úvod do pravděpodobnosti a spolehlivosti, ZČU Plzeň, 2004 (2. vyd.) [2]: J.Reif: Metody matematické

Více

Cíle lokalizace. Zjištění: 1. polohy a postavení robota (robot pose) 2. vzhledem k mapě 3. v daném prostředí

Cíle lokalizace. Zjištění: 1. polohy a postavení robota (robot pose) 2. vzhledem k mapě 3. v daném prostředí Cíle lokalizace Zjištění: 1. polohy a postavení robota (robot pose) 2. vzhledem k mapě 3. v daném prostředí 2 Jiný pohled Je to problém transformace souřadnic Mapa je globální souřadnicový systém nezávislý

Více

Příklad 1. Řešení 1a. Řešení 1b. Řešení 1c ŘEŠENÉ PŘÍKLADY Z MV2 ČÁST 7

Příklad 1. Řešení 1a. Řešení 1b. Řešení 1c ŘEŠENÉ PŘÍKLADY Z MV2 ČÁST 7 Příklad 1 a) Autobusy městské hromadné dopravy odjíždějí ze zastávky v pravidelných intervalech 5 minut. Cestující může přijít na zastávku v libovolném okamžiku. Určete střední hodnotu a směrodatnou odchylku

Více

E(X) = np D(X) = np(1 p) 1 2p np(1 p) (n + 1)p 1 ˆx (n + 1)p. A 3 (X) =

E(X) = np D(X) = np(1 p) 1 2p np(1 p) (n + 1)p 1 ˆx (n + 1)p. A 3 (X) = Základní rozdělení pravděpodobnosti Diskrétní rozdělení pravděpodobnosti. Pojem Náhodná veličina s Binomickým rozdělením Bi(n, p), kde n je přirozené číslo, p je reálné číslo, < p < má pravděpodobnostní

Více

KOMPRESE OBRAZŮ. Václav Hlaváč. Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání. hlavac@fel.cvut.

KOMPRESE OBRAZŮ. Václav Hlaváč. Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání. hlavac@fel.cvut. 1/24 KOMPRESE OBRAZŮ Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz http://cmp.felk.cvut.cz/ hlavac KOMPRESE OBRAZŮ, ÚVOD 2/24 Cíl:

Více

(ne)závislost. α 1 x 1 + α 2 x 2 + + α n x n. x + ( 1) x Vektoru y = ( 1) y říkáme opačný vektor k vektoru y. x x = 1. x = x = 0.

(ne)závislost. α 1 x 1 + α 2 x 2 + + α n x n. x + ( 1) x Vektoru y = ( 1) y říkáme opačný vektor k vektoru y. x x = 1. x = x = 0. Lineární (ne)závislost [1] Odečítání vektorů, asociativita BI-LIN, zavislost, 3, P. Olšák [2] Místo, abychom psali zdlouhavě: x + ( 1) y, píšeme stručněji x y. Vektoru y = ( 1) y říkáme opačný vektor k

Více

Numerické algoritmy KAPITOLA 11. Vyhledávání nulových bodů funkcí

Numerické algoritmy KAPITOLA 11. Vyhledávání nulových bodů funkcí Numerické algoritmy KAPITOLA 11 V této kapitole: Vyhledávání nulových bodů funkcí Iterativní výpočet hodnot funkce Interpolace funkcí Lagrangeovou metodou Derivování funkcí Integrování funkcí Simpsonovou

Více

Vytěžování znalostí z dat

Vytěžování znalostí z dat Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2011, Cvičení 9 1/16 Vytěžování znalostí z dat Pavel Kordík, Josef Borkovec Department of Computer Systems Faculty of Information

Více

Algoritmy I, složitost

Algoritmy I, složitost A0B36PRI - PROGRAMOVÁNÍ Algoritmy I, složitost České vysoké učení technické Fakulta elektrotechnická v 1.01 Rychlost... Jeden algoritmus (program, postup, metoda ) je rychlejší než druhý. Co ta věta znamená??

Více

Architektura - struktura sítě výkonných prvků, jejich vzájemné propojení.

Architektura - struktura sítě výkonných prvků, jejich vzájemné propojení. Základní pojmy z oblasti neuronových sítí Zde je uveden přehled některých základních pojmů z oblasti neuronových sítí. Tento přehled usnadní studium a pochopení předmětu. ADALINE - klasická umělá neuronová

Více

6.2.8 Vlnová funkce. ψ nemá (zatím?) žádný fyzikální smysl, fyzikální smysl má funkce. Předpoklady: 060207

6.2.8 Vlnová funkce. ψ nemá (zatím?) žádný fyzikální smysl, fyzikální smysl má funkce. Předpoklady: 060207 6..8 Vlnová funkce ředpoklady: 06007 edagogická poznámka: Tato hodina není příliš středoškolská. Zařadil jsem ji kvůli tomu, aby žáci měli alespoň přibližnou představu o tom, jak se v kvantové fyzice pracuje.

Více

Klasifikace předmětů a jevů

Klasifikace předmětů a jevů Klasifikace předmětů a jevů 1. Úvod Rozpoznávání neboli klasifikace je základní znak lidské činnosti. Rozpoznávání (klasifikace) předmětů a jevů spočívá v jejich zařazování do jednotlivých tříd. Třídou

Více

Přehled vhodných metod georeferencování starých map

Přehled vhodných metod georeferencování starých map Přehled vhodných metod georeferencování starých map ČVUT v Praze, katedra geomatiky 12. 3. 2015 Praha Georeferencování historická mapa vs. stará mapa georeferencování umístění obrazu mapy do referenčního

Více

Požadavky k opravným zkouškám z matematiky školní rok 2013-2014

Požadavky k opravným zkouškám z matematiky školní rok 2013-2014 Požadavky k opravným zkouškám z matematiky školní rok 2013-2014 1. ročník (první pololetí, druhé pololetí) 1) Množiny. Číselné obory N, Z, Q, I, R. 2) Absolutní hodnota reálného čísla, intervaly. 3) Procenta,

Více

PSY117/454 Statistická analýza dat v psychologii Přednáška 10

PSY117/454 Statistická analýza dat v psychologii Přednáška 10 PSY117/454 Statistická analýza dat v psychologii Přednáška 10 TESTY PRO NOMINÁLNÍ A ORDINÁLNÍ PROMĚNNÉ NEPARAMETRICKÉ METODY... a to mělo, jak sám vidíte, nedozírné následky. Smrť Analýza četností hodnot

Více

JčU - Cvičení z matematiky pro zemědělské obory (doc. RNDr. Nýdl, CSc & spol.) Minitest MT4

JčU - Cvičení z matematiky pro zemědělské obory (doc. RNDr. Nýdl, CSc & spol.) Minitest MT4 ŘEŠENÍ MINITESTŮ JčU - Cvičení z matematiky pro zemědělské obory (doc. RNDr. Nýdl, CSc & spol.) Minitest MT4. Z daných tří soustav rovnic o neznámých x, x vyberte právě všechny ty, které jsou regulární.

Více

Tomáš Karel LS 2012/2013

Tomáš Karel LS 2012/2013 Tomáš Karel LS 2012/2013 Doplňkový materiál ke cvičení z předmětu 4ST201. Na případné faktické chyby v této presentaci mě prosím upozorněte. Děkuji. Tyto slidy berte pouze jako doplňkový materiál není

Více

Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz

Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz Pravděpodobnost a matematická

Více

Korelační a regresní analýza

Korelační a regresní analýza Korelační a regresní analýza Analýza závislosti v normálním rozdělení Pearsonův (výběrový) korelační koeficient: r = s XY s X s Y, kde s XY = 1 n (x n 1 i=0 i x )(y i y ), s X (s Y ) je výběrová směrodatná

Více

6.1 Normální (Gaussovo) rozdělení

6.1 Normální (Gaussovo) rozdělení 6 Spojitá rozdělení 6.1 Normální (Gaussovo) rozdělení Ze spojitých rozdělení se v praxi setkáme nejčastěji s normálním rozdělením. Toto rozdělení je typické pro mnoho náhodných veličin z rozmanitých oborů

Více

11 Analýza hlavních komponet

11 Analýza hlavních komponet 11 Analýza hlavních komponet Tato úloha provádí transformaci měřených dat na menší počet tzv. fiktivních dat tak, aby většina informace obsažená v původních datech zůstala zachována. Jedná se tedy o úlohu

Více

2.1.4 Funkce, definiční obor funkce. π 4. Předpoklady: 2103. Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují.

2.1.4 Funkce, definiční obor funkce. π 4. Předpoklady: 2103. Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují. .. Funkce, definiční obor funkce Předpoklady: 03 Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují. Uděláme si na tabuli jenom krátký seznam: S = a, y = x, s = vt, výška lidí v

Více

Vliv realizace, vliv přesnosti centrace a určení výšky přístroje a cíle na přesnost určovaných veličin

Vliv realizace, vliv přesnosti centrace a určení výšky přístroje a cíle na přesnost určovaných veličin Vliv realizace, vliv přesnosti centrace a určení výšky přístroje a cíle na přesnost určovaných veličin doc. Ing. Martin Štroner, Ph.D. Fakulta stavební ČVUT v Praze 1 Úvod Při přesných inženýrsko geodetických

Více

scale n_width width center scale left center range right center range value weight_sum left right weight value weight value weight_sum weight pixel

scale n_width width center scale left center range right center range value weight_sum left right weight value weight value weight_sum weight pixel Změna velikosti obrázku Převzorkování pomocí filtrů Ačkoliv jsou výše uvedené metody mnohdy dostačující pro běžné aplikace, občas je zapotřebí dosáhnout lepších výsledků. Pokud chceme obrázky zvětšovat

Více

Požadavky k opravným zkouškám z matematiky školní rok 2014-2015

Požadavky k opravným zkouškám z matematiky školní rok 2014-2015 Požadavky k opravným zkouškám z matematiky školní rok 2014-2015 1. ročník (první pololetí, druhé pololetí) 1) Množiny. Číselné obory N, Z, Q, I, R. 2) Absolutní hodnota reálného čísla, intervaly. 3) Procenta,

Více

Data v počítači. Informační data. Logické hodnoty. Znakové hodnoty

Data v počítači. Informační data. Logické hodnoty. Znakové hodnoty Data v počítači Informační data (elementární datové typy) Logické hodnoty Znaky Čísla v pevné řádové čárce (celá čísla) v pohyblivé (plovoucí) řád. čárce (reálná čísla) Povelová data (instrukce programu)

Více

MINISTERSTVO ŠKOLSTVÍ, MLÁDEŽE A TĚLOVÝCHOVY. Učební osnova předmětu MATEMATIKA. pro studijní obory SOŠ a SOU (8 10 hodin týdně celkem)

MINISTERSTVO ŠKOLSTVÍ, MLÁDEŽE A TĚLOVÝCHOVY. Učební osnova předmětu MATEMATIKA. pro studijní obory SOŠ a SOU (8 10 hodin týdně celkem) MINISTERSTVO ŠKOLSTVÍ, MLÁDEŽE A TĚLOVÝCHOVY Učební osnova předmětu MATEMATIKA pro studijní obory SOŠ a SOU (8 10 hodin týdně celkem) Schválilo Ministerstvo školství, mládeže a tělovýchovy dne 14. 6. 2000,

Více

Písemná práce k modulu Statistika

Písemná práce k modulu Statistika The Nottingham Trent University B.I.B.S., a. s. Brno BA (Hons) in Business Management Písemná práce k modulu Statistika Číslo zadání: 144 Autor: Zdeněk Fekar Ročník: II., 2005/2006 1 Prohlašuji, že jsem

Více

15. Moduly. a platí (p + q)(x) = p(x) + q(x), 1(X) = id. Vzniká tak struktura P [x]-modulu na V.

15. Moduly. a platí (p + q)(x) = p(x) + q(x), 1(X) = id. Vzniká tak struktura P [x]-modulu na V. Učební texty k přednášce ALGEBRAICKÉ STRUKTURY Michal Marvan, Matematický ústav Slezská univerzita v Opavě 15. Moduly Definice. Bud R okruh, bud M množina na níž jsou zadány binární operace + : M M M,

Více

13 Barvy a úpravy rastrového

13 Barvy a úpravy rastrového 13 Barvy a úpravy rastrového Studijní cíl Tento blok je věnován základním metodám pro úpravu rastrového obrazu, jako je např. otočení, horizontální a vertikální překlopení. Dále budo vysvětleny různé metody

Více

MYCIN, Prospector. Pseudodefinice [Expertní systémy, Feigenbaum a kol. 1988] oblasti kvality rozhodování na úrovni experta.

MYCIN, Prospector. Pseudodefinice [Expertní systémy, Feigenbaum a kol. 1988] oblasti kvality rozhodování na úrovni experta. Expertní systémy MYCIN, Prospector Pseudodefinice [Expertní systémy, Feigenbaum a kol. 1988] Expertní systémy jsou počítačové programy, simulující rozhodovací činnosti experta při řešení složitých úloh

Více

2.7.6 Rovnice vyšších řádů

2.7.6 Rovnice vyšších řádů 6 Rovnice vyšších řádů Předpoklady: 50, 05 Pedagogická poznámka: Pokud mám jenom trochu čas probírám látku této hodiny ve dvou vyučovacích hodinách V první probíráme separaci kořenů, v druhé pak snížení

Více

StatSoft Jak poznat vliv faktorů vizuálně

StatSoft Jak poznat vliv faktorů vizuálně StatSoft Jak poznat vliv faktorů vizuálně V tomto článku bychom se rádi věnovali otázce, jak poznat již z grafického náhledu vztahy a závislosti v analýze rozptylu. Pomocí následujících grafických zobrazení

Více

MODELY ŘÍZENÍ ZÁSOB nákladově orientované modely poptávka pořizovací lhůta dodávky předstih objednávky deterministické stochastické

MODELY ŘÍZENÍ ZÁSOB nákladově orientované modely poptávka pořizovací lhůta dodávky předstih objednávky deterministické stochastické MODELY ŘÍZENÍ ZÁSOB Význam zásob spočívá především v tom, že - vyrovnávají časový nebo prostorový nesoulad mezi výrobou a spotřebou - zajišťují plynulou výrobu nebo plynulé dodávky zboží i při nepředvídaných

Více

Matematika pro informatiku 4

Matematika pro informatiku 4 Matematika pro informatiku 4 Doc. RNDr. Alena Šolcová, Ph. D., KTI FIT ČVUT v Praze 7.března 2011 Evropský sociální fond Investujeme do vaší budoucnosti Alena Šolcová Lámejte si hlavu - L1 Určete všechny

Více

Propenzitní modelování. Veronika Počerová 10. 4. 2015

Propenzitní modelování. Veronika Počerová 10. 4. 2015 Propenzitní modelování Veronika Počerová 10. 4. 2015 motivace 2 definice Prediktivní analytika je disciplína, která využívá metod Data Miningu k tomu, aby na základě historického chování sledovaného jevu

Více

Numerické řešení variačních úloh v Excelu

Numerické řešení variačních úloh v Excelu Numerické řešení variačních úloh v Excelu Miroslav Hanzelka, Lenka Stará, Dominik Tělupil Gymnázium Česká Lípa, Gymnázium Jírovcova 8, Gymnázium Brno MirdaHanzelka@seznam.cz, lenka.stara1@seznam.cz, dtelupil@gmail.com

Více

MATEMATIKA Maturitní témata společná část MZ základní úroveň (vychází z Katalogu požadavků MŠMT)

MATEMATIKA Maturitní témata společná část MZ základní úroveň (vychází z Katalogu požadavků MŠMT) MATEMATIKA Maturitní témata společná část MZ základní úroveň (vychází z Katalogu požadavků MŠMT) 1. Číselné obory 1.1 Přirozená čísla provádět aritmetické operace s přirozenými čísly rozlišit prvočíslo

Více

DIGITÁLNÍ ARCHIV VZDĚLÁVACÍCH MATERIÁLŮ

DIGITÁLNÍ ARCHIV VZDĚLÁVACÍCH MATERIÁLŮ DIGITÁLNÍ ARCHIV VZDĚLÁVACÍCH MATERIÁLŮ Číslo projektu Číslo a název šablony klíčové aktivity Tematická oblast CZ.1.07/1.5.00/34.0963 IV/2 Inovace a zkvalitnění výuky směřující k rozvoji matematické gramotnosti

Více

UNIVERZITA OBRANY Fakulta ekonomiky a managementu. Aplikace STAT1. Výsledek řešení projektu PRO HORR2011 a PRO GRAM2011 3. 11.

UNIVERZITA OBRANY Fakulta ekonomiky a managementu. Aplikace STAT1. Výsledek řešení projektu PRO HORR2011 a PRO GRAM2011 3. 11. UNIVERZITA OBRANY Fakulta ekonomiky a managementu Aplikace STAT1 Výsledek řešení projektu PRO HORR2011 a PRO GRAM2011 Jiří Neubauer, Marek Sedlačík, Oldřich Kříž 3. 11. 2012 Popis a návod k použití aplikace

Více

5. Interpolace a aproximace funkcí

5. Interpolace a aproximace funkcí 5. Interpolace a aproximace funkcí Průvodce studiem Často je potřeba složitou funkci f nahradit funkcí jednodušší. V této kapitole budeme předpokládat, že u funkce f známe její funkční hodnoty f i = f(x

Více

JEDNODUCHÉ LINEÁRNÍ A KVADRATICKÉ FUNKCE V GEOGEBŘE

JEDNODUCHÉ LINEÁRNÍ A KVADRATICKÉ FUNKCE V GEOGEBŘE Obsah JEDNODUCHÉ LINEÁRNÍ A KVADRATICKÉ FUNKCE V GEOGEBŘE...2 Co je to funkce?...2 Existuje snadnější definice funkce?...2 Dobře, pořád se mi to zdá trochu moc komplikonavané. Můžeme se na základní pojmy

Více

MS Excel 2007 Kontingenční tabulky

MS Excel 2007 Kontingenční tabulky MS Excel 2007 Kontingenční tabulky Obsah kapitoly V této kapitole se seznámíme s nástrojem, který se používá k analýze dat rozsáhlých seznamů. Studijní cíle Studenti budou umět pro analýzu dat rozsáhlých

Více

ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE

ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ V PRAZE FAKULTA STAVEBNÍ OBOR GEODÉZIE A KARTOGRAFIE KATEDRA VYŠŠÍ GEODÉZIE název předmětu úloha/zadání název úlohy Vyšší geodézie 1 3/3 GPS - výpočet polohy stanice pomocí

Více

MATEMATIKA Maturitní témata společná část MZ vyšší úroveň (vychází z Katalogu požadavků MŠMT)

MATEMATIKA Maturitní témata společná část MZ vyšší úroveň (vychází z Katalogu požadavků MŠMT) MATEMATIKA Maturitní témata společná část MZ vyšší úroveň (vychází z Katalogu požadavků MŠMT) 1. Číselné obory 1.1 Přirozená čísla provádět aritmetické operace s přirozenými čísly rozlišit prvočíslo a

Více

Požadavky na konkrétní dovednosti a znalosti z jednotlivých tematických celků

Požadavky na konkrétní dovednosti a znalosti z jednotlivých tematických celků Maturitní zkouška z matematiky 2012 požadované znalosti Zkouška z matematiky ověřuje matematické základy formou didaktického testu. Test obsahuje uzavřené i otevřené úlohy. V uzavřených úlohách je vždy

Více

Poznámka: V kurzu rovnice ostatní podrobně probíráme polynomické rovnice a jejich řešení.

Poznámka: V kurzu rovnice ostatní podrobně probíráme polynomické rovnice a jejich řešení. @083 6 Polynomické funkce Poznámka: V kurzu rovnice ostatní podrobně probíráme polynomické rovnice a jejich řešení. Definice: Polynomická funkce n-tého stupně (n N) je dána předpisem n n 1 2 f : y a x

Více

MATEMATIKA základní úroveň obtížnosti

MATEMATIKA základní úroveň obtížnosti MATEMATIKA základní úroveň obtížnosti DIDAKTICKÝ TEST Maximální bodové hodnocení: 50 bodů Hranice úspěšnosti: 33 % 1 Základní informace k zadání zkoušky Didaktický test obsahuje 26 úloh. Časový limit pro

Více

x T 1 matici 45.53 25.22 57.81 12.39 11.88 36.09 22.15 7.52 &0.31 20.94 27.97 48.06 1.41 16.77 66.21 S 1 kovarianční matici 74.42 &9.52 37.

x T 1 matici 45.53 25.22 57.81 12.39 11.88 36.09 22.15 7.52 &0.31 20.94 27.97 48.06 1.41 16.77 66.21 S 1 kovarianční matici 74.42 &9.52 37. Vzorová úloha 4.7 Užití lineární diskriminační funkce Předpokládejme, že máme data o 2 třídách objektů tibetských lebek v úloze B4.14 Aglomerativní hierarchické shlukování při analýze lebek Tibeťanů: prvních

Více

Měření součinitele smykového tření dynamickou metodou

Měření součinitele smykového tření dynamickou metodou Měření součinitele smykového tření dynamickou metodou Online: http://www.sclpx.eu/lab1r.php?exp=6 Měření smykového tření na nakloněné rovině pomocí zvukové karty řešil např. Sedláček [76]. Jeho konstrukce

Více

Kvízové otázky Obecná ekonomie I. Teorie firmy

Kvízové otázky Obecná ekonomie I. Teorie firmy 1. Firmy působí: a) na trhu výrobních faktorů b) na trhu statků a služeb c) na žádném z těchto trhů d) na obou těchto trzích Kvízové otázky Obecná ekonomie I. Teorie firmy 2. Firma na trhu statků a služeb

Více

You created this PDF from an application that is not licensed to print to novapdf printer (http://www.novapdf.com)

You created this PDF from an application that is not licensed to print to novapdf printer (http://www.novapdf.com) Závislost náhodných veličin Úvod Předchozí přednášky: - statistické charakteristiky jednoho výběrového nebo základního souboru - vztahy mezi výběrovým a základním souborem - vztahy statistických charakteristik

Více

Vzdálenosti. Copyright c 2006 Helena Říhová

Vzdálenosti. Copyright c 2006 Helena Říhová Vzdálenosti Copyright c 2006 Helena Říhová Obsah 1 Vzdálenosti 3 1.1 Vzdálenostivrovině... 3 1.1.1 Vzdálenostdvoubodů..... 3 1.1.2 Vzdálenostboduodpřímky..... 4 1.1.3 Vzdálenostdvourovnoběžek.... 5 1.2

Více

Malé statistické repetitorium Verze s řešením

Malé statistické repetitorium Verze s řešením Verze s řešením Příklad : Rozdělení náhodné veličiny základní charakteristiky Rozdělení diskrétní náhodné veličiny X je dáno následující tabulkou x 0 4 5 P(X = x) 005 05 05 0 a) Nakreslete graf distribuční

Více

Matematické přístupy k pojištění automobilů. Silvie Kafková. 3. 6. září 2013, Podlesí

Matematické přístupy k pojištění automobilů. Silvie Kafková. 3. 6. září 2013, Podlesí Matematické přístupy k pojištění automobilů Silvie Kafková 3. 6. září 2013, Podlesí Obsah 1 Motivace 2 Tvorba tarifních skupin a priori 3 Motivace Obsah 1 Motivace 2 Tvorba tarifních skupin a priori 3

Více

Automatizované řešení úloh s omezeními

Automatizované řešení úloh s omezeními Automatizované řešení úloh s omezeními Martin Kot Katedra informatiky, FEI, Vysoká škola báňská Technická universita Ostrava 17. listopadu 15, Ostrava-Poruba 708 33 Česká republika 25. října 2012 M. Kot

Více

NÁHODNÉ VELIČINY JAK SE NÁHODNÁ ČÍSLA PŘEVEDOU NA HODNOTY NÁHODNÝCH VELIČIN?

NÁHODNÉ VELIČINY JAK SE NÁHODNÁ ČÍSLA PŘEVEDOU NA HODNOTY NÁHODNÝCH VELIČIN? NÁHODNÉ VELIČINY GENEROVÁNÍ SPOJITÝCH A DISKRÉTNÍCH NÁHODNÝCH VELIČIN, VYUŽITÍ NÁHODNÝCH VELIČIN V SIMULACI, METODY TRANSFORMACE NÁHODNÝCH ČÍSEL NA HODNOTY NÁHODNÝCH VELIČIN. JAK SE NÁHODNÁ ČÍSLA PŘEVEDOU

Více

NP-úplnost problému SAT

NP-úplnost problému SAT Problém SAT je definován následovně: SAT(splnitelnost booleovských formulí) Vstup: Booleovská formule ϕ. Otázka: Je ϕ splnitelná? Příklad: Formule ϕ 1 =x 1 ( x 2 x 3 )jesplnitelná: např.přiohodnocení ν,kde[x

Více

Tomáš Karel LS 2012/2013

Tomáš Karel LS 2012/2013 Tomáš Karel LS 2012/2013 Doplňkový materiál ke cvičení z předmětu 4ST201. Na případné faktické chyby v této presentaci mě prosím upozorněte. Děkuji. Tyto slidy berte pouze jako doplňkový materiál není

Více

10. Předpovídání - aplikace regresní úlohy

10. Předpovídání - aplikace regresní úlohy 10. Předpovídání - aplikace regresní úlohy Regresní úloha (analýza) je označení pro statistickou metodu, pomocí nichž odhadujeme hodnotu náhodné veličiny (tzv. závislé proměnné, cílové proměnné, regresandu

Více

4. ZÁKLADNÍ TYPY ROZDĚLENÍ PRAVDĚPODOBNOSTI DISKRÉTNÍ NÁHODNÉ VELIČINY

4. ZÁKLADNÍ TYPY ROZDĚLENÍ PRAVDĚPODOBNOSTI DISKRÉTNÍ NÁHODNÉ VELIČINY 4. ZÁKLADNÍ TYPY ROZDĚLENÍ PRAVDĚPODOBNOSTI DISKRÉTNÍ NÁHODNÉ VELIČINY Průvodce studiem V této kapitole se seznámíte se základními typy rozložení diskrétní náhodné veličiny. Vašim úkolem by neměla být

Více

Cvičení z matematiky jednoletý volitelný předmět

Cvičení z matematiky jednoletý volitelný předmět Název předmětu: Zařazení v učebním plánu: Cvičení z matematiky O8A, C4A, jednoletý volitelný předmět Cíle předmětu Obsah předmětu je zaměřen na přípravu studentů gymnázia na společnou část maturitní zkoušky

Více

Katedra matematiky Fakulty jaderné a fyzikálně inženýrské ČVUT v Praze. Zápočtová písemná práce č. 1 z předmětu 01MAB3 varianta A

Katedra matematiky Fakulty jaderné a fyzikálně inženýrské ČVUT v Praze. Zápočtová písemná práce č. 1 z předmětu 01MAB3 varianta A Zápočtová písemná práce č. 1 z předmětu 01MAB3 varianta A středa 19. listopadu 2014, 11:20 13:20 ➊ (8 bodů) Rozhodněte o stejnoměrné konvergenci řady n 3 n ( ) 1 e xn2 x 2 +n 2 na množině A = 0, + ). ➋

Více