ˇ CESK E VYSOK E U ˇ CEN I TECHNICK E Fakulta jadern a a fyzik alnˇe inˇzen yrsk a DIPLOMOV A PR ACE 2006 Jan Vachulka

Rozměr: px
Začít zobrazení ze stránky:

Download "ˇ CESK E VYSOK E U ˇ CEN I TECHNICK E Fakulta jadern a a fyzik alnˇe inˇzen yrsk a DIPLOMOV A PR ACE 2006 Jan Vachulka"

Transkript

1 ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ Fakulta jaderná a fyzikálně inženýrská DIPLOMOVÁ PRÁCE 2006 Jan Vachulka

2 ČESKÉ VYSOKÉ UČENÍ TECHNICKÉ Fakulta jaderná a fyzikálně inženýrská Katedra Matematiky Monitorování průběhu učení neuronových sítí s přepínacími jednotkami Diplomová práce Jméno : Jan Vachulka Školitel : Ing. František Hakl, CSc. Ak. rok :

3 Prohlášení: Prohlašuji, že jsem předkládanou práci vypracoval samostatně, veškerá použitá literatura je uvedena v citacích. Podpis:

4 Obsah 1 Úvod Zaměření a cíle diplomové práce Základní definice Formulace problému klasifikace do dvou množin Neuronová sít Učení neuronové sítě Neuron s přepínací jednotkou Neuron s přepínací jednotkou Přepínací jednotka Výpočetní neurony Determinismus učení Srovnání metod použitých pro učení přepínací jednotky Srovnání v závislosti na počtu vzorů Srovnání v závislosti na počtu shluků Závěry Interpretace výstupů neuronové sítě Použití prahu Zobecnění použití prahu Převod výstupů na pravděpodobnosti Histogramový odhad Odhad parametrů směsi normálních rozdělení Úprava rozhodování Srovnání rozhodovacích pravidel Určení kvality neuronové sítě Základní principy a motivace Kritérium nejmenších čtverců Cross-entropy

5 5.4 Další ztrátové funkce Benchmarky pro klasifikátory Úvod Proben UCI Machine Learning Repository Delve Analýza neuronových sítí s přepínacími jednotkami Úvod a motivace Základní myšlenky Analýza sítě s jedním neuronem Závěry z analýzy neuronové sítě obsahující jeden neuron Analýza řetězce Srovnání kritérií kvality Závěr 70 A Metody shlukové analýzy 71 A.1 Úvod A.2 Iterační metody A.2.1 Forgyho metoda A.2.2 Nalezení počátečního rozkladu A.2.3 Deterministické metody pro nalezení počátečního rozkladu A.3 Hierarchické metody A.3.1 Metoda nejbližšího souseda (single linkage) A.3.2 Metoda nejvzdálenějšího souseda (complete linkage).. 78 A.3.3 Metoda průměrné nepodobnosti vzorů (average linkage) 78 A.3.4 Poznámky k implementaci hierarchických metod B Metoda hlavních komponent 80 C Použité nástroje 82 2

6 Použité značení def def ekvivalence ve smyslu definice = rovnost ve smyslu definice R množina reálných čísel R + 0 [0; + ) N množina přirozených čisel ˆn R n R n,m diag(α 1,...,α n ) A T x (i) = {i N i n} vektorový prostor nad tělesem reálných čísel dimenze n vektorový prostor reálných matic o n řádcích a m sloupcích diagonální matice, jejíž diagonála je tvořena čísly α 1,...,α n transpozice matice A i-tá složka vektoru x R n ˆn def 2 X množina všech podmnožin množiny X, 2 X def = {x x X} X počet prvků množiny X Dom(f) definiční obor funkce f Ran(f) obor hodnot funkce f 3

7 Kapitola 1 Úvod 1.1 Zaměření a cíle diplomové práce Jak naznačuje název diplomové práce, jejím hlavním tématem je jeden z typů neuronových sítí - neuronové sítě s přepínacími jednotkami. Dále v textu, pokud nebude řečeno jinak, se neuronovou sítí, nebo jen sítí bude rozumět právě neuronová sít s přepínacími jednotkami. Tento typ neuronových sítí původně vznikl za účelem rozlišení signálu od pozadí při řešení fyzikálních problémů. Jedná se ale o nástroj, který lze obecně použít pro klasifikaci do dvou tříd či aproximaci funkce. Neuronové sítě tohoto typu již byly aplikovány na několik problémů (viz. např. [HLA02]), nicméně o vlastnostech těchto sítí z praktického hlediska stále existuje mnoho otázek. Hlavním účelem práce tedy bylo systematické zmapování vlastností těchto sítí a vypozorování závěrů, které by pomohly při jejich aplikaci na reálné problémy. Při řešení tohoto problému se postupovalo takto: 1. Byl vybrán soubor problémů, které se budou používat při zjišt ování vlastností sítí, viz. kapitola Bylo nutné řešit problém určování kvality naučených sítí, viz. kapitola Předchozí bod vyžadoval zodpovězení otázky, jak interpretovat výstup neuronové sítě, tento problém je řešen v kapitole Bylo nutné zajistit determinismus učení neuronových sítí, viz. kapitola 3. 4

8 5. Vše bylo završeno provedením analýzy těchto sítí, popsané v kapitole Navíc bylo třeba přeformulovat terminologii týkající se těchto sítí, viz. kapitola 2. 5

9 Kapitola 2 Základní definice 2.1 Formulace problému klasifikace do dvou množin Problém označovaný jako klasifikace do dvou množin, v rámci něhož probíhala analýza neuronových sítí, lze popsat následovně: Necht je dána množina S R n, n N libovolné a necht existují množiny S 1, S 2 S splňující 1. S 1 S 2 = 2. S 1 S 2 = S Necht zobrazení χ : S { 1; 1} je definováno takto { χ(x) def 1 pro x S1 = 1 pro x S 2 Dále se bude symbolem T značit třída funkcí T def = {f f : S R}. Necht je dána funkce L : T T R + 0. Řešením úlohy klasifikace do dvou tříd se bude dále rozumět nalezení funkce g minimalizující výraz L(g, χ) Poznámka 2.1 Účelem je najít funkci g, která o každém prvku množiny S rozhoduje, zda mu přísluší hodnota 1 nebo 1, neboli do které ze dvou možných tříd patří. Správné hodnoty jsou představovány funkcí χ. Funkce L nazývaná běžně jako ztrátová funkce určuje při daných požadovaných hodnotách ztrátu, při volbě určité funkce g jako řešení. 6

10 Poznámka 2.2 Funkce g bude dále právě funkce realizovaná neuronovou sítí. Funkce L bude nějaké kritérium, které určuje kvalitu neuronové sítě na základě prvků z množiny S. Poznámka 2.3 Pro vzory nebo celé množiny vzorů, kterým přísluší hodnota +1, se bude používat výraz signál, pro vzory příslušné k hodnotě 1 se bude používat výraz pozadí. 2.2 Neuronová sít Původní motivace pro použití a podobu umělých neuronových sítí vychází z nervových systémů živých organismů, základní princip přírodních a tedy i umělých neuronových sítí spočívá v rozdělení celku na jednodušší jednotky nazývané neurony. Neurony jsou vzájemně propojeny a předávají si mezi sebou informace, díky této kooperaci jednodušších jednotek lze získat složitější a mocnější nástroj pro řešení nejrůznějších úloh. Jelikož je tento nástroj složen z jednodušších částí, je snadnější nastavit parametry takového nástroje (jinými slovy naučit danou neuronovou sít ), než nastavovat parametry komplexního a daleko složitějšího systému. Následuje zavedení pojmů jako je neuron, neuronová sít a učení neuronové sítě v kontextu neuronových sítí s přepínacími jednotkami. Definice 2.1 Necht je dána funkce f : R n Par R m, kde množina Par je libovolná množina objektů představující parametry funkce f. Množina M f = {g (g : R n R m ) ( α Par)( (x, α) Dom(f))(g(x) = f(x, α))} se bude nazývat model neuronu s přechodovou funkcí f. Poznámka 2.4 Pod modelem neuronu se rozumí třída funkcí stejného tvaru, které se liší hodnotou jejich parametru. Prvky určitého modelu neuronu jsou konkrétní funkce zobrazující prostor R n do R m. Definice 2.2 Modelem neuronu se bude nazývat množina MN = M f je model neuronu s přechodovou funkcí f Poznámka 2.5 Množina MN je sjednocením všech modelů neuronů a obsahuje veškeré objekty, které lze označit jako neuron. M f 7

11 Definice 2.3 Necht M f je model neuronu s přechodovou funkcí f : R n Par R m, funkce q M f se bude nazývat neuron. Další pojmy související s pojmem neuron jsou Dom(q) vstupní prostor neuronu q n vstupní dimenze neuronu q ozn. indim(q) Ran(q) výstupní prostor neuronu q m výstupní dimenze neuronu q, ozn. outdim(q) Poznámka 2.6 Neuron je definován jako funkce, podoba neuronou s určitou přechodovou funkcí je dána příslušným modelem neuronu (tedy třídou funkcí určitého tvaru). Hodnota parametru α, který určuje neuron, může být k-tice reálných čísel, může však mít i složitější stukturu. Definice 2.4 Pod pojmem topologie se bude rozumět orientovaný acyklický graf T = (V, E), který navíc splňuje vlastnosti (ozn. V = {v in } V H {v out }, v in v out, v out V H, v in / V H ): 1. V < + 2. ( v V )((u, v in ) / E) 3. ( v V )((v out, v) / E) 4. ( v V H {v out })( u V )((u, v) E) 5. ( v V H {v in })( u V )((v, u) E) Poznámka 2.7 Topologie je tedy acyklický orientovaný graf, který obsahuje právě jeden vrchol, ze kterého již nevede žádná hrana (výstup), právě jeden vrchol, do kterého nevede žádná hrana (vstup) a několik skrytých vrcholů, přes které jsou propojeny vstup a výstup. Poznámka 2.8 Na obrázku 2.1 je ilustrován příklad topologie. Jednotlivá kolečka reprezentují vrcholy, šipky reprezentují orientované hrany mezi vrcholy, orientace šipek je od rodičů směrem k dětem. Vstup (v in ) se bude značit kolečkem vybarveným černě, výstup bude vždy nejníže zobrazený vrchol, ze kterého již nevede žádná hrana. Z praktických důvodů je vstup zobrazen pouze jedním kolečkem a není pro každou složku vstupu zobrazen zvláštní vstupní neuron, počty vstupních neuronů by pak většinou převýšily počet ostatních neuronů. 8

12 Obrázek 2.1: Příklad topologie Definice 2.5 Necht je dána topologie T, množina def = {NN = (T, N, g, id) ψ(nn)} se bude nazývat model neuronové M NN T sítě se vstupní dimenzí d nad topologií T, ψ je relace nad uspořádanými čtveřicemi (T, N, g, id) definovaná následovně (T, N, g, id) ψ def 1) N MN 2) g : N V je bijekce 3) id : N ˆn je bijekce, n = V 4) vstupní dimenze neuronu q = g 1 (v in ) je rovna d Poznámka 2.9 V označení modelu neuronové sítě se nevyskytuje vstupní dimenze, ta bude však vždy zřejmá z kontextu. Definice 2.6 Modelem neuronové sítě se bude nazývat množina M NN = MT NN T je topologie Definice 2.7 Prvek NN MT NN modelu neuronové sítě se vstupní dimenzí d nad topologií T se bude nazývat Neuronová sít se vstupní dimenzí d nad topologií T. Necht NN = (T, N, g, id) MT NN, T = (V, E), následuje několik pojmů týkajících se konkrétní NN. Necht m = N, q N libovolný, parents(q) def = {q N (g(q ), g(q)) E} children(q) def = {q N (g(q), g(q )) E} 9

13 q in def = g 1 (v in ) vstupní neuron NN q out def = g 1 (v out ) výstupní neuron NN indim(nn) def = d vstupní dimenze NN Poznámka 2.10 Neuronová sít NN = (T, N, g, id) je objekt, který se skládá z neuronů a jehož struktura je dána jeho topologií. Jednotlivé neurony jsou očíslovány funkcí id. Smysl tohoto očíslování spočívá hlavně v uchopitelnosti jednotlivých neuronů při definování přechodové funkce realizované celou neuronovou sítí a algoritmu učení neuronové sítě. Poznámka 2.11 Pokud na topologii nebo dimenzi neuronové sítě nebude záležet, bude se informace o topologii, či vstupní dimenzi vypouštět. Definice 2.8 Necht NN = (T, N, g, id) je neuronová sít se vstupní dimenzí d, q N, m = indim(q), o = outdim(q). Funkce q r : R d R m a q p : R d R o jsou definovány následovně. Necht n = parents(q) (q 1,...,q n ) je uspořádaná n-tice, pro niž platí ( i ˆn)(q i parents(q)) ( i, j ˆn)(i < j id(q i ) < id(q j )) a konečně q p (x) def = (q1 r (x),...,qr n { (x)) q r (x) def q(q = p (x)) pro n>0 q(x) jinak Poznámka 2.12 Funkce q p vezme výstupy rodičů neuronu q a převede je na podobu jediného vektoru, který je teprve zpracován neuronem q. Funkce q p i q r jsou definovány rekurzivně a slouží k popsání toku dat uvnitř neuronové sítě, narozdíl od funkce q mají vstupní prostor totožný se vstupním prostorem celé neuronové sítě a vracejí výstup z určitého místa v síti. Definice 2.9 Neuronová sít NN = (T, N, g, id) se bude nazývat korektní, pokud platí podmínka ( q N)(dim(Ran(q p )) = indim(q)) (2.1) 10

14 Poznámka 2.13 Definice 2.9 zavádí přirozenou podmínku pro tok dat uvnitř neuronové sítě, nemělo by se stát, že neuronu by ke zpracování dostal vstup, který nepochází ze vstupního prostoru daného neuronu. Jelikož nemá smysl se zabývat neuronovými sítěmi, které nejsou korektní, bude se všude dále pod pojmem neuronová sít uvažovat neuronová sít, která je korektní. Definice 2.10 Necht NN = (T, N, g, id) M NN, funkce q r out se bude nazývat funkce realizovaná neuronovou sítí NN. Poznámka 2.14 Pomocí neuronové sítě je definována jistá funkce f : R d R n, dále se bude často neuronová sít ztotožňovat s funkcí kterou reprezentuje, tato funkce se bude značit NN, tedy NN(x) bude dále reprezentovat funkční hodnotu funkce realizované neuronovou sítí NN. Jelikož hodnota NN(x) je definována pomocí hodnoty přechodové funkce výstupního neuronu, je výstupní dimenze celé neuronové sítě totožná s výstupní dimenzí výstupního neuronu, všude dále se budou uvažovat pouze neuronové sítě, jejich výstupní dimenze je rovna jedné. 2.3 Učení neuronové sítě Definice 2.11 Množina X = {(x, t, i) (x, t, i) R m { 1, +1} N} s vlastnostmi n = X < + m N ( (x, t, i) X)(i ˆn) ( (x 1, t 1, i 1 ), (x 2, t 2, i 2 ) X)((x 1 = x 2 t 1 = t2) (i 1 = i 2 )) se bude nazývat množina vzorů dimenze m, nebo jen množina vzorů. Velikostí X se bude rozumět číslo n. Dále necht (x, t, i) X x se bude nazývat vzor a značit x i t se bude nazývat požadovaná hodnota a značit t i i se bude nazývat index vzoru dvojice (x, t) se bude značit w i množina {x R m ( (x, t, i ) X)(x = x )} se bude značit X x 11

15 množina {t { 1; 1} ( (x, t, i ) X)(t = t )} se bude značit X t Definice 2.12 Necht X je množina vzorů dimenze m a velikosti n, X se bude nazývat učící množina dimenze m s n vzory a značit D L (n, m). Poznámka 2.15 Definice učící množiny je pouze jiné pojmenování pro množinu vzorů, její smysl je pouze ve zvýraznění účelu, ke kterému je daná množina vzorů použita. Definice 2.13 Množina def D L = {D L (n, m) D L (n, m) je učící množina dimenze m s n vzory, kde n, m N} se bude nazývat množina učících množin. Poznámka 2.16 Symbolem D L se někdy bude označovat blíže nespecifikovaná učící množina, z kontextu však bude vždy zřejmé, zda se jedná o jednu učící množinu, či výše definovanou množinu učících množin. Definice 2.14 Necht M f je model neuronu s přechodovou funkcí f, funkce u : D L M f se bude nazývat nenaučený neuron s přechodovou funkcí f. Definice 2.15 Necht NN U = (T, U, g u, id u ) je uspořádaná čtveřice, kde T = (V, E) je topologie U je množina nenaučených neuronů g u : U V je bijekce id u : U ˆv je bijekce, v = V NN U se bude nazývat nenaučená neuronová sít nad topologií T. Definice 2.16 Množina NN T,U def = {NN U NN U je nenaučená neuronová sít nad topologií T } se bude nazývat množina nenaučených neuronových sítí nad topologií T. Definice 2.17 Množina M NN U def = T je topologie NN T,U se bude nazývat množina nenaučených neuronových sítí. 12

16 Definice 2.18 Učící metodou neuronové sítě se bude nazývat funkce L M : L D MU NN M NN, která je definována následovně. Necht l L D, NN U MU NN, NN U = (T, U, G u, id u ), T = (V, E ). kde pro NN platí T = T L M (l, NN U ) def = NN = (T, N, g, id) ( q N)( u U)(id(q) = id(u) ((q = u(l q )) (g(q) = g u (u)))) def kde l q = {(x, t, i ) ( (x, t, i) l)((x, t, i ) = (q p (x), t, i))} Poznámka 2.17 Učící metoda byla definována za použití sady podmínek, které platí pro funkční hodnotu za daných vstupních hodnot. Je samozřejmě možná i konstruktivní definice této funkce, taková definice by však byla velice nepřehledná, proto byl preferován použitý přístup. Poznámka 2.18 Učící metoda přiřazuje učící množině a nenaučené neuronové síti konkrétní neuronovou sít. Z toho, jak byla učící metoda definovaná je vidět, že již předem je nutné zadat topologii neuronové sítě a definovat funkce, pomocí kterých se učí jednotlivé neurony. Proces učení tedy optimalizuje pouze parametry jednotlivých neuronů. Propojení mezi neurony, přechodové funkce neuronů a způsoby učení jednotlivých neuronů jsou již předem dány a zakódovány v nenaučené neuronové sít i. Nenaučená neuronová sít je vlastně předpis, jak za využití učící množiny zkonstuovat neuronovou sít. Z definice množin l q je zřejmé, že se jedná o množinu vzorů, navíc je tato množina definována pomocí rekurzivně definované funkce q p z čehož plyne, že neurony musí být při učení brány v určitém pořadí. Naučení neuronu musí předcházet naučení jeho rodičů. Z definice l q je také vidět, že pro učení každého neuronu jsou použity stejné požadované hodnoty. Definice 2.18 zavádí způsob naučení libovolné neuronové sítě s přepínacími jednotkami. Poznámka 2.19 Další vlastnosti učící metody plynoucí z definice 2.18 jsou: Učící proces neuronové sítě není iterační (při učení jednotlivých neuronů se však iterační metody používají, viz. následující kapitola). Při učení každého neuronu je použitá celá učící množina naráz. Pro naučení neuronu q je třeba mít k dispozici učící množinu složenou z výstupů rodičů q. 13

17 Kapitola 3 Neuron s přepínací jednotkou Neuronové sítě s přepínacími jednotkami, jak název napovídá, obsahují přepínací jednotky. Tyto jednotky se v neuronové síti neobjevují samostatně, ale vždy jako součást neuronu s přepínací jednotkou (důvody lze najít v [HLA01, HLA02]). Nejprve je uveden popis neuronu s přepínací jednotkou a jeho funkcionality, následují detailnější popisy jeho jednotlivých částí. 3.1 Neuron s přepínací jednotkou Na neuron s přepínací jednotkou (NSU) se lze dívat jako na strukturu, která se skládá z právě jedné přepínací jednotky a několika výpočetních jednotek (neuronů), schéma neuronu s přepínací jednotkou je na obrázku 3.1. Zpracování vstupu neuronem s přepínací jednotkou lze popsat slovy následovně: Obrázek 3.1: Schéma neuronu s přepínací jednotkou 14

18 1. přepínací jednotka při zpracování vstupu x rozhodne, který výpočetní neuron vstup x zpracuje 2. výpočetní neuron, který dostane přidělen vstup x ke zpracování, na x aplikuje svoji přechodovou funkci, tím se získá výstup y 3. výstup y výpočetního neuronu se vezme jako výstup neuronu s přepínací jednotkou Formálně lze funkci realizovanou neuronem s přepínací jednotkou popsat následovně: Definice 3.1 Necht k N M f je model neuronu s přechodovou funkcí f q 1,...,q k jsou neurony, q i M f, q i : R n R m pro i ˆk, h : R n ˆk x R n j = h(x) NSU(x) def = f j (x) (3.1) funkce NSU : R n R m se bude nazývat neuron s přepínací jednotkou k se bude nazývat počet výpočetních neuronů h se bude nazývat přepínací jednotka Poznámka 3.1 V předchozí definici tedy funkce h představuje přepínací jednotku a funkce q 1,..., q k jsou výpočetní neurony. Je poněkud problematické, jak odlišit výpočetní neurony a neurony s výpočetní jednotkou pouze pomocí přechodové funkce, nebo jejím tvarem. To, že NSU má po částech definovanou přechodovou funkci, jistě není dostatečné kritérium. Dále se všude bude intuitivně předpokládat, že neuron s přepínací jednotkou se skládá z přepínací jednotky a výpočetních neuronů, které mají již lineární přechodovou funkci a nemají žádnou vnitřní strukturu. Dále budou popsány konkrétní NSU a bude vidět, že víceméně představují po částech lineární funkce. 15

19 Učení NSU s k výpočetními neurony lze popsat následovně: 1. pomocí učící množiny je naučena přepínací jednotka 2. učící množina je rozdělena na k podmnožin pomocí již naučené přepínací jednotky 3. i-tá podmnožina učící množiny je použita k naučení i-tého výpočetního neuronu 3.2 Přepínací jednotka Přepínací jednotka, jak je zřejmé z popisu neuronu s přepínací jednotkou, realizuje funkci h : R n ˆk, kde n je vstupní dimenze neuronu a k je počet výpočetních neuronů. Pro libovolný vstup x tedy rozhodne, který výpočetní neuron by měl daný vstup zpracovat. Pro takové rozhodnutí musí být vstupní prostor nějak popsán. K popisu vstupního prostoru se používá následující postup. Ve vstupním prostoru je umístěno k bodů, každý z těchto bodů je asociován s jedním výpočetním neuronem. Při rozhodování, který výpočetní neuron by měl zpracovat vstup x se zvolí ten, jemuž příslušející bod je nejblíže danému vstupu. Pokud by byla tato vzdálenost stejná pro více bodů, vybere se výpočetní neuron s nejnižším indexem. Detailněji lze přepínací jednotku definovat následovně: Definice 3.2 Necht NSU je neuron s přepínací jednotkou k je počet výpočetních neuronů NSU n = indim(nsu) h : R n ˆk x R n µ 1,...,µ k R n d : R n R n R + 0 d min = min{d(x, µ i ) i ˆk} 16

20 h(x) def = min{i ˆk d min = d(x, µ i )} (3.2) Funkce h se bude nazývat přepínací jednotkou neuronu NSU Poznámka 3.2 Funkce d v definici přepínací jednotky slouží k určování vzdáleností mezi body ze vstupního prostoru. Definice 3.3 Necht x, y R n d e def = d abs def = d sum def = n (x (i) y (i) ) 2 (3.3) i=1 n x (i) y (i) (3.4) i=1 n x (i) i=1 n y (i) (3.5) K učení přepínací jednotky se používají metody shlukové analýzy, viz. dodatek A. Jako vstup pro shlukování se používá množina vzorů z učící množiny, která neobsahuje požadované hodnoty. V principu se pak děje toto: 1. shlukovací metoda rozdělí učící vzory z učící množiny na disjunktní podmnožiny 2. u každé podmnožiny se určí těžiště 3. ke každému (zatím nenaučenému) výpočetnímu neuronu se přiřadí jedno těžiště jako bod µ Na obrázku 3.2 je příklad rozdělení dvojrozměrného vstupního prostoru neuronu při daných učících vzorech. i=1 3.3 Výpočetní neurony Jako výpočetních neuronů uvnitř neuronů s přepínací jednotkou se používají dva typy neuronů, tyto neurony se učí stejným způsobem, liší se však jejich přechodová funkce. 17

21 Obrázek 3.2: Příklad rozdělení dvourozměrného vstupního prostoru do tří částí, černé body reprezentují vzory z učící množiny Definice 3.4 Neuronem typu I se bude nazývat neuron s přechodovou funkcí f : R n R n+1, n N ( ) x f(x) = diag(α 1,...,α n, α n+1 ) 1 Definice 3.5 Neuronem typu II se bude nazývat neuron s přechodovou funkcí f : R n R, n N ( ) x f(x) = (α 1,...,α n+1 ) 1 Parametry neuronů typu I i II jsou nastavovány pomocí metody nejmenších čtverců, jejíž popis lze najít např. v [VIS98, AND85]. 3.4 Determinismus učení Pro srovnání učení neuronových sítí s různými parametry je třeba, aby učení bylo deterministické a to hlavně z následujících důvodů: Pokud by učení nebylo deterministické a při učení neuronové sítě by se sledovala např. veličina X. Později by se mohlo zjistit, že je třeba sledovat i veličinu Y, tím by se staly veškeré již napočtené výsledky nepoužitelné, protože pro získání hodnot veličiny Y by bylo třeba znovu získat hodnoty již dříve naměřené, které by odpovídaly průběhu učení, při kterém bylo provedeno nové měření. Při drobné změně učících dat by učení mělo probíhat podobně, jako při učení původních dat. Pokud se neuronová sít naučí za použití učící 18

22 množiny X, která se později například rozšíří, mělo by učení probíhat alespoň podobně, jako s původní učící množinou, očekávalo by se také, že výsledná sít bude kvalitní. Tento požadavek je trochu naivní, ale rozhodně ho lze lépe splnit v případě deterministického učení. K učení výpočetních neuronů se používá metoda nejmenších čtverců, která je deterministická, procházení celé neuronové sítě při učení je také deterministické. Jediný prvek, kde se využívala náhoda, je učení přepínací jednotky. Některé metody pro učení přepínací jednotky jsou iterační a na počátku již vyžadují odhad řešení, tento odhad se získával náhodným generováním. V kapitole o použitých metodách shlukové analýzy jsou uvedeny výsledky některých experimentů, které ilustrují cilivost iteračních metod na konečném výsledku. Daly by se použít i neiterační metody, ze srovnání výpočetní náročnosti metod shlukové analýzy však vyplývá, že tyto metody jsou od jisté velikosti učící množiny velice náročné pro použití. Je nutné si uvědomit, že pro naučení neuronové sítě může být nutné naučit mnoho přepínacích jednotek a to by mohlo trvat delší čas. Citlivost iteračních metod na počáteční řešení by nemusela být až tak tragická, kdyby se ukázalo, že na celkové učení neuronové sítě to nemá příliš významný dopad. Bohužel z praktických výsledků se ukázalo, že opak je pravdou. Pro ilustraci tohoto jevu jsou uvedeny výsledky, na nichž je ukázáno, jak se liší výsledky těchto sítí při opakovaném učení. Tento experiment vychází z jednoduché představy, že pokud mají dvě síté různou kvalitu, musí se lišit i jejich parametry. Pro několik různých sítí byl proveden tisíckrát následující experiment: 1. neuronová sít byla naučena (jako učící množina byla použita množina vzorů, která je označena v kapitole 6 jako heart 2. byly spočteny výstupy neuronové sítě, kde jako vstupy byly použity vzory z učící množiny 3. byla spočtena chyba klasifikace danou sítí (poměr špatně klasifikovaných vzorů ku počtu všech vzorů, kde za špatně ohodnocený vzor byl považovaný vzor, u něhož byla sít učena na hodnotu +1 resp. -1, ale sít ho později zařadila blíže -1 resp. +1) 4. uložení kvality Na obrázcích 3.3, 3.4 a 3.5 je vždy vlevo uveden historgram chyb neuronové sítě, vpravo je uvedena topologie neuronové sítě, které odpovídá 19

23 daný histogram. Z uvedených histogramů lze usoudit, že kvality neuronových sítí, které byly učeny pomocí stejné nenaučené neuronové sítě a stejné učící množiny, se liší, z toho plyne, že i odpovídající neuronové sítě se liší. Náhodný počáteční rozklad tedy ovlivňuje učení sítí. Histogram chyby naučené neuronové sítě Frekvence Chyba Obrázek 3.3: Histogram chyby klasifikace a topologie odpovídající neuronové sítě 3.5 Srovnání metod použitých pro učení přepínací jednotky Pro učení přepínací jednotky byly používány následující metody shlukové analýzy. Iterační metody Forgy rand Forgy PCA Forgy LA Hierarchické metody Nejbližší soused Nejvzálenější soused 20

24 Histogram chyby naučené neuronové sítě Frekvence Chyba Obrázek 3.4: Histogram chyby klasifikace a topologie odpovídající neuronové sítě Průměrná nepodobnost Z iteračních metod jsou použity různé varianty Forgyho metody, tyto varianty se liší ve způsobu určení počátečního řešení, které se dále iteračně zlepšuje. Varianta Forgy rand vybere náhodně k bodů a ostatní body jsou zařazeny do shluku k nejbližšímu bodu, varianty Forgy PCA a Forgy LA používají metodu PCA Part a její variantu LA ( viz. odstavec A.2.3) k nalezení počátečního rozkladu. Tyto jednotlivé metody pracují na různých principech a minimalizují i různá kritéria pro rozdělení vzorů do shluků. To je důvod, proč tyto metody nebyly srovnávány přímo v rámci shlukové analýzy. Srovnána byla výpočetní náročnost těchto algoritmů, v kapitole 7 jsou uvedeny výsledky, které byly získány při zjišt ování vlivu jednotlivých metod na celkové učení neuronových sítí. Hlavní parametry ovlivňující metody shlukové analýzy jsou počet vzorů určených ke shlukování, jejich dimenze a způsob určování vzdálenosti mezi vzory. Uvedené výsledky byly získány při použití euklidovské vzdálenosti. 3.6 Srovnání v závislosti na počtu vzorů Na obrázku 3.6 je vidět závislost doby výpočtu na velikosti učící množiny (pro výpočet bylo vždy vzato prvních n vzorů) pro veškeré uvedené metody 21

25 Histogram chyby naučené neuronové sítě Frekvence Chyba Obrázek 3.5: Histogram chyby klasifikace a topologie odpovídající neuronové sítě najednou. Z tohoto obrázku je zřejmé, že výpočetní náročnost hierarchických metod je značně vyšší než náročnost Forgyho metody. To vyplývá ze složitosti uvedených metod (viz dodatek A). Veškeré shlukování bylo provedeno pro deset shluků. Na obrázcích 3.7 až 3.12 jsou uvedeny zvlášt hierarchické metody a varianty Forgyho metody pro různé dimenze vstupních dat (pro vzory bylo použito vždy prvních k hodnot z učící množiny mushroom1-lrn) Na obrázku je uvedeno srovnání pro učící množinu heart1-lrn. Tato množina dat obsahuje méně vzorů, než mushroom1-lrn. Je vidět, že při nižší velikosti učící množiny ( 500) je rozdíl v čásové náročnosti malý, hierarchické metody jsou v tomto případě dokonce rychlejší než Forgy PCA. 3.7 Srovnání v závislosti na počtu shluků Kromě počtu vzorů v učící množině, je dalším parametrem počet hledaných shluků. Na obrázcích 3.15 a 3.15 jsou zobrazeny závislosti doby potřebné pro shlukování v závislosti na počtu shluků při konstantní velikosti učící množiny. 3.8 Závěry Ze srovnání vedených metod lze dojít k následujícím závěrům: 22

26 Používané metody Čas výpočtu[s] Forgy LA Forgy PCA Forgy rand Nejbližší soused Průměrná nepodobnost nejvzdálenější soused Počet prvků v datové množině Obrázek 3.6: Závislost doby výpočtu použitých metod na počtu prvků ve vstupní množině, data mushroom1-lrn (dim=125) hierarchické metody jsou od určité hranice daleko náročnější na výpočetní čas než iterační metody pro učící množiny s menším počtem vzorů ( 700) je výpočetní náročnost hierarchických a iteračních metod podobná, dokonce jsou hierarchické metody méně náročné než iterační metoda Forgy PCA uvedené hierarchické metody mají přibližně stejné nároky na výpočetní čas, nejsou citlivé na počet shluků Forgy PCA je významně náročnější, než další varianty Forgyho metody, přičemž náročnost těchto metod je ovlivněna počtem shluků Poznámka 3.3 Z deterministických variant Forgyho metody je varianta Forgy LA výrazně méně náročná na výpočetní čas, bylo by pozitivní zjištění, že výsledky celých neuronových sítí jsou při použití jednotlivých variant srovnatelné. 23

27 Hierarchické metody Nejbližší soused Průměrná nepodobnost nejvzdálenější soused Čas výpočtu[s] Počet prvků v datové množině Obrázek 3.7: Závislost doby výpočtu hierarchických metod na počtu prvků ve vstupní množině (dim=125) Iterační metody Čas výpočtu[s] Forgy LA Forgy PCA Forgy rand Počet prvků v datové množině Obrázek 3.8: Závislost doby výpočtu iteračních metod na počtu prvků ve vstupní množině (dim=125) 24

Úloha - rozpoznávání číslic

Úloha - rozpoznávání číslic Úloha - rozpoznávání číslic Vojtěch Franc, Tomáš Pajdla a Tomáš Svoboda http://cmp.felk.cvut.cz 27. listopadu 26 Abstrakt Podpůrný text pro cvičení předmětu X33KUI. Vysvětluje tři způsoby rozpoznávání

Více

Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Pravděpodobnost a učení Doc. RNDr. Iveta Mrázová,

Více

5 Orientované grafy, Toky v sítích

5 Orientované grafy, Toky v sítích Petr Hliněný, FI MU Brno, 205 / 9 FI: IB000: Toky v sítích 5 Orientované grafy, Toky v sítích Nyní se budeme zabývat typem sít ových úloh, ve kterých není podstatná délka hran a spojení, nýbž jejich propustnost

Více

7. Rozdělení pravděpodobnosti ve statistice

7. Rozdělení pravděpodobnosti ve statistice 7. Rozdělení pravděpodobnosti ve statistice Statistika nuda je, má však cenné údaje, neklesejte na mysli, ona nám to vyčíslí Jednou z úloh statistiky je odhad (výpočet) hodnot statistického znaku x i,

Více

Téma 2: Pravděpodobnostní vyjádření náhodných veličin

Téma 2: Pravděpodobnostní vyjádření náhodných veličin 0.05 0.0 0.05 0.0 0.005 Nominální napětí v pásnici Std Mean 40 60 80 00 0 40 60 Std Téma : Pravděpodobnostní vyjádření náhodných veličin Přednáška z předmětu: Spolehlivost a bezpečnost staveb 4. ročník

Více

Téma 2: Pravděpodobnostní vyjádření náhodných veličin

Téma 2: Pravděpodobnostní vyjádření náhodných veličin 0.025 0.02 0.015 0.01 0.005 Nominální napětí v pásnici Std Mean 140 160 180 200 220 240 260 Std Téma 2: Pravděpodobnostní vyjádření náhodných veličin Přednáška z předmětu: Pravděpodobnostní posuzování

Více

UČENÍ BEZ UČITELE. Václav Hlaváč

UČENÍ BEZ UČITELE. Václav Hlaváč UČENÍ BEZ UČITELE Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz, http://cmp.felk.cvut.cz/~hlavac 1/22 OBSAH PŘEDNÁŠKY ÚVOD Učení

Více

MATICE. a 11 a 12 a 1n a 21 a 22 a 2n A = = [a ij]

MATICE. a 11 a 12 a 1n a 21 a 22 a 2n A = = [a ij] MATICE Matice typu m/n nad tělesem T je soubor m n prvků z tělesa T uspořádaných do m řádků a n sloupců: a 11 a 12 a 1n a 21 a 22 a 2n A = = [a ij] a m1 a m2 a mn Prvek a i,j je prvek matice A na místě

Více

AVDAT Mnohorozměrné metody, metody klasifikace Shluková analýza

AVDAT Mnohorozměrné metody, metody klasifikace Shluková analýza AVDAT Mnohorozměrné metody, metody klasifikace Shluková analýza Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Shluková analýza Cílem shlukové analýzy je nalézt v datech podmnožiny

Více

ANTAGONISTICKE HRY 172

ANTAGONISTICKE HRY 172 5 ANTAGONISTICKÉ HRY 172 Antagonistický konflikt je rozhodovací situace, v níž vystupují dva inteligentní rozhodovatelé, kteří se po volbě svých rozhodnutí rozdělí o pevnou částku, jejíž výše nezávisí

Více

Vektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice

Vektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice Vektorové podprostory, lineární nezávislost, báze, dimenze a souřadnice Vektorové podprostory K množina reálných nebo komplexních čísel, U vektorový prostor nad K. Lineární kombinace vektorů u 1, u 2,...,u

Více

Dijkstrův algoritmus

Dijkstrův algoritmus Dijkstrův algoritmus Hledání nejkratší cesty v nezáporně hranově ohodnoceném grafu Necht je dán orientovaný graf G = (V, H) a funkce, která každé hraně h = (u, v) H přiřadí nezáporné reálné číslo označované

Více

Základní pojmy teorie množin Vektorové prostory

Základní pojmy teorie množin Vektorové prostory Základní pojmy teorie množin Přednáška MATEMATIKA č. 1 Katedra ekonometrie FEM UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz 7. 10. 2010 Základní pojmy teorie množin Základní pojmy

Více

1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004.

1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004. Prostá regresní a korelační analýza 1 1 Tyto materiály byly vytvořeny za pomoci grantu FRVŠ číslo 1145/2004. Problematika závislosti V podstatě lze rozlišovat mezi závislostí nepodstatnou, čili náhodnou

Více

Symetrické a kvadratické formy

Symetrické a kvadratické formy Symetrické a kvadratické formy Aplikace: klasifikace kvadrik(r 2 ) a kvadratických ploch(r 3 ), optimalizace(mpi) BI-LIN (Symetrické a kvadratické formy) 1 / 20 V celé přednášce uvažujeme číselné těleso

Více

Projekční algoritmus. Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění. Jan Klíma

Projekční algoritmus. Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění. Jan Klíma Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění Jan Klíma Obsah Motivace & cíle práce Evoluční algoritmy Náhradní modelování Stromové regresní metody Implementace a výsledky

Více

PRIMITIVNÍ FUNKCE DEFINICE A MOTIVACE

PRIMITIVNÍ FUNKCE DEFINICE A MOTIVACE PIMITIVNÍ FUNKCE V předchozích částech byly zkoumány derivace funkcí a hlavním tématem byly funkce, které derivace mají. V této kapitole se budou zkoumat funkce, které naopak jsou derivacemi jiných funkcí

Více

PRIMITIVNÍ FUNKCE. Primitivní funkce primitivní funkce. geometrický popis integrály 1 integrály 2 spojité funkce konstrukce prim.

PRIMITIVNÍ FUNKCE. Primitivní funkce primitivní funkce. geometrický popis integrály 1 integrály 2 spojité funkce konstrukce prim. PRIMITIVNÍ FUNKCE V předchozích částech byly zkoumány derivace funkcí a hlavním tématem byly funkce, které derivace mají. V této kapitole se budou zkoumat funkce, které naopak jsou derivacemi jiných funkcí

Více

Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1

Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1 Logistická regrese Menu: QCExpert Regrese Logistická Modul Logistická regrese umožňuje analýzu dat, kdy odezva je binární, nebo frekvenční veličina vyjádřená hodnotami 0 nebo 1, případně poměry v intervalu

Více

1 Linearní prostory nad komplexními čísly

1 Linearní prostory nad komplexními čísly 1 Linearní prostory nad komplexními čísly V této přednášce budeme hledat kořeny polynomů, které se dále budou moci vyskytovat jako složky vektorů nebo matic Vzhledem k tomu, že kořeny polynomu (i reálného)

Více

Neuronové časové řady (ANN-TS)

Neuronové časové řady (ANN-TS) Neuronové časové řady (ANN-TS) Menu: QCExpert Prediktivní metody Neuronové časové řady Tento modul (Artificial Neural Network Time Series ANN-TS) využívá modelovacího potenciálu neuronové sítě k predikci

Více

Moderní systémy pro získávání znalostí z informací a dat

Moderní systémy pro získávání znalostí z informací a dat Moderní systémy pro získávání znalostí z informací a dat Jan Žižka IBA Institut biostatistiky a analýz PřF & LF, Masarykova universita Kamenice 126/3, 625 00 Brno Email: zizka@iba.muni.cz Bioinformatika:

Více

Regresní a korelační analýza

Regresní a korelační analýza Regresní a korelační analýza Mějme dvojici proměnných, které spolu nějak souvisí. x je nezávisle (vysvětlující) proměnná y je závisle (vysvětlovaná) proměnná Chceme zjistit funkční závislost y = f(x).

Více

Moderní technologie ve studiu aplikované fyziky CZ.1.07/2.2.00/ Množiny, funkce

Moderní technologie ve studiu aplikované fyziky CZ.1.07/2.2.00/ Množiny, funkce Moderní technologie ve studiu aplikované fyziky CZ.1.07/2.2.00/07.0018 2. Množiny, funkce MNOŽIN, ZÁKLDNÍ POJMY Pojem množiny patří v matematice ke stěžejním. Nelze jej zavést ve formě definice pomocí

Více

Lineární algebra : Báze a dimenze

Lineární algebra : Báze a dimenze Lineární algebra : Báze a dimenze (5. přednáška) František Štampach, Karel Klouda LS 2013/2014 vytvořeno: 9. dubna 2014, 13:33 1 2 5.1 Báze lineárního prostoru Definice 1. O množině vektorů M z LP V řekneme,

Více

Fyzikální korespondenční seminář MFF UK

Fyzikální korespondenční seminář MFF UK Úloha I.S... náhodná 10 bodů; průměr 7,04; řešilo 45 studentů a) Zkuste vlastními slovy popsat, co je to náhodná veličina a jaké má vlastnosti (postačí vlastními slovy objasnit následující pojmy: náhodná

Více

Matematika B101MA1, B101MA2

Matematika B101MA1, B101MA2 Matematika B101MA1, B101MA2 Zařazení předmětu: povinný předmět 1.ročníku bc studia 2 semestry Rozsah předmětu: prezenční studium 2 + 2 kombinované studium 16 + 0 / semestr Zakončení předmětu: ZS zápočet

Více

2. RBF neuronové sítě

2. RBF neuronové sítě 2. RBF neuronové sítě Kapitola pojednává o neuronových sítích typu RBF. V kapitole je popsána základní struktura tohoto typu neuronové sítě. Poté následuje definice a charakteristika jednotlivých radiálně

Více

Uspořádanou n-tici reálných čísel nazveme aritmetický vektor (vektor), ā = (a 1, a 2,..., a n ). Čísla a 1, a 2,..., a n se nazývají složky vektoru

Uspořádanou n-tici reálných čísel nazveme aritmetický vektor (vektor), ā = (a 1, a 2,..., a n ). Čísla a 1, a 2,..., a n se nazývají složky vektoru 1 1. Lineární algebra 1.1. Lineární závislost a nezávislost vektorů. Hodnost matice Aritmetické vektory Uspořádanou n-tici reálných čísel nazveme aritmetický vektor (vektor), ā = (a 1, a 2,..., a n ).

Více

Úlohy nejmenších čtverců

Úlohy nejmenších čtverců Úlohy nejmenších čtverců Petr Tichý 7. listopadu 2012 1 Problémy nejmenších čtverců Ax b Řešení Ax = b nemusí existovat, a pokud existuje, nemusí být jednoznačné. Často má smysl hledat x tak, že Ax b.

Více

Aplikovaná numerická matematika

Aplikovaná numerická matematika Aplikovaná numerická matematika 6. Metoda nejmenších čtverců doc. Ing. Róbert Lórencz, CSc. České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových systémů Příprava studijních

Více

Rozdělování dat do trénovacích a testovacích množin

Rozdělování dat do trénovacích a testovacích množin Rozdělování dat do trénovacích a testovacích množin Marcel Jiřina Rozpoznávání je důležitou metodou při zpracování reálných úloh. Rozpoznávání je definováno dvěma kroky a to pořízením dat o reálném rozpoznávaném

Více

Kybernetika a umělá inteligence, cvičení 10/11

Kybernetika a umělá inteligence, cvičení 10/11 Kybernetika a umělá inteligence, cvičení 10/11 Program 1. seminární cvičení: základní typy klasifikátorů a jejich princip 2. počítačové cvičení: procvičení na problému rozpoznávání číslic... body za aktivitu

Více

2. Množiny, funkce. Poznámka: Prvky množiny mohou být opět množiny. Takovou množinu, pak nazýváme systém množin, značí se

2. Množiny, funkce. Poznámka: Prvky množiny mohou být opět množiny. Takovou množinu, pak nazýváme systém množin, značí se MNOŽIN, ZÁKLDNÍ POJMY Pojem množiny patří v matematice ke stěžejním. Nelze jej zavést ve formě definice pomocí primitivních pojmů; považuje se totiž rovněž za pojem primitivní. Představa o pojmu množina

Více

Statistická teorie učení

Statistická teorie učení Statistická teorie učení Petr Havel Marek Myslivec přednáška z 9. týdne 1 Úvod Představme si situaci výrobce a zákazníka, který si u výrobce objednal algoritmus rozpoznávání. Zákazník dodal experimentální

Více

Matice. Modifikace matic eliminační metodou. α A = α a 2,1, α a 2,2,..., α a 2,n α a m,1, α a m,2,..., α a m,n

Matice. Modifikace matic eliminační metodou. α A = α a 2,1, α a 2,2,..., α a 2,n α a m,1, α a m,2,..., α a m,n [1] Základní pojmy [2] Matice mezi sebou sčítáme a násobíme konstantou (lineární prostor) měníme je na jiné matice eliminační metodou násobíme je mezi sebou... Matice je tabulka čísel s konečným počtem

Více

Definice 7.1 Nechť je dán pravděpodobnostní prostor (Ω, A, P). Zobrazení. nebo ekvivalentně

Definice 7.1 Nechť je dán pravděpodobnostní prostor (Ω, A, P). Zobrazení. nebo ekvivalentně 7 Náhodný vektor Nezávislost náhodných veličin Definice 7 Nechť je dán pravděpodobnostní prostor (Ω, A, P) Zobrazení X : Ω R n, které je A-měřitelné, se nazývá (n-rozměrný) náhodný vektor Měřitelností

Více

0.1 Úvod do matematické analýzy

0.1 Úvod do matematické analýzy Matematika I (KMI/PMATE) 1 0.1 Úvod do matematické analýzy 0.1.1 Pojem funkce Veličina - pojem, který popisuje kvantitativní (číselné) vlastnosti reálných i abstraktních objektů. Příklady veličin: hmotnost

Více

Matematika B101MA1, B101MA2

Matematika B101MA1, B101MA2 Matematika B101MA1, B101MA2 Zařazení předmětu: povinný předmět 1.ročníku bc studia 2 semestry Rozsah předmětu: prezenční studium 2 + 2 kombinované studium 16 + 0 / semestr Zakončení předmětu: ZS zápočet

Více

2 Zpracování naměřených dat. 2.1 Gaussův zákon chyb. 2.2 Náhodná veličina a její rozdělení

2 Zpracování naměřených dat. 2.1 Gaussův zákon chyb. 2.2 Náhodná veličina a její rozdělení 2 Zpracování naměřených dat Důležitou součástí každé experimentální práce je statistické zpracování naměřených dat. V této krátké kapitole se budeme věnovat určení intervalů spolehlivosti získaných výsledků

Více

13 Barvy a úpravy rastrového

13 Barvy a úpravy rastrového 13 Barvy a úpravy rastrového Studijní cíl Tento blok je věnován základním metodám pro úpravu rastrového obrazu, jako je např. otočení, horizontální a vertikální překlopení. Dále budo vysvětleny různé metody

Více

2. Určete jádro KerL zobrazení L, tj. nalezněte alespoň jednu jeho bázi a určete jeho dimenzi.

2. Určete jádro KerL zobrazení L, tj. nalezněte alespoň jednu jeho bázi a určete jeho dimenzi. Řešené příklady z lineární algebry - část 3 Typové příklady s řešením Příklad 3.1: Zobrazení L: P 3 R 23 je zobrazení z prostoru P 3 všech polynomů do stupně 3 (včetně nulového polynomu) do prostoru R

Více

Jiří Neubauer. Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel

Jiří Neubauer. Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel Katedra ekonometrie, FVL, UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Výsledky některých náhodných pokusů jsou přímo vyjádřeny číselně (např. při hodu kostkou padne 6). Náhodnou veličinou

Více

Vícerozměrné statistické metody

Vícerozměrné statistické metody Vícerozměrné statistické metody Shluková analýza Jiří Jarkovský, Simona Littnerová FSTA: Pokročilé statistické metody Typy shlukových analýz Shluková analýza: cíle a postupy Shluková analýza se snaží o

Více

Regresní analýza 1. Regresní analýza

Regresní analýza 1. Regresní analýza Regresní analýza 1 1 Regresní funkce Regresní analýza Důležitou statistickou úlohou je hledání a zkoumání závislostí proměnných, jejichž hodnoty získáme při realizaci experimentů Vzhledem k jejich náhodnému

Více

Klasifikace a rozpoznávání. Lineární klasifikátory

Klasifikace a rozpoznávání. Lineární klasifikátory Klasifikace a rozpoznávání Lineární klasifikátory Opakování - Skalární součin x = x1 x 2 w = w T x = w 1 w 2 x 1 x 2 w1 w 2 = w 1 x 1 + w 2 x 2 x. w w T x w Lineární klasifikátor y(x) = w T x + w 0 Vyber

Více

Úvodem Dříve les než stromy 3 Operace s maticemi

Úvodem Dříve les než stromy 3 Operace s maticemi Obsah 1 Úvodem 13 2 Dříve les než stromy 17 2.1 Nejednoznačnost terminologie 17 2.2 Volba metody analýzy dat 23 2.3 Přehled vybraných vícerozměrných metod 25 2.3.1 Metoda hlavních komponent 26 2.3.2 Faktorová

Více

9. T r a n s f o r m a c e n á h o d n é v e l i č i n y

9. T r a n s f o r m a c e n á h o d n é v e l i č i n y 9. T r a n s f o r m a c e n á h o d n é v e l i č i n Při popisu procesů zpracováváme vstupní údaj, hodnotu x tak, že výstupní hodnota závisí nějakým způsobem na vstupní, je její funkcí = f(x). Pokud

Více

8 Střední hodnota a rozptyl

8 Střední hodnota a rozptyl Břetislav Fajmon, UMAT FEKT, VUT Brno Této přednášce odpovídá kapitola 10 ze skript [1]. Také je k dispozici sbírka úloh [2], kde si můžete procvičit příklady z kapitol 2, 3 a 4. K samostatnému procvičení

Více

Rosenblattův perceptron

Rosenblattův perceptron Perceptron Přenosové funkce Rosenblattův perceptron Rosenblatt r. 1958. Inspirace lidským okem Podle fyziologického vzoru je třívrstvá: Vstupní vrstva rozvětvovací jejím úkolem je mapování dvourozměrného

Více

Pravděpodobně skoro správné. PAC učení 1

Pravděpodobně skoro správné. PAC učení 1 Pravděpodobně skoro správné (PAC) učení PAC učení 1 Výpočetní teorie strojového učení Věta o ošklivém kačátku. Nechť E je klasifikovaná trénovací množina pro koncept K, který tvoří podmnožinu konečného

Více

Střední hodnota a rozptyl náhodné. kvantilu. Ing. Michael Rost, Ph.D.

Střední hodnota a rozptyl náhodné. kvantilu. Ing. Michael Rost, Ph.D. Střední hodnota a rozptyl náhodné veličiny, vybraná rozdělení diskrétních a spojitých náhodných veličin, pojem kvantilu Ing. Michael Rost, Ph.D. Príklad Předpokládejme že máme náhodnou veličinu X která

Více

Stanovení nejistot při výpočtu kontaminace zasaženého území

Stanovení nejistot při výpočtu kontaminace zasaženého území Stanovení nejistot při výpočtu kontaminace zasaženého území Michal Balatka Abstrakt Hodnocení ekologického rizika kontaminovaných území představuje komplexní úlohu, která vyžaduje celou řadu vstupních

Více

SEMESTRÁLNÍ PRÁCE X. Aproximace křivek Numerické vyhlazování

SEMESTRÁLNÍ PRÁCE X. Aproximace křivek Numerické vyhlazování KATEDRA ANALYTICKÉ CHEMIE FAKULTY CHEMICKO TECHNOLOGICKÉ UNIVERSITA PARDUBICE - Licenční studium chemometrie LS96/1 SEMESTRÁLNÍ PRÁCE X. Aproximace křivek Numerické vyhlazování Praha, leden 1999 0 Úloha

Více

2.1.4 Funkce, definiční obor funkce. π 4. Předpoklady: 2103. Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují.

2.1.4 Funkce, definiční obor funkce. π 4. Předpoklady: 2103. Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují. .. Funkce, definiční obor funkce Předpoklady: 03 Pedagogická poznámka: Následující ukázky si studenti do sešitů nepřepisují. Uděláme si na tabuli jenom krátký seznam: S = a, y = x, s = vt, výška lidí v

Více

Funkce. Definiční obor a obor hodnot

Funkce. Definiční obor a obor hodnot Funkce Definiční obor a obor hodnot Opakování definice funkce Funkce je předpis, který každému číslu z definičního oboru, který je podmnožinou množiny všech reálných čísel R, přiřazuje právě jedno reálné

Více

Profilování vzorků heroinu s využitím vícerozměrné statistické analýzy

Profilování vzorků heroinu s využitím vícerozměrné statistické analýzy Profilování vzorků heroinu s využitím vícerozměrné statistické analýzy Autor práce : RNDr. Ivo Beroun,CSc. Vedoucí práce: prof. RNDr. Milan Meloun, DrSc. PROFILOVÁNÍ Profilování = klasifikace a rozlišování

Více

Triangulace. Význam triangulace. trojúhelník je základní grafický element aproximace ploch předzpracování pro jiné algoritmy. příklad triangulace

Triangulace. Význam triangulace. trojúhelník je základní grafický element aproximace ploch předzpracování pro jiné algoritmy. příklad triangulace Význam triangulace trojúhelník je základní grafický element aproximace ploch předzpracování pro jiné algoritmy příklad triangulace Definice Triangulace nad množinou bodů v rovině představuje takové planární

Více

I. D i s k r é t n í r o z d ě l e n í

I. D i s k r é t n í r o z d ě l e n í 6. T y p y r o z d ě l e n í Poznámka: V odst. 5.5-5.10 jsme uvedli příklady náhodných veličin a jejich distribučních funkcí. Poznali jsme, že se od sebe liší svým typem. V příkladech 5.5, 5.6 a 5.8 jsme

Více

Náhodný vektor a jeho charakteristiky

Náhodný vektor a jeho charakteristiky Náhodný vektor a jeho číselné charakteristiky 1 Náhodný vektor a jeho charakteristiky V následující kapitole budeme věnovat pozornost pouze dvourozměřnému náhodnému vektoru, i když uvedené pojmy a jejich

Více

ALGORITMY A DATOVÉ STRUKTURY

ALGORITMY A DATOVÉ STRUKTURY Název tématického celku: Cíl: ALGORITMY A DATOVÉ STRUKTURY Metodický list č. 1 Časová složitost algoritmů Základním cílem tohoto tematického celku je vysvětlení potřebných pojmů a definic nutných k popisu

Více

9 Kolmost vektorových podprostorů

9 Kolmost vektorových podprostorů 9 Kolmost vektorových podprostorů Od kolmosti dvou vektorů nyní přejdeme ke kolmosti dvou vektorových podprostorů. Budeme se zabývat otázkou, kdy jsou dva vektorové podprostory na sebe kolmé a jak to poznáme.

Více

REGRESNÍ ANALÝZA V PROSTŘEDÍ MATLAB

REGRESNÍ ANALÝZA V PROSTŘEDÍ MATLAB 62 REGRESNÍ ANALÝZA V PROSTŘEDÍ MATLAB BEZOUŠKA VLADISLAV Abstrakt: Text se zabývá jednoduchým řešením metody nejmenších čtverců v prostředí Matlab pro obecné víceparametrové aproximační funkce. Celý postup

Více

Jednofaktorová analýza rozptylu

Jednofaktorová analýza rozptylu I I.I Jednofaktorová analýza rozptylu Úvod Jednofaktorová analýza rozptylu (ANOVA) se využívá při porovnání několika středních hodnot. Často se využívá ve vědeckých a lékařských experimentech, při kterých

Více

Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2014

Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2014 Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2014 Zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia

Více

p(x) = P (X = x), x R,

p(x) = P (X = x), x R, 6. T y p y r o z d ě l e n í Poznámka: V odst. 5.5-5.10 jsme uvedli příklady náhodných veličin a jejich distribučních funkcí. Poznali jsme, že se od sebe liší svým typem. V příkladech 5.5, 5.6 a 5.8 jsme

Více

2. Schurova věta. Petr Tichý. 3. října 2012

2. Schurova věta. Petr Tichý. 3. října 2012 2. Schurova věta Petr Tichý 3. října 2012 1 Podobnostní transformace a výpočet vlastních čísel Obecný princip: Úloha: Řešíme-li matematickou úlohu, je často velmi vhodné hledat její ekvivalentní formulaci

Více

Normální (Gaussovo) rozdělení

Normální (Gaussovo) rozdělení Normální (Gaussovo) rozdělení Normální (Gaussovo) rozdělení popisuje vlastnosti náhodné spojité veličiny, která vzniká složením různých náhodných vlivů, které jsou navzájem nezávislé, kterých je velký

Více

Praktická statistika. Petr Ponížil Eva Kutálková

Praktická statistika. Petr Ponížil Eva Kutálková Praktická statistika Petr Ponížil Eva Kutálková Zápis výsledků měření Předpokládejme, že známe hodnotu napětí U = 238,9 V i její chybu 3,3 V. Hodnotu veličiny zapíšeme na tolik míst, aby až poslední bylo

Více

Funkce a lineární funkce pro studijní obory

Funkce a lineární funkce pro studijní obory Variace 1 Funkce a lineární funkce pro studijní obory Autor: Mgr. Jaromír JUŘEK Kopírování a jakékoliv další využití výukového materiálu je povoleno pouze s uvedením odkazu na www.jarjurek.cz. 1. Funkce

Více

Maticí typu (m, n), kde m, n jsou přirozená čísla, se rozumí soubor mn veličin a jk zapsaných do m řádků a n sloupců tvaru:

Maticí typu (m, n), kde m, n jsou přirozená čísla, se rozumí soubor mn veličin a jk zapsaných do m řádků a n sloupců tvaru: 3 Maticový počet 3.1 Zavedení pojmu matice Maticí typu (m, n, kde m, n jsou přirozená čísla, se rozumí soubor mn veličin a jk zapsaných do m řádků a n sloupců tvaru: a 11 a 12... a 1k... a 1n a 21 a 22...

Více

2D transformací. červen Odvození transformačního klíče vybraných 2D transformací Metody vyrovnání... 2

2D transformací. červen Odvození transformačního klíče vybraných 2D transformací Metody vyrovnání... 2 Výpočet transformačních koeficinetů vybraných 2D transformací Jan Ježek červen 2008 Obsah Odvození transformačního klíče vybraných 2D transformací 2 Meto vyrovnání 2 2 Obecné vyjádření lineárních 2D transformací

Více

ANALÝZA A KLASIFIKACE DAT

ANALÝZA A KLASIFIKACE DAT ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz III. PŘÍZNAKOVÁ KLASIFIKACE - ÚVOD PŘÍZNAKOVÝ POPIS Příznakový obraz x zpracovávaných

Více

Odhad parametrů N(µ, σ 2 )

Odhad parametrů N(µ, σ 2 ) Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný

Více

Necht L je lineární prostor nad R. Operaci : L L R nazýváme

Necht L je lineární prostor nad R. Operaci : L L R nazýváme Skalární součin axiomatická definice odvození velikosti vektorů a úhlu mezi vektory geometrická interpretace ortogonalita vlastnosti ortonormálních bázi [1] Definice skalárního součinu Necht L je lineární

Více

Matematika I (KMI/PMATE)

Matematika I (KMI/PMATE) Přednáška první aneb Úvod do matematické analýzy Funkce a její vlastnosti Úvod do matematické analýzy Osnova přednášky pojem funkce definice funkce graf funkce definiční obor funkce obor hodnot funkce

Více

Odhad stavu matematického modelu křižovatek

Odhad stavu matematického modelu křižovatek Odhad stavu matematického modelu křižovatek Miroslav Šimandl, Miroslav Flídr a Jindřich Duník Katedra kybernetiky & Výzkumné centrum Data-Algoritmy-Rozhodování Fakulta aplikovaných věd Západočeská univerzita

Více

Diskrétní náhodná veličina. November 12, 2008

Diskrétní náhodná veličina. November 12, 2008 Diskrétní náhodná veličina November 12, 2008 (Náhodná veličina (náhodná proměnná)) Náhodná veličina (nebo též náhodná proměnná) je veličina X, jejíž hodnota je jednoznačně určena výsledkem náhodného pokusu.

Více

10. N á h o d n ý v e k t o r

10. N á h o d n ý v e k t o r 10. N á h o d n ý v e k t o r 10.1. Definice: Náhodný vektor. Uspořádanou n tici (X 1, X 2,..., X n ) náhodných veličin X i, 1 i n, nazýváme náhodným vektorem. Poznámka: Pro jednoduchost budeme zavádět

Více

Pojmy z kombinatoriky, pravděpodobnosti, znalosti z kapitoly náhodná veličina, znalost parciálních derivací, dvojného integrálu.

Pojmy z kombinatoriky, pravděpodobnosti, znalosti z kapitoly náhodná veličina, znalost parciálních derivací, dvojného integrálu. 6. NÁHODNÝ VEKTOR Průvodce studiem V počtu pravděpodobnosti i v matematické statistice se setkáváme nejen s náhodnými veličinami, jejichž hodnotami jsou reálná čísla, ale i s takovými, jejichž hodnotami

Více

TECHNICKÁ UNIVERZITA V LIBERCI

TECHNICKÁ UNIVERZITA V LIBERCI TECHNICKÁ UNIVERZITA V LIBERCI Fakulta mechatroniky, informatiky a mezioborových studií Základní pojmy diagnostiky a statistických metod vyhodnocení Učební text Ivan Jaksch Liberec 2012 Materiál vznikl

Více

ANALYTICKÁ GEOMETRIE V ROVINĚ

ANALYTICKÁ GEOMETRIE V ROVINĚ ANALYTICKÁ GEOMETRIE V ROVINĚ Analytická geometrie vyšetřuje geometrické objekty (body, přímky, kuželosečky apod.) analytickými metodami. Podle prostoru, ve kterém pracujeme, můžeme analytickou geometrii

Více

ALGEBRA. Téma 5: Vektorové prostory

ALGEBRA. Téma 5: Vektorové prostory SLEZSKÁ UNIVERZITA V OPAVĚ Matematický ústav v Opavě Na Rybníčku 1, 746 01 Opava, tel. (553) 684 611 DENNÍ STUDIUM Téma 5: Vektorové prostory Základní pojmy Vektorový prostor nad polem P, reálný (komplexní)

Více

Určujeme neznámé hodnoty parametru základního souboru. Pomocí výběrové charakteristiky vypočtené z náhodného výběru.

Určujeme neznámé hodnoty parametru základního souboru. Pomocí výběrové charakteristiky vypočtené z náhodného výběru. 1 Statistické odhady Určujeme neznámé hodnoty parametru základního souboru. Pomocí výběrové charakteristiky vypočtené z náhodného výběru. Odhad lze provést jako: Bodový odhad o Jedna číselná hodnota Intervalový

Více

Skalární součin je nástroj, jak měřit velikost vektorů a úhly mezi vektory v reálných a komplexních vektorových prostorech.

Skalární součin je nástroj, jak měřit velikost vektorů a úhly mezi vektory v reálných a komplexních vektorových prostorech. Kapitola 9 Skalární součin Skalární součin je nástroj, jak měřit velikost vektorů a úhly mezi vektory v reálných a komplexních vektorových prostorech. Definice 9.1 Je-li x = (x 1,..., x n ) T R n 1 reálný

Více

Operační výzkum. Teorie her. Hra v normálním tvaru. Optimální strategie. Maticové hry.

Operační výzkum. Teorie her. Hra v normálním tvaru. Optimální strategie. Maticové hry. Operační výzkum Hra v normálním tvaru. Optimální strategie. Maticové hry. Operační program Vzdělávání pro konkurenceschopnost Název projektu: Inovace magisterského studijního programu Fakulty ekonomiky

Více

analytické geometrie v prostoru s počátkem 18. stol.

analytické geometrie v prostoru s počátkem 18. stol. 4.. Funkce více proměnných, definice, vlastnosti Funkce více proměnných Funkce více proměnných se v matematice začal používat v rámci rozvoje analtické geometrie v prostoru s počátkem 8. stol. I v sami

Více

AVDAT Mnohorozměrné metody, metody klasifikace

AVDAT Mnohorozměrné metody, metody klasifikace AVDAT Mnohorozměrné metody, metody klasifikace Josef Tvrdík Katedra informatiky Přírodovědecká fakulta Ostravská univerzita Mnohorozměrné metody Regrese jedna náhodná veličina je vysvětlována pomocí jiných

Více

letní semestr Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy Matematická statistika vektory

letní semestr Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy Matematická statistika vektory Šárka Hudecová Katedra pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulta Univerzity Karlovy letní semestr 202 Založeno na materiálech doc. Michala Kulicha Náhodný vektor často potřebujeme

Více

Matematika 1 MA1. 2 Determinant. 3 Adjungovaná matice. 4 Cramerovo pravidlo. 11. přednáška ( ) Matematika 1 1 / 29

Matematika 1 MA1. 2 Determinant. 3 Adjungovaná matice. 4 Cramerovo pravidlo. 11. přednáška ( ) Matematika 1 1 / 29 Matematika 1 11. přednáška MA1 1 Opakování 2 Determinant 3 Adjungovaná matice 4 Cramerovo pravidlo 5 Vlastní čísla a vlastní vektory matic 6 Zkouška; konzultace; výběrová matematika;... 11. přednáška (15.12.2010

Více

Někdy lze výsledek pokusu popsat jediným číslem, které označíme X (nebo jiným velkým písmenem). Hodíme dvěma kostkami jaký padl součet?

Někdy lze výsledek pokusu popsat jediným číslem, které označíme X (nebo jiným velkým písmenem). Hodíme dvěma kostkami jaký padl součet? Náhodné veličiny Náhodné veličiny Někdy lze výsledek pokusu popsat jediným číslem, které označíme X (nebo jiným velkým písmenem). Příklad Vytáhneme tři karty z balíčku zajímá nás, kolik je mezi nimi es.

Více

Pojem a úkoly statistiky

Pojem a úkoly statistiky Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Pojem a úkoly statistiky Statistika je věda, která se zabývá získáváním, zpracováním a analýzou dat pro potřeby

Více

Modely teorie grafů, min.kostra, max.tok, CPM, MPM, PERT

Modely teorie grafů, min.kostra, max.tok, CPM, MPM, PERT PEF ČZU Modely teorie grafů, min.kostra, max.tok, CPM, MPM, PERT Okruhy SZB č. 5 Zdroje: Demel, J., Operační výzkum Jablonský J., Operační výzkum Šubrt, T., Langrová, P., Projektové řízení I. a různá internetová

Více

6.1 Vektorový prostor

6.1 Vektorový prostor 6 Vektorový prostor, vektory Lineární závislost vektorů 6.1 Vektorový prostor Nechť je dán soubor nějakých prvků, v němž je dána jistá struktura vztahů mezi jednotlivými prvky nebo v němž jsou předepsána

Více

Automatická detekce anomálií při geofyzikálním průzkumu. Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011

Automatická detekce anomálií při geofyzikálním průzkumu. Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011 Automatická detekce anomálií při geofyzikálním průzkumu Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011 Cíle doktorandské práce Seminář 10. 11. 2010 Najít, implementovat, ověřit a do praxe

Více

stránkách přednášejícího.

stránkách přednášejícího. Předmět: MA 4 Dnešní látka Iterační metoda Jacobiova iterační metoda Gaussova-Seidelova iterační metoda Superrelaxační metoda (metoda SOR) Metoda sdružených gradientů Četba: Text o lineární algebře v Příručce

Více

RELACE, OPERACE. Relace

RELACE, OPERACE. Relace RELACE, OPERACE Relace Užití: 1. K popisu (evidenci) nějaké množiny objektů či jevů, které lze charakterizovat pomocí jejich vlastnostmi. Entita je popsána pomocí atributů. Ty se vybírají z domén. Různé

Více

Jednoduché cykly 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45.

Jednoduché cykly 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. Jednoduché cykly Tento oddíl obsahuje úlohy na první procvičení práce s cykly. Při řešení každé ze zde uvedených úloh stačí použít vedle podmíněných příkazů jen jediný cyklus. Nepotřebujeme používat ani

Více

Cvičení z Lineární algebry 1

Cvičení z Lineární algebry 1 Cvičení z Lineární algebry Michael Krbek podzim 2003 2392003 Hodina Jsou dána komplexní čísla z = +2 i a w = 2 i Vyjádřete c algebraickém tvaru (z + w) 3,, (zw), z w 2 Řešte v komplexním oboru rovnice

Více

Testování hypotéz o parametrech regresního modelu

Testování hypotéz o parametrech regresního modelu Statistika II Katedra ekonometrie FVL UO Brno kancelář 69a, tel. 973 442029 email:jiri.neubauer@unob.cz Lineární regresní model kde Y = Xβ + e, y 1 e 1 β y 2 Y =., e = e 2 x 11 x 1 1k., X =....... β 2,

Více