1. Data mining. Strojové učení. Základní úlohy.

Rozměr: px
Začít zobrazení ze stránky:

Download "1. Data mining. Strojové učení. Základní úlohy."

Transkript

1 1... Základní úlohy. Učení s učitelem a bez učitele. Petr Pošík Katedra kybernetiky ČVUT FEL P. Pošík c 2010 Aplikace umělé inteligence 1 / 36

2 Obsah P. Pošík c 2010 Aplikace umělé inteligence 2 / 36

3 Co bylo v ZUI? Co bude v AUI? P. Pošík c 2010 Aplikace umělé inteligence 3 / 36

4 Co bylo v ZUI? Prohledávání st. prostoru, učení z příkladů konstruktivní neinformované a informované metody Induktivní učení popisu konceptu v predikátové logice generativní metody, deterministické a stochastické Splňování omezujících podmínek Evoluční algoritmy Posilované učení Plánování Plánování jako prohledávání stavového prostoru Reprezentace, fitness, křížení, mutace, selekce Aplikace Znalosti, reprezentace, výroková logika Predikátová logika, Prolog Neurčitost, pravděpodobnost, Bayesovské sítě popis úloh v jazyce STRIPS partially ordered plans Neuronové sítě Typy NN, úlohy pro NN (s učitelem, bez učitele) Trénovací, validační, testovací Učení NN, error backpropagation Aplikace P. Pošík c 2010 Aplikace umělé inteligence 4 / 36

5 Co bude v AUI? Co bylo v ZUI? Co bude v AUI? Předběžný plán přednášek: 1., základní úlohy, učení s učitelem a bez učitele 2. Lineární diskriminační funkce, perceptronový algoritmus, rozšíření báze 3. Optimální rozdělující nadplocha, SVM 4. Neuronové sítě, zpětné šíření chyby 5. Učení bez učitele, hierarchické shlukování, k-means a EM algoritmus. 6. Neuronové sítě - RBF, Kohonenova sít, autoasociativní sít 7. Generativní metody prohledávání stavového prostoru, EA s reálnou reprezentací 8. Alternativní přírodou inspirované techniky ACO, PSO 9. Základní techniky UI pro plánování 10. Úvod do multiagentních systémů a agentních technologií 11. Plánování ve výrobě a v logistice (ukázky systému) 12. Simulace, diagnostika a inteligentní robotika (ukázky systému) P. Pošík c 2010 Aplikace umělé inteligence 5 / 36

6 Definice Rozdílné pohledy na data Účel DM Zdroje DM Úlohy pro DM CRISP-DM P. Pošík c 2010 Aplikace umělé inteligence 6 / 36

7 Definice Definice Rozdílné pohledy na data Účel DM Zdroje DM Úlohy pro DM CRISP-DM je netriviální dobývání skrytých, předem neznámých a potenciálně užitečných informací z dat. Při jejich objevování se využívají expertní systémy, metody umělé inteligence a strojového učení, statistické, grafické a vizualizační techniky a prezentují se způsobem srozumitelným lidem. [FSM92] Český překlad Dolování dat Vytěžování dat Dobývání znalostí z databází (překlad KDD - knowledge discovery in databases) Co má data mining společného s aplikacemi umělé inteligence? DM: obsáhlý proces zahrnující mnoho fází orientovaný na praktický přínos, na aplikace Metody umělé inteligence, strojového učení a rozpoznávání se uplatňují především ve fázi modelování, ale také v několika dalších fázích procesu DM. P. Pošík c 2010 Aplikace umělé inteligence 7 / 36

8 Rozdílné pohledy na data Definice Rozdílné pohledy na data Účel DM Zdroje DM Úlohy pro DM CRISP-DM Exploratorní analýza dat Průzkum dat, první seznámení s daty, formulujeme hypotézy. Hojně se využívají grafické techniky. P. Pošík c 2010 Aplikace umělé inteligence 8 / 36

9 Rozdílné pohledy na data Definice Rozdílné pohledy na data Účel DM Zdroje DM Úlohy pro DM CRISP-DM Exploratorní analýza dat Průzkum dat, první seznámení s daty, formulujeme hypotézy. Hojně se využívají grafické techniky. Konfirmatorní analýza dat Máme hypotézy, data slouží jako prostředek pro jejich ověření. Využívají se statistické metody (ANOVA, regrese, χ-kvadrát testy,... ) P. Pošík c 2010 Aplikace umělé inteligence 8 / 36

10 Rozdílné pohledy na data Definice Rozdílné pohledy na data Účel DM Zdroje DM Úlohy pro DM CRISP-DM Exploratorní analýza dat Průzkum dat, první seznámení s daty, formulujeme hypotézy. Hojně se využívají grafické techniky. Konfirmatorní analýza dat Máme hypotézy, data slouží jako prostředek pro jejich ověření. Využívají se statistické metody (ANOVA, regrese, χ-kvadrát testy,... ) Máme data a chceme vytvořit modely, které fungují a jsou použitelné pro predikce. 1 Využití metod umělé inteligence, strojového učení,... 1 V obchodních a marketingových aplikacích bývá druhořadé, zda tyto modely popisují skutečné závislosti a děje. Při aplikaci metod strojového učení např. na biologické a medicinské aplikace je správnost vyžadována mnohem více. P. Pošík c 2010 Aplikace umělé inteligence 8 / 36

11 Účel DM Definice Rozdílné pohledy na data Účel DM Zdroje DM Úlohy pro DM CRISP-DM DM je orientován na praktickou využitelnost výsledků, hlavně ve formě predikcí (exploratorní analýza dat naproti tomu slouží spíše k popisu dat, výzkumníky při ní napadají souvislosti, které stojí za ověření) Jde hlavně o vytvoření, který přináší užitek, tj., jehož prognózy budou trefné, klasifikace použitelné (a zisky a úspory z něj plynoucí znatelné) Příklady otázek, na něž DM umí dát (přibližnou) odpověd : Kolik člověkohodin bude třeba příští měsíc odpracovat na ARO? Kolik asi bude stát pozemek 20 km severně od Prahy? Odpoví konkrétní člověk z naší databáze na nabídku, kterou bychom mu zaslali? Které produkty se prodávají společně? Které produkty si lidé kupují poté, co si koupili jiné? P. Pošík c 2010 Aplikace umělé inteligence 9 / 36

12 Zdroje DM Definice Rozdílné pohledy na data Účel DM Zdroje DM Úlohy pro DM CRISP-DM P. Pošík c 2010 Aplikace umělé inteligence 10 / 36

13 Typy úloh řešených pomocí DM Definice Rozdílné pohledy na data Účel DM Zdroje DM Úlohy pro DM CRISP-DM Popis dat Vizualizace Sumarizace Hledání nugetů Dominantní struktury, asociační pravidla Segmentace, shluková analýza, popis rozdělení dat Predikce Klasifikace (predikce kategoriální proměnné) Regrese (predikce spojité proměnné) Časové řady (predikce závislé na čase) P. Pošík c 2010 Aplikace umělé inteligence 11 / 36

14 DM jako proces: CRISP-DM Definice Rozdílné pohledy na data Účel DM Zdroje DM Úlohy pro DM CRISP-DM Cross-Industry Standard Process for Data Mining P. Pošík c 2010 Aplikace umělé inteligence 12 / 36

15 AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh P. Pošík c 2010 Aplikace umělé inteligence 13 / 36

16 AI, ML, PR AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Umělá inteligence (Artificial Intelligence, AI) [McC04]: Věda o sestavování inteligentních strojů. AI studuje: inteligentní chování, učení, adaptaci ve strojích a počítačích AI zahrnuje: řízení, plánování a rozhodování, expertní systémy, rozpoznávání ručně psaných znaků, přirozeného jazyka, mluvené řeči, obličejů,... P. Pošík c 2010 Aplikace umělé inteligence 14 / 36

17 AI, ML, PR AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Umělá inteligence (Artificial Intelligence, AI) [McC04]: Věda o sestavování inteligentních strojů. AI studuje: inteligentní chování, učení, adaptaci ve strojích a počítačích AI zahrnuje: řízení, plánování a rozhodování, expertní systémy, rozpoznávání ručně psaných znaků, přirozeného jazyka, mluvené řeči, obličejů,... (Machine Learning, ML) studuje algoritmy umožňující strojům učit se. ML zahrnuje: syntaktické rozpoznávání, diagnostické systémy, bioinformatika, detekce zneužití kreditních karet, analýza akciového trhu, klasifikace DNA sekvencí, rozpoznávání ručně psaných znaků, přirozeného jazyka, mluvené řeči, obličejů, navigace robota,... P. Pošík c 2010 Aplikace umělé inteligence 14 / 36

18 AI, ML, PR AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Umělá inteligence (Artificial Intelligence, AI) [McC04]: Věda o sestavování inteligentních strojů. AI studuje: inteligentní chování, učení, adaptaci ve strojích a počítačích AI zahrnuje: řízení, plánování a rozhodování, expertní systémy, rozpoznávání ručně psaných znaků, přirozeného jazyka, mluvené řeči, obličejů,... (Machine Learning, ML) studuje algoritmy umožňující strojům učit se. ML zahrnuje: syntaktické rozpoznávání, diagnostické systémy, bioinformatika, detekce zneužití kreditních karet, analýza akciového trhu, klasifikace DNA sekvencí, rozpoznávání ručně psaných znaků, přirozeného jazyka, mluvené řeči, obličejů, navigace robota,... Rozpoznávání (Pattern Recognition, PR) je proces, na jehož vstupu jsou surová data a na výstupu je nějaká akce závislá na kategorii pozorovaných dat. Klasifikace dat založená na apriorních znalostech nebo na statistických informacích extrahovaných z dat. PR zahrnuje: syntaktické rozpoznávání, detekce zneužití kreditních karet, analýza akciového trhu, klasifikace DNA sekvencí, rozpoznávání ručně psaných znaků, přirozeného jazyka, mluvené řeči, obličejů, navigace robota,... P. Pošík c 2010 Aplikace umělé inteligence 14 / 36

19 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

20 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) Znak Škála Možné operace Příklady Kval. Nominální Ordinální Kvant. Intervalová Poměrová P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

21 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) Znak Škála Možné operace Příklady Kval. Nominální Popsat příslušnost Ordinální Kvant. Intervalová Poměrová P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

22 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) Znak Škála Možné operace Příklady Kval. Nominální Popsat příslušnost Barva očí, národnost, pohlaví, místo narození Ordinální Kvant. Intervalová Poměrová P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

23 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) Znak Škála Možné operace Příklady Kval. Nominální Popsat příslušnost Barva očí, národnost, pohlaví, místo narození Ordinální Seřadit Kvant. Intervalová Poměrová P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

24 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) Znak Škála Možné operace Příklady Kval. Nominální Popsat příslušnost Barva očí, národnost, pohlaví, místo narození Ordinální Seřadit Popis velikosti (S,M,L,XL,XXL), vzdělání (ZŠ, SŠ, VŠ) Kvant. Intervalová Poměrová P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

25 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) Znak Škála Možné operace Příklady Kval. Nominální Popsat příslušnost Barva očí, národnost, pohlaví, místo narození Ordinální Seřadit Popis velikosti (S,M,L,XL,XXL), vzdělání (ZŠ, SŠ, VŠ) Kvant. Intervalová Porovnat vzdálenosti Poměrová P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

26 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) Znak Škála Možné operace Příklady Kval. Nominální Popsat příslušnost Barva očí, národnost, pohlaví, místo narození Ordinální Seřadit Popis velikosti (S,M,L,XL,XXL), vzdělání (ZŠ, SŠ, VŠ) Kvant. Intervalová Porovnat vzdálenosti Kalendářní datum, teplota, úhel, vzrůst zadlužení státu Poměrová P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

27 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) Znak Škála Možné operace Příklady Kval. Nominální Popsat příslušnost Barva očí, národnost, pohlaví, místo narození Ordinální Seřadit Popis velikosti (S,M,L,XL,XXL), vzdělání (ZŠ, SŠ, VŠ) Kvant. Intervalová Porovnat vzdálenosti Kalendářní datum, teplota, úhel, vzrůst zadlužení státu Poměrová Porovnat velikosti P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

28 Rozpoznávání AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Rozpoznávání: Statistické, příznakové usuzování podle spojitých či diskrétních znaků měřených na objektu Strukturální usuzování podle vztahů mezi jednotlivými prvky objektu (často: struktura objektu odvozené příznaky příznakové rozpoznávání) Druhy veličin (pro příznakové rozpoznávání): Spojité vs. diskrétní Nezávislé (vstupy) vs. závislé (výstupy) Znak Škála Možné operace Příklady Kval. Nominální Popsat příslušnost Barva očí, národnost, pohlaví, místo narození Ordinální Seřadit Popis velikosti (S,M,L,XL,XXL), vzdělání (ZŠ, SŠ, VŠ) Kvant. Intervalová Porovnat vzdálenosti Kalendářní datum, teplota, úhel, vzrůst zadlužení státu Poměrová Porovnat velikosti Objem prodeje, průměr hřídele, hmotnost, ph P. Pošík c 2010 Aplikace umělé inteligence 15 / 36

29 Učení jako indukce AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Dvě fáze: 1. Učení z příkladů (trénovací data) učícímu algoritmu jsou předkládány příklady (a protipříklady) konceptu, který se má naučit rozpoznávat 2. Vybavování, rozpoznávání (testovací data) naučenému jsou předkládány neznámé příklady k ohodnocení (a) Model se učí. Trénovací data (dvojice x, y) jsou předkládány algoritmu učení, který tvoří strukturu a ladí jeho parametry. (b) Model si vybavuje. Testovací data (objekty x) procházejí naučeným modelem, který poskytuje odhady hodnot závislého znaku y. Předpoklad (běžný ve strojovém učení): trénovací a testovací data jsou nezávislá a pocházejí ze stejného pravděpodobnostního rozdělení (IID: Independent and Identically Distributed) P. Pošík c 2010 Aplikace umělé inteligence 16 / 36

30 Učení s učitelem a bez učitele AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Objekty jsou popsány vektorem příznaků x Učení bez učitele žádné další informace nejsou známy snaží se najít v datech přirozenou strukturu (a zakódovat ji v ) Učení s učitelem každý objekt má přiřazen i štítek y (informaci od učitele) snaží se naučit relaci x y (zakódovat ji v ) P. Pošík c 2010 Aplikace umělé inteligence 17 / 36

31 Druhy úloh AI, ML, PR Rozpoznávání Učení jako indukce Učení s učitelem a bez učitele Druhy úloh Klasifikace štítek je kategoriální proměnná Regrese štítek je spojitá proměnná Časové řady významným vstupem (někdy i jediným) je čas Shlukování štítek není dán Predikce je výrok o jisté události v budoucnosti (předpověd, časové řady). V ML se hojně používá i ve smyslu aplikace naučeného na nová data, nebo hodnoty poskytnuté modelem pro nová data. Další často řešenou úlohou je analýza nákupního koše, která dala vzniknout asociačním a sekvenčním pravidlům. P. Pošík c 2010 Aplikace umělé inteligence 18 / 36

32 Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí P. Pošík c 2010 Aplikace umělé inteligence 19 / 36

33 Existuje dokonalý model? Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí Dokonalý model, jehož struktura by umožňovala popsat jakýkoli koncept, jakoukoli relaci,..., neexistuje. Je možné hledat správný model v prostoru všech možných myslitelných modelů? Velikost prostoru modelů roste exponenciálně, často je nekonečný výpočetně neúnosné. Obrovské nároky na počet trénovacích dat. Obvyklý přístup: Zvolíme omezenou třídu modelů (omezený prostor hypotéz). V této třídě hledáme nejlepší model. Tento model je ale už z principu zaujatý (inductive bias). Co je nejlepší model? Dvě (obvykle protichůdná) kritéria: správnost (přesnost, minimální chyba) a jednoduchost. Jak je vyvážit??? P. Pošík c 2010 Aplikace umělé inteligence 20 / 36

34 Základní otázka Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí Co je dobrým ukazatelem kvality z hlediska DM? Při regresních úlohách se často aplikuje tzv. střední kvadratická chyba (mean squared error): MSE = 1 N N (y i f(x i )) 2, (1) i=1 kde f je pro nás modelem, f(x i ) je predikce pro i. objekt x (zde reálné číslo). Je tato veličina (měřená na datech, která máme k dispozici na trénovacích datech) dobrým ukazatelem kvality? P. Pošík c 2010 Aplikace umělé inteligence 21 / 36

35 Který model je lepší? Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí f(x) = x f(x) = x 3 3x 2 +3x P. Pošík c 2010 Aplikace umělé inteligence 22 / 36

36 Který model je lepší? Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí f(x) = x f(x) = x 3 3x 2 +3x Z hlediska MSE jsou oba modely ekvivalentní!!! Je tedy jedno, který použijeme? P. Pošík c 2010 Aplikace umělé inteligence 22 / 36

37 Který model je lepší? Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí f(x) = x f(x) = x 3 3x 2 +3x Z hlediska MSE jsou oba modely ekvivalentní!!! Je tedy jedno, který použijeme? Lineární model je jednodušší! P. Pošík c 2010 Aplikace umělé inteligence 22 / 36

38 Který model je lepší? Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí f(x) = x f(x) = ( 0.31x) + (1.67x 2 ) + ( 0.51x 3 ) P. Pošík c 2010 Aplikace umělé inteligence 23 / 36

39 Který model je lepší? Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí f(x) = x f(x) = ( 0.31x) + (1.67x 2 ) + ( 0.51x 3 ) Z hlediska MSE je kubický model lepší než lineární!!! P. Pošík c 2010 Aplikace umělé inteligence 23 / 36

40 Který model je lepší? Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí f(x) = x f(x) = ( 0.31x) + (1.67x 2 ) + ( 0.51x 3 ) Z hlediska MSE je kubický model lepší než lineární!!! Přesto může být lepší použít jednodušší lineární model. Máme ovšem málo dat, těžko soudit. P. Pošík c 2010 Aplikace umělé inteligence 23 / 36

41 Požadavky na model z hlediska ML Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí Specifika procesu učení s ohledem na využití ML, např. v DM: Model musí být užitečný při predikci Schopnost generalizace: model musí nalézt obecně platné závislosti v datech Nesmí být přeučený: nesmí se naučit na zdánlivé závislosti v datech nebo na šum Základní metodou pro omezení přeučení je ověření na nezávislých, tzv. testovacích datech P. Pošík c 2010 Aplikace umělé inteligence 24 / 36

42 Testovací data Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí X U(0, 10) Y (X 3) 2 + N(0, 6 2 ) Trenovaci MSE: Testovaci MSE: Polynom 0 teho stupne P. Pošík c 2010 Aplikace umělé inteligence 25 / 36

43 Testovací data Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí X U(0, 10) Y (X 3) 2 + N(0, 6 2 ) Trenovaci MSE: Testovaci MSE: Polynom 1 teho stupne P. Pošík c 2010 Aplikace umělé inteligence 26 / 36

44 Testovací data Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí X U(0, 10) Y (X 3) 2 + N(0, 6 2 ) Trenovaci MSE: Testovaci MSE: Polynom 2 teho stupne P. Pošík c 2010 Aplikace umělé inteligence 27 / 36

45 Testovací data Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí X U(0, 10) Y (X 3) 2 + N(0, 6 2 ) Trenovaci MSE: Testovaci MSE: Polynom 3 teho stupne P. Pošík c 2010 Aplikace umělé inteligence 28 / 36

46 Testovací data Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí X U(0, 10) Y (X 3) 2 + N(0, 6 2 ) Trenovaci MSE: Testovaci MSE: Polynom 4 teho stupne P. Pošík c 2010 Aplikace umělé inteligence 29 / 36

47 Testovací data Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí X U(0, 10) Y (X 3) 2 + N(0, 6 2 ) Trenovaci MSE: Testovaci MSE: Polynom 5 teho stupne P. Pošík c 2010 Aplikace umělé inteligence 30 / 36

48 Testovací data Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí X U(0, 10) Y (X 3) 2 + N(0, 6 2 ) Trenovaci MSE: Testovaci MSE: Polynom 6 teho stupne P. Pošík c 2010 Aplikace umělé inteligence 31 / 36

49 Chyba na trénovacích a testovacích datech Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí MSE Trenovaci MSE Testovaci MSE Slozitost Chyba na trénovacích datech se snižuje se vzrůstající flexibilitou Chyba na testovacích datech je pro určitou flexibilitu minimální P. Pošík c 2010 Aplikace umělé inteligence 32 / 36

50 Shrnutí Existuje dokonalý model? Základní otázka Požadavky na model z hlediska ML Testovací data Chyba na trénovacích a testovacích datech Shrnutí Dva extrémy flexibility 1. Málo flexibilní model (jednoduchý model) Model je silně vychýlen, zaujat (biased) Model je stabilní (vzhledem ke změně trénovací množiny) 2. Moc flexibilní model (složitý model) Velice přesný model (trénovacích dat) Model je velice citlivý (na změnu trénovací množiny) Model, který je nejblíž skutečnosti, se nachází někde mezi nimi Chybu, kterou model bude dělat na nových neznámých datech (pocházejících ze stejného zdroje), lze odhadnout chybou na testovacích datech Chybu na testovacích datech lze využít i pro volbu vhodné struktury P. Pošík c 2010 Aplikace umělé inteligence 33 / 36

51 Shrnutí Reference P. Pošík c 2010 Aplikace umělé inteligence 34 / 36

52 Shrnutí Shrnutí Reference DM (či KDD) se dá chápat jako mnohastupňový proces tvorby modelů strojového učení a jejich nasazování do praxe. Umělá inteligence se zabývá tvorbou umělých entit s inteligentním chováním. je podobor umělé inteligence, který studuje algoritmy umožňující strojům učit se. Rozpoznávání je podoblast strojového učení, kde se studují modely umožňující rozeznat určitou situaci nebo jev a zareagovat na ni. Mezi hlavní úlohy řešené v rámci strojového učení patří klasifikace, regrese, shlukování a odhad pravděpodobnostního rozdělení. Základní metodou pro zajištění kvality naučeného je ověření jeho funkce na nových, tzv. testovacích datech. P. Pošík c 2010 Aplikace umělé inteligence 35 / 36

53 Reference Shrnutí Reference [FSM92] [McC04] W. J. Frawley, Piatetsky G. Shapiro, and C. J. Matheus. Knowledge discovery in databases - an overview. AI Magazine, 13:57 70, John McCarthy. What is Artificial Intelligence P. Pošík c 2010 Aplikace umělé inteligence 36 / 36

Moderní systémy pro získávání znalostí z informací a dat

Moderní systémy pro získávání znalostí z informací a dat Moderní systémy pro získávání znalostí z informací a dat Jan Žižka IBA Institut biostatistiky a analýz PřF & LF, Masarykova universita Kamenice 126/3, 625 00 Brno Email: zizka@iba.muni.cz Bioinformatika:

Více

Kybernetika a umělá inteligence, cvičení 10/11

Kybernetika a umělá inteligence, cvičení 10/11 Kybernetika a umělá inteligence, cvičení 10/11 Program 1. seminární cvičení: základní typy klasifikátorů a jejich princip 2. počítačové cvičení: procvičení na problému rozpoznávání číslic... body za aktivitu

Více

Ing. Petr Hájek, Ph.D. Podpora přednášky kurzu Aplikace umělé inteligence

Ing. Petr Hájek, Ph.D. Podpora přednášky kurzu Aplikace umělé inteligence APLIKACE UMĚLÉ INTELIGENCE Ing. Petr Hájek, Ph.D. Podpora přednášky kurzu Aplikace umělé inteligence Aplikace umělé inteligence - seminář ING. PETR HÁJEK, PH.D. ÚSTAV SYSTÉMOVÉHO INŽENÝRSTVÍ A INFORMATIKY

Více

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ Metodický list č. 1 Dobývání znalostí z databází Cílem tohoto tematického celku je vysvětlení základních pojmů z oblasti dobývání znalostí z databází i východisek dobývání znalostí z databází inspirovaných

Více

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ metodický list č. 1 Dobývání znalostí z databází Cílem tohoto tematického celku je vysvětlení základních pojmů z oblasti dobývání znalostí z databází i východisek dobývání znalostí z databází inspirovaných

Více

Lineární diskriminační funkce. Perceptronový algoritmus.

Lineární diskriminační funkce. Perceptronový algoritmus. Lineární. Perceptronový algoritmus. Petr Pošík Czech Technical University in Prague Faculty of Electrical Engineering Dept. of Cybernetics P. Pošík c 2012 Artificial Intelligence 1 / 12 Binární klasifikace

Více

UČENÍ BEZ UČITELE. Václav Hlaváč

UČENÍ BEZ UČITELE. Václav Hlaváč UČENÍ BEZ UČITELE Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz, http://cmp.felk.cvut.cz/~hlavac 1/22 OBSAH PŘEDNÁŠKY ÚVOD Učení

Více

Získávání dat z databází 1 DMINA 2010

Získávání dat z databází 1 DMINA 2010 Získávání dat z databází 1 DMINA 2010 Získávání dat z databází Motto Kde je moudrost? Ztracena ve znalostech. Kde jsou znalosti? Ztraceny v informacích. Kde jsou informace? Ztraceny v datech. Kde jsou

Více

Strojové učení Marta Vomlelová

Strojové učení Marta Vomlelová Strojové učení Marta Vomlelová marta@ktiml.mff.cuni.cz KTIML, S303 Literatura 1.T. Hastie, R. Tishirani, and J. Friedman. The Elements of Statistical Learning, Data Mining, Inference and Prediction. Springer

Více

Úvodem Dříve les než stromy 3 Operace s maticemi

Úvodem Dříve les než stromy 3 Operace s maticemi Obsah 1 Úvodem 13 2 Dříve les než stromy 17 2.1 Nejednoznačnost terminologie 17 2.2 Volba metody analýzy dat 23 2.3 Přehled vybraných vícerozměrných metod 25 2.3.1 Metoda hlavních komponent 26 2.3.2 Faktorová

Více

Projekční algoritmus. Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění. Jan Klíma

Projekční algoritmus. Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění. Jan Klíma Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění Jan Klíma Obsah Motivace & cíle práce Evoluční algoritmy Náhradní modelování Stromové regresní metody Implementace a výsledky

Více

StatSoft Úvod do neuronových sítí

StatSoft Úvod do neuronových sítí StatSoft Úvod do neuronových sítí Vzhledem k vzrůstající popularitě neuronových sítí jsme se rozhodli Vám je v tomto článku představit a říci si něco o jejich využití. Co si tedy představit pod pojmem

Více

Popis zobrazení pomocí fuzzy logiky

Popis zobrazení pomocí fuzzy logiky Popis zobrazení pomocí fuzzy logiky diplomová práce Ján Fröhlich KM, FJFI, ČVUT 23. dubna 2009 Ján Fröhlich ( KM, FJFI, ČVUT ) Popis zobrazení pomocí fuzzy logiky 23. dubna 2009 1 / 25 Obsah 1 Úvod Základy

Více

Umělá inteligence a rozpoznávání

Umělá inteligence a rozpoznávání Václav Matoušek KIV e-mail: matousek@kiv.zcu.cz 0-1 Sylabus předmětu: Datum Náplň přednášky 11. 2. Úvod, historie a vývoj UI, základní problémové oblasti a typy úloh, aplikace UI, příklady inteligentních

Více

Neuronové sítě Ladislav Horký Karel Břinda

Neuronové sítě Ladislav Horký Karel Břinda Neuronové sítě Ladislav Horký Karel Břinda Obsah Úvod, historie Modely neuronu, aktivační funkce Topologie sítí Principy učení Konkrétní typy sítí s ukázkami v prostředí Wolfram Mathematica Praktické aplikace

Více

Automatizační a měřicí technika (B-AMT)

Automatizační a měřicí technika (B-AMT) Ústav automatizace a měřicí techniky Bakalářský studijní program Automatizační a měřicí technika () Specializace oboru Řídicí technika Měřicí technika Průmyslová automatizace Robotika a umělá inteligence

Více

Úloha - rozpoznávání číslic

Úloha - rozpoznávání číslic Úloha - rozpoznávání číslic Vojtěch Franc, Tomáš Pajdla a Tomáš Svoboda http://cmp.felk.cvut.cz 27. listopadu 26 Abstrakt Podpůrný text pro cvičení předmětu X33KUI. Vysvětluje tři způsoby rozpoznávání

Více

Pokročilé operace s obrazem

Pokročilé operace s obrazem Získávání a analýza obrazové informace Pokročilé operace s obrazem Biofyzikální ústav Lékařské fakulty Masarykovy univerzity Brno prezentace je součástí projektu FRVŠ č.2487/2011 (BFÚ LF MU) Získávání

Více

Emergence chování robotických agentů: neuroevoluce

Emergence chování robotických agentů: neuroevoluce Emergence chování robotických agentů: neuroevoluce Petra Vidnerová, Stanislav Slušný, Roman Neruda Ústav Informatiky, AV ČR Kognice a umělý život VIII Praha 28. 5. 2008 Evoluční robotika: EA & neuronové

Více

Výpočetní teorie učení. PAC učení. VC dimenze.

Výpočetní teorie učení. PAC učení. VC dimenze. Výpočetní teorie učení. PAC učení. VC dimenze. Petr Pošík Czech Technical University in Prague Faculty of Electrical Engineering Dept. of Cybernetics COLT 2 Koncept...........................................................................................................

Více

Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

Dobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Pravděpodobnost a učení Doc. RNDr. Iveta Mrázová,

Více

Využití strojového učení k identifikaci protein-ligand aktivních míst

Využití strojového učení k identifikaci protein-ligand aktivních míst Využití strojového učení k identifikaci protein-ligand aktivních míst David Hoksza, Radoslav Krivák SIRET Research Group Katedra softwarového inženýrství, Matematicko-fyzikální fakulta Karlova Univerzita

Více

METODY DOLOVÁNÍ V DATECH DATOVÉ SKLADY TEREZA HYNČICOVÁ H2IGE1

METODY DOLOVÁNÍ V DATECH DATOVÉ SKLADY TEREZA HYNČICOVÁ H2IGE1 METODY DOLOVÁNÍ V DATECH DATOVÉ SKLADY TEREZA HYNČICOVÁ H2IGE1 DOLOVÁNÍ V DATECH (DATA MINING) OBJEVUJE SE JIŽ OD 60. LET 20. ST. S ROZVOJEM POČÍTAČOVÉ TECHNIKY DEFINICE PROCES VÝBĚRU, PROHLEDÁVÁNÍ A MODELOVÁNÍ

Více

MATEMATICKÁ TEORIE ROZHODOVÁNÍ

MATEMATICKÁ TEORIE ROZHODOVÁNÍ MATEMATICKÁ metodický list č. 1 Řešení úloh Cílem tohoto tematického celku je vysvětlení vybraných pojmů z oblasti řešení úloh. Tématický celek je rozdělen do těchto dílčích témat: 1. Řešení úloh ve stavovém

Více

Neuronové sítě (11. přednáška)

Neuronové sítě (11. přednáška) Neuronové sítě (11. přednáška) Machine Learning Naučit stroje se učit O co jde? Máme model výpočtu (t.j. výpočetní postup jednoznačně daný vstupy a nějakými parametry), chceme najít vhodné nastavení parametrů,

Více

Získávání znalostí z dat

Získávání znalostí z dat Získávání znalostí z dat Informační a komunikační technologie ve zdravotnictví Získávání znalostí z dat Definice: proces netriviálního získávání implicitní, dříve neznámé a potencionálně užitečné informace

Více

Dobývání a vizualizace znalostí

Dobývání a vizualizace znalostí Dobývání a vizualizace znalostí Olga Štěpánková et al. 1 Osnova předmětu 1. Dobývání znalostí - popis a metodika procesu a objasnění základních pojmů 2. Nástroje pro modelování klasifikovaných dat a jejich

Více

ZÁKLADY PROGRAMOVÁNÍ. Mgr. Vladislav BEDNÁŘ 2014 7.4 13/14

ZÁKLADY PROGRAMOVÁNÍ. Mgr. Vladislav BEDNÁŘ 2014 7.4 13/14 ZÁKLADY PROGRAMOVÁNÍ Mgr. Vladislav BEDNÁŘ 2014 7.4 13/14 Co je vhodné vědět, než si vybereme programovací jazyk a začneme programovat roboty. 1 / 13 0:40 Implementace Umělá inteligence (UI) Umělá inteligence

Více

Analýza dat pomocí systému Weka, Rapid miner a Enterprise miner

Analýza dat pomocí systému Weka, Rapid miner a Enterprise miner Vysoká škola ekonomická v Praze Analýza dat pomocí systému Weka, Rapid miner a Enterprise miner Dobývání znalostí z databází 4IZ450 XXXXXXXXXXX Přidělená data a jejich popis Data určená pro zpracování

Více

Statistika. Regresní a korelační analýza Úvod do problému. Roman Biskup

Statistika. Regresní a korelační analýza Úvod do problému. Roman Biskup Statistika Regresní a korelační analýza Úvod do problému Roman Biskup Jihočeská univerzita v Českých Budějovicích Ekonomická fakulta (Zemědělská fakulta) Katedra aplikované matematiky a informatiky 2008/2009

Více

MATEMATICKÁ TEORIE ROZHODOVÁNÍ

MATEMATICKÁ TEORIE ROZHODOVÁNÍ MATEMATICKÁ TEORIE ROZHODOVÁNÍ Metodický list č. 1 Název tématického celku: Řešení úloh Cílem tohoto tematického celku je vysvětlení vybraných pojmů z oblasti řešení úloh. Tématický celek je rozdělen do

Více

UITS / ISY. Ústav inteligentních systémů Fakulta informačních technologií VUT v Brně. ISY: Výzkumná skupina inteligentních systémů 1 / 14

UITS / ISY. Ústav inteligentních systémů Fakulta informačních technologií VUT v Brně. ISY: Výzkumná skupina inteligentních systémů 1 / 14 UITS / ISY Výzkumná skupina inteligentních systémů Ústav inteligentních systémů Fakulta informačních technologií VUT v Brně ISY: Výzkumná skupina inteligentních systémů 1 / 14 Obsah Představení skupiny

Více

Měření závislosti statistických dat

Měření závislosti statistických dat 5.1 Měření závislosti statistických dat Každý pořádný astronom je schopen vám předpovědět, kde se bude nacházet daná hvězda půl hodiny před půlnocí. Ne každý je však téhož schopen předpovědět v případě

Více

1. Číselné posloupnosti - Definice posloupnosti, základní vlastnosti, operace s posloupnostmi, limita posloupnosti, vlastnosti limit posloupností,

1. Číselné posloupnosti - Definice posloupnosti, základní vlastnosti, operace s posloupnostmi, limita posloupnosti, vlastnosti limit posloupností, KMA/SZZS1 Matematika 1. Číselné posloupnosti - Definice posloupnosti, základní vlastnosti, operace s posloupnostmi, limita posloupnosti, vlastnosti limit posloupností, operace s limitami. 2. Limita funkce

Více

Neuronové časové řady (ANN-TS)

Neuronové časové řady (ANN-TS) Neuronové časové řady (ANN-TS) Menu: QCExpert Prediktivní metody Neuronové časové řady Tento modul (Artificial Neural Network Time Series ANN-TS) využívá modelovacího potenciálu neuronové sítě k predikci

Více

Rozpoznávání písmen. Jiří Šejnoha Rudolf Kadlec (c) 2005

Rozpoznávání písmen. Jiří Šejnoha Rudolf Kadlec (c) 2005 Rozpoznávání písmen Jiří Šejnoha Rudolf Kadlec (c) 2005 Osnova Motivace Popis problému Povaha dat Neuronová síť Architektura Výsledky Zhodnocení a závěr Popis problému Jedná se o praktický problém, kdy

Více

Strukturální regresní modely. určitý nadhled nad rozličnými typy modelů

Strukturální regresní modely. určitý nadhled nad rozličnými typy modelů Strukturální regresní modely určitý nadhled nad rozličnými typy modelů Jde zlepšit odhad k-nn? Odhad k-nn konverguje pro slušné k očekávané hodnotě. ALE POMALU! Jiné přístupy přidají předpoklad o funkci

Více

NG C Implementace plně rekurentní

NG C Implementace plně rekurentní NG C Implementace plně rekurentní neuronové sítě v systému Mathematica Zdeněk Buk, Miroslav Šnorek {bukz1 snorek}@fel.cvut.cz Neural Computing Group Department of Computer Science and Engineering, Faculty

Více

Dobývání a vizualizace znalostí

Dobývání a vizualizace znalostí Dobývání a vizualizace znalostí Olga Štěpánková, Lenka Vysloužilová, et al. https://cw.fel.cvut.cz/wiki/courses/a6m33dvz/start 1 Osnova přednášky Úvod: data, objem, reprezentace a základní terminologie

Více

Obsah Úvod Kapitola 1 Než začneme Kapitola 2 Práce s hromadnými daty před analýzou

Obsah Úvod Kapitola 1 Než začneme Kapitola 2 Práce s hromadnými daty před analýzou Úvod.................................................................. 11 Kapitola 1 Než začneme.................................................................. 17 1.1 Logika kvantitativního výzkumu...........................................

Více

1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15

1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15 Úvodní poznámky... 11 1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15 1.1 Základní pojmy... 15 1.2 Aplikační oblasti a etapy zpracování signálů... 17 1.3 Klasifikace diskretních

Více

Ambasadoři přírodovědných a technických oborů. Ing. Michal Řepka Březen - duben 2013

Ambasadoři přírodovědných a technických oborů. Ing. Michal Řepka Březen - duben 2013 Ambasadoři přírodovědných a technických oborů Ing. Michal Řepka Březen - duben 2013 Umělé neuronové sítě Proč právě Neuronové sítě? K čemu je to dobré? Používá se to někde v praxi? Úvod Umělé neuronové

Více

Neuronové sítě. 1 Úvod. 2 Historie. 3 Modely neuronu

Neuronové sítě. 1 Úvod. 2 Historie. 3 Modely neuronu Neuronové sítě L. Horký*, K. Břinda** Fakulta jaderná a fyzikálně inženýrská, Břehová 7, 115 19 Praha 1 *horkyladislav@seznam.cz, **brinda@fjfi.cvut.cz Abstrakt Cílem našeho příspěvku je získat uživatelský

Více

BAYESOVSKÉ ODHADY. Michal Friesl V NĚKTERÝCH MODELECH. Katedra matematiky Fakulta aplikovaných věd Západočeská univerzita v Plzni

BAYESOVSKÉ ODHADY. Michal Friesl V NĚKTERÝCH MODELECH. Katedra matematiky Fakulta aplikovaných věd Západočeská univerzita v Plzni BAYESOVSKÉ ODHADY V NĚKTERÝCH MODELECH Michal Friesl Katedra matematiky Fakulta aplikovaných věd Západočeská univerzita v Plzni Slunce Řidiči IQ Regrese Přežití Obvyklý model Pozorování X = (X 1,..., X

Více

Rozdělování dat do trénovacích a testovacích množin

Rozdělování dat do trénovacích a testovacích množin Rozdělování dat do trénovacích a testovacích množin Marcel Jiřina Rozpoznávání je důležitou metodou při zpracování reálných úloh. Rozpoznávání je definováno dvěma kroky a to pořízením dat o reálném rozpoznávaném

Více

7. Rozdělení pravděpodobnosti ve statistice

7. Rozdělení pravděpodobnosti ve statistice 7. Rozdělení pravděpodobnosti ve statistice Statistika nuda je, má však cenné údaje, neklesejte na mysli, ona nám to vyčíslí Jednou z úloh statistiky je odhad (výpočet) hodnot statistického znaku x i,

Více

DATA MINING KLASIFIKACE DMINA LS 2009/2010

DATA MINING KLASIFIKACE DMINA LS 2009/2010 DATA MINING KLASIFIKACE DMINA LS 2009/2010 Osnova co je to klasifikace typy klasifikátoru typy výstupu jednoduchý klasifikátor (1R) rozhodovací stromy Klasifikace (ohodnocení) zařazuje data do předdefinovaných

Více

Elektronická podpora výuky na ÚBMI

Elektronická podpora výuky na ÚBMI Závěrečná zpráva rozvojového projektu Elektronická podpora výuky na ÚBMI MŠMT č. 645 Odpovědný řešitel: Prof. Ing. Jiří Holčík, CSc. ČVUT v Praze - FBMI Kladno, leden 2006 Vyhodnocení splněných cílů a

Více

Téma 48 (dříve 47) Martin Staviař, staviarm@centrum.cz. 16. srpna 2006

Téma 48 (dříve 47) Martin Staviař, staviarm@centrum.cz. 16. srpna 2006 Téma 48 (dříve 47) Martin Staviař, staviarm@centrum.cz 16. srpna 2006 Rozpoznávání a vnímání. Statistický (příznakový) a strukturní přístup. Klasifikátory a jejich učení. Cíle umělé inteligence. Reprezentace

Více

8-9. Pravděpodobnostní rozhodování a predikce. Gerstnerova laboratoř katedra kybernetiky fakulta elektrotechnická ČVUT v Praze

8-9. Pravděpodobnostní rozhodování a predikce. Gerstnerova laboratoř katedra kybernetiky fakulta elektrotechnická ČVUT v Praze KYBERNETIKA A UMĚLÁ INTELIGENCE 8-9. Pravděpodobnostní rozhodování a predikce laboratory Gerstner Gerstnerova laboratoř katedra kybernetiky fakulta elektrotechnická ČVUT v Praze Rozhodování za neurčitosti

Více

ANALÝZA BIOLOGICKÝCH A KLINICKÝCH DAT V MEZIOBOROVÉM POJETÍ

ANALÝZA BIOLOGICKÝCH A KLINICKÝCH DAT V MEZIOBOROVÉM POJETÍ ANALÝZA BIOLOGICKÝCH A KLINICKÝCH DAT V MEZIOBOROVÉM POJETÍ INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz 5. LETNÍ ŠKOLA MATEMATICKÉ BIOLOGIE ANALÝZA BIOLOGICKÝCH A KLINICKÝCH DAT V MEZIOBOROVÉM

Více

BA_EM Electronic Marketing. Pavel

BA_EM Electronic Marketing. Pavel BA_EM Electronic Marketing Pavel Kotyza @VŠFS Agenda Efektivní data mining jako zdroj relevantních dat o potřebách zákazníků Co je data mining? Je absolutní Je předem neznámý Je užitečný Co jsou data?

Více

Vícerozměrné metody. PSY117/454 Statistická analýza dat v psychologii Přednáška 12. Schematický úvod

Vícerozměrné metody. PSY117/454 Statistická analýza dat v psychologii Přednáška 12. Schematický úvod PSY117/454 Statistická analýza dat v psychologii Přednáška 12 Vícerozměrné metody Schematický úvod Co je na slově statistika tak divného, že jeho vyslovení tak často způsobuje napjaté ticho? William Kruskal

Více

Regresní analýza 1. Regresní analýza

Regresní analýza 1. Regresní analýza Regresní analýza 1 1 Regresní funkce Regresní analýza Důležitou statistickou úlohou je hledání a zkoumání závislostí proměnných, jejichž hodnoty získáme při realizaci experimentů Vzhledem k jejich náhodnému

Více

Obsah. Seznam obrázků. Seznam tabulek. Petr Berka, 2011

Obsah. Seznam obrázků. Seznam tabulek. Petr Berka, 2011 Petr Berka, 2011 Obsah... 1... 1 1 Obsah 1... 1 Dobývání znalostí z databází 1 Dobývání znalostí z databází O dobývání znalostí z databází (Knowledge Discovery in Databases, KDD) se začíná ve vědeckých

Více

Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1

Pravděpodobnost v závislosti na proměnné x je zde modelován pomocí logistického modelu. exp x. x x x. log 1 Logistická regrese Menu: QCExpert Regrese Logistická Modul Logistická regrese umožňuje analýzu dat, kdy odezva je binární, nebo frekvenční veličina vyjádřená hodnotami 0 nebo 1, případně poměry v intervalu

Více

MĚŘENÍ, TYPY VELIČIN a TYPY ŠKÁL

MĚŘENÍ, TYPY VELIČIN a TYPY ŠKÁL MĚŘENÍ, TYPY VELIČIN a TYPY ŠKÁL Matematika a stejně i matematická statistika a biometrie s námi hovoří řečí čísel. Musíme tedy vlastnosti nebo intenzitu vlastností jedinců změřit kvantifikovat. Měřením

Více

Automatická detekce anomálií při geofyzikálním průzkumu. Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011

Automatická detekce anomálií při geofyzikálním průzkumu. Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011 Automatická detekce anomálií při geofyzikálním průzkumu Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011 Cíle doktorandské práce Seminář 10. 11. 2010 Najít, implementovat, ověřit a do praxe

Více

Získávání znalostí z databází. Alois Kužela

Získávání znalostí z databází. Alois Kužela Získávání znalostí z databází Alois Kužela Obsah související pojmy datové sklady, získávání znalostí asocianí pravidla 2/37 Úvod získávání znalostí z dat, dolování (z) dat, data mining proces netriviálního

Více

Klasifikace a rozpoznávání. Lineární klasifikátory

Klasifikace a rozpoznávání. Lineární klasifikátory Klasifikace a rozpoznávání Lineární klasifikátory Opakování - Skalární součin x = x1 x 2 w = w T x = w 1 w 2 x 1 x 2 w1 w 2 = w 1 x 1 + w 2 x 2 x. w w T x w Lineární klasifikátor y(x) = w T x + w 0 Vyber

Více

Uživatelská podpora v prostředí WWW

Uživatelská podpora v prostředí WWW Uživatelská podpora v prostředí WWW Jiří Jelínek Katedra managementu informací Fakulta managementu Jindřichův Hradec Vysoká škola ekonomická Praha Úvod WWW obsáhlost obsahová i formátová pestrost dokumenty,

Více

Dobývání a vizualizace znalostí. Olga Štěpánková et al.

Dobývání a vizualizace znalostí. Olga Štěpánková et al. Dobývání a vizualizace znalostí Olga Štěpánková et al. 1 Osnova předmětu Dobývání znalostí - popis a metodika procesu CRISP a objasnění základních pojmů Nástroje pro modelování klasifikovaných dat a jejich

Více

MĚŘENÍ STATISTICKÝCH ZÁVISLOSTÍ

MĚŘENÍ STATISTICKÝCH ZÁVISLOSTÍ MĚŘENÍ STATISTICKÝCH ZÁVISLOSTÍ v praxi u jednoho prvku souboru se často zkoumá více veličin, které mohou na sobě různě záviset jednorozměrný výběrový soubor VSS X vícerozměrným výběrovým souborem VSS

Více

NÁVRH A REALIZACE TRADING STRATEGIÍ NA BÁZI STROJOVÉHO UČENÍ S POMOCÍ MATLABU

NÁVRH A REALIZACE TRADING STRATEGIÍ NA BÁZI STROJOVÉHO UČENÍ S POMOCÍ MATLABU NÁVRH A REALIZACE TRADING STRATEGIÍ NA BÁZI STROJOVÉHO UČENÍ S POMOCÍ MATLABU RNDr. Miroslav Pavelka, PhD m.pavelka@sh.cvut.cz Ing. Jan Hovad jan@hovad.cz OBSAH Obchodování a strojové učení Specifika prediktivního

Více

Klasifikace předmětů a jevů

Klasifikace předmětů a jevů Klasifikace předmětů a jevů 1. Úvod Rozpoznávání neboli klasifikace je základní znak lidské činnosti. Rozpoznávání (klasifikace) předmětů a jevů spočívá v jejich zařazování do jednotlivých tříd. Třídou

Více

5 Vícerozměrná data - kontingenční tabulky, testy nezávislosti, regresní analýza

5 Vícerozměrná data - kontingenční tabulky, testy nezávislosti, regresní analýza 5 Vícerozměrná data - kontingenční tabulky, testy nezávislosti, regresní analýza 5.1 Vícerozměrná data a vícerozměrná rozdělení Při zpracování vícerozměrných dat se hledají souvislosti mezi dvěma, případně

Více

Pravděpodobně skoro správné. PAC učení 1

Pravděpodobně skoro správné. PAC učení 1 Pravděpodobně skoro správné (PAC) učení PAC učení 1 Výpočetní teorie strojového učení Věta o ošklivém kačátku. Nechť E je klasifikovaná trénovací množina pro koncept K, který tvoří podmnožinu konečného

Více

10. Předpovídání - aplikace regresní úlohy

10. Předpovídání - aplikace regresní úlohy 10. Předpovídání - aplikace regresní úlohy Regresní úloha (analýza) je označení pro statistickou metodu, pomocí nichž odhadujeme hodnotu náhodné veličiny (tzv. závislé proměnné, cílové proměnné, regresandu

Více

Program Statistica Base 9. Mgr. Karla Hrbáčková, Ph.D.

Program Statistica Base 9. Mgr. Karla Hrbáčková, Ph.D. Program Statistica Base 9 Mgr. Karla Hrbáčková, Ph.D. OBSAH KURZU obsluha jednotlivých nástrojů, funkce pro import dat z jiných aplikací, práce s popisnou statistikou, vytváření grafů, analýza dat, výstupní

Více

Evoluční algoritmy. Podmínka zastavení počet iterací kvalita nejlepšího jedince v populaci změna kvality nejlepšího jedince mezi iteracemi

Evoluční algoritmy. Podmínka zastavení počet iterací kvalita nejlepšího jedince v populaci změna kvality nejlepšího jedince mezi iteracemi Evoluční algoritmy Použítí evoluční principů, založených na metodách optimalizace funkcí a umělé inteligenci, pro hledání řešení nějaké úlohy. Populace množina jedinců, potenciálních řešení Fitness function

Více

Inteligentní systémy. Informace o bakalářském oboru. Jiří Lažanský. Zdeněk Hanzálek (katedra řídicí techniky) Michal Pěchouček (katedra kybernetiky)

Inteligentní systémy. Informace o bakalářském oboru. Jiří Lažanský. Zdeněk Hanzálek (katedra řídicí techniky) Michal Pěchouček (katedra kybernetiky) Informace o bakalářském oboru Inteligentní systémy studijního programu Softwarové technologie a management Jiří Lažanský (katedra kybernetiky) Zdeněk Hanzálek (katedra řídicí techniky) Michal Pěchouček

Více

SENZORY PRO ROBOTIKU

SENZORY PRO ROBOTIKU 1/13 SENZORY PRO ROBOTIKU Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz http://cmp.felk.cvut.cz/ hlavac ROBOTICKÉ SENZORY - PŘEHLED

Více

Grafický a číselný popis rozložení dat 3.1 Způsoby zobrazení dat Metody zobrazení kvalitativních a ordinálních dat Metody zobrazení kvan

Grafický a číselný popis rozložení dat 3.1 Způsoby zobrazení dat Metody zobrazení kvalitativních a ordinálních dat Metody zobrazení kvan 1 Úvod 1.1 Empirický výzkum a jeho etapy 1.2 Význam teorie pro výzkum 1.2.1 Konstrukty a jejich operacionalizace 1.2.2 Role teorie ve výzkumu 1.2.3 Proces ověření hypotéz a teorií 1.3 Etika vědecké práce

Více

Odhad parametrů N(µ, σ 2 )

Odhad parametrů N(µ, σ 2 ) Odhad parametrů N(µ, σ 2 ) Mějme statistický soubor x 1, x 2,, x n modelovaný jako realizaci náhodného výběru z normálního rozdělení N(µ, σ 2 ) s neznámými parametry µ a σ. Jaký je maximální věrohodný

Více

Automatické vyhledávání informace a znalosti v elektronických textových datech

Automatické vyhledávání informace a znalosti v elektronických textových datech Automatické vyhledávání informace a znalosti v elektronických textových datech Jan Žižka Ústav informatiky & SoNet RC PEF, Mendelova universita Brno (Text Mining) Data, informace, znalost Elektronická

Více

MOCNINY A ODMOCNINY. Standardy: M-9-1-01 M-9-1-02 PYTHAGOROVA VĚTA. Standardy: M-9-3-04 M-9-3-01

MOCNINY A ODMOCNINY. Standardy: M-9-1-01 M-9-1-02 PYTHAGOROVA VĚTA. Standardy: M-9-3-04 M-9-3-01 matematických pojmů a vztahů, k poznávání základě těchto vlastností k určování a zařazování pojmů matematického aparátu Zapisuje a počítá mocniny a odmocniny racionálních čísel Používá pro počítání s mocninami

Více

přetrénování = ztráta schopnosti generalizovat vlivem přílišného zaměření klasifikátorů na rozeznávání pouze konkrétních trénovacích dat

přetrénování = ztráta schopnosti generalizovat vlivem přílišného zaměření klasifikátorů na rozeznávání pouze konkrétních trénovacích dat Zkouška ISR 2013 přetrénování = ztráta schopnosti generalizovat vlivem přílišného zaměření klasifikátorů na rozeznávání pouze konkrétních trénovacích dat 1. Rozdílné principy u induktivního a deduktivního

Více

14 Porovnání přístupů

14 Porovnání přístupů 14 Porovnání přístupů Komplexní řešení jakékoliv úlohy, jakéhokoliv problému - ať již člověkem či technickým systémem (řešitelem) - má-li se jevit jako inteligentní, se musí nutně skládat ze dvou částí

Více

Systémy pro podporu rozhodování. Modelování a analýza

Systémy pro podporu rozhodování. Modelování a analýza Systémy pro podporu rozhodování Modelování a analýza 1 Připomenutí obsahu minulé přednášky Datové sklady, přístup, analýza a vizualizace Povaha a zdroje dat (data, informace, znalosti a interní, externí,

Více

Inženýrská statistika pak představuje soubor postupů a aplikací teoretických principů v oblasti inženýrské činnosti.

Inženýrská statistika pak představuje soubor postupů a aplikací teoretických principů v oblasti inženýrské činnosti. Přednáška č. 1 Úvod do statistiky a počtu pravděpodobnosti Statistika Statistika je věda a postup jak rozvíjet lidské znalosti použitím empirických dat. Je založena na matematické statistice, která je

Více

Základy vytěžování dat

Základy vytěžování dat Základy vytěžování dat předmět A7Bb36vyd Vytěžování dat Filip Železný, Miroslav Čepek, Radomír Černoch, Jan Hrdlička katedra kybernetiky a katedra počítačů ČVUT v Praze, FEL Evropský sociální fond Praha

Více

Biologicky inspirované výpočty. Schématické rozdělení problematiky a výuky

Biologicky inspirované výpočty. Schématické rozdělení problematiky a výuky Biologicky inspirované výpočty Schématické rozdělení problematiky a výuky 1 Biologicky inspirované výpočty - struktura problematiky Evoluční systémy: evoluční algoritmy, evoluční hardware, víceúčelová

Více

StatSoft Úvod do data miningu

StatSoft Úvod do data miningu StatSoft Úvod do data miningu Tento článek je úvodním povídáním o data miningu, jeho vzniku, účelu a využití. Historie data miningu Rozvoj počítačů, výpočetní techniky a zavedení elektronického sběru dat

Více

28.z-8.pc ZS 2015/2016

28.z-8.pc ZS 2015/2016 Ústav technologie, mechanizace a řízení staveb Teorie měření a regulace počítačové řízení 5 28.z-8.pc ZS 2015/2016 2015 - Ing. Václav Rada, CSc. Další hlavní téma předmětu se dotýká obsáhlé oblasti logického

Více

Restaurace (obnovení) obrazu při známé degradaci

Restaurace (obnovení) obrazu při známé degradaci Restaurace (obnovení) obrazu při známé degradaci Václav Hlaváč České vysoké učení technické v Praze Centrum strojového vnímání (přemosťuje skupiny z) Český institut informatiky, robotiky a kybernetiky

Více

Architektura - struktura sítě výkonných prvků, jejich vzájemné propojení.

Architektura - struktura sítě výkonných prvků, jejich vzájemné propojení. Základní pojmy z oblasti neuronových sítí Zde je uveden přehled některých základních pojmů z oblasti neuronových sítí. Tento přehled usnadní studium a pochopení předmětu. ADALINE - klasická umělá neuronová

Více

Preceptron přednáška ze dne

Preceptron přednáška ze dne Preceptron 2 Pavel Křížek Přemysl Šůcha 6. přednáška ze dne 3.4.2001 Obsah 1 Lineární diskriminační funkce 2 1.1 Zobecněná lineární diskriminační funkce............ 2 1.2 Učení klasifikátoru........................

Více

NÁHODNÁ ČÍSLA. F(x) = 1 pro x 1. Náhodná čísla lze generovat některým z následujících generátorů náhodných čísel:

NÁHODNÁ ČÍSLA. F(x) = 1 pro x 1. Náhodná čísla lze generovat některým z následujících generátorů náhodných čísel: NÁHODNÁ ČÍSLA TYPY GENERÁTORŮ, LINEÁRNÍ KONGRUENČNÍ GENERÁTORY, TESTY NÁHODNOSTI, VYUŽITÍ HODNOT NÁHODNÝCH VELIČIN V SIMULACI CO JE TO NÁHODNÉ ČÍSLO? Náhodné číslo definujeme jako nezávislé hodnoty z rovnoměrného

Více

TECHNICKÁ UNIVERZITA V LIBERCI

TECHNICKÁ UNIVERZITA V LIBERCI TECHNICKÁ UNIVERZITA V LIBERCI Fakulta mechatroniky, informatiky a mezioborových studií Základní pojmy diagnostiky a statistických metod vyhodnocení Učební text Ivan Jaksch Liberec 2012 Materiál vznikl

Více

Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz

Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz Pravděpodobnost a matematická statistika Doc. RNDr. Gejza Dohnal, CSc. dohnal@nipax.cz Pravděpodobnost a matematická

Více

Sázíte-li v loterii, je to hazard. Hrajete-li poker, je to zábava. Obchodujete-li na burze, je to ekonomie. Vidíte ten rozdíl?

Sázíte-li v loterii, je to hazard. Hrajete-li poker, je to zábava. Obchodujete-li na burze, je to ekonomie. Vidíte ten rozdíl? 1.1 Základní statistické pojmy a metody Sázíte-li v loterii, je to hazard. Hrajete-li poker, je to zábava. Obchodujete-li na burze, je to ekonomie. Vidíte ten rozdíl? 1 Co se dozvíte Co je to statistika

Více

Obsah. Seznam obrázků... XV. Seznam tabulek... XV

Obsah. Seznam obrázků... XV. Seznam tabulek... XV Obsah Seznam obrázků... XV Seznam tabulek... XV 1. Úvod.... 1 1.1 Benchmarking, benchmarkingové modely... 3 1.1.1 Teorie benchmarkingu... 4 1.1.2 Základní typy benchmarkingu a jeho další modifikace...

Více

2011 (datový soubor life expectancy CR.txt). Budeme predikovat vývoj očekávané doby dožití pomocí

2011 (datový soubor life expectancy CR.txt). Budeme predikovat vývoj očekávané doby dožití pomocí Příklady užití časových řad k predikci rizikových jevů 1 Očekávaná doba dožití v ČR Máme k dispozici časovou řadu udávající očekávanou dobu dožití v České republice od roku 1960 do roku 2011 (datový soubor

Více

Aplikovaná numerická matematika

Aplikovaná numerická matematika Aplikovaná numerická matematika 6. Metoda nejmenších čtverců doc. Ing. Róbert Lórencz, CSc. České vysoké učení technické v Praze Fakulta informačních technologií Katedra počítačových systémů Příprava studijních

Více

Samoučící se neuronová síť - SOM, Kohonenovy mapy

Samoučící se neuronová síť - SOM, Kohonenovy mapy Samoučící se neuronová síť - SOM, Kohonenovy mapy Antonín Vojáček, 14 Květen, 2006-10:33 Měření a regulace Samoorganizující neuronové sítě s učením bez učitele jsou stále více využívány pro rozlišení,

Více

Dolování asociačních pravidel

Dolování asociačních pravidel Dolování asociačních pravidel Miloš Trávníček UIFS FIT VUT v Brně Obsah přednášky 1. Proces získávání znalostí 2. Asociační pravidla 3. Dolování asociačních pravidel 4. Algoritmy pro dolování asociačních

Více

5. Umělé neuronové sítě. neuronové sítě. Umělé Ondřej Valenta, Václav Matoušek. 5-1 Umělá inteligence a rozpoznávání, LS 2015

5. Umělé neuronové sítě. neuronové sítě. Umělé Ondřej Valenta, Václav Matoušek. 5-1 Umělá inteligence a rozpoznávání, LS 2015 Umělé neuronové sítě 5. 4. 205 _ 5- Model umělého neuronu y výstup neuronu u vnitřní potenciál neuronu w i váhy neuronu x i vstupy neuronu Θ práh neuronu f neuronová aktivační funkce _ 5-2 Neuronové aktivační

Více

Ing. Michael Rost, Ph.D.

Ing. Michael Rost, Ph.D. Statistika úvodní přednáška Ing. Michael Rost, Ph.D. Jihočeská univerzita v Českých Budějovicích Cíle základního kurzu: seznámit posluchače se základy počtu pravděpodobnosti, seznámit posluchače s aspekty

Více

Metodologie pedagogického výzkumu Téma číslo 4 Validita a reliabilita

Metodologie pedagogického výzkumu Téma číslo 4 Validita a reliabilita Metodologie pedagogického výzkumu Téma číslo 4 Validita a reliabilita pedagogického výzkumu 1 Validita = platnost Měříme skutečně to, co se domníváme, že měříme??? Z výsledku vědomostního testu usuzujeme

Více