Lineární diskriminační funkce. Perceptronový algoritmus.



Podobné dokumenty
Optimální rozdělující nadplocha 4. Support vector machine. Adaboost.

Algoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů)

Úloha - rozpoznávání číslic

Kybernetika a umělá inteligence, cvičení 10/11

Lineární klasifikátory

ANALÝZA A KLASIFIKACE DAT

Rosenblattův perceptron

Strojové učení Marta Vomlelová

Vytěžování znalostí z dat

Neuronové sítě Učení bipolárního perceptronu

Výpočetní teorie učení. PAC učení. VC dimenze.

Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague

Support Vector Machines (jemný úvod)

Trénování sítě pomocí učení s učitelem

Preceptron přednáška ze dne

Klasifikace a rozpoznávání. Lineární klasifikátory

Fakulta informačních technologií VUT Brno. Předmět: Srovnání klasifikátorů Autor : Jakub Mahdal Login: xmahda03 Datum:

Úvod Příklad Výpočty a grafické znázornění. Filip Habr. České vysoké učení technické v Praze Fakulta jaderná a fyzikálně inženýrská

Vojtěch Franc. Biometrie ZS Poděkování Janu Šochmanovi za slajdy vysvětlující AdaBoost

Umělé neuronové sítě

1. Data mining. Strojové učení. Základní úlohy.

3. Vícevrstvé dopředné sítě

NG C Implementace plně rekurentní

5. Umělé neuronové sítě. neuronové sítě. Umělé Ondřej Valenta, Václav Matoušek. 5-1 Umělá inteligence a rozpoznávání, LS 2015

Přednáška 13 Redukce dimenzionality

Ing. Petr Hájek, Ph.D. Podpora přednášky kurzu Aplikace umělé inteligence

Neuronové sítě (11. přednáška)

Časová a prostorová složitost algoritmů

Asociativní sítě (paměti) Asociace známého vstupního vzoru s daným výstupním vzorem. Typická funkce 1 / 44

Strojové učení se zaměřením na vliv vstupních dat

Vojtěch Franc Centrum strojového vnímání, Katedra kybernetiky, FEL ČVUT v Praze Eyedea Recognition s.r.o MLMU

Ambasadoři přírodovědných a technických oborů. Ing. Michal Řepka Březen - duben 2013

Katedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group

Moderní systémy pro získávání znalostí z informací a dat

Úvod do optimalizace, metody hladké optimalizace

Dnes budeme učit agenty, jak zlepšit svůj

Umělá inteligence a rozpoznávání

Fiala P., Karhan P., Ptáček J. Oddělení lékařské fyziky a radiační ochrany Fakultní nemocnice Olomouc

Václav Matoušek KIV. Umělá inteligence a rozpoznávání. Václav Matoušek / KIV

Klasifikační metody pro genetická data: regularizace a robustnost

Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague

Obr. 1 Biologický neuron

TGH06 - Hledání nejkratší cesty

Genetické programování

4. Učení bez učitele. Shlukování. K-means, EM. Hierarchické shlukování. Kompetitivní učení. Kohonenovy mapy.

logistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti

Paralelní a distribuované výpočty (B4B36PDV)

Pravidlové systémy. Klasifikační pravidla. Asociační pravidla.

LDA, logistická regrese

Strojové učení Marta Vomlelová

Rozpoznávání v obraze

Neuronové sítě v DPZ

8-9. Pravděpodobnostní rozhodování a predikce. Gerstnerova laboratoř katedra kybernetiky fakulta elektrotechnická ČVUT v Praze

ANALÝZA A KLASIFIKACE DAT

PŘEDNÁŠKA KURZU MPOV

4EK213 Lineární modely. 4. Simplexová metoda - závěr

Využití metod strojového učení v bioinformatice David Hoksza

Faculty of Nuclear Sciences and Physical Engineering Czech Technical University in Prague

Klasifikace a rozpoznávání

Jsou inspirovány poznatky o neuronech a nervových sítích živých organizmů a jejich schopnostmi:

Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2016

INVESTICE DO ROZVOJE VZDĚLÁVÁNÍ. Modernizace studijního programu Matematika na PřF Univerzity Palackého v Olomouci CZ.1.07/2.2.00/28.

Hledání kořenů rovnic jedné reálné proměnné metoda sečen Michal Čihák 23. října 2012

Neuronové sítě AIL002. Iveta Mrázová 1 František Mráz 2. Neuronové sítě. 1 Katedra softwarového inženýrství. 2 Kabinet software a výuky informatiky

Statistická teorie učení

logistická regrese Miroslav Čepek Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti

Vytěžování znalostí z dat

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ

KLASIFIKACE DOKUMENTŮ PODLE TÉMATU

Martin NESLÁDEK. 14. listopadu 2017

Klasifikace předmětů a jevů

Selekce a extrakce příznaků 2

Sada 1 - Základy programování

KLASIFIKÁTOR MODULACÍ S VYUŽITÍM UMĚLÉ NEURONOVÉ SÍTĚ

Vytěžování znalostí z dat

Faster Gradient Descent Methods

Numerické metody a programování. Lekce 4

Algoritmy a struktury neuropočítačů ASN P3

FIT ČVUT MI-LOM Lineární optimalizace a metody. Dualita. Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti

TGH06 - Hledání nejkratší cesty

3. Aritmetika nad F p a F 2

Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2014

ZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ

Následující text je součástí učebních textů předmětu Bi0034 Analýza a klasifikace dat a je určen

Jsou inspirovány poznatky o neuronech a nervových sítích živých organizmů a jejich schopnostmi:

Neuronové sítě. Vlasta Radová Západočeská univerzita v Plzni katedra kybernetiky

19 Hilbertovy prostory

Rekurentní rovnice, strukturální indukce

ANALÝZA BIOLOGICKÝCH A KLINICKÝCH DAT V MEZIOBOROVÉM POJETÍ

1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15

Summer Workshop of Applied Mechanics. Závislost míry tuhosti laminátové desky na orientaci vrstev a její maximalizace

Newtonova metoda. 23. října 2012

Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od podzimu 2014

Princip rozšíření a operace s fuzzy čísly

Projekční algoritmus. Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění. Jan Klíma

Algoritmy a struktury neuropočítačů ASN P4. Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby

ANALÝZA A KLASIFIKACE BIOMEDICÍNSKÝCH DAT. Institut biostatistiky a analýz

Martin Flusser. November 1, 2016

ANALÝZA A KLASIFIKACE DAT

Zadání a řešení testu z matematiky a zpráva o výsledcích přijímacího řízení do magisterského navazujícího studia od jara 2017

Transkript:

Lineární. Perceptronový algoritmus. Petr Pošík Czech Technical University in Prague Faculty of Electrical Engineering Dept. of Cybernetics P. Pošík c 2012 Artificial Intelligence 1 / 12

Binární klasifikace Diskriminační : příklady Druhy diskriminační P. Pošík c 2012 Artificial Intelligence 2 / 12

Úloha binární klasifikace (dichotomie) Binární klasifikace Diskriminační : příklady Druhy diskriminační Mějme trénovací sadu dat (x 1, y 1 ),...,(x m, y m ): každý objekt x je popsán vektorem reálných příznaků (x 1, x 2,..., x D ) každý objekt x je označen správným štítkem y {+1, 1} Diskriminační je, která umožňuje rozlišit, do které třídy objekt patří. Binární klasifikace objektů x (klasifikace do 2 tříd, dichotomie): Stačí 1 Pravidlo: f(x i ) > 0 y i = +1 f(x i ) < 0 y i = 1 neboli y i = sign( f(x)) P. Pošík c 2012 Artificial Intelligence 3 / 12

Diskriminační : příklady Binární klasifikace Diskriminační : příklady Druhy diskriminační 1.5 1 0.5 f(x) 0 0.5 1 0.5 1 1.5 2 2.5 3 3.5 x P. Pošík c 2012 Artificial Intelligence 4 / 12

Diskriminační : příklady Binární klasifikace Diskriminační : příklady Druhy diskriminační f(x) 4 3 2 1 0 1 2 3 4 5 6 0 1 2 3 4 5 x P. Pošík c 2012 Artificial Intelligence 4 / 12

Druhy Binární klasifikace Diskriminační : příklady Druhy diskriminační Diskriminační může mít podobu: jakékoli matematické (lineární, kvadratická, polynomiální,... ), matematického modelu v jiné formě (uvnitř neuronové sítě, v rámci support vector machine,... ), atd. Lineární: f(x) = w 1 x 1 + w 2 x 2 +...+w D x D + w 0 (1) Vektorově: f(x) = w T x+w 0 x = (x 1, x 2,..., x D ) T w = (w 1, w 2,..., w D ) T Vektorově (homogenní souřadnice): f(x) = w T x x = (x 1, x 2,..., x D, 1) T w = (w 1, w 2,..., w D, w 0 ) T P. Pošík c 2012 Artificial Intelligence 5 / 12

Binární klasifikace Diskriminační : příklady Druhy diskriminační 1. Jak získat predikce, když známe model? 2. Jak získat model, když známe trénovací data? P. Pošík c 2012 Artificial Intelligence 6 / 12

Binární klasifikace Diskriminační : příklady Druhy diskriminační 1. Jak získat predikce, když známe model? 2. Jak získat model, když známe trénovací data? 1. Jak učit lineární diskr. funkci z trénovacích dat? Perceptronový algoritmus Optimální rozdělující nadplocha 2. Když lineární nestačí... Rozšíření báze Support vector machine AdaBoost P. Pošík c 2012 Artificial Intelligence 6 / 12

Perceptron Demo: perceptron Vlastnosti perceptronového algoritmu Nadplocha nalezená perceptronem Příště: P. Pošík c 2012 Artificial Intelligence 7 / 12

Perceptronový algoritmus Perceptron Demo: perceptron Vlastnosti perceptronového algoritmu Nadplocha nalezená perceptronem Příště: Perceptron [Ros62]: jednoduchý model neuronu lineární klasifikátor (klasifikátor s lineární diskriminační funkcí) perceptronový algoritmus je jeden z mnoha algoritmů učení lineární diskr. (další jsou např. lineární diskr. analýza, Fisherova diskr. analýza, SVM s lineárním jádrem,... ) Algoritmus 1: Perceptronový algoritmus Vstup: Lineárně separabilní množina ohodnocených trénovacích bodů: {x i, y i }, x i R D+1 (homogenní souřadnice), y i {+1, 1} Výstup: Váhový vektor w takový, že w T x i > 0 iff y i = +1 a w T x i < 0 iff y i = 1 1 begin 2 Inicializuj váhový vektor, např. w = 0. 3 Invertuj body ve 2. třídě: x i = x i pro všechna i, kde y i = 1. 4 Najdi špatně zaklasifikovaný trénovací vektor, tj. najdi j, pro které w T x j 0, např. nejhůře zaklasifikovaný vektor: x j = arg min xi (w T x i ). 5 if neexistuje špatně zaklasifikovaný bod then 6 Vektor w je řešením. Konec. 7 else 8 Uprav váhový vektor: w = w+x j. 9 10 Pokračuj krokem 4. [Ros62] Frank Rosenblatt. Principles of Neurodynamics: Perceptron and the Theory of Brain Mechanisms. Spartan Books, Washington, D.C., 1962. P. Pošík c 2012 Artificial Intelligence 8 / 12

Demo: perceptron Perceptron Demo: perceptron Vlastnosti perceptronového algoritmu Nadplocha nalezená perceptronem Příště: 1 0.8 Iteration 257 0.6 0.4 0.2 0 0.2 0.2 0 0.2 0.4 0.6 0.8 1 1.2 P. Pošík c 2012 Artificial Intelligence 9 / 12

Vlastnosti perceptronového algoritmu Perceptron Demo: perceptron Vlastnosti perceptronového algoritmu Nadplocha nalezená perceptronem Příště: Věta o konvergenci perceptronu [Nov62]: Perceptronový algoritmus nalezne lineární nadplochu oddělující dvě třídy bodů za předpokladu, že taková nadplocha existuje. Věta o zacyklení perceptronu: Pokud oddělující nadplocha neexistuje, algoritmus nemusí konvergovat (a bude iterovat donekonečna). Možná řešení: Pocket algorithm - sledovat chybu, jakou perceptron v každé iteraci dělá, a udržovat váhy s nejmenší dosud nalezenou chybou v oddělené paměti. K učení lineárního klasifikátoru použít algoritmus, který najde alespoň přibližné řešení, pokud třídy lineárně separovatelné nejsou. [Nov62] Albert B. J. Novikoff. On convergence proofs for perceptrons. In Proceedings of the Symposium on Mathematical Theory of Automata, volume 12, Brooklyn, New York, 1962. P. Pošík c 2012 Artificial Intelligence 10 / 12

Nadplocha nalezená perceptronem Perceptron Demo: perceptron Vlastnosti perceptronového algoritmu Nadplocha nalezená perceptronem Příště: Perceptronový algoritmus pro lineárně separabilní data najde rozdělující nadplochu, pokud existuje pokud existuje jedna nadplocha, existuje jich nekonečně mnoho najde jakoukoliv rozdělující nadplochu! Která z nekonečného množství rozdělujících nadploch je optimální? P. Pošík c 2012 Artificial Intelligence 11 / 12

Příště: Perceptron Demo: perceptron Vlastnosti perceptronového algoritmu Nadplocha nalezená perceptronem Příště: Optimální rozdělující nadplocha Co když lineární hranice nestačí? Rozšíření báze Kernel trik Adaboost Dotazy? P. Pošík c 2012 Artificial Intelligence 12 / 12