Algoritmy a struktury neuropočítačů ASN - P2. Topologie neuronových sítí, principy učení Samoorganizující se neuronové sítě Kohonenovy mapy
|
|
- Kamila Bednářová
- před 5 lety
- Počet zobrazení:
Transkript
1 Algoritmy a struktury neuropočítačů ASN - P2 Topologie neuronových sítí, principy učení Samoorganizující se neuronové sítě Kohonenovy mapy Topologie neuronových sítí (struktura, geometrie, architektura) Uspořádání výkonných jednotek - neuronů (units, neurons) a jejich vzájemné propojení. propojení - orientované grafy: uzly neurony orientované větve synaptické váhy Vícevrstvé neuronové síte (Multilayer Neural Network - MLNN) neurony (výkonné jednotky) sestavené do vrstev sítě s dopředným šířením informace (feedforward)
2 Vrstevnatá struktura vstupní vrstva (input layer) skryté vrstvy (hidden layers) výstupní vrstva (output layer) Např.: počet počet počet vstupních skrytých výstupních neuronů neuronů neuronů rekurentní sítě (recurrent networks) informace se šíří v dopředném směru formou jednoduchých zpětných vazeb formou vícenásobných zpětných vazeb Toto propojení zprostředkovávají synaptické váhy. Neurony tvoří vrstvy: obvykle typ McCulloch-Pitt
3 Topologie: cyklická (rekurentní) aproximace nelineárních vztahů acyklická (dopředná) nelinární dynamické systémy Principy učení a jeho druhy Proces učení (trénink) modifikace synaptických vah a prahů podle zvoleného algoritmu učení výběr charakteristických rysů a zkušeností ze vstupních signálů nastavení parametrů UNS tak, aby odchylka (v dané metrice) mezi požadovaným a skutečným výstupem při odezvě na soubor trénovacích vzorů byla minimální UNS jsou schopné analyzovat a rozpoznat určité množství reálných vzorů. Reálná data jsou často zašuměná. Není tedy možné klasifikovat správně úplně všechny vzory.
4 Dělení způsobů učení (příklady) I. 1. neasociativní - jednou nebo opakovaně je předkládán síti vzor nebo skupina vzorů bez uvažování jejich vzájemných souvislostí Cíl: uchování v paměti a vybavování 2. asociativní - cílem je extrakce vztahů mezi jednotlivými vzory nebo skupinami vzorů II. 1. učení s učitelem - (supervised learning) Perceptron, Adaline, Madaline, metoda zpětného šíření chyby 2. učení bez učitele - (unsupervised learning) spojité Hopfieldovy sítě, LVQ, Kohonenovy samoorganizující se mapy, asociativní paměti
5 III. 1. jednorázové učení 2. opakované učení Proces opakovaného učení A) daný počet opakovaného předkládání téhož vzoru otestování na velikost chyby proces je ukončen nebo pokračuje B) daný počet opakovaného předkládání téhož vzoru otestování na velikost chyby systém je klasifikován a odměněn nebo trestán C) posilované učení (reinforced learning) D) adaptivní upravování na základě výsledků z předchozích kroků
6 Základní zákony učení (learning rules, learning algorithms) Hebbův zákon učení (Hebbian learning) základ všech současných modelů, odvozen z analogie s učením biologických systémů, pro formální neuron Pravdivostní tabulka: (pro konjunkci) Aktivita x y výsledek logický součin v daném okamžiku musí být aktivní oba neurony současně w i j (t+1) = w i j (t) + α y i (t) x j (t) dw dt ij y j x i
7 Zákon učení perceptronu Jeden vstupní vektor x a požadovaný výstup tar Neuron typu McCulloch-Pitt Aktivační funkce: skoková (threshold, hardlimit) Klasifikace pouze do dvou tříd! Modifikace vah: (0 < <1/ k ), k je maximální modul tréninkových vzorků w (t+1) = w (t) + (tar y) x Minimalizace chyby: y = (tar y) = 0 správný výstup y = (tar y) = 1 w ij se nemění chybný výstup modifikace wij! Učení konverguje pouze v případě tréninkových vzorků z lineárně separabilního prostoru.
8 Widrow - Hoffův zákon - LMS Least Mean Square Metoda nejmenších čtverců účelové učení (performance learning) hledá se soubor vah, který odpovídá extrému účelové funkce Vyjadřuje rozdíl naměřených a vypočtených hodnot. mění váhy a prahy v souhlase s velikostí chyby pro vrstevnaté sítě minimalizuje chybu pro všechny trénovací vzory Pravidlo delta (Delta rule): chyba je redukována postupně pro každý vzor nebo skupinu vzorů - skupinová adaptace (batch updating) w ij = w ij (t + 1) w ij (t) w ij = N k 1 δ(k) (k) (k) je chyba, N je počet tréninkových vzorků, x i (k) je vstup x i
9 Samoorganizující se neuronové sítě ( Self Organizing Maps ) SOM Neuronové sítě s učením bez učitele (unsupervised learning) Inspirace: organizace mozku do oblastí map, podmnožiny podobných vektorů jsou navzájem propojeny. Praktické aplikace: sítě tvořené asi neurony, učení časově náročné, výkonné počítače Použití: zejména pro analýzu velkého počtu vstupních parametrů, např. při technologických procesech (VLSI), při rozpoznávání řeči jen dílčí problémy, pro identifikaci řečníka, v robotice (řízení ramene robota v nepřístupném prostředí, pohyb robota v labyrintu ). Problém obchodního cestujícího. Při detekci poruch řeči, při zpracování biologických signálů (EEG, EKG, MEG) magnetoencefalograf
10 Princip: učení je založeno na schopnosti NN rozeznat ve vstupních vzorech stejné nebo blízké vlastnosti a třídit přicházející vektory podle nich. Podobné vektory sdružuje do shluků (clusters) měnící se vektory vah nejsou porovnávány s požadovanými (target) hodnotami Použití: nelze: tam, kde neznáme správné řešení, pro shlukování, vizualizaci, pro abstrakci pro rozpoznání statistických veličin Pozn: při nesprávné volbě úlohy jsou výsledky trénování špatné Kritérium: výpočet vzdálenosti mezi vzory a aktuálními hodnotami, hledání extrémů minimální vzdálenost maximální výstupní hodnota
11 Kompetitivní učení ( Competitive learning ) Zákon kompetice, soutěžní učení sekvence vzorků : x = x ( t ) R n t čas množina referenčních vektorů: Pozn.: referenční vektory bývají značeny také jako m i w i ( t ) : w i w i ( 0 ) R n, i = 1, 2,, k inicializace lokální propojení, signál je šířen také k sousedním neuronům, každý vstupní vektor vzorů je v každém časovém okamžiku porovnáván s každým vektorem W j Míra porovnání : vzdálenost d (X, W j ) Index j = c je index nejbližšího referenčního vektoru. Pak vzdálenost d (X, W c ) je minimum všech vzdáleností. Vektor W c se nazývá vítěz v soutěži (kompetici) (winner, centroid)
12 Míru naučenosti určujeme pomocí vzdálenosti resp. blízkosti reprezentace vzorů. Nejčastěji používané vzdálenosti: Euklidovská - pro pravoúhlý souřadnicový systém d E ( x, y) ( x 1 y 1 ) 2 ( x n y n ) 2 d E ( x, y) n i 1 ( x i y i ) 2 Hammingova pro binární vektory ( 0, 1 ) Určuje jaké množství elementů dvou vektorů je různé. Lze ji použít na porovnání jakýchkoliv množin z diskrétních hodnot Minkowskiho zobecnění Euklidovské vzdálenosti n 1/ d (, ) M x y x i y i i1 Elementy vektorů jsou buď binární hodnoty (0, 1) nebo písmena abecedy. x = (1, 0, 1, 1, 1, 0) u = (p, a, t, t, e, r, n) y = (1, 1, 0, 1, 0, 1) w = (w, e, s, t, e, r, n) d H (x,y) = 4 d H (x,y) = 3
13 Reprezentace dat spatially temporally Hodnoty signálu sousedící v prostoru nebo v čase jsou představovány vzorky (patterns) uspořádaná množina reálných čísel - vektor Elementy vektoru X = (x 1, x 2,, x n ) představují souřadnice v prostoru n-té dimenze Koncepce deterministická nebo stochastická (přirozenější) Hodnoty vzorků jsou pravděpodobností (samples), mohou nabývat diskrétní nebo spojité hodnoty. Jde o funkci rozložení pravděpodobnosti Do dnešní doby bylo metodě SOM věnováno kolem 4000 článků, speciální workshopy a samostatné sekce na všech velkých konferencích
14 Kde je možné najít literaturu? Na Internetu : Kaski, S., Kangas, J., Kohonen, T.: Bibliography of selforganizing map (SOM) papers: Neural Computing Surveys, 1(3&4):1-176, 1998 Knihy: Kohonen, T.: Self-Organizing Maps. Berlin Heidelberg, 3-rd ed. Springer Series in Information Sciences, Springer-Verlag, 2001, ISBN Software: SOM_PAK (UNIX) SOM Toolbox (Win NT)
15 Kohonenovo učení základní myšlenka prostorová reprezentace dat komprese dat transformace z n - rozměrného na m - rozměrný prostor n > m propojení mezi sousedními neurony model neuronu McCulloch-Pitts nepracuje se s aktivační funkcí, ale s funkcí okolí (neighborhood function) výpočet vzdáleností a jejich minimalizace
16 okolí váhy w- referenční vektory vstupní vektor x(t) předem zvolená topologie mapy a okolí často čtvercová nebo hexagonální způsob modifikace velikosti okolí centroid (winner) neuron patří do okolí neuron nepatří do okolí Kohonenův algoritmus učení ( Delta pravidlo) pp. Euklideovská metrika Obecně: mapa nejčastěji dvojdimenzionální (principielně neexistuje omezení v počtu dimenzí) volba okolí (neighbourhood ) s předem známou topologií
17 konvergence učení - závisí na mnoha parametrech inicializační hodnoty vstupních parametrů a vah (hodnotách referenčních vektorů), počet neuronů a způsob jejich organizace v mapě, tvar a velikost sousedního okolí i-tého neuronu, rychlost učení při učení nejsou jednotlivé neurony na sobě navzájem závislé, sdružují vektory s podobnými vlastnostmi je hledán vítězný neuron (winner) cíl: rozdělení vstupních dat na kategorie (třídy) - klasifikace shlukování (clustering) Shluk (cluster) je tvořen určitým počtem vstupních vektorů, které se sobě nejvíce podobají (mají nejvíce společných nebo velmi blízkých vlastností.
18 Je to oblast v N-dimenzionálním prostoru (data jsou popsána N vlastnostmi features) s relativně vysokou hustotou bodů a je oddělena od ostatních oblastí s relativně nízkou hustotou bodů. Důležité: - rozmístění v mapě - počet dominantních vlastností v rámci jednoho tréninkového procesu - posun ve vstupních datech a přeřazení některé vlastnosti do jiné skupiny při opakování procesu. Problém: počet shluků Možný počet rozdělení P vzorků do K tříd: K P / K! jen pro malý počet vzorů Určení míry podobnosti (similarity measure) resp. míry neshody Nejčastěji vzdálenost
19 vítězný neuron: d(x, W c ) = min i [d(x, W i )] d j (X, W) = X = [x 1, x 2,,x N ], W i = [w i1, w i2,,w in ] n 2 ( X j Wi), j=1,,n i1 Poloměr okolí N c je funkcí času, s rostoucím časem se zmenšuje Proces končí pro N c = c Okolí je totožné s vítězným neuronem Kohonenův algoritmus přejde na jednoduché kompetiční učení. Vektory blízké neuronu c patří do jeho okolí, jejich váhy jsou adaptovány v souhlase s algoritmem učení. Tvoří jednotlivé shluky. Váhy neuronů ležících vně okolí Nc se nemění.
20 Do okolí (neighbourhood) se klasifikují všechny vstupní vektory nejvíce se podobající vítězi. Vždy klasifikační úloha. Topologie mapy (kompetitivní vrstvy) i okolí budoucího vítěze jsou předem zvolené. Příklady topologií Kohonenovy mapy a okolí vítězného neuronu. Váhové vektory v KSOM: a) rozložení při inicializaci b) po 20-ti iteracích c) po 40-ti iteracích d) po 100 iteracích
21 Vektory vah během trénování, 1-D mapa Reprezentace 3-D funkce rozložení pomocí 2-D mapy
Algoritmy a struktury neuropočítačů ASN P4. Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby
Algoritmy a struktury neuropočítačů ASN P4 Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby Vrstevnatá struktura - vícevrstvé NN (Multilayer NN, MLNN) vstupní vrstva (input layer)
VíceAlgoritmy a struktury neuropočítačů ASN P3
Algoritmy a struktury neuropočítačů ASN P3 SOM algoritmus s učitelem i bez učitele U-matice Vektorová kvantizace Samoorganizující se mapy ( Self-Organizing Maps ) PROČ? Základní myšlenka: analogie s činností
VíceUmělé neuronové sítě
Umělé neuronové sítě 17. 3. 2018 5-1 Model umělého neuronu y výstup neuronu u vnitřní potenciál neuronu w i váhy neuronu x i vstupy neuronu Θ práh neuronu f neuronová aktivační funkce 5-2 Neuronové aktivační
VíceAlgoritmy a struktury neuropočítačů ASN - P1
Algoritmy a struktury neuropočítačů ASN - P1 http://amber.feld.cvut.cz/ssc www.janatuckova.cz Prof.Ing. Jana Tučková,CSc. Katedra teorie obvodů K331 kancelář: 614, B3 tel.: 224 352 098 e-mail: tuckova@fel.cvut.cz
VíceAlgoritmy a struktury neuropočítačů ASN - P11
Aplikace UNS při rozpoznání obrazů Základní úloha segmentace obrazu rozdělení obrazu do několika významných oblastí klasifikační úloha, clusterová analýza target Metody Kohonenova metoda KSOM Kohonenova
VíceZpracování biologických signálů umělými neuronovými sítěmi
Zpracování biologických signálů umělými neuronovými sítěmi Jana Tučková Katedra teorie obvodů - Laboratoř umělých neuronových sítí FEL ČVUT v Praze tuckova@fel.cvut.cz http://amber.feld.cvut.cz/user/tuckova
Více5. Umělé neuronové sítě. neuronové sítě. Umělé Ondřej Valenta, Václav Matoušek. 5-1 Umělá inteligence a rozpoznávání, LS 2015
Umělé neuronové sítě 5. 4. 205 _ 5- Model umělého neuronu y výstup neuronu u vnitřní potenciál neuronu w i váhy neuronu x i vstupy neuronu Θ práh neuronu f neuronová aktivační funkce _ 5-2 Neuronové aktivační
VíceANALÝZA A KLASIFIKACE BIOMEDICÍNSKÝCH DAT. Institut biostatistiky a analýz
ANALÝZA A KLASIFIKACE BIOMEDICÍNSKÝCH DAT prof. Ing. Jiří Holčík,, CSc. NEURONOVÉ SÍTĚ otázky a odpovědi 1 AKD_predn4, slide 8: Hodnota výstupu závisí na znaménku funkce net i, tedy na tom, zda bude suma
VíceRosenblattův perceptron
Perceptron Přenosové funkce Rosenblattův perceptron Rosenblatt r. 1958. Inspirace lidským okem Podle fyziologického vzoru je třívrstvá: Vstupní vrstva rozvětvovací jejím úkolem je mapování dvourozměrného
VíceNeuronové sítě Ladislav Horký Karel Břinda
Neuronové sítě Ladislav Horký Karel Břinda Obsah Úvod, historie Modely neuronu, aktivační funkce Topologie sítí Principy učení Konkrétní typy sítí s ukázkami v prostředí Wolfram Mathematica Praktické aplikace
VíceNG C Implementace plně rekurentní
NG C Implementace plně rekurentní neuronové sítě v systému Mathematica Zdeněk Buk, Miroslav Šnorek {bukz1 snorek}@fel.cvut.cz Neural Computing Group Department of Computer Science and Engineering, Faculty
VíceArchitektura - struktura sítě výkonných prvků, jejich vzájemné propojení.
Základní pojmy z oblasti neuronových sítí Zde je uveden přehled některých základních pojmů z oblasti neuronových sítí. Tento přehled usnadní studium a pochopení předmětu. ADALINE - klasická umělá neuronová
VíceAlgoritmy a struktury neuropočítačů ASN - P10. Aplikace UNS v biomedicíně
Aplikace UNS v biomedicíně aplikace v medicíně postup při zpracování úloh Aplikace UNS v medicíně Důvod: nalezení exaktnějších, levnějších a snadnějších metod určování diagnóz pro lékaře nalezení šetrnějších
Více3. Vícevrstvé dopředné sítě
3. Vícevrstvé dopředné sítě! Jsou tvořeny jednou nebo více vrstvami neuronů (perceptronů). Výstup jedné vrstvy je přitom připojen na vstup následující vrstvy a signál se v pracovní fázi sítě šíří pouze
VíceFiala P., Karhan P., Ptáček J. Oddělení lékařské fyziky a radiační ochrany Fakultní nemocnice Olomouc
Neuronové sítě a možnosti jejich využití Fiala P., Karhan P., Ptáček J. Oddělení lékařské fyziky a radiační ochrany Fakultní nemocnice Olomouc 1. Biologický neuron Osnova 2. Neuronové sítě Umělý neuron
VíceVytěžování znalostí z dat
Pavel Kordík, Josef Borkovec (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 8 1/26 Vytěžování znalostí z dat Pavel Kordík, Josef Borkovec Department of Computer Systems Faculty of Information
VíceAlgoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů)
Algoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů) Autor: Vladimir Vapnik Vapnik, V. The Nature of Statistical Learning Theory.
Více5. Umělé neuronové sítě. Neuronové sítě
Neuronové sítě Přesný algoritmus práce přírodních neuronových systémů není doposud znám. Přesto experimentální výsledky na modelech těchto systémů dávají dnes velmi slibné výsledky. Tyto systémy, včetně
VíceNeuronové sítě. 1 Úvod. 2 Historie. 3 Modely neuronu
Neuronové sítě L. Horký*, K. Břinda** Fakulta jaderná a fyzikálně inženýrská, Břehová 7, 115 19 Praha 1 *horkyladislav@seznam.cz, **brinda@fjfi.cvut.cz Abstrakt Cílem našeho příspěvku je získat uživatelský
VíceStátnice odborné č. 20
Státnice odborné č. 20 Shlukování dat Shlukování dat. Metoda k-středů, hierarchické (aglomerativní) shlukování, Kohonenova mapa SOM Shlukování dat Shluková analýza je snaha o seskupení objektů do skupin
Více1. Soutěživé sítě. 1.1 Základní informace. 1.2 Výstupy z učení. 1.3 Jednoduchá soutěživá síť MAXNET
Obsah 1. Soutěživé sítě... 2 1.1 Základní informace... 2 1.2 Výstupy z učení... 2 1.3 Jednoduchá soutěživá síť MAXNET... 2 1.3.1 Organizační dynamika... 2 1.3.2 Adaptační dynamika... 4 1.3.3 Aktivní dynamika...
VíceUž bylo: Učení bez učitele (unsupervised learning) Kompetitivní modely
Učení bez učitele Už bylo: Učení bez učitele (unsupervised learning) Kompetitivní modely Klastrování Kohonenovy mapy LVQ (Učení vektorové kvantizace) Zbývá: Hybridní modely (kombinace učení bez učitele
VíceLineární klasifikátory
Lineární klasifikátory Lineární klasifikátory obsah: perceptronový algoritmus základní verze varianta perceptronového algoritmu přihrádkový algoritmus podpůrné vektorové stroje Lineární klasifikátor navrhnout
Více1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15
Úvodní poznámky... 11 1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15 1.1 Základní pojmy... 15 1.2 Aplikační oblasti a etapy zpracování signálů... 17 1.3 Klasifikace diskretních
VíceSamoučící se neuronová síť - SOM, Kohonenovy mapy
Samoučící se neuronová síť - SOM, Kohonenovy mapy Antonín Vojáček, 14 Květen, 2006-10:33 Měření a regulace Samoorganizující neuronové sítě s učením bez učitele jsou stále více využívány pro rozlišení,
VíceAsociativní sítě (paměti) Asociace známého vstupního vzoru s daným výstupním vzorem. Typická funkce 1 / 44
Asociativní paměti Asociativní sítě (paměti) Cíl učení Asociace známého vstupního vzoru s daným výstupním vzorem Okoĺı známého vstupního vzoru x by se mělo také zobrazit na výstup y odpovídající x správný
VíceTrénování sítě pomocí učení s učitelem
Trénování sítě pomocí učení s učitelem! předpokládá se, že máme k dispozici trénovací množinu, tj. množinu P dvojic [vstup x p, požadovaný výstup u p ]! chceme nastavit váhy a prahy sítě tak, aby výstup
VíceÚvod do optimalizace, metody hladké optimalizace
Evropský sociální fond Investujeme do vaší budoucnosti Úvod do optimalizace, metody hladké optimalizace Matematika pro informatiky, FIT ČVUT Martin Holeňa, 13. týden LS 2010/2011 O čem to bude? Příklady
VíceJsou inspirovány poznatky o neuronech a nervových sítích živých organizmů a jejich schopnostmi:
Neuronové sítě V prezentaci jsou použity podklady z řady zdrojů (Marcel Jiřina, Dan Novák, Jean- Christophe Prévotet, Petr Berka, Jana Tučková a další) Neuronové sítě Jsou inspirovány poznatky o neuronech
Vícevýběr charakteristických rysů a zkušeností ze vstupních signálů,
Kapitola 3 Algoritmy učení Proces učení (trénink) je ve své podstatě optimalizační proces, ve kterém optimalizujeme tzv. účelovou funkci. To je chybová funkce při učení s učitelem (vyjadřuje vzájemnou
VícePřednáška 13 Redukce dimenzionality
Vytěžování Dat Přednáška 13 Redukce dimenzionality Miroslav Čepek Fakulta Elektrotechnická, ČVUT Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti ČVUT (FEL) Redukce dimenzionality 1 /
VíceJsou inspirovány poznatky o neuronech a nervových sítích živých organizmů a jejich schopnostmi:
Neuronové sítě V prezentaci jsou použity podklady zřady zdrojů (Marcel Jiřina, Dan Novák, Jean- Christophe Prévotet, Petr Berka, Jana Tučková a další) Neuronové sítě Jsou inspirovány poznatky o neuronech
VíceModerní systémy pro získávání znalostí z informací a dat
Moderní systémy pro získávání znalostí z informací a dat Jan Žižka IBA Institut biostatistiky a analýz PřF & LF, Masarykova universita Kamenice 126/3, 625 00 Brno Email: zizka@iba.muni.cz Bioinformatika:
VíceNeuronové sítě v DPZ
Univerzita J. E. Purkyně v Ústí nad Labem Fakulta životního prostředí Neuronové sítě v DPZ Seminární práce z předmětu Dálkový průzkum Země Vypracovali: Jan Lantora Rok: 2006 Zuzana Vašková Neuronové sítě
VícePV021: Neuronové sítě. Tomáš Brázdil
1 PV021: Neuronové sítě Tomáš Brázdil Cíl předmětu 2 Na co se zaměříme Základní techniky a principy neuronových sítí (NS) Přehled základních modelů NS a jejich použití Co si (doufám) odnesete Znalost základních
VíceAlgoritmy a struktury neuropočítačů ASN - P13
Speciální struktury neuronových sítí - CNN sítě - TDNN - RBF sítě - Wavelet sítě Fuzzy neuronové sítě Celulární sítě - CNN (cellular neural networks) dvojrozměrné jednovrstvé sítě laterální přenosy propojeny
VíceNeuropočítače. podnět. vnímání (senzory)
Neuropočítače Princip inteligentního systému vnímání (senzory) podnět akce (efektory) poznání plánování usuzování komunikace Typické vlastnosti inteligentního systému: schopnost vnímat podněty z okolního
VíceDálkový průzkum Země. Ústav geoinformačních technologií Lesnická a dřevařská fakulta MENDELU
Dálkový průzkum Země Ústav geoinformačních technologií Lesnická a dřevařská fakulta MENDELU Klasifikace založené na strojovém učení Strojové učení je podoblastí umělé inteligence, zabývající se algoritmy
VíceNeuronové sítě AIL002. Iveta Mrázová 1 František Mráz 2. Neuronové sítě. 1 Katedra softwarového inženýrství. 2 Kabinet software a výuky informatiky
Neuronové sítě AIL002 Iveta Mrázová 1 František Mráz 2 1 Katedra softwarového inženýrství 2 Kabinet software a výuky informatiky Do LATEXu přepsal: Tomáš Caithaml Učení s učitelem Rozpoznávání Použití:
VíceAlgoritmy a struktury neuropočítačů ASN - P14. Neuropočítače
Neuropočítače speciální výpočetní prostředky pro urychlení výpočtů neuronových sítí implementace zjednodušených algoritmů obvykle celočíselná aritmetika v kombinaci s normováním vstupních vektorů Rozdělení
VíceNeuronové sítě (11. přednáška)
Neuronové sítě (11. přednáška) Machine Learning Naučit stroje se učit O co jde? Máme model výpočtu (t.j. výpočetní postup jednoznačně daný vstupy a nějakými parametry), chceme najít vhodné nastavení parametrů,
VíceVYSOKÉ UČENÍ TECHNICKÉ V BRNĚ
VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY FAKULTA STROJNÍHO INŽENÝRSTVÍ FACULTY OF MECHANICAL ENGINEERING ÚSTAV AUTOMATIZACE A INFORMATIKY INSTITUTE OF AUTOMATION AND COMPUTER SCIENCE
VíceDobývání znalostí. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze
Dobývání znalostí Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze Dobývání znalostí Pravděpodobnost a učení Doc. RNDr. Iveta Mrázová,
VícePreceptron přednáška ze dne
Preceptron 2 Pavel Křížek Přemysl Šůcha 6. přednáška ze dne 3.4.2001 Obsah 1 Lineární diskriminační funkce 2 1.1 Zobecněná lineární diskriminační funkce............ 2 1.2 Učení klasifikátoru........................
VíceNeuronové časové řady (ANN-TS)
Neuronové časové řady (ANN-TS) Menu: QCExpert Prediktivní metody Neuronové časové řady Tento modul (Artificial Neural Network Time Series ANN-TS) využívá modelovacího potenciálu neuronové sítě k predikci
VíceVyužití strojového učení k identifikaci protein-ligand aktivních míst
Využití strojového učení k identifikaci protein-ligand aktivních míst David Hoksza, Radoslav Krivák SIRET Research Group Katedra softwarového inženýrství, Matematicko-fyzikální fakulta Karlova Univerzita
VíceOSA. maximalizace minimalizace 1/22
OSA Systémová analýza metodika používaná k navrhování a racionalizaci systémů v podmínkách neurčitosti vyšší stupeň operační analýzy Operační analýza (výzkum) soubor metod umožňující řešit rozhodovací,
VíceAmbasadoři přírodovědných a technických oborů. Ing. Michal Řepka Březen - duben 2013
Ambasadoři přírodovědných a technických oborů Ing. Michal Řepka Březen - duben 2013 Umělé neuronové sítě Proč právě Neuronové sítě? K čemu je to dobré? Používá se to někde v praxi? Úvod Umělé neuronové
Vícepřetrénování = ztráta schopnosti generalizovat vlivem přílišného zaměření klasifikátorů na rozeznávání pouze konkrétních trénovacích dat
Zkouška ISR 2013 přetrénování = ztráta schopnosti generalizovat vlivem přílišného zaměření klasifikátorů na rozeznávání pouze konkrétních trénovacích dat 1. Rozdílné principy u induktivního a deduktivního
VíceMiroslav Čepek
Vytěžování Dat Přednáška 5 Self Organizing Map Miroslav Čepek Katedra počítačů, Computational Intelligence Group Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti 21.10.2014 Miroslav Čepek
VíceVyužití metod strojového učení v bioinformatice David Hoksza
Využití metod strojového učení v bioinformatice David Hoksza SIRET Research Group Katedra softwarového inženýrství, Matematicko-fyzikální fakulta Karlova Univerzita v Praze Bioinformatika Biologické inspirace
VíceÚloha - rozpoznávání číslic
Úloha - rozpoznávání číslic Vojtěch Franc, Tomáš Pajdla a Tomáš Svoboda http://cmp.felk.cvut.cz 27. listopadu 26 Abstrakt Podpůrný text pro cvičení předmětu X33KUI. Vysvětluje tři způsoby rozpoznávání
VíceVyužití neuronové sítě pro identifikaci realného systému
1 Portál pre odborné publikovanie ISSN 1338-0087 Využití neuronové sítě pro identifikaci realného systému Pišan Radim Elektrotechnika 20.06.2011 Identifikace systémů je proces, kdy z naměřených dat můžeme
VíceKlasifikace předmětů a jevů
Klasifikace předmětů a jevů 1. Úvod Rozpoznávání neboli klasifikace je základní znak lidské činnosti. Rozpoznávání (klasifikace) předmětů a jevů spočívá v jejich zařazování do jednotlivých tříd. Třídou
VíceÚvod do zpracování signálů
1 / 25 Úvod do zpracování signálů Karel Horák Rozvrh přednášky: 1. Spojitý a diskrétní signál. 2. Spektrum signálu. 3. Vzorkovací věta. 4. Konvoluce signálů. 5. Korelace signálů. 2 / 25 Úvod do zpracování
Více2. RBF neuronové sítě
2. RBF neuronové sítě Kapitola pojednává o neuronových sítích typu RBF. V kapitole je popsána základní struktura tohoto typu neuronové sítě. Poté následuje definice a charakteristika jednotlivých radiálně
VíceVytěžování znalostí z dat
Pavel Kordík (ČVUT FIT) Vytěžování znalostí z dat BI-VZD, 2012, Přednáška 10 1/50 Vytěžování znalostí z dat Pavel Kordík Department of Computer Systems Faculty of Information Technology Czech Technical
VíceÚvodem Dříve les než stromy 3 Operace s maticemi
Obsah 1 Úvodem 13 2 Dříve les než stromy 17 2.1 Nejednoznačnost terminologie 17 2.2 Volba metody analýzy dat 23 2.3 Přehled vybraných vícerozměrných metod 25 2.3.1 Metoda hlavních komponent 26 2.3.2 Faktorová
VíceNeuronové sítě. Vlasta Radová Západočeská univerzita v Plzni katedra kybernetiky
Neuronové sítě Vlasta Radová Západočeská univerzita v Plzni katedra kybernetiky Motivace pro výzkum umělých neuronových sítí lidský mozek pracuje jiným způsobem než běžné číslicové počítače počítače přesně
VíceKybernetika a umělá inteligence, cvičení 10/11
Kybernetika a umělá inteligence, cvičení 10/11 Program 1. seminární cvičení: základní typy klasifikátorů a jejich princip 2. počítačové cvičení: procvičení na problému rozpoznávání číslic... body za aktivitu
VíceANALÝZA A KLASIFIKACE DAT
ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz III. PŘÍZNAKOVÁ KLASIFIKACE - ÚVOD PŘÍZNAKOVÝ POPIS Příznakový obraz x zpracovávaných
Více8-9. Pravděpodobnostní rozhodování a predikce. Gerstnerova laboratoř katedra kybernetiky fakulta elektrotechnická ČVUT v Praze
KYBERNETIKA A UMĚLÁ INTELIGENCE 8-9. Pravděpodobnostní rozhodování a predikce laboratory Gerstner Gerstnerova laboratoř katedra kybernetiky fakulta elektrotechnická ČVUT v Praze Rozhodování za neurčitosti
VíceMODELOVÁNÍ BONITY OBCÍ POMOCÍ KOHONENOVÝCH SAMOORGANIZUJÍCÍCH SE MAP A LVQ NEURONOVÝCH SÍTÍ
MODELOVÁNÍ BONITY OBCÍ POMOCÍ KOHONENOVÝCH SAMOORGANIZUJÍCÍCH SE MAP A LVQ NEURONOVÝCH SÍTÍ Vladimír Olej, Petr Hájek Univerzita Pardubice, Fakulta ekonomicko-správní, informatiky Ústav systémového inženýrství
VíceZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ
metodický list č. 1 Dobývání znalostí z databází Cílem tohoto tematického celku je vysvětlení základních pojmů z oblasti dobývání znalostí z databází i východisek dobývání znalostí z databází inspirovaných
VíceKLASIFIKÁTOR MODULACÍ S VYUŽITÍM UMĚLÉ NEURONOVÉ SÍTĚ
KLASIFIKÁTOR MODULACÍ S VYUŽITÍM UMĚLÉ NEURONOVÉ SÍTĚ Marie Richterová 1, David Juráček 2 1 Univerzita obrany, Katedra KIS, 2 PČR MŘ Brno Abstrakt Článek se zabývá rozpoznáváním analogových a diskrétních
VíceZÍSKÁVÁNÍ ZNALOSTÍ Z DATABÁZÍ
Metodický list č. 1 Dobývání znalostí z databází Cílem tohoto tematického celku je vysvětlení základních pojmů z oblasti dobývání znalostí z databází i východisek dobývání znalostí z databází inspirovaných
VíceKatedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group
Vytěžování dat Miroslav Čepek, Filip Železný Katedra kybernetiky laboratoř Inteligentní Datové Analýzy (IDA) Katedra počítačů, Computational Intelligence Group Evropský sociální fond Praha & EU: Investujeme
VíceU Úvod do modelování a simulace systémů
U Úvod do modelování a simulace systémů Vyšetřování rozsáhlých soustav mnohdy nelze provádět analytickým výpočtem.často je nutné zkoumat chování zařízení v mezních situacích, do kterých se skutečné zařízení
VíceProjekční algoritmus. Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění. Jan Klíma
Urychlení evolučních algoritmů pomocí regresních stromů a jejich zobecnění Jan Klíma Obsah Motivace & cíle práce Evoluční algoritmy Náhradní modelování Stromové regresní metody Implementace a výsledky
VíceRozdělování dat do trénovacích a testovacích množin
Rozdělování dat do trénovacích a testovacích množin Marcel Jiřina Rozpoznávání je důležitou metodou při zpracování reálných úloh. Rozpoznávání je definováno dvěma kroky a to pořízením dat o reálném rozpoznávaném
VíceRozpoznávání písmen. Jiří Šejnoha Rudolf Kadlec (c) 2005
Rozpoznávání písmen Jiří Šejnoha Rudolf Kadlec (c) 2005 Osnova Motivace Popis problému Povaha dat Neuronová síť Architektura Výsledky Zhodnocení a závěr Popis problému Jedná se o praktický problém, kdy
VíceANALÝZA A KLASIFIKACE DAT
ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz IV. LINEÁRNÍ KLASIFIKACE PRINCIPY KLASIFIKACE pomocí diskriminačních funkcí funkcí,
VícePREDIKCE POČTU UCHAZEČŮ O STUDIUM S VYUŽITÍM NEURONOVÝCH SÍTÍ
PREDIKCE POČTU UCHAZEČŮ O STUDIUM S VYUŽITÍM NEURONOVÝCH SÍTÍ P. Matušík Evropský polytechnický institut, s.r.o, Osvobození 699, 686 04 Kunovice Abstract Neuronové sítě se v době využívají v řadě vědních
VícePrincipy počítačů I Netradiční stroje
Principy počítačů I Netradiční stroje snímek 1 Principy počítačů Část X Netradiční stroje VJJ 1 snímek 2 Netradiční procesory architektury a organizace počítačů, které se vymykají struktuře popsané Johnem
VíceFakulta chemicko-technologická Katedra analytické chemie. 3.2 Metody s latentními proměnnými a klasifikační metody
Fakulta chemicko-technologická Katedra analytické chemie 3.2 Metody s latentními proměnnými a klasifikační metody Vypracoval: Ing. Tomáš Nekola Studium: licenční Datum: 21. 1. 2008 Otázka 1. Vypočtěte
VíceVícerozměrné statistické metody
Vícerozměrné statistické metody Shluková analýza Jiří Jarkovský, Simona Littnerová FSTA: Pokročilé statistické metody Typy shlukových analýz Shluková analýza: cíle a postupy Shluková analýza se snaží o
Více1 Neuronové sítě - jednotlivý neuron
Obsah 1 Neuronové sítě - jednotlivý neuron... 2 1.1 Základní informace... 2 1.2 Výstupy z učení... 2 1.3 Úvod do neuronových sítí... 2 1.3.1 Biologická analogie... 2 1.3.2 Historie NN... 3 1.3.3 Koncept
VíceMetody analýzy dat I. Míry a metriky - pokračování
Metody analýzy dat I Míry a metriky - pokračování Literatura Newman, M. (2010). Networks: an introduction. Oxford University Press. [168-193] Zaki, M. J., Meira Jr, W. (2014). Data Mining and Analysis:
VíceSpeciální struktury číslicových systémů ASN P12
Aplikace UNS v syntéze řeči modelování prozodie druhy syntezátorů Umělé neuronové sítě pro modelování prozodie Rozdíly mezi přirozenou a syntetickou řečí Požadavky: zlepšování srozumitelnosti zlepšování
VíceUČENÍ BEZ UČITELE. Václav Hlaváč
UČENÍ BEZ UČITELE Václav Hlaváč Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz, http://cmp.felk.cvut.cz/~hlavac 1/22 OBSAH PŘEDNÁŠKY ÚVOD Učení
VíceANALÝZA A KLASIFIKACE DAT
ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc. INVESTICE Institut DO biostatistiky ROZVOJE VZDĚLÁVÁNÍ a analýz LITERATURA Holčík, J.: přednáškové prezentace Holčík, J.: Analýza a klasifikace signálů.
VíceJednotlivé historické modely neuronových sítí
Jednotlivé historické modely neuronových sítí Tomáš Janík Vícevrstevná perceptronová síť opakování Teoretický model obsahue tři vrstvy perceptronů; každý neuron první vrstvy e spoen s každým neuronem z
VíceShluková analýza dat a stanovení počtu shluků
Shluková analýza dat a stanovení počtu shluků Autor: Tomáš Löster Vysoká škola ekonomická v Praze Ostrava, červen 2017 Osnova prezentace Úvod a teorie shlukové analýzy Podrobný popis shlukování na příkladu
VíceObr. 1 Biologický neuron
5.4 Neuronové sítě Lidský mozek je složen asi z 10 10 nervových buněk (neuronů) které jsou mezi sebou navzájem propojeny ještě řádově vyšším počtem vazeb [Novák a kol.,1992]. Začněme tedy nejdříve jedním
VíceNEURONOVÉ SÍTĚ A EVOLUČNÍ ALGORITMY NEURAL NETWORKS AND EVOLUTIONARY ALGORITHMS
VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY FAKULTA ELEKTROTECHNIKY A KOMUNIKAČNÍCH TECHNOLOGIÍ ÚSTAV BIOMEDICÍNSKÉHO INŽENÝRSTVÍ FACULTY OF ELECTRICAL ENGINEERING AND COMMUNICATION DEPARTMENT
VíceGeometrické transformace
1/15 Předzpracování v prostoru obrazů Geometrické transformace Václav Hlaváč, Jan Kybic Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání hlavac@fel.cvut.cz http://cmp.felk.cvut.cz/
VícePokročilé neparametrické metody. Klára Kubošová
Klára Kubošová Další typy stromů CHAID, PRIM, MARS CHAID - Chi-squared Automatic Interaction Detector G.V.Kass (1980) nebinární strom pro kategoriální proměnné. Jako kriteriální statistika pro větvení
VíceMatematická morfologie
/ 35 Matematická morfologie Karel Horák Rozvrh přednášky:. Úvod. 2. Dilatace. 3. Eroze. 4. Uzavření. 5. Otevření. 6. Skelet. 7. Tref či miň. 8. Ztenčování. 9. Zesilování..Golayova abeceda. 2 / 35 Matematická
VíceZÁPOČTOVÁ PRÁCE Informace a neurčitost. SOMPak
UNIVERZITA PALACKÉHO V OLOMOUCI KATEDRA MATEMATICKÉ INFORMATIKY ZÁPOČTOVÁ PRÁCE Informace a neurčitost SOMPak Říjen 2005 Pavel Kubát Informatika V. ročník Abstrakt The objective of this work is describe
VíceVYUŽITÍ NEURONOVÝCH SÍTÍ V DIAGNOSTICE
VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY FAKULTA STROJNÍHO INŽENÝRSTVÍ ÚSTAV VÝROBNÍCH STROJŮ SYSTÉMŮ A ROBOTIKY FACULTY OF MECHANICAL ENGINEERING INSTITUTE OF PRODUCTION MACHINES, SYSTEMS
VíceDetekce kartografického zobrazení z množiny
Detekce kartografického zobrazení z množiny bodů Tomáš Bayer Katedra aplikované geoinformatiky Albertov 6, Praha 2 bayertom@natur.cuni.cz Abstrakt. Detekce kartografického zobrazení z množiny bodů o známých
VíceEmergence chování robotických agentů: neuroevoluce
Emergence chování robotických agentů: neuroevoluce Petra Vidnerová, Stanislav Slušný, Roman Neruda Ústav Informatiky, AV ČR Kognice a umělý život VIII Praha 28. 5. 2008 Evoluční robotika: EA & neuronové
VíceObsah: 1. Úvod Architektura Instalace Hardwarové požadavky Softwarové požadavky Data...
Obsah: 1. Úvod... 2 2. Architektura... 3 3. Instalace... 5 3.1. Hardwarové požadavky... 5 3.2. Softwarové požadavky... 5 4. Demonstrační příklad... 6 5. Data... 7 5.1. Vstup/Výstup... 7 5.2. Konfigurace...
VíceKlasifikace a rozpoznávání. Lineární klasifikátory
Klasifikace a rozpoznávání Lineární klasifikátory Opakování - Skalární součin x = x1 x 2 w = w T x = w 1 w 2 x 1 x 2 w1 w 2 = w 1 x 1 + w 2 x 2 x. w w T x w Lineární klasifikátor y(x) = w T x + w 0 Vyber
VíceAutomatická detekce anomálií při geofyzikálním průzkumu. Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011
Automatická detekce anomálií při geofyzikálním průzkumu Lenka Kosková Třísková NTI TUL Doktorandský seminář, 8. 6. 2011 Cíle doktorandské práce Seminář 10. 11. 2010 Najít, implementovat, ověřit a do praxe
VíceMetody založené na analogii
Metody založené na analogii V neznámé situaci lze použít to řešení, které se osvědčilo v situaci podobné případové usuzování (Case-Based Reasoning CBR) pravidlo nejbližšího souseda (nearest neighbour rule)
VíceStatSoft Úvod do neuronových sítí
StatSoft Úvod do neuronových sítí Vzhledem k vzrůstající popularitě neuronových sítí jsme se rozhodli Vám je v tomto článku představit a říci si něco o jejich využití. Co si tedy představit pod pojmem
VíceAnalýza pohybu. Karel Horák. Rozvrh přednášky: 1. Úvod. 2. Úlohy analýzy pohybu. 3. Rozdílové metody. 4. Estimace modelu prostředí. 5. Optický tok.
1 / 40 Analýza pohybu Karel Horák Rozvrh přednášky: 1. Úvod. 2. Úlohy analýzy pohybu. 3. Rozdílové metody. 4. Estimace modelu prostředí. 5. Optický tok. 2 / 40 Analýza pohybu Karel Horák Rozvrh přednášky:
VíceStrojové učení se zaměřením na vliv vstupních dat
Strojové učení se zaměřením na vliv vstupních dat Irina Perfilieva, Petr Hurtík, Marek Vajgl Centre of excellence IT4Innovations Division of the University of Ostrava Institute for Research and Applications
VíceNumerické metody optimalizace - úvod
Numerické metody optimalizace - úvod Petr Tichý 16. února 2015 1 Organizace přednášek a cvičení 13 přednášek a cvičení. Zápočet: úloha programování a testování úloh v Matlabu. Další informace na blogu
Více