Algoritmy a struktury neuropočítačů ASN - P1

Podobné dokumenty
Algoritmy a struktury neuropočítačů ASN P4. Vícevrstvé sítě dopředné a Elmanovy MLNN s učením zpětného šíření chyby

Neuronové sítě Ladislav Horký Karel Břinda

Ambasadoři přírodovědných a technických oborů. Ing. Michal Řepka Březen - duben 2013

Zpracování biologických signálů umělými neuronovými sítěmi

5. Umělé neuronové sítě. Neuronové sítě

Fiala P., Karhan P., Ptáček J. Oddělení lékařské fyziky a radiační ochrany Fakultní nemocnice Olomouc

Algoritmy a struktury neuropočítačů ASN - P2. Topologie neuronových sítí, principy učení Samoorganizující se neuronové sítě Kohonenovy mapy

Vytěžování znalostí z dat

PV021: Neuronové sítě. Tomáš Brázdil

Algoritmy a struktury neuropočítačů ASN - P10. Aplikace UNS v biomedicíně

Umělé neuronové sítě

Architektura - struktura sítě výkonných prvků, jejich vzájemné propojení.

Neuronové sítě. Vlasta Radová Západočeská univerzita v Plzni katedra kybernetiky

5. Umělé neuronové sítě. neuronové sítě. Umělé Ondřej Valenta, Václav Matoušek. 5-1 Umělá inteligence a rozpoznávání, LS 2015

Neuropočítače. podnět. vnímání (senzory)

Rosenblattův perceptron

Neuronové sítě. 1 Úvod. 2 Historie. 3 Modely neuronu

Algoritmy a struktury neuropočítačů ASN - P11

Jsou inspirovány poznatky o neuronech a nervových sítích živých organizmů a jejich schopnostmi:

Klíčové pojmy: Informační mohutnost, mozek, myšlení, nepřesné algoritmy, neuron, neuronová síť, simulace, umělá neuronová síť.

Jsou inspirovány poznatky o neuronech a nervových sítích živých organizmů a jejich schopnostmi:

Neuronové sítě (11. přednáška)

1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15

APLIKACE NEURONOVÝCH SÍTÍ VE ZPRACOVÁNÍ OBRAZU

1 Neuronové sítě - jednotlivý neuron

ANALÝZA A KLASIFIKACE BIOMEDICÍNSKÝCH DAT. Institut biostatistiky a analýz

Algoritmy a struktury neuropočítačů ASN - P13

Dálkový průzkum Země. Ústav geoinformačních technologií Lesnická a dřevařská fakulta MENDELU

SIGNÁLY A LINEÁRNÍ SYSTÉMY

Využití neuronové sítě pro identifikaci realného systému

Moderní systémy pro získávání znalostí z informací a dat

Neuronové sítě v DPZ

3. Vícevrstvé dopředné sítě

BAKALÁŘSKÁ PRÁCE ZÁPADOČESKÁ UNIVERZITA V PLZNI FAKULTA STROJNÍ. Studijní program: B 2301 Strojní inženýrství

Trénování sítě pomocí učení s učitelem

K možnostem krátkodobé předpovědi úrovně znečištění ovzduší statistickými metodami. Josef Keder

UNIVERZITA PALACKÉHO V OLOMOUCI PŘÍRODOVĚDECKÁ DECKÁ FAKULTA DIPLOMOVÁ PRÁCE

NG C Implementace plně rekurentní

Asociativní sítě (paměti) Asociace známého vstupního vzoru s daným výstupním vzorem. Typická funkce 1 / 44

OSA. maximalizace minimalizace 1/22

U Úvod do modelování a simulace systémů

Technická fakulta. Katedra technologických zařízení staveb. Využití neuronových sítí pro integraci PZTS do inteligentních budov.

Neuronové sítě. Doc. RNDr. Iveta Mrázová, CSc. Katedra teoretické informatiky Matematicko-fyzikální fakulta Univerzity Karlovy v Praze

VYUŽITÍ NEURONOVÝCH SÍTÍ V DIAGNOSTICE

FAKULTA ELEKTROTECHNIKY A KOMUNIKAČNÍCH TECHNOLOGIÍ ÚSTAV TELEKOMUNIKACÍ

Emergence chování robotických agentů: neuroevoluce

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ

StatSoft Úvod do neuronových sítí

Kapitola 1. Signály a systémy. 1.1 Klasifikace signálů

Teorie systémů TES 1. Úvod

Úvod do optimalizace, metody hladké optimalizace

VYUŽITÍ UMĚLÉ NEURONOVÉ SÍTĚ PRO EMPIRICKÝ MODEL ŠÍŘENÍ SIGNÁLU

ZÁPADOČESKÁ UNIVERZITA V PLZNI FAKULTA ELEKTROTECHNICKÁ KATEDRA TECHNOLOGIÍ A MĚŘENÍ BAKALÁŘSKÁ PRÁCE

Jednotlivé historické modely neuronových sítí

Algoritmy a struktury neuropočítačů ASN P9 SVM Support vector machines Support vector networks (Algoritmus podpůrných vektorů)

Inteligentní systémy a neuronové sítě

FAKULTA ELEKTROTECHNIKY A KOMUNIKAČNÍCH TECHNOLOGIÍ ÚSTAV TELEKOMUNIKACÍ

Možnosti neuronových sítí

přetrénování = ztráta schopnosti generalizovat vlivem přílišného zaměření klasifikátorů na rozeznávání pouze konkrétních trénovacích dat

PB016 Úvod do umělé inteligence ZÁKLADY Z TEORIE A PRAXE. David Kabáth

H. Dreyfuss: What computers can t do, 1972 What computers still can t do, J. Weizenbaum. Computer power and human reason, 1976

Modelování a simulace Lukáš Otte

Obr. 1 Biologický neuron

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ

Algoritmy a struktury neuropočítačů ASN P6

NEURONOVÉ SÍTĚ EVA VOLNÁ CZ.1.07/2.2.00/

Neuronové sítě AIL002. Iveta Mrázová 1 František Mráz 2. Neuronové sítě. 1 Katedra softwarového inženýrství. 2 Kabinet software a výuky informatiky

Biofyzikální ústav LF MU Brno. jarní semestr 2011

Algoritmy a struktury neuropočítačů ASN - P14. Neuropočítače

analýzy dat v oboru Matematická biologie

NEURONOVÉ SÍTĚ A EVOLUČNÍ ALGORITMY NEURAL NETWORKS AND EVOLUTIONARY ALGORITHMS

Framework pro neuronovou sít Flexible Neural Tree Flexible Neural Tree Framework

Toolbox pro neuronové sítě pro prostředí Mathematica

Testování neuronových sítí pro prostorovou interpolaci v softwaru GRASS GIS

Využití metod strojového učení v bioinformatice David Hoksza

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ OPTIMALIZACE ŘÍZENÍ AKTIVNÍHO SÍŤOVÉHO PRVKU OPTIMALIZATION DRIVE ACTIVE NETWORK ELEMENT

01 Teoretické disciplíny systémové vědy

Pokročilé operace s obrazem

Speciální struktury číslicových systémů ASN P12

Algoritmy a struktury neuropočítačů ASN P3

Neuronové sítě výuka2

Lineární diskriminační funkce. Perceptronový algoritmus.

Automatizační a měřicí technika (B-AMT)

Přírodou inspirované metody umělé inteligence

Architektura počítačů

Neuronové sítě Učení bipolárního perceptronu

Už bylo: Učení bez učitele (unsupervised learning) Kompetitivní modely

Modernizace a inovace výpočetní kapacity laboratoří ITE pro účely strojového učení. Jiří Málek

Ústav automatizace a měřicí techniky.

GENETICKÝ NÁVRH KLASIFIKÁTORU S VYUŽITÍM NEURONOVÝCH SÍTÍ NEURAL NETWORKS CLASSIFIER DESIGN USING GENETIC ALGORITHM

Obsah. Seznam obrázků... XV. Seznam tabulek... XV

Neuronové sítě Petr Kačenka

Neuronové sít. aneb to málo, co o nich vím. J. Doubravová. Seminá o seismologickém softwaru, Teorie Ukázka Webnet a výhledy

Principy počítačů I Netradiční stroje

Neuronové časové řady (ANN-TS)

Možnosti aplikace umělých neuronových sítí.

MATURITNÍ OTÁZKY ELEKTROTECHNIKA - POČÍTAČOVÉ SYSTÉMY 2003/2004 TECHNICKÉ VYBAVENÍ POČÍTAČŮ

FAKULTA INFORMAČNÍCH TECHNOLOGIÍ

Učící se klasifikátory obrazu v průmyslu

Biologicky inspirované výpočty. Schématické rozdělení problematiky a výuky

Transkript:

Algoritmy a struktury neuropočítačů ASN - P1 http://amber.feld.cvut.cz/ssc www.janatuckova.cz Prof.Ing. Jana Tučková,CSc. Katedra teorie obvodů K331 kancelář: 614, B3 tel.: 224 352 098 e-mail: tuckova@fel.cvut.cz Úvod Neuronové sítě - historie - odlišnosti - výhody a nevýhody Oblasti aplikací biologických a umělých neuronových sítí Současné světové trendy Využití umělých neuronových sítí pro zpracování signálu Modely neuronu Aktivační funkce

ÚVOD Co jsou neuronové sítě? Biologické Matematické modely ANN UNS Umělé neuronové sítě Artificial Neural Network Není jednotná definice Neuronové sítě tvoří několik nebo mnoho jednoduchých procesorů (unit), z nichž každý tvoří dílčí paměť. Jsou propojeny informačními kanály. Trénování NN - nastavování váhových spojení (synaptic weights) paměť - iterativní proces - požadované cílové hodnoty (target values) Paralelismus - propojení Velký rozvoj struktur (architektur) a algoritmů učení paradigmata

HISTORIE 1943 Waren S. McCulloch, Walter Pitts matematický model neuronu 1949 Donald Hebb zákon učení 1958 Frank Rosenblatt učící algoritmus vrstevnaté sítě s dopředným šířením signálu - perceptron 1959 Bernard Widrow perceptronové struktury ADALINE, MADALINE, Widrowův-Hoffův zákon 1969 Minski & Papert kritika útlum výzkumu teoretické meze možností, jednoduché neuronové sítě, odklon k umělé inteligenci 1983 DARPA ( USA ) nová investice do výzkumu 1986 David Rumelhart, LeCun algoritmus BPG Renesance výzkumu, důraz na aplikace 80-tá léta: Teuvo Kohonen John Hopfield Stefen Grossberg Terrence Sejnowski

VÝHODY A NEVÝHODY Schopnost učit se (adaptace ) Schopnost generalizovat Velikost a složitost Doba potřebná k natrénování NE jako univerzální prostředek ANO pro určité oblasti : samostatně v kombinaci s klasickými metodami při neznalosti algoritmu řešení při s ložitém matematickém popisu při informacích nepřesných neurčitých neúplných rozporuplných

FYZIOLOGICKÁ INSPIRACE Informační systém - základní podmínka existence, přežití a rozvoje všech systémů Člověk - nervový systém a mozek jedna z nejsložitějších soustav vůbec 40-100 miliard neuronů vzájemné propojení, interakce, proměnlivost v čase, vývoj v struktury i vztahů 1 neuron - 10 000 vstupů spojení pomocí synapsí Umělé neuronové sítě (UNS, ANN) napodobení některých jednodušších funkcí mozku Biologické neuronové sítě a jejich model Umělé neuronové sítě Formální neuron a jeho funkce

BIOLOGICKÝ NEURON Soma - tělo neuronu - s buněčným jádrem Dendrity - výběžky vedoucí vzruchy směrem k buňce - 10 4 vstupů Axon - 1 výstup z neuronu ( několik mikrometrů až 60 cm) Ranvierovy zářezy opakovače na vedeních Synapse - zprostředkují informační styk mezi navzájem spolupracujícími neurony informační rozhraní

Vlastnosti dané od počátku vzniku neuronů: diferenciace buněk obecnost vzniku a přenosu nervových signálů organizace sítě do vrstev a sloupců existence dílčích architektur Vlastnosti spjaté s plasticitou synapsí: učení paměť Analogie mezi biologickými neurony a jejich matematickými modely: dendrit axon synapse vstupní vedení výstupní vedení paměťové elementy učí se pomocí informací z okolí synaptická váha w ij aktuální vstupy předchozí zkušenosti

Možné přístupy k realizaci UNS simulační - nejčastější způsob realizace, význam stále roste využití neurokoprocesorů - strmý růst do r.1990, nyní pokles příčina poklesu je zvýšení výkonu PC a pracovních stanic realizace a využití neuropočítačů - nárůst (pomalý) optické a optoelektronické neuronové sítě - mírný růst do r.1990, pak pokles uplatnění molekulárně-elektronických technologií - ze začátku stagnace, nyní mírný růst volnější rozvoj těchto technologií Výhoda neuročipů oproti neuropočítačům možnost přizpůsobení specifickým potřebám jednotlivých aplikací

Oblasti aplikací biologických a umělých neuronových sítí energetika, medicína, telekomunikace, průmysl, finančnictví a bankovnictví, obchod meteorologie, obrana a bezpečnost, doprava geologie, astronautika Úlohy řešené pomocí UNS predikce časových řad, klasifikace analýza a klasifikace složitých signálů neperiodických, kvaziperiodických i vícerozměrných rozpoznání a syntéza řeči identifikace řečníka rozpoznání obrazů a scén - rozpoznání písma a značek komprese, expanze, kódování signálů adaptivní filtrace signálu ze šumu adaptivní řízení složitých systémů a systémů - v nepřístupných nebo nebezpečných oblastech systémy pro podporu rozhodování, expertní systémy optimalizace aplikace v robotice aplikace v lékařských vědách

Současné světové trendy Návrat k jednodušším architekturám Nejčastější typ UNS s učením BPG a SOM Při technických aplikacích nejčastěji používán NN Toolbox Matlab Důraz kladen na zpracování vstupních dat Zlepšování algoritmů učení, rychlejší modifikace, snižování náročnosti na kapacitu paměti Rozvoj oblastí zabývajících se neuronovými sítěmi a jejich aplikacemi se neomezuje pouze na vyspělé země (USA, VB, Japonsko), ale jsou používány např. na ostrově Mauricius, v Jižní Africe, Bolívii, Mexiku, Korei, International Joint Conference on Neural Network Široké spektrum problémů týkajících se teorie a především aplikací neuronových sítí (největší konference v této oblasti na světě) Další konference: ICANN, ICANNGA a další

FORMÁLNÍ NEURON Neuron matematický procesor vstup: n-rozměrný vektor vstupního signálu výstup: jediný výstupní signál Matematický model McCulloch-Pittsova neuronu vstupy x 1 w j1 aktivační funkce x 2 w j2 w jn ĺ i wijxi + Q j f y j výstup x n synaptické váhy práh Qj Y j f n ĺ i 1 w ij x i + Q j

Dělení neuronů podle povahy vstupních dat: binární spojité s nespojitými přenosovými funkcemi (modely 1. generace) se spojitými přenosovými funkcemi (modely 2. generace) Synaptická váha w ij aktuální vstupy předchozí zkušenosti Vektor synaptických vah synaptic weights Vyjadřuje uložení zkušeností do neuronu. Je schopen se adaptovat na nově získané zkušenosti během učení. Kombinace vstupního vektoru x(t) a vektoru synaptických vah w(t) se přiřazuje jednotlivým složkám vektoru x(t) jako určitá váha odpovídající uložení zkušeností.

Rozdělení matematických modelů neuronových sítí model lineární nelineární statické dynamické deterministické stochastické příklad UNS jednovrstvé UNS vícevrstvé UNS vícevrstvé UNS s BPG algoritmem rekurentní vícevrstvé UNS s BPG vícevrstvé UNS s BPG algoritmem Boltzmannovy stroje Aktivační funkce (activation function) přenosové funkce obecně nelineární spojité diskrétní a) skoková funkce (hardlimit) b) lineární funkce c) sigmoida d) hyperbolická tangenta