Neuronové sítě Vlasta Radová Západočeská univerzita v Plzni katedra kybernetiky
Motivace pro výzkum umělých neuronových sítí lidský mozek pracuje jiným způsobem než běžné číslicové počítače počítače přesně a rychle provádějí posloupnosti instrukcí, které pro ně byly formulovány člověk dokáže lépe řešit řadu výpočetně náročných úkolů (šachy, porozumění řeči, zpracování vizuální informace) snaha napodobit schopnosti mozku a vytvořit umělou neuronovou síť Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 2
Lidský mozek skládá se asi ze 00 miliard výpočetních elementů - neuronů neurony mezi sebou komunikují prostřednictvím sítě vazeb vstup do sítě zajišťují tzv. receptory (zrak, sluch, čich, chuť, hmat) podnět z receptorů je ve formě elektrických impulsů přenášen do centrálního nervového systému, kde je zpracován podle výsledku zpracování jsou řízeny tzv. efektory (tj. výkonné orgány) a odezva člověka na daný podnět se projeví ve formě rozmanitých akcí celková struktura nervového systému lze přirovnat zpětnovazebnímu systému řízení Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 3
Biologický neuron biologický neuron je základní buňkou biologických neuronových sítí vstupy (dendrity) výstup sousedního neuronu synapse tělo (soma) výstup (axon) Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 4
Biologický neuron (pokračování) části biologického neuronu tělo (soma) výstup (axon) jediný, poměrně dlouhý (až 60 cm) vstupy (dendrity) poměrně krátké (do 3 mm), je jich až několik tisíc rozhraní (synapse) jednosměrné brány umožňující přenos signálu pouze ve směru axon dendrit, je jich asi 0 tisíc na každý neuron Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 5
Biologický neuron (pokračování) přenášené signály jsou elektrické impulsy, jejich přenos je ovlivněn uvolňováním budicích a tlumicích látek v synapsích excitátory (budicí látky) umožňují, aby neuron generoval impuls inhibitory (tlumicí látky) snižují schopnost neuronu generovat impuls překročí-li hodnota budicích signálů hodnotu tlumicích signálů o určitý práh, nastává tzv. aktivace neuronu na výstupu neuronu se objeví impuls Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 6
Biologický neuron (pokračování) po vygenerování impulsu se neuron na určitou dobu (tzv. období pauzy) dostane do stavu, kdy nereaguje na žádné podněty chování neuronu lze popsat diskrétně v čase období pauzy není pro všechny neurony stejně dlouhé neurony v mozku pracují asynchronně Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 7
Model biologického neuronu biologický neuron model neuronu x x 2 x 3 w w 2 w 3 y x n w n x i vstupy w i váhy y výstup n počet vstupů neuronu Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 8
Model neuronu McCullochův Pittsův model navržen v roce 943 pro výstup platí: x x 2 x 3 x n w w 2 w 3 w n y + =, 0, vstupy x i, i =,,n, mohou nabývat pouze hodnot 0 nebo podle toho, zda je přítomen signál nebo ne) váhy w i, i =,,n, w i =+ pro budicí signály (excitátory), w i =- pro tlumicí signály (inhibitory) b je práh () ()< Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 9
Vlastnosti McCullochova Pittsova modelu jednoduchý má pouze 2 stavy (0 a ) jedná se o binární model váhy jsou pevně nastavené pouze na - nebo + prahy jsou pevně stanoveny neumožňuje realizovat všechny logické funkce (umožňuje AND, OR, NOT, ale neumožňuje XOR) Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 0
Model neuronu perceptron diskrétní verze poprvé uvedena v roce 958 F. Rosenblatem x x 2 x 3 w w 2 w 3 y pro výstup platí: + = ()+ = x n w n b = T ()+ f je aktivační funkce w = [w, w 2,, w n ] T je váhový vektor x = [x, x 2,, x n ] T je vstupní vektor ξ = w T x+b je aktivační hodnota Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky
Model neuronu perceptron (pokr.) Nejčastěji užívané aktivační funkce bipolární binární unipolární binární + pro ξ 0 f ( ξ ) = sgn( ξ ) = pro ξ < 0 f ( ξ) f ( ξ ) = + pro ξ 0 0 pro ξ < 0 f ( ξ) ξ ξ Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 2
Model neuronu perceptron (pokr.) Nejčastěji užívané aktivační funkce bipolární spojitá 2 f ( ξ ) = + exp( λ ξ) unipolární spojitá f ( ξ ) = + exp( λ ξ ) lineární f ( ξ ) = λ ξ f ( ξ) λ ξ f ( ξ) λ ξ f ( ξ) λ ξ λ strmost aktivační funkce Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 3
Model neuronu perceptron (pokr.) binární aktivační funkce jsou speciálním případem spojitých pro λ bipolární spojitá a unipolární spojitá funkce se též nazývají sigmoidální funkce (mají tvar písmene S) Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 4
Činnost perceptronu s bipolární binární aktivační funkcí x x 2 x 3 w w 2 w 3 y + = ()+ = x n w n b = T ()+ f ( ξ) ξ + pro ξ 0 f ( ξ ) = sgn( ξ ) = pro ξ < 0 Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 5
Činnost perceptronu s bipolární binární aktivační funkcí (pokr.) pro n=2 + =sgn + 2 2 + = w x w 2 y x 2 b +, + 2 2 + 0 =, + 2 2 +<0 x 2!. =[, 2 ] T + 2 2 +=0 perceptron rozdělí vstupní rovinu x x 2 na dvě poloroviny, jedné přiřadí +, druhé - x Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 6
Činnost perceptronu s bipolární binární aktivační funkcí (pokr.) Perceptron s bipolární binární aktivační funkcí rozdělí vstupní prostor x = [x, x 2,, x n ] T na dvě oblasti, jedné přiřadí +, druhé -. Nadplocha, která vstupní prostor rozděluje, je dána rovnicí w T x = 0. Vlasta Radová: Neuronové sítě. Západočeská univerzita v Plzni, katedra kybernetiky 7