Technická fakulta. Katedra technologických zařízení staveb. Využití neuronových sítí pro integraci PZTS do inteligentních budov.

Transkript

1 ČESKÁ ZEMĚDĚLSKÁ UNIVERZITA V PRAZE Technická fakulta Katedra technologických zařízení staveb Využití neuronových sítí pro integraci PZTS do inteligentních budov diplomová práce Vedoucí práce: Ing. Zdeněk Votruba Autor práce: Bc. Ondřej Škvor PRAHA 214

2

3

4 Prohlášení Prohlašuji, že jsem tuto diplomovou práci vypracoval samostatně pod vedením Ing. Zdeňka Votruby a uvedl jsem veškeré literární prameny a publikace, ze kterých jsem čerpal. Podpis autora

5 Poděkování Děkuji vedoucímu práce Ing. Zdeňku Votrubovi za cenné rady a připomínky při zpracování této diplomové práce. Dále děkuji svým rodičům a všem, kteří mi jakkoliv pomohli při studiu. Podpis autora

6 Abstrakt: Cílem této diplomové práce je posouzení možností využití neuronových sítí jako nástroje pro integraci bezpečnostních systému v rámci koncepce inteligentních budov. Na základě literárního rozboru jednotlivých typů sítí je dále v práci vybrán konkrétní typ neuronových sítí, na kterém jsou demonstrovány možnosti užití neuronových sítí v dané problematice. První kapitola Historie neuronových sítí popisuje vznik a postupné rozšíření neuronových sítí v oblasti výpočetní techniky. V následující kapitole Aktuální situace neuronových sítí je přiblížen aktuální stav využití tohoto aparátu. Kapitola Model neuronu slouží k bližšímu seznámení základní myšlenky neuronových sítí v oblasti biologické i matematické. V následující stěžejní kapitole Neuronové sítě jsou detailně popsány základní typy neuronových sítí včetně jejich učících algoritmů a nejčastějších způsobů využití. Zbytek práce je poté zaměřen na praktické řešení neuronové sítě a její simulace v součinnosti se systémem Digiplex Evo 192 společnosti Paradox. Na závěr práce jsou zhodnoceny možnosti reálného využití neuronových sítí v rámci integrace do inteligentních budov. Klíčová slova: bezpečnost, zabezpečovací systémy, integrace, neuronové sítě, PZTS The use of neural network for integration I&HAS in smart building Summary: The aim of this Diploma Thesis is to assess the possibility of using neural networks as a tool for integrating security system within the concept of intelligent buildings. On the basis of literary analysis of each type of network is also at work chosen a specific type of neural networks, which are demonstrated the possibility of using neural networks in this field. The first chapter, "History of Neural Networks" describes the emergence and gradual expansion of neural networks in the field of computer technology. In the next chapter, "The current situation neural networks" is written actual stage of using neural networks. Chapter "Model neuron" serve to familiar basic ideas of neural networks in biological and mathematical field. In the next crucial chapter "Neural Networks" are described basic types of neural networks and their learning algorithms and the most common uses. The rest of the thesis is then focused on practical solutions to the neural network and its simulation in conjunction with the system Digiplex Evo 192 from Paradox company. At the end of the thesis is the evaluation of the real application of neural networks in the concept of integration in intelligent buildings. Key words: safety, security systems, integration, neural network, I&HAS

7 1 Úvod 1 2 Historie neuronových sítí 3 3 Aktuální situace neuronových sítí 7 4 Model neuronu Biologický model neuronu Matematický model neuronu 11 5 Neuronové sítě Úlohy neuronových sítí Typy neuronových sítí dle způsobu učení Učení s učitelem Posilující učení Učení bez učitele Typy neuronových sítí z hlediska průchodu informací Dopředné sítě Rekurentní sítě Typy neuronových sítí dle počtu vrstev S jednou vrstvou neuronů Vícevrstvé neuronové sítě Algoritmus učení Back-propagation vícevrstvých neuronových sítí Základní modely neuronových sítí Perceptron Adaline Madaline Dělení sítí Sítě s pevnými vahami Sítě s učením s učitelem Sítě s učením bez učitele 42 6 Vyhodnocení možností použití 5 7 Praktické řešení Měřící sestava Sběrnicová zabezpečovací ústředna Digiplex Evo Klávesnice K Pohybový PIR detektor DM Tiskový modul PRT Stolní počítač Popis řešení - MATLAB Příprava pracovního prostředí Vytvoření neuronové sítě 57

8 7.2.3 Simulace neuronové sítě Návrh optimalizace sítě Popis řešení C# 63 8 Závěr a shrnutí 64 9 Seznam použité literatury 65 1 Seznam obrázků Seznam tabulek 7 12 Seznam vzorců Seznam odborných výrazů a zkratek 72

9 1 Úvod V současné době, kdy drtivá většina budov disponuje některým ze systémů, jako jsou například bezpečností, kamerové, docházkové, je kladen požadavek na možnou integraci těchto funkčně odlišných systémů do jednoho hlavního. Pomocí tohoto centrálního prvku je poté možné jednotlivé systémy ovládat a navíc sdílet mezi sebou informace, se kterými lze následně pracovat. Tato koncepce je nazývána termínem Inteligentní budovy. Pojem je v dnešním světě již dostatečně otřelý a mnoho výrobců již poskytuje centralizované systémy, pomocí kterých lze jednotlivé prvky propojit. Nyní se ale stále ve větší míře objevují ukázky modelů principiálně fungujících na bázi neuronových sítí. Pomocí tohoto aparátu je možné systém použít jako prvek schopný přemýšlet. V podstatě se jedná o prostředek, jehož prostřednictvím lze jednotlivé systémy propojit do jednotného celku a zajistit tak jejich vzájemnou spolupráci. Diplomová práce přibližuje možnosti využití právě neuronových sítí v oblasti konceptu Inteligentních budov, konkrétně zabezpečovacích systémů (PZTS). Cílem práce je návrh konkrétní neuronové sítě, pomocí které lze využít model k dalšímu zapojení mezi ostatními systémy. Diplomová práce volně navazuje na autorovu bakalářskou práci Stavy a události na ústřednách EZS, která slouží jak zdroj vstupních informací v praktické části této práce. V práci je nejdříve popsána historie vzniku neuronových sítí. V této části je rozebráno postupné objevování jednotlivých typů sítí. Následující kapitola již přibližuje současné využití toho aparátu v praxi. Jedná se o popis možné aplikace neuronových sítí v různých oblastech vědy a techniky. Další část práce obsahuje popis modelu neuronu ze dvou hledisek, a to biologického a matematického. Následuje jedna z hlavních částí práce. Jedná se o rozsáhlejší kapitolu, kde jsou popsány jednotlivé typy sítí z hlediska způsobu učení, průtoku informací a topologie. Kapitola obsahuje popisy nejzákladnějších druhů sítí, kde je popsána zejména topologie sítí, možné algoritmy učení sítí a jejich obvyklé použití v praxi. Další kapitola je jakýmsi shrnutím, kde je rozebrána možnost použití neuronových sítí v systémech PZTS na základě předchozího rozboru. 1

10 Druhá polovina práce je pak zaměřena na konkrétní praktické řešení. Jedná se o modelování neuronové sítě pomocí softwaru Matlab, kdy je síť učena na konečný počet stavů. Vzniklý model je dále upraven za účelem minimalizace chybové funkce a zvýšení možností použití modelu v praxi. Pro úplnost je ještě popsáno řešení tvorby neuronové sítě prostřednictvím programovacího jazyka C#, kdy je demonstrován model jednoho perceptronu. Závěr práce obsahuje důležité shrnutí poznatků získaných při zpracování a vyhodnocení možností využití neuronových sítí v koncepci inteligentních budov. Toto shrnutí obsahuje i hodnocení z hlediska aktuální legislativy použití neuronových sítí. 2

11 2 Historie neuronových sítí [1] Z historického hlediska není naprosto jasné, kdy lze datovat vznik oboru, který se výpočty pomocí neuronových sítí zabývá, avšak za počátek lze považovat rok 1943 a práci Warrena McCullocha a Waltera Pittse. Tito dva vědci totiž jako první položili základ teorii neuronových sítí a to vysvětlením velice jednoduchého matematického neuronu, pracujícího na principu buňky nervové soustavy člověka. V tomto modelu byly výpočty soustřeďovány na hodnoty parametrů spíše bipolární (tj. z množiny {-1,, 1}). Již tehdy oni vědci poukázali na možnosti těch nejjednodušších typů neuronových sítí, kdy dokázali, že pomocí nich lze počítat libovolnou aritmetickou a logickou funkci. Přestože nepočítali s bezprostředním praktickým využitím jejich vědeckých výsledků, jejich článek dal základy práce a inspiraci ostatním vědcům. Mezi nejvýznamnější patřil například zakladatel kybernetiky Norbert Wiener, který se inspiroval při studiu podobnosti činnosti systémů výpočetní techniky a lidské nervové soustavy. Dalším, známějším vědcem, byl autor projektu elektronických počítačů John von Neumann, který na základě těchto poznatků napsal práce, kde zdůrazňoval možnost inspirace činností lidského mozku při návrhu počítačů. Tyto návrhy, ačkoliv byly hojně citovány, z počátku nepřinesly požadované výsledky. Dalším důležitým milníkem byl rok 1949, kdy vyšla kniha s titulem The Organization of Behavior, ve které autor Donald Hebb navrhl učící pravidlo pro mezineuronové spojení neuronů (synapse). Vznik tomuto pravidlu dalo pozorování živočichů a konečný závěr, že jejich podmíněné reflexy jsou již vlastností jednotlivých neuronů, šlo tedy spíše o vysvětlení experimentálních výsledků z psychologie, o kterou se autor také velmi vášnivě zajímal. Stejně jako práce prvních vědců a zájemců o tento obor i tato publikace se stala inspirací pro ostatní badatele, avšak ani v průběhu několika dalších let se výzkum počítačů inspirovaných nervovou soustavou člověka nijak závratně nevyvíjel. V tomto období se v oblasti výzkumu objevovaly pokusy podobné konstrukci prvního neuropočítače zvaného Snark, jehož autorem byl Marvin Minsky. Ačkoliv byl tento koncept na vysoké technické úrovni, kdy dokázal automaticky měnit míru synaptické propustnosti (váhy), ve skutečnosti se jeho reálné využití na větších výpočtech neuskutečnilo. 3

12 Až v roce 1957 přišel Frank Rosenblatt s konceptem perceptronu, což je zobecnění matematického modelu oněch zakladatelů McCullocha a Pittse pro reálný číselný obor parametrů. Tento vědec je také autorem jedné z prvních publikací týkajících se neurovýpočtů Principles of Neurodynamics. Pro model perceptronu navrh algoritmus učení, na kterém dokázal, že je schopen pro konkrétní tréninková data nalézt po konečném počtu kroků nezávisle na počátečním nastavení modelu odpovídající váhový vektor (míry synaptické propustnosti pro jednotlivé vstupní vektory), pokud však existuje. Na základě těchto pokusů a výpočtů společně s dalšími vědci jako byl Charles Wightman, sestrojil první úspěšný počítač založený na neuronových sítích, zvaný Mark I Perceptron. Rosenblatt byl původně zaměřen na rozpoznávání obrazců, proto i tento koncept byl určen tomuto oboru. Principiálně se jednalo o promítání znaků na světelnou tabuli, kde byly snímání polem 2 2 fotovodičů. Intenzita všech obrazových bodů pak byla vstupními daty do neuronové sítě perceptronů, jejímž úkolem bylo rozpoznávat jednotlivé znaky abecedy. Tento koncept měl dále 512 adaptovatelných váhových parametrů, které byly realizovány polem potenciometrů. Hodnoty potenciometrů byly nastavovány automaticky motorem, který byl řízen analogovým obvodem. Tento obvod představoval právě učící perceptronový algoritmus. V tu chvíli nejzajímavější částí bylo však náhodné propojení vstupů a perceptronů. Právě tato široká škála možnosti vlastního propojení demonstrovala schopnost sítě vlastního učení na základě různého zapojení a velkou odlišnost od klasických programovatelných počítačů. Díky velkým možnostem tohoto modelu je dodnes některými odborníky za zakladatele tohoto oboru označován právě Rosenblatt. Za krátkou dobu je objeven další typ neuronového výpočetního prvku, zvaný ADALINE (adaptive linear element). Tento prvek objevil Bernard Widrow se svými studenty a je vybaven výkonnějším učícím pravidlem, díky němuž je používán doposud. Opět i na tomto modelu byly demonstrovány nejrůznější příklady, aby byla dokázána jeho funkčnost. Začátkem 6. let dochází k rozvoji neurovýpočtů zejména díky objevování nových modelů neuronových sítí a jejich implementací. Nejznámějšími jmény jsou potom Karl Steinbuch, autor modelu binární asociativní sítě, Roger Barron a Lewey Gilstrap, kteří založili první společnost, která se zaměřovala výhradně na aplikaci neurovýpočtů. 4

13 Za zmínku jistě stojí fakt, že v tomto oboru panovaly i jisté problémy. Díky povaze oboru, který umělá inteligence beze sporu má, se rychle roznesl názor, že brzy bude vyvinut umělý mozek, což zdiskreditovalo neuronové sítě v očích odborníků a mnozí se začali zajímat o jiné oblasti umělé inteligence, čímž tento obor přišel o skutečně důležité vědce. Dalším problémem byl fakt, že většina vědců se do výzkumů pouštěla spíše formou pokusů, kdy pouze zkoušely, co vše je možné s neuronovými sítě provést a jejich přístup už nebyl ani vědecký. Výzkum tedy začal vyžadovat jiné způsoby myšlení a různé úhly pohledu na danou věc. V oblasti výzkumu neuronových sítí z těchto výše uvedených důvodů nastalo období, kdy společnost a vědci tímto oborem spíše opovrhovali. Vinu na všem měla publikace zvaná Perceptrons, díky které Marvin Minsky a Seymour Papert diskreditovali obor neuronových sítí natolik, že výzkum přestal být pro ostatní zajímavý a ani dotování výzkumů nebylo žádoucí. Podařilo se jim to v podstatě pouze zpochybněním modelu perceptronu, pomocí kterého nelze vyřešit logickou funkci XOR (vylučovací disjunkci). Tento problém lze řešit prostřednictvím dvouvrstvé sítě se třemi neurony, ale pro vícevrstvý perceptron nebyl v té době znám učící algoritmus. Autoři tak vyslovili závěr, že nalezení takového algoritmu pro řešení tak složité funkce není možný a tento názor byl přijat, čímž byl další výzkum neuronových sítí pro ostatní neperspektivní. Vášniví badatelé však své výzkumy nezastavily a pod hlavičkou jiných názvů dále šířily výsledky svých výzkumů. Jedním z nejdůležitějších vědců byl John Hopfield, který díky svým výsledkům testů a pokusů dokázal přesvědčit ty nejdůležitější vědce, matematiky a technology, a získal tak nejen podporu vědeckou ale zejména finanční. Dalším velice důležitým rokem byl rok 1986, kdy vyšel článek, za kterým stáli David Rumelhart, Geoffrey Hinton a Ronald Williams. V tomto článku byl popsán algoritmus zpětného šíření chyby (back propagation of error), pomocí kterého byl vyřešen problém realizace logické funkce XOR, což vyvrátilo dřívější tvrzení, kvůli kterému byl další vývoj a výzkum neuronových sítí téměř zastaven. Za zmínku jistě stojí, že tento algoritmus je doposud jedním z nejpoužívanějších vůbec. Pomocí tohoto algoritmu byl později sestaven systém, který byl schopen transformovat anglicky psaný text na mluvený záznam, což se stalo jedním z důležitých milníků pro všechny lingvisty zainteresované do tohoto oboru. 5

14 V roce 1987 se v San Diegu konala první konference, která byla zaměřena výhradně na neuronové sítě, a právě zde byla založena mezinárodní společnost pro výzkum neuronových sítí INNS (International Neural Network Society). Prostřednictvím této společnosti byly později vydávány různé odborné časopisy a jiné publikace. Od tohoto roku bylo založeno velké množství výzkumných ústavů ať už samostatných nebo zaštítěných univerzitami. 6

15 3 Aktuální situace neuronových sítí V současně dobře se na téma neuronových sítí mluví zejména v oblasti rozpoznávání audio záznamů a hlasu obecně. Již byly sestaveny softwarové komponenty pro převod mluveného slova na psanou podobu. Hlavním problémem v tomto případě je ale možná změna intonace mluvčího, různá zkreslování slov a v neposlední řadě přeřeky a takzvané váhací zvuky. Vznikly ovšem už i programy, které na základě mluveného slova rozeznávají autora či pohlaví mluvčího. V dalších funkcích lze využít aplikace jako hodnotící nástroj pro call-centra, kdy lze monitorovat přístup pracovníka k zákazníkovi a tak podobně. Velkým podílem se na vývoji účastnila společnost IBM, která již v padesátých letech zkoumala počítačovou simulaci neuronových synapsí, načež byl představen počítač Watson, který je schopen paralelních výpočtů a učí se četbou textu v přirozeném lidském jazyce. V roce 211 přestavila tato společnost počítač, který umí programovat sám sebe. Jeho úspěšné odzkoušení bylo provedeno na detekci rukou psaných znaků, konkrétně číslic, či při naučení pohybů při primitivní hře Ping-Pong. Do budoucna chystá IBM ambicióznější projekty, vytvořit systém s deseti miliardami neuronů, stovkami biliony synapsí, který přitom potřebuje jen jeden kilowatt elektrické energie. Výzkumníci však uvedli, že oproti budoucnosti má tento kognitivní čip stále své nedostatky. Ačkoliv se dokáže dynamicky přizpůsobit aktuálním podmínkám a automaticky se rekonfigurovat podle interakce s okolím, stále je jeho funkce založena na člověkem vytvořených algoritmech. Uplatnění takových čipů je zejména v oblastech, kde je systému předáváno velké množství vstupních dat a je vyžadováno zpracování v reálném čase. Mezi takové oblasti patří například předpovědi počasí, detekce zemětřesení, sledování bezpečnosti na silnicích, lékařská analýza či například sledování finanční kriminality.[2] Vývojová divize společnosti Microsoft zase odhalila svůj projekt, kde prezentovala systém na převod mluveného slova do jiného jazyka. Konkrétně se jednalo o převod osmi anglických vět do čínštiny. Systém nebyl nijak dokonalý, avšak myšlenka sklidila velký úspěch a dále se pracuje na zdokonalení. Imitace hlasu v tomto případě byla založena na modelu, který se na základě zpětné vazby postupně učí napodobit řečníkův hlas. Jistě je to dobrý start pro následnou aplikaci a v budoucnu může mít tento systém široké uplatnění. [3] 7

16 Jak už bylo zmíněno, neuronové sítě jsou kvalitním nástrojem pro zpracování velkých množství dat při požadavku zpracování v reálném čase. Jako příklady z praxe lze uvést systémy pro analýzu zákazníků při koupi knih na portále Systém vyhodnocuje data podle skupin zákazníků (které knihy si kdo koupí), a následně je podle těchto informací tvořen takzvaný cílený marketing. Dalším příkladem je vyhledávač Google, který zaznamenává překlepy a následné opravy uživatelů při vyhledávání různých výrazů. Na základě záznamu těchto překlepů je poté tvořena databáze nejčastějších překlepů, čímž se vylepšuje celkové porozumění hledanému textu. Další aplikací neuronových sítí do praxe je projekt pro rozpoznávání signálů pomocí neuronových sítí a jejich využití pro potlačení vlivu rušení. 8

17 4 Model neuronu 4.1 Biologický model neuronu Samotný koncept neuronových sítí je poněkud odlišný od zažitých paradigmat, podle nichž pracují dnešní výpočetní modely počítačů. Neuronová síť je inspirována lidským mozkem, který se skládá z velkého množství nervových buněk, neuronů. Přibližně se jejich počet pohybuje kolem 1 1 neuronů. Tyto buňky jsou vzájemně propojeny řádově ještě vyšším počtem spojením. Obrázek 1 Biologické neuron - fotografie [Zdroj: 4] Obrázek 2 znázorňuje typickou sktrukturu biologického neuronu. Mezi nejzákladnější jeho části patří vlastní tělo neuronu, ze kterého vystupují krátké výběžky zvané dendrity. Takovýchto výběžku mohou být stovky až tisíce a reprezentují vstupy do těla buňky. Z těla navíc vybíhá jeden delší výběžek, axon. Touto částí je přenášen signál do dalších neuronů. V případě porovnání těchto částí neuronu se jedná o velikosti několik mikrometrů v případě těla neuronu, dendrity jsou velké několik milimetrů a axon může dosahovat velikosti až desítek centimetrů, v extrémním případě i jednoho metru. Spojení mezi neurony je tvořeno takzvanou synapsí, což je zakončení jednotlivého axonu neuronu. Prostřednictvím těchto synapsí jsou přenášeny vzruchy a lze je chápat jako výstupní prvky neuronu. 9

18 Principiálně se jedná o chemické reakce v místech, kde jsou jednotlivé neurony mezi sebou spojeny. Jde o změnu propustnosti buněčné membrány neuronu, čímž se mění koncentrace iontů vně i uvnitř neuronu. Synapse lze hrubě dělit na dva různé typy dle membránového potenciálu. Prvním typem je excitační charakter vazby, kdy je zvyšován membránový potenciál, opačným charakterem je potom inhibiční, jedná se tedy o snížení membránového potenciálu. Působením na synaptické vazby neuronů se tyto účinky hromadí a ve chvíli, kdy potenciál přesáhne danou mez (práh neuronu), dochází k aktivaci neuronu a jeho působení na další v síti zapojené neuronové buňky. Obrázek 2 Biologický neuron - detail [Zdroj: 1] 1

19 4.2 Matematický model neuronu Výše uvedenou biologickou strukturu je možné pro lepší pochopení vyjádřit například pomocí schematického modelu na Obrázku 3, kde: x i, j, k výstupní signál neuronů i, j, k w i, j, k synaptické váhy neuronů i, j, k y výstupní signál neuronu n. Obrázek 3 Schematický model neuronu [Zdroj: vlastní] Výše uvedený model je zobecněním biologické neuronové buňky. Z tohoto konceptu již vychází konečný model, pomocí něhož lze matematicky zapsat závislost výstupu neuronové buňky na jeho vstupu a nastavení váhového vektoru pro tyto jednotlivé vstupy. Jedná se tedy o jakýsi matematický předpis umělého neuronu, pomocí něhož lze transformovat vstupní informace na výstup. Vstupní informace jsou obecně uspořádány do vnitřního potenciálu neuronu, který je vyjádřen jakou suma, tedy součet vážených vstupních signálů. Vnitřní potenciál lze tedy vyjádřit vztahem: = 1 11

20 Kde N znázorňuje celkový počet neuronů, x i je i-tý vstup a w i je i-tá synaptická vazba (váha). V tomto případě se tedy jedná o základ matematického modelu neuronových sítí nazvaný formální neuron. Struktura tohoto modelu je znázorněna na Obrázku 4. Obrázek 4 Formální neuron [Zdroj: 1] Tento neuron má n vstupů (x 1, x 2,, x n ), které jsou ohodnoceny synaptickými váhami (w 1, w 2,, w n ) určující jejich propustnost. Tyto váhy mohou být kladné či záporné v závislosti na inhibičním nebo excitačním charakteru vazby mezi neurony. Hodnota vnitřního potenciálu ξ indikuje po dosažení prahové hodnoty výstupní stav neuronu y, který modeluje elektrický impuls axonu. [1] Výstupní hodnota y = δ(ξ) má nelineární růst právě při dosažení prahové hodnoty h. Tento růst je dán aktivační funkcí neuronu, která může mít více podob. Jednou z nejzákladnějších aktivačních funkcí je takzvaná ostrá nelinearita. Tato funkce nabývá dvou hodnot 1 a. Hodnoty 1 má funkce právě tehdy, kdy hodnota vnitřního potenciálu je větší nebo rovna prahové hodnotě. Naopak hodnoty funkce nabyde v případě, kdy vnitřní potenciál je menší než prahová hodnota. Matematicky lze tuto závislost napsat následovně: 12

21 δ(ξ) = 1 ξ >= h δ(ξ) = ξ < h Pro kompaktnější zápis lze použít modifikaci, kdy je vstup x = 1 a jeho váha takzvaný bias w = -h. Po tomto kroku je tedy výpočet upraven o část x w, kdy výsledkem je, že hodnota h je odečtena a konečný tvar vzorce pro výpočet je následující: y = δ(ξ) = 1 ξ >= y = δ(ξ) = ξ < kde =. Prostřednictvím tohoto modelu neuronu lze pro představu rozdělit rovinu přímkou na dvě dílčí roviny. Následující obrázek přibližuje dvě množiny bodů, pomocí kterých lze rozdělit vstupní hodnoty do dvou skupin, X + a X -. Obrázek 5 Geometrická interpretace funkce neuronu [ Zdroj: 1] 13

22 Jako příklad dobře slouží aplikace funkcí Booleovy algebry prostřednictvím tohoto typu neuronu. Výstup neuronu nabývá hodnot a 1, stejně jako možné hodnoty této algebry. Obrázek 6 Grafická interpretace logické funkce AND [Zdroj: Vlastní] Jak lze z výše uvedeného grafického zobrazení logické funkce AND zjistit, výstup funkce nabývá hodnoty 1 pouze v kombinaci vstupů x 1 = 1 a x 2 = 1 (bod červeně kroužkovaný). Následující tabulka zobrazuje závislost výstupní hodnoty na vstupních hodnotách. Tabulka 1 Logická funkce AND [Zdroj: Vlastní] x 1 x 2 y

23 Jednotlivé body lze tedy rozdělit přímkou na dvě dílčí roviny. Výstupní hodnoty neuronu jsou lineárně separabilní. Pro body z jedné dílčí roviny je výstup y = 1 a z druhé roviny y =. Následujícím způsobem lze realizovat celkem čtrnáct funkcí Booleovy algebry. Jsou pouze dvě funkce, které nelze vytvořit pomocí neuronu, funkce XOR a ekvivalence. Pro ilustraci je na níže uvedeném obrázku zobrazena logická funkce XOR v rovině. Obrázek 7 Grafická interpretace logické funkce XOR [Zdroj: Vlastní] 15

24 nelze. Jak je z obrázku zřejmé, výstupní hodnoty y = 1 a y = od sebe přímkou oddělit Pro klasifikaci neuronu se využívá i dalších aktivačních funkcí. Mezi nejznámější patří tyto: 1. Funkce Signum =1 pro x >= = 1 pro x< 2. Funkce Identita = Výsledkem je vstupní hodnota 3. Funkce Sigmoidní Funkce, které jsou spojité, rostoucí a mají 1. a 2. derivaci Obrázek 8 Grafy sigmoidních funkcí [Zdroj: 1] 16

25 5 Neuronové sítě Z výše uvedených příkladů realizace logických funkcí neuronem je zřejmé, že pro řešení složitějších příkladů se pouze jeden neuron nehodí. Pro takto složité příklady je třeba jednotlivé neurony mezi sebou propojit stejně jako je tomu v lidském mozku. 5.1 Úlohy neuronových sítí Díky svému vnitřnímu propojení neuronových sítí umožňující takzvané učení sítě jsou možnosti aplikace velmi široké, zejména v oblasti analýzy dat. Učení sítě je definováno jako schopnost sítě, kde je hlavním úkolem zapamatovat si kombinace vstupních hodnot. Na základě těchto zkušeností se vstupními hodnotami může síť sama odhadovat nové hodnoty výsledků při změně vstupních veličin. S nástupem neuronových sítí lze řešit i silně nelineární úlohy, kde například regrese selhává. Mezi nejznámější oblasti nasazení neuronových sítí patří tyto: Odhady dynamické stability u energetických systémů Rozpoznání poruch strojů a elektroniky Lékařství detekce EKG signálů a následné hodnocení nemocí Dopravní signalizace Rozpoznání kvality výrobků Předpovědi finančních časových řad (burzy, akcie, směnné kurzy) Samoobslužné mechanismy (inteligentní budovy) Optické rozpoznávání textů, obrázků apod. Převod mluvené řeči do textové podoby Detekování úvěrového rizika Marketingové predikce Ačkoliv jsou možnosti neuronových sítí skutečně široké, lze jejich uplatnění rozdělit do následujících skupin[5]: 1. Regrese předpověď spojité proměnné na základě vstupů. 2. Klasifikace označováno jako zařazování do tříd. Vstupní data, které jsou nějakým způsobem sobě podobná, jsou shlukována do stejné skupiny. 17

26 3. Časové řady (regrese) k modelování proměnných, které se v průběhu času mění. V této situaci lze vybrat buď pouze jedinou závislou proměnnou, kde model bude vycházet ze zpožděných hodnot této časové řady, nebo lze zvolit další proměnné, které budou tuto řadu vysvětlovat. 4. Časové řady (klasifikace) v případě, že proměnná je kategorické povahy a v závislosti na čase je měnná. 5. Shluková analýza zde není použita závislá proměnná. Jedná se o kategorické rozdělování do shluků. Jde o takzvanou Kohonenovu síť, která bude popsána později v samostatné podkapitole. 5.2 Typy neuronových sítí dle způsobu učení Neuronové sítě lze rozdělit dle způsobu učení. Toto učení, jak je poznamenáno v podkapitole výše, je v podstatě schopnost sítě zapamatovat si předchozí stavy a z nich predikovat stavy následující. Jedná se o vhodné nastavení váhového vektoru, kdy při průchodu dat sítí jsou váhy upravovány tak, aby funkce sítě co nejvíce odpovídala požadovaným vlastnostem. V souvislosti s učením sítě se uvádí parametr zvaný koeficient učení. Tento parametr udává, jak rychle je síť schopna naučit se vzorům z trénovacího souboru. Neuronové sítě lze dělit dle způsobu učení na tyto tři typy [6]: Učení s učitelem Při tomto typu učení neuronových sítí je síti předložena trénovací množina prvků, pomocí které lze určit funkční závislost posuzovaného systému. Úkolem sítě je poté vypočítání zbylých hodnot mimo trénovací množinu. Určením odchylek od skutečného modelu jsou následně nastavovány váhy jednotlivých neuronů. Cílem je stav, kdy síť je schopna po naučení přijímat i úplně nové vstupy a jim dodávat přijatelný výsledek, tedy generalizovat. Jako nejznámější příklad těchto sítí je backpropagation Posilující učení V tomto případě vždy pro průchodu vstupní informace vyjádřena pravdivostní hodnota, jestli jde o správný či nesprávný výsledek. Jedná se o jakýsi způsob, jak se lze 18

27 přiblížit k metodě učení s učitelem, avšak zůstat u biologického konceptu. Tento princip učení neuronových sítí se v současnosti nachází pouze na teoretické úrovni a není v rámci sítí používán prakticky Učení bez učitele Při tomto typu učení jsou síti předkládány pouze vzorové hodnoty. Síť se následně pokouší určit obdržené vstupy a správně je zařadit do podobných skupin. Jedná se v podstatě o analogický postup učení lidského mozku, kdy až na základě souvislostí již dříve přijatých informací je vyhodnocována situace. Typickým představitelem tohoto typu sítě je Kohonenova samo-organizující mapa. Ve většině literatur je možné se spíše setkat s dělení pouze dvojím a to s učitelem a bez učitele. Takzvané posilující učení je pouze jakýmsi doplněním a vytvořením hladšího přechodu dvou základních typů učení. 5.3 Typy neuronových sítí z hlediska průchodu informací [7] Pro úplnost je třeba uvést dělení neuronových sítí z hlediska průchodu informací těmito sítěmi. V podstatě se jedná i o vlastní propojení vrstev neuronů mezi sebou Dopředné sítě Tento ty sítí označovaný jako feed forward sítě se vyznačuje tím, že tok informací prochází od vstupu přímo na výstup. U tohoto typu sítí je tedy jednoznačně definován informační tok. V tomto případě neexistuje spoje mezi neurony mezi neurony z vyšších vrstev zpět do vrstev nižších ani spoje mezi neurony ve stejné vrstvě, viz Obrázek 9. Obrázek 9 Dopředná neuronová síť 19

28 [Zdroj: Vlastní] Rekurentní sítě Druhým typem jsou sítě rekurentní, kde odezva sítě není dána pouze vstupními hodnotami. Ve vnitřním zapojení sítě se mohou vyskytovat zpětné vazby mezi vrstvami sítě. A analogicky od sítí dopředných, zde se mohou vyskytovat i spojení mezi jednotlivými neutrony v rámci jedné neuronové vrstvy. Do sítě se takto implementuje i časový kontext při průchodu informací sítí. Ukázku vnitřního zapojení neuronů přibližuje Obrázek 1. Obrázek 1 Rekurentní neuronová síť [Zdroj: Vlastní] 2

29 5.4 Typy neuronových sítí dle počtu vrstev V současnosti je k dispozici velké množství modelů neuronových sítí, které se liší jak vnitřním zapojením, čili topologií, a tak vlastním principem funkce. Další možností, jak neuronové sítě dělit, je podle počtu vrstev. Vrstvy v rámci neuronových sítí dělíme na tři různé druhy: 1. Vstupní V této vrstvě se nachází vstupní neurony neboli receptory. Vrstva je někdy nazývána jako rozdělovací, jelikož neurony jsou lineární a vstupní hodnota je tedy shodná s hodnotou na výstupu těchto neuronů. Tyto neurony nemají své vstupy ohodnoceny váhami. Při určování počtu vrstev sítě tato vrstva není započítávána. 2. Skrytá Počet těchto vrstev může být libovolný. Vlastní aktivační funkce neuronů v této vrstvě může být libovolná, ne však lineární. Skrytá vrstva se někdy je někdy označována jako hidden vrstva. 3. Výstupní Poslední vrstvou neuronových sítí je vrstva výstupní. Neurony v rámci této vrstvy mohou mít libovolnou aktivační funkci včetně lineární S jednou vrstvou neuronů Tento typ neuronových sítí se skládá pouze ze dvou vrstev neuronů, ze vstupní a výstupní. Jelikož neurony ve vstupní vrstvě mají pouze funkci přenosu informace dále do sítě, vliv na funkci sítě má pouze vrstva výstupní. Jak již bylo popsáno v kapitole Historie neuronových sítí, první úspěšným modelem a reprezentantem této skupiny neuronových sítí byla síť Perceptronů. Algoritmus zpracování informací této sítě a bližší popis je popsán v kapitole Perceptron Vícevrstvé neuronové sítě V případě vrstvených neuronových sítí se neurony organizují do jednotlivých vrstev. Tento typ sítí může obsahovat libovolný počet skrytých vrstev neuronů. Následující obrázek demonstruje vícevrstvou neuronovou síť. 21

30 Obrázek 11 Vícevrstvá neuronová síť [Zdroj: 35] Algoritmus učení Back-propagation vícevrstvých neuronových sítí Ve spojitosti s vícevrstvými neuronovými sítěmi je nutné zmínit i nejčastěji používaný algoritmus učení v tomto typu sítí. Jeho zastoupení je odhadováno na 8% všech aplikací neuronových sítí. Jak je z původního názvu algoritmu Back-propagation of error zřejmé, jedná se o algoritmus, kdy je chyba na výstupu zpětně šířena do skrytých vrstev neuronů a podle ní jsou upravovány hodnoty váhových propojení jednotlivých neuronů. Tento učící algoritmus lze obecně shrnout do tří základních kroků: Dopředné šíření signálu Zpětné šíření chyby Aktualizace váhových spojení V první fázi je šířen vstupní signál z tréninkové množiny skrze neurony x k vstupní vrstvy do sítě. Za tuto trénovací množinu lze považovat vzory, které jsou definovány jako dvojice následujícím způsobem [1]: =, ϵ,1, ϵ,1,!=1, # 2 22

31 Kde: q počet vzorů v trénovací množině, x k vektor excitací vstupní vrstvy tvořené n neurony, y k vektor excitací výstupní vrstvy tvořené m neurony. Následně každý neuron vypočítá svou aktivaci dle vlastní aktivační funkce. Poté jsou srovnávány takto vypočítané hodnoty s definovanými hodnotami výstupu neuronů y m pro každý vzor z trénovací množiny. Na základě tohoto porovnání vzniká chyba sítě E(w), kterou lze definovat následujícím vzorcem: & $ =$ % % 3 Jedná se tedy o součet jednotlivých chyb vzhledem ke vzorům v trénovací množině. Tyto jednotlivé chyby lze vypočítat pomocí vzorce: $ % = 1 2 ( ) *+ 4 Je to v podstatě součet druhých mocnin odchylek výstupu sítě skutečných a požadovaných hodnot pro l-trénovací vzor. Závislost celkové chyby na počtu cyklů sítě popisuje chybová funkce. Jelikož je cílem minimalizovat tuto chybu, je tedy hledáno globální minimum v této chybové funkci. Pro nalezení tohoto minima lze použít vícero postupů a způsobů. Nejčastěji je používána nejjednodušší varianta gradientní metody, která vyžaduje odlišnost chybové funkce. 23

32 Obrázek 12 Gradientní metoda [Zdroj: Vlastní] V grafickém vyjádření na Obrázku 12, je schematicky znázorněna chybová funkce E v závislosti na mnohorozměrném váhovém vektoru w. Při adaptaci je v podstatě sestrojen tečný vektor (gradient),-,. / 1 v bodě w () ke grafu chybové funkce. Následně dojde k posunutí ve směru tohoto vektoru do nižších hodnot chybové funkce o předem definovanou dostatečně malou hodnotu ε. V tu chvíli je získána nová konfigurace sítě =, kdy je chybová funkce E menší než pro původní konfiguraci. Tento proces je v podstatě opakován, až je limitně získáno lokální minimum chybové funkce. [8] Největším problémem této metody však je chvíle, kdy je nalezeno minimum, ale ve skutečnosti se jedná pouze o lokální, nikoli globální. Následující tabulka popisuje obecný postup algoritmu Back-propagation of error s implementací Gradientní metody.[9] Tabulka 2 Back-propagation [Zdroj: vlastní] Krok 1 Krok 2 Krok 3 Krok 4 Nastavení váhového vektoru a biasu náhodnými malými hodnotami. Přiřazení hodnoty koeficientu učení α z intervalu (,1). Dokud není splněna podmínka výpočtu opakovat kroky Pro každý vzor z trénovacího souboru opakovat kroky

33 Krok 5 Předložení vzoru trénovacího souboru na vstup sítě. = Krok 6 Vypočítání vstupní hodnoty vnitřních neuronů. 3_ 5 = Krok 7 Stanovení výstupních hodnot vnitřních neuronů. 3 5 =/3_ 5 1 Krok 8 Krok 9 Krok 1 Krok 11 Krok 12 Krok 13 Krok 14 Stanovení skutečných výstupních hodnot signálu neuronové sítě Přiřazení očekávané hodnoty vzoru z trénovacího souboru každému neuronu výstupní vrstvy. Vypočtení části chyby ;, která je součástí váhové korekce 5 =<; 3 5 a korekce biasu =<; Přiřazení sumace delta vstupů (tj. z neuronů, které se nacházejí v následující vrstvě) každému neuronu vnitřní vrstvy. Vypočtení části chyby ;_ 5, která je součástí váhové korekce 6 5 =<; 5 a korekce biasu 6 5 =<; 5 Aktualizace váhových hodnot a biasů každého neuronu výstupní vrstvy. Aktualizace váhových hodnot a biasů každého neuronu vnitřních vrstev. Podmínka ukončení: Pokud už nenastávají změny váhových hodnot nebo bylo vykonáno maximálně definované množství váhových změn. ( = : 9 5 ; = ( = 3_ ;_ 5 =; 5 ;_ 5 =; 5 5 > = 5?@A =<; > =6 5?@A =<; 5 Pro lepší názornost lze výše uvedené kroky výpočtu rozdělit do již zmíněných třech fází. Dopředné šíření signálu (kroky 5 8) Zpětné šíření chyby (kroky 9 11) Aktualizace váhových spojení (kroky 12, 13) 25

34 Pro úplnost ještě nutno dodat, že tato metoda učení vícevrstvých neuronových sítí se vyskytuje často i v jiné modifikaci. Důvodem je řešení problému určení optimální velikosti koeficientu učení. Pokud bude hodnota této proměnné malá, bude učení trvat příliš dlouho. V případě, že hodnota bude velká, síť bude nestabilní a může se stát, že bude oscilovat okolo lokálního minima. [1] V tomto případě je do výpočtu zahrnut i tzv. moment µ. Tato hodnota je volena v intervalu (,1) a v podstatě zohledňuje při výpočtu nejen změnu vah ve směru gradientu chybové funkce, ale také předešlou změnu vah. Vzorec pro výpočet váhových přírůstků spojení mezi vnitřní a výstupní vrstvou sítě by potom vypadal následovně: 5 +1 =<; 3 5 +B 5 5 Obdobnou změnou by prošel i vzorec pro výpočet váhových přírůstků spojení mezi vstupní a vnitřní vrstvou neuronů: =<; 5 +B Základní modely neuronových sítí Perceptron Jedná se o nejjednodušší síť s učitelem, autorem je Frank Rosenblatt a jak už bylo dříve popsáno, vznikla v roce Jako nejběžnější reprezentaci sítě perceptron lze považovat síť vstupních neuronů, které jsou spojeny s jedním pracovním neuronem (tedy výstupním) a jednotlivá spojení jsou ohodnoceny vahami. Jako každý výstupní, tak i zmíněný pracovní neuron má svou aktivační funkci. Výstup perceptronu je pak dán vztahem y = C. Aktivační funkce má tvar ostré nelinearity a může nabývat těchto hodnot:, < C =D 1, 7,kde je vnitřní postsynaptický potenciál perceptronu. 26

35 Hodnoty synaptických vah jsou nastavovány tak, aby rozdíl mezi výstupem aktuálním a výstupem požadovaným byl minimální. Perceptronový algoritmus učení se skládá z těchto kroků: [11] Tabulka 3 Perceptronový algoritmus [Zdroj: vlastní] Krok 1 Krok 2 Krok 3 Krok 4 Nastavení váhového vektoru w, prahu G náhodnými malými hodnotami a koeficientu učení α z intervalu (,1>. Pro každý vzor z trénovacího souboru opakovat kroky 3-5. Předložení vzoru trénovacího souboru na vstup sítě. Stanovení skutečné výstupní hodnoty perceptronu. = (=H GI Krok 5 Krok 6 Adaptace vah pro n-tý krok. Podmínka ukončení: Pokud již nenastává žádná změna váhových hodnot. = J M N = J +< M N < = J < M J Z výše uvedeného popisu Perceptronového algoritmu lze vyvodit závěr, že jeho použití se nachází v klasifikačních úlohách, pouze ale do dvou skupin a lineárně separatibilních prvků Adaline Mezi základní modely neuronových sítí patří také model Adaline (Adaptive Linear Neuron). Jedná se o jednoduchý neuron s jedním bipolárním výstupem. Vstupy mohou být také bipolární, binární či reálné. Následující obrázek přibližuje logiku tohoto modelu. 27

36 Obrázek 13 Adaline model [Zdroj: 12] Hlavním rozdílem oproti Perceptronu je učící algoritmus. Do učícího bloku vstupuje už vnitřní potenciál neuronu (u Perceptronu je sledován až dvouhodnotový výstup). Učící algoritmus tak reaguje s vyšší citlivostí. Učící algoritmus minimalizuje tzv. Euklidovu vzdálenost požadované odezvy sítě a vnitřního potenciálu neuronu, tedy střední kvadratickou odchylku žádaného a dosaženého stavu. Jedná se tedy o gradientní metodu výpočtu. Tento model lze využít pro případy, kdy prvky na vstupu nelze oddělit přímkou, jsou tedy lineálně neseparabilní, jak tomu je u Perceptronu. Využítí modelu Adaline lze najít jak u úloh regrese, tak klasifikace.[12] Následující tabulka popisuje postup při učení tohoto typu neuronové sítě. Tabulka 4 Adaline učení [Zdroj: vlastní] Krok 1 Krok 2 Nastavení váhového vektoru w, prahu G náhodnými malými hodnotami a koeficientu učení α z intervalu (,1>. Pro každý vzor z trénovacího souboru opakovat kroky

37 Krok 3 Krok 4 Předložení vstupního vektoru X z trénovacího souboru na vstup sítě a určení požadované odezvy d. Výpočet vnitřního potenciálu perceptronu. M=P, Q R = G Krok 5 Výpočet chyby perceptronu. $ =R A Krok 6 Adaptace vah. +1 = $ < Podmínka ukončení: Pokud není změna Krok 7 váhových hodnot menší, než je požadovaná přesnost Madaline Třetím základním modelem neuronových sítí je model Madaline (Multiple Adaline). Síť je také velmi podobná modelu Perceptronu, odlišná je ale v tom, že ve skryté vrstvě se vyskytují neurony typu Adaline. Výstupy sítě tedy mohou být reálné a jednotlivé neurony Adaline realizují lineární funkci. [13] Strukturu sítě přibližuje Obrázek 14. Obrázek 14 Madaline model [Zdroj: 1] 29

38 Výstupem sítě je poté neuron s funkcí majority. Jedná se o výpočet, kdy výsledkem je většinová hodnota vstupů do výstupního elementu. Postup učení sítě popisuje následující algoritmus. Tabulka 5 Madaline učení [Zdroj: vlastní] Krok 1 Krok 2 Krok 3 Krok 4 Nastavení váhového vektoru, prahu G náhodnými bipolárními malými hodnotami a koeficientu učení α z intervalu (,1>. Pro každý vzor z trénovacího souboru opakovat kroky 3-6. Předložení vstupního vektoru X z trénovacího souboru na vstup sítě a určení požadované odezvy d. Výpočet výstupu k-té jednotky Adaline. k počet Adaline jednotek n počet vstupů do každé Adaline jednotky M=P, Q ( =S T U 1, > S T > =W 1, >> Krok 5 Výpočet výstupu sítě. Z =Z[\?](/( 1 Krok 6 Adaptace vah. ^ +1 =^ +<UA ^ Krok 7 Podmínka ukončení: Pokud na všechny vzory z trénovacího souboru má síť požadovaný výstup. V V V kroku 6 výše uvedeného algoritmu je váha upravena pouze u jednoho ze všech neuronů skryté vrstvy. Tímto neuronem se stává ten, jehož výstup se liší od požadovaného a vnitřní potenciál je nejblíže nule. [14] 3

39 5.6 Dělení sítí Jednotlivá dělení neuronových sítí, která byla popsána, se vzájemně prolínají. Následující obrázek znázorňuje komplexnější rozčlenění typů nejpoužívanějších sítí. Tyto jednotlivé typy budou popsány z hlediska topologie, budou také popsány algoritmy zpracování informací uvnitř sítí. Obrázek 15 Dělení sítí [Zdroj: Vlastní] Sítě s pevnými vahami Tento typ sítí se vyznačuje tím, že v průběhu učení sítě se hodnoty synaptických spojení nemění. Tyto hodnoty jsou dány již před začátkem trénování sítě vzory z trénovací množiny LAM (Linear Associative Memory) Tento typ neuronových sítí zvaný Lineární asociativní paměť je využíván jako asociativní paměť. Tato paměť je odlišná od většiny typů dnešních pamětí. Hledání v asociativní paměti spočívá v částečné znalosti hledané informace. Tento způsob je podstatně bližší lidské paměti než hledání záznamu pomocí adresy. V zásadě lze rozdělit asociativní paměti na dva různé druhy, auto-asociativní a heteroasociativní. V případě auto-asociativní paměti jde pouze o upřesnění vstupní informace, kdy například podle odstínu šedi lze určit barevné odstíny obrazu. U heteroasociativní dochází k vybavení 31

40 určité sdružené informace na základě vstupní asociace. Určení informace tedy má odlišný charakter než vstupní hodnoty. [13] Obrázek 16 Struktura sítě LAM [Zdroj: 36] LAM je téměř identický s modelem Madaline. Jediným rozdíl je, že v případě Lineární asociativní sítě je počítána pouze lineární kombinace vstupů. Chybí tedy biasy a formální jednotkový vstup. Formálně lze tedy funkci pro j-tý neuron zapsat pomocí následujícího vzorce: ( 5 = 5 8 Jedním z možných způsobů učení sítě je prostřednictvím Hebbova učení. Toto učení je založeno na myšlence, že změna synaptického spojení dvou navzájem spojených neuronů je přímo úměrné jejich souhlasné aktivitě, tj. součinu jejich stavů. Autor Donald Hebb tímto objasňoval vznik podmíněných reflexů. [16] 32

41 Hebbovo adaptační pravidlo popisuje následující tabulka: Tabulka 6 Hebbovo pravidlo [Zdroj: vlastní] Krok 1 Nastavení váhového vektoru =. Krok 2 Krok 3 Pro každý vzor d z trénovacího souboru opakovat kroky 3-5. Předložení vstupního vektoru X z trénovacího souboru na vstup sítě a určení požadované odezvy d. M=P, Q Krok 4 Výpočet výstupu sítě. (=A Krok 5 Adaptace vah. +1 = + ( Váhový přírůstek je tedy definován jakou součin =(. Výše uvedený algoritmus je pouze jedním ze způsobů implementací Hebbova pravidla učení. Tento algoritmus vyžaduje pouze jeden průchod tréninkovou množinou. Existují však i jiné ekvivalentní metody nalezení vhodných váhových hodnot. Pro heteroasociativní síť by vypadal tedy algoritmus následovně: [16] Tabulka 7 Hebbovo pravidlo - heteroasociativní síť [Zdroj: vlastní] Krok 1 Krok 2 Krok 3 Krok 4 Krok 5a Krok 5b Inicializace všech váhových hodnot 5 (i=1,, n; j=1,, m) podle Hebbova pravidla pro asociativní sítě. Pro vstupní vektor x = (x 1,, x n ) opakovat kroky 2-5. Inicializace vrstvy X daným vstupním vektorem. Výpočet potenciálu výstupních neuronů. Výpočet aktivace výstupních neuronů pro bipolární reprezentaci. Výpočet aktivace výstupních neuronů pro binární reprezentaci. (_ 5 = 5 \=1,,_ 1, (_ 5 > ( 5 =`, (_ 5 = 1, (_ 5 < ( 5 =a 1, (_ \ >, (_ \ 33

42 Dopředné autoasociativní neuronové sítě jsou speciálním případem heteroasociativních sítí. Pro autoasociativní sítě jsou oba tréninkové vektory (tj. vstupní vektor b a výstupní vektor s) identické. Každou asociaci proto tvoří pár vektorů s(p):s(p), kde b=1,,c. Každý vektor s(p) obsahuje n komponent. Váhové hodnoty na příslušných spojích jsou rovněž nastaveny Hebbovým adaptačním pravidlem pro asociativní neuronové sítě (při řešení úloh jsou dosahovány lepší výsledky s vektory pracující s bipolární reprezentací než s vektory s binární reprezentací). Pro úplnost lze ještě dodat, že je možné se setkat s takzvanou iterativní autoasociativní sítí. Síť v tomto případě nereaguje přímo na vstupní signál. Využití má tento typ sítě v momentě, kdy se vstupní signál liší od naučených vzorů pouze hodnotou, tj. že místo 1 nebo -1 obsahuje. Potom lze výstupní hodnoty sítě považovat za vstupní signál. Požadovaný výstupní signál je tedy získán až po několika iteracích. [8] Hopfieldova síť Tento model neuronových sítí je jednou z autoasociativních pamětí, které je možné použít. V současnosti existuje mnoho teoretických výsledků a variant uvedeného modelu. V této kapitole však bude popis omezen pouze na základní model Hopfieldovy sítě. [1] Síť je cyklická a skládá se z n neuronů, které jsou tedy navzájem spojeny každý s každým. Každý neuron má tedy jako své vstupy všechny výstupy neuronů ostatních. Architektura Hopfieldovy sítě přibližuje následující obrázek. Obrázek 17 Hopfieldova síť [Zdroj: 1] 34

43 Každý neuron v této síti je zároveň vstupním i výstupním a mění svůj stav v diskrétních časových okamžicích (t=1,2,, n). Učení sítě je řízeno dříve uvedeným Hebbovým zákonem. Požadovanou funkci specifikuje trénovací množina vzorů p. Každý z nich je zadán vektorem n bipolárních stavů vstupních, respektive výstupních neuronů, které v případě autoasociativní paměti splývají. [1] d=e f =/,, 1g 1,1,!=1,,bh 9 Učení tedy probíhá v p krocích, kdy jsou sítí předkládány jednotlivé vzory trénovacího souboru, podle nichž jsou adaptovány synaptické váhy. Výslednou konfiguraci sítě lze zapsat pomocí následujícího vzorce: 9 5 = 5 1 \ 1 Z výše uvedeného vzorce je zřejmé, že platí 5 = 5, jelikož postavení neuronů i a j je symetrické. Z tohoto důvodu se Hopfieldovy síti někdy říká symetrická sít, v níž dva opačně orientované spoje mezi dvěma neurony lze chápat jako jeden orientovaný spoj. [1] V případě Hopfieldovy sítě je výpočet výstupu realizován pomocí postsynaptického potenciálu jednotlivých neuronů: h = 11 Výsledná hodnota výstupu jednotlivých neuronů je poté určena podle následujícího pravidla: (+1 =D h, h (, h = 12 35

44 Pro přehlednější zápis váhového vektoru je možně se setkat s maticovým zápisem: k=u V 13 Výpočet sítě může probíhat dvěma způsoby, synchronně či asynchronně: [17] Synchronní výpočet Tabulka 8 Hopfield synchronní [Zdroj: vlastní] Krok 1 Přiřazení bipolárních hodnot {-1,1} výstupům všech neuronů, vah a času t=. Krok 2 Dokud se mění výstup alespoň jednoho neuronu, opakování kroků 3 a 4. Krok 3 Krok 4 Určení postsynaptického potenciálu každého neuronu. Změna t=t+1 a určení výstupů neuronů dle postsynaptického potenciálu. Asynchronní vypočet Tabulka 9 Hopfield asynchronní [Zdroj: vlastní] Krok 1 Přiřazení bipolárních hodnot {-1,1} výstupům všech neuronů, vah a času t=. Krok 2 Náhodný výběr neuronu a určení postsynaptického potenciálu v čase t. Krok 3 a) Pokud hodnoty postsynaptického potenciálu a výstupu v čase t vybraného neuronu jsou takové, že dojde ke změně výstupu neuronu v čase t+1, je provedena tato změna a dojde i ke změně času t=t+1. b) Pokud nedojde ke změně, je vybrán jiný neuro a krok 2 se opakuje. Krok 4 Výpočet končí v případě, že již nelze najít v síti neuron, který v následujícím čase mění svůj čas. Pro lepší pochopení učení Hopfieldovy sítě byla definována takzvaná energetická funkce E sítě. Tato funkce přiřazuje ke každému stavu sítě jeho potenciální energii. Jedná 36

45 se tedy o funkci, která je zdola ohraničená a pro daný stav systému je nerostoucí. Stavem systému se rozumí množina aktivací všech neuronů. Funkce je dána následujícím vztahem: $ = 1 2 5( ( Z výše uvedené definice vyplývá, že stavy sítě s nízkou energií mají největší stabilitu. [8] Nejčastější aplikace tohoto typu neuronových sítí je při rozpoznávání obrazů. V tomto případě je počet neuronů v síti roven pixelů obrázku BAM (Bidirectional Associative Memory) Síť BAM je bidirektivní heteroasociativní paměť, pracující synchronně s obousměrnými synapsemi. Následující obrázek popisuje topologii tohoto modelu sítě. [18] Obrázek 18 Síť BAM [Zdroj: Vlastní] Jedná se o síť, která se skládá ze dvou vrstev neuronů, mezi kterými je rekurzivně posílána informace. Ze vstupní vrstvy je informace zasílána vrstvě výstupní, prostřednictvím nastavení váhového vektoru sítě. Výstupní vrstva poté vrací výsledky svých výpočtů zpět na vrstvu vstupní, prostřednictvím stejných váhových synapsí. Jedná se tedy o takzvanou rezonanční síť, kdy informace rezonuje mezi dvěma vrstvami a je 37

46 kódována pomocí bipolárních hodnot. Aktivační (přenosovou) funkcí je v tomto případě funkce signum. [19] U tohoto typu sítě lze určit takzvanou Kapacitu sítě, která udává maximální počet uchovaných vzorů. Pokud je M a N jsou počty neuronů v první a druhé vrstvě a P je maximální počet asociací, tak hrubým odhadem lze určit počet n takto: c ;=_Z,p 15 Přesnější odhad lze určit tak, že je uvažováno L vektorů následovně: q<,68 ) Plog ) 4 +4Q ) 16 A poté má každý vektor 4+log ) prvků rovných 1 a zbytek. Pak lze vytvořit BAM model, pro který je 98% stabilních stavů. Algoritmus učení sítě tohoto typu nejlépe shrnuje následující tabulka: Tabulka 1 BAM učení [Zdroj: Vlastní] Inicializace váhových hodnot 5 a prahové hodnoty Θ Krok 1 1. vrstva 2. vrstva } k=y 5 z=2[ { 1 /2 5 { 11 { ~ Θ = = ;=1,,p 5 k ~ Θ == = ;\=1,,p 5 váha mezi i-tým vstupním a j-tým výstupním neuronem [ {, { 5 i-té prvky s-tých vektorů asociačního seznamu c počet prvků asociačního seznamu 38

47 Θ = Θ == - vektory prahových hodnot neuronů první a druhé vrstvy Krok 2 Opakování kroků 3 a 4 pro každý vstupní vektor. Krok 3 Předložení neznámého vstupního vektoru =P,, Q, g,1 Iterativní opakování, dokud se mění výstup první, popř. druhé vrstvy mění. Výpočet hodnoty R 5 = +1 paralelně pro =1,,Z Krok 4 1. vrstva R 5 = +1 = 5 Θ 5 = Výpočet výstupní hodnoty [ 5 +1 pro \=1,,Z 1, R = 5 +1 > [ 5 +1 =`, R = 5 +1 < [ 5, R = 5 +1 = 2. vrstva Výpočet hodnoty R == +1 paralelně pro \=1,,p ~ R == +1 = 5 5 Θ == 5 Výpočet výstupní hodnoty [ 5 +1 pro \=1,,p 1, R == +1 > +1 =`, R == +1 < [ 5, R == +1 = Po ukončení kroku iterací odpovídá vstup první vrstvy BAM vzorovému vektoru z asociačního seznamu, který se nejvíce podobá neznámému vektoru předloženému na vstup. Výstup pak odpovídá asociaci uložené v BAM během trénování. [2] Využití tohoto typu sítě má největší zastoupení v případech, kdy je třeba rekonstrukce původních informací. Praktické využití je tedy při rekonstrukcích neúplných či šumem poškozených obrazů. 39

48 5.6.2 Sítě s učením s učitelem Jak již bylo dříve vysvětleno, učení s učitelem znamená, že síť se učí porovnáním aktuálního výstupu s výstupem požadovaným. Následně jsou hodnoty vah synaptických spojení upraveny tak, aby rozdíl mezi akruálním a požadovaným výstupem byl co nejmenší Perceptron Model perceptronu byl již popsán v kapitole Perceptron, kdy byly popisovány základní modely neuronových sítí. Díky tomu, že se jedná o jeden z vůbec prvních objevených prvků, byl dále zkoumán a zdokonalován, takže jeho použití je velmi časté. Je používán ať už jako jednoduchý prvek sítě, či jako součást složitějších sítí MLP (Multilayer Perceptron) Jedná se o vícevrstvé sítě, kde jednotlivé neurony jsou představovány právě perceptrony. Spojením perceptronů do rozsáhlejších sítí je dosaženo vyšší výpočetní síly. Právě tento typ sítí je jeden z nejpoužívanějších, zejména pro svou acyklickou topologii, kdy jsou neurony orientovány do jednotlivých vrstev. [21] Pro učení této sítě je nejčastěji využit algoritmus Backpropagation, čili zpětné šíření chyby, který je popsán v kapitole Topologie sítě je popsána v kapitole 4.4.2, kde byly popisovány sítě z pohledu počtu vrstev a jako příklad zde byl uveden právě model MLP, proto v této kapitole už znovu popisován nebude TDNN (Time-Delay Neural Networks) Jak je z názvu zřejmé, tato síť simuluje zpoždění mezi neurony. Tento typ vícevrstvé dopředné neuronové sítě je někdy označován též jako frontální síť. Vyjímečnost této neuronové sítě je zejména díky tomu, že dokáže využívat časové zpoždění při zpracování dat. Při práci je využíváno takzvaných filtrů, které používají krátkodobou paměť. Platí, že čím jsou filtry hlubší, tím více informací o minulých stavech jsou schopny pojmout. Paměť je situována na začátku neuronové sítě jako představa, která pracuje právě s časem. K učení tohoto typu neuronové sítě lze využít již výše uvedené učící algoritmy pro dopředné sítě jako je například Back-propagation. [22] Následující obrázek blíže popisuje topologii sítě TDNN. 4

49 Obrázek 19 Síť TDNN [Zdroj: 22 ] Výstup sítě TDNN, kde všechny filtry jsou lineární, mají stejnou hloubku paměti a výstupní neuron je též lineární, lze poté vyjádřit následujícím vzorcem. [23] =< A8 5 ƒ 5 M 5 : 5 17 Kde: Y je výstup neuronové sítě α je vektor vah synapsí mezi neurony ve skryté vrstvě a výstupním neuronem β je vektor vah synapsí mezi filtry a neurony ve skryté vrstvě χ je vektor vah synapsí uvnitř filtru k je index neuronu ve skryté vrstvě K je počet neuronů ve skryté vrstvě d je aktivační funkce j je index filtru 41

50 J je počet filtrů na jeden neuron ve skryté vrstvě i je index vstupu filtru I je počet vstupů filtru b je hloubka krátkodobé paměti X je vstupní vektor neuronové sítě Filtr sítě lze popsat pomocí níže uvedeného obrázku. Obrázek 2 Filtr TDNN [Zdroj: 22 ] Kde: x(t) je hodnota vstupu filtru v čase t b je hloubka paměti filtru χ jsou váhy synapsí v rámci filtru z -1 je operátor časového zpoždění xf(t) představuje výstup filtru pro hodnotu vstupu v čase t Tento typ neuronových sítí je používán zejména pro predikci. [24] Sítě s učením bez učitele Při učení bez učitele je síť učena tak, aby sít poskytovala stejnou odezvu při stejných, respektive podobných vstupních signálech. 42

51 ART (Adaptive Resonance Theory) Většinou je velmi složité, aby se síť naučila novou informaci, aby nebyla poškozena ta již dříve nauřená. Způsobují to změny hodnot synaptických spojení při učení sítě. Při učení je vždy nutný návrat znovu na začátek, aby byla síť schopna naučit se novým vzorům. To je ale velice časově náročné. Model neuronových sítí ART pracuje na principu adaptivní resonanční teorie. Prakticky jde o proces, kdy při přivedení vzoru na vstup dochází k dopřednému i zpětnímu šíření signálu. Tyto sítě jsou tedy paralelní a vyniká jejich schopnost eliminace zašuměných vstupních vzorů. K dispozici je více druhů ART sítí, jako jsou ART1, ART2, ART3, AERMAP a další, pracující například v rámci fuzzy množin a podobně. ART2 vznikla modifikací základní sítě ART1. ART2 pracuje s reálními hodnotami ve vstupním vektoru. První dva typy sítě ART se používají na rozpoznání obrazců a řeči. ART3 se velice podobá ART2, ale předpokládá se, že vstupy do sítě budou spojité a spojitě v čase se takké budou měnit. ARTMAP má velkou výhodu v tom, že může vstupy dělit do nekonečného množství kategorii. Tyto sítě se používají ve spoustě odvětvích, jako je rozpoznávání obrazců, řečové syntéze a shlukování. Síť ART se skládá ze dvou vrstev. První vrstva je porovnávací a druhá rozpoznávací. Obě tyto vrstvy jsou propojeny oboustranně vahami. Porovnávací vrstva má za úkol srovnávat předkládané vzory s již dřívě čtenými. Podle výsledku tohoto porovnávání nastavuje dopředné hodnoty váhového spojení. Počet neuronů je dán velikostí vstupního vektoru X, je tedy stejný jako počet vstupních složek. Rozpoznávací vrstva pak rozděluje vstupní vrstvy do kategorií a porovnává vnitřní podobnosti, které mezi nimi mohou být. Nastavuje také zpětné váhy spojení, ve kterých jsou zakódovány právě tyto podobnosti, podle kterých pak síť rozpoznává. Tyto sítě používají zpětného šíření signálu. V síti je oproti ostatním vyskytuje navíc řídící prvek, který řídí tok sítí (G1 pro porovnávací vrstuvu a G2 pro rozpoznávací vrstvu). Ten udává jakési měřítko, jak hodně si musí být jednotlivé vzory podobné, aby spadaly do stejné kategorie. Na každou vrstvu jsou napojeny logické řídící signály, které také ovlivňují tok informací během práce sítě. Síť obsaguje ještě jeden prvek, takzvaný resetovací člen R. Jeho funkce spočívá v rozhodování, zda pro daný vzor má být vytvořena zcela nová kategorie, či spadá do některé z již vytvořených. [25] 43

52 Obrázek 21 Síť ART [Zdroj: 26] Řídící signály jsou nastaveny následovně: Tabulka 11 Řídící signály ART [Zdroj: Vlastní] G2=1 Je-li alespoň jeden prvek vstupního vektoru x i =1. G1=1 Je-li alespoň jeden prvek vstupního vektrou x i =1. Pokud je ale zároveň jeden prvek r i =1, je G1=. Reset je nastaven dle podobnosti mezi vektorem C a X, když je podobnost menší než předem zvolená hodnota. Vrstvy lze popsat takto: [26] Porovnávací vrstva Každý neuron v této vrstvě přijímá tři binární signály: 1. Složky vstupního vektoru M=P,, Q 2. Zpětnovazební signál b 5, který je vytvořen jako vážený součet výstupů neuronů z rozpoznávací vrstvy 3. Signál G1 Výstup neuronů je roven jedné, pokud jsou nejméně dva ze tří signálů rovny jedné. 44

53 Na počátku jsou všechny složky vektoru R a signál G1 nastaveny na hodnotu (C=X). Obrázek 22 Porovnávací vrstva ART [Zdroj: 26] Rozpoznávací vrstva Tato vrstva se skládá z M vektorů, které reprezentují M klasifikačních tříd. Vstupy neuronů jsou spojeny s výstupy porovnávací vrstvy. Spojením jsou přiřazeny vektory váhových koeficientů 5 / 5 g ˆ1. Po předložení vstupního vektoru je v rozpoznávací vrstvě aktivován pouze neuron s vektorem váhových koeficientů nejvíce podobným vstupu. Ostatní neurony mají výstup nulový. 45

54 Obrázek 23 Rozpoznávací vrstva ART [Zdroj: 26] Z důvodu složitosti jednotlivých učících algoritmů bude pro přiblížení problematiky popsán pouze algoritmus typu sítě ART1, který lze shrnout do následujících kroků: [27] Tabulka 12 ART1 učení [Zdroj: Vlastní] Inicializace všech váhových hodnot 5 a 5 a nastavení prahu podobnosti. 5 =1 5 = 1 1+p 1 Krok 1 5 zpětná váha z i-tého vstupu na j-tý výstup 5 dopředná váha z i-tého v stupu na j-tý výstup Krok 2 Krok 3 práh podobnosti p počet neuronů v porovnávací vrstvě Z počet neuronů v rozpoznávací vrstvě Přivedení vektoru M=,, na vstup sítě. Výpočet odezvy pro každý neuron v rozpoznávací vrstvě. ( 5 = 5 Krok 4 Výběr neuronu s největší odezvou. ( =_[/(

55 Krok 5 Výpočet podobnosti B. Je-li B, přeskočit krok 6. μ= n í=1 t ikx i n i=1 Krok 6 Zablokování neuronu s největší odezvou a opakování od kroku 3. Vstup k-tého neuronu bude dočasně nastaven na nulu a neuron nebude testován při dalším výběru maxima v kroku 4. Pokud ještě není vyčerpán počet možných neuronů ve výstupní vrstvě, pokračovat krokem 4. V opačném případě, je-li dostatek výstupních neuronů, přiřadit vstup k některému z volných neuronů a vytvořit tak novou třídu. Krok 7 Krok 8 Adaptace vah u neuronu s největší odezvou. Odblokování neuronů zablokovaných v kroku 6 a pokračování od kroku = +1 =,5+ V kroku 1 lze použít i jiný vzorec pro výpočet dopředných vah: 1 5 = 18 H1+p 1+\ 1 Z I V tomto případě se dopředné váhy s rostoucí hodnotou j snižují, čímž dochází k zapamatování vzorů od nejnižších neuronů a ne náhodně jak tomu v případě, když jsou dopředné váhy nastaveny shodně pro všechny neurony. Velice častým použitím tohoto typu sítě shlukování či rozpoznávání znaků a řečových segmentů. [26] Kohonenova síť Kohonenova síť, která se někdy označuje jako Kohonenova samoorganizující se mapa, je řazena do skupiny samoorganizujících neuronových sítí, které ke svému učení neužívají žádný trénovací soubor. Následující obrázek demonstruje topologii tohoto typu sítě. 47

56 Obrázek 24 Kohonenova síť [Zdroj: 1] Z obrázku je zřejmé, že se jedná o jednovrstvou síť, kdy neurony vstupní vrstvy jsou propojeny se všemi neurony vrstvy výstupní. Uložení neuronů ve výstupní kompetiční vrstvě má svá pravidla. Neurony jsou organizovány do dvojrozměrné struktury buď obdélníkové, nebo hexagonální. Neurony jsou umístěny do řad. Počet těchto řad definuje takzvané okolí neuronu R. Na tuto hodnotu má vliv právě organizace výstupních neuronů. Polohu neuronu v prostoru tedy definují jeho váhy. Funkce jednotlivých neuronů je výpočet vstupního vektoru od vzoru, který je uložen ve vahách neuronu. Učení Kohonenovy sítě je založeno na uspořádání neuronů výstupní kompetiční vrstvy do oblastí, které mohou klasifikovat předložená data na vstup. Hodnoty váhových spojení jsou upravovány iterativně. Při učení jsou vstupní vzory porovnávány s vektory, které jsou již v neuronech uloženy. Pokud je v kompetiční vrstvě nalezen neuron, který nejlépe odpovídá vstupnímu vzoru, jsou jeho váhové hodnoty synaptických spojení upraveny. [28] 48

57 Učení Kohonenovy sítě se skládá z následujících kroků: [29] Tabulka 13 Kohonenovo učení [Zdroj: Vlastní] Krok 1 Nastavení vah w pro všechny spoje z N vstupů do M výstupních neuronů na malé náhodné počáteční hodnoty. Nastavení parametru učení α na hodnotu blížící se nule. p 1 \ Z 1 Krok 2 Předložení nového vstupního vzoru. M =,, J Krok 3 Krok 4 Krok 5 Výpočet vzdálenosti vzorů mezi předloženým vzorem a všemi výstupními neurony j. Výběr nejpodobnějšího neuronu \ kompetiční vrstvy. Změna vah pro neuron \ a jeho okolí p 5. J A 5 = 5 ) A 5 =_ 5 /A = 5 +< y 5 z Obecně lze samotnou adaptaci váhových hodnot rozdělit na 2 částí, kdy při první dochází k velkým změnám těchto hodnot. V té druhé dochází k jemným úpravám váhových hodnot vítězného neuronu a jeho blízkého okolí. Tento iterativní proces se samozřejmě opakuje, dokud se mění hodnoty vah jednotlivých synaptických spojení neuronů ve výstupní kompetiční vrstvě. Aplikace tohoto typu sítí je zřejmá. Používají se zejména pro shlukování, analytické práce s daty a vytváření sémantických map. 49

58 6 Vyhodnocení možností použití Podle uvedeného teoretického rozboru lze říci, že obecné použití neuronových sítí je vcelku všestranné. Pomocí tohoto aparátu lze zpracovávat velké množství a různé typy dat. Jako nejpravděpodobnější se jeví použití dopředné vícevrstvé neuronové sítě. Prvek, který by pracoval na základě funkce tohoto modelu, by mohl sloužit jako jakýsi mezičlánek mezi zabezpečovacím a jiným systémem, do kterého bude možnost systém PZTS integrovat. Tímto způsobem by bylo možné transformovat data v požadovaný formát a následně je poskytovat k dalšímu zpracování. Další neuronovou sítí, kterou lze použít pro práci s PZTS, je například Kohonenova síť. Jedná se spíše o teoretický způsob použití, pomocí tohoto typu sítí lze analyzovat data. Pokud jsou data se stejným charakterem podobné hodnoty, lze jednotlivé stavy rozčlenit do předem definovaného počtu skupin. Následně by bylo možné se vzniklými skupinami pracovat. Jako další prvek při integraci systémů lze využít bidirektivní heteroasociativní paměť. Funkce tohoto typu sítě by spočívala v rekonstrukci případně poškozených signálů a šumů. Jedná se tedy spíše o doplňující funkci pro další zpracování dat. 5

59 7 Praktické řešení 7.1 Měřící sestava Pro praktickou ukázku využití neuronových sítí v rámci zabezpečovací techniky potažmo inteligentních budov bylo využito sběrnicové ústředny Digiplex Evo 192 kanadského výrobce Paradox. Schéma zapojení měřící sestavy přibližuje následující obrázek. Obrázek 25 Měřící soustava [Zdroj: Vlastní] Sběrnicová zabezpečovací ústředna Digiplex Evo 192 tento typ zabezpečovacích ústředen je určen pro střední a velké aplikace Tabulka 14 Technické parametry Digiplex [Zdroj: 3] Dělení na podsystémy 8 Max. počet zón v systému 192 Max. počet modulů v systému 254 PGM výstupy na ústředně 4 opto-relé 5mA, 1 relé 5A Počet uživatelských kódů 999 Historie událostí

60 7.1.2 Klávesnice K-641 LCD klávesnice s dvouřádkovým modrým displejem Tabulka 15 Technické parametry K-641 [Zdroj: 31] Displej 32 řádků, podsvícený Klávesová zóna 1 Indikace připraveno/zapnutí Indikace napájení AC Jedno-klávesové povely zelená/červená LED dioda žlutá LED dioda 14 druhů Pohybový PIR detektor DM5 sběrnicový infra-pasivní detektor s plně digitálním zpracováním signálu Tabulka 16 Technické parametry DM5 [Zdroj: 32] Senzor duální Dosah Detekční rychlost Optická indikace 12 m,2 až 3,5 m/s červená LED dioda Tiskový modul PRT3 integrační a tiskový modul Tabulka 17 Technické parametry PRT3 [Zdroj: 33] Datový výstup / vstup ASCI / E-BUS Paralelní port 1 Sériový port 1 USB port 1 Rychlost sériového portu 2.4, 9.6, 19.2, 57.6 b/s Paměť událostí 248 Komponentu PRT3 je možné použít pro tisk prostřednictvím tiskárny připojené na paralelní port modulu. Dále je možné pomocí sériového portu či portu USB připojit modul na PC a sledovat stavy a události, které vznikají na celém systému. Mimo samotné načítání 52

61 těchto informací lze ale prostřednictvím modulu i systém ovládat. Slouží k tomu příkazy, pomocí nichž je možné systém uvést do střežení a následně zase vypnout. Dále je k dispozici příkaz, který na ústředně vyvolá Panik poplach, a nakonec dotazy, pomocí nichž lze získat aktuální informace o dění na konkrétní zóně či podsystému. Tabulka 18 a Tabulka 19 popisují posloupnosti znaků u vybraných dotazů a příkazů, jimiž lze ústřednu ovládat, a možné odezvy přijímané zpět z ústředny. [33] Tabulka 18 Dotaz na stav zóny [Zdroj: 34] Dotaz na stav zóny byte R Z X X <cr> Obdržená informace byte R Z X X byte 6 byte 7 byte 8 byte 9 byte 1 <cr> byte 6 byte 7 byte 8 byte 9 byte 1 C-zavřena O-otevřena T-tamper F-porucha S-porucha L-slabá A-v poplachu F-požár dohledu baterie O-OK O-OK O-OK O-OK pozn. X = číslo zóny Tabulka 19 Příkaz pro zapnutí podsystému kódem [Zdroj: 34] byte A A X byte 6 byte 7 byte 8 byte 9 byte 1 byte 11 byte 12 <cr> byte 6 byte 7 byte 8 byte 9 byte 1 byte 11 byte 12 53

62 A-běžné F-force S-stay I-stay bez uživatelský kód číslo 1 uživatelský kód číslo 2 uživatelský kód číslo 3 uživatelský kód číslo 4 uživatelský kód číslo 5 uživatelský kód číslo 6 zp. pozn. X = číslo podsystému V případě, že je na ústředně nastaven pouze čtyřmístný kód, jsou poslední dvě pozice příkazu vynechány. Díky těmto funkcím modulu je možné integrovat ústřednu do jiných nadstavbových systémů. Například je možné spolupracovat s docházkovými systémy, kamerovými systémy či elektrickou požární signalizací, a i přesto zůstává integrita systému EZS jako celku Stolní počítač Vzhledem k povaze měření není podstatné rozvádět vlastnosti a konfigurační nastavení stolního počítače. Důležitým aspektem ovšem je, aby hardwarové vybavení počítače obsahovalo sériovou sběrnici (USB či RS232) a dále program HyperTerminal nebo jeho obdobu pro monitorování sběrnice. 7.2 Popis řešení - MATLAB Pomocí výše uvedené měřící sestavy bylo možné simulovat různé situace, které na systému mohou nastat a pomocí tiskového modulu odečítat sekvence ASCII kódů. Pro aplikaci a simulace stavů v rámci neuronových sítí bylo ale zapotřebí, aby neuronová síť byla schopna pracovat se všemi možnými stavy, které se mohou na systému vyskytnout. Proto byly stavy vybrány přímo z manuálu výrobce, kde jsou obsaženy veškeré možné kombinace stavů. Tyto stavy jsou zachyceny v přílohách. (viz. Příloha č. 1) Nicméně zapojená sestava byla později využita pro získání jednotlivých sekvencí při ověřování funkčnosti neuronové sítě. 54

63 7.2.1 Příprava pracovního prostředí Celkový počet všech možných stavů, které se mohou objevit na výstupu tiskového modulu, je Tyto stavy jsou však reprezentovány sekvencí ASCII kódu ve formátu uvedeném v následující tabulce. Tabulka 2 Formát dat na sběrnici [Zdroj: 34] Událost Byte Data G x x x N y y y A z Z z V této posloupnosti platí: xxx skupina událostí yyy událost zzz číslo (vyplývá z charakteru událostí číslo zóny, uživatele atd.) Pro simulaci neuronových sítí bylo využito prostředí Matlab 6.5 vyvíjen společností MathWorks. Program disponuje mnoha funkcemi a výpočty jsou založeny na práci s maticemi. Tento konkrétní software byl vybrán zejména z důvodu velké podpory a možnosti využití toolboxu NNTOOL, který byl vyvinut přímo pro práci s neuronovými sítěmi. Data, se kterými je možné dále pracovat, byla ve výše uvedeném formátu a v textové podobě v souboru stavy_ascii.txt. Jelikož se ale formát dat získaný ze zabezpečovací ústředny přímo nehodí pro zpracování neuronovou sítí, byla data upravena pomocí následujícího skriptu, kde ze sekvencí byla odebrána písmena. m=1; n=m+11; x=[]; y=[]; h = fopen('stavy_asci.txt','r'); A = fscanf(h,'%c'); while krok< a=a(m:n); a1=a(2:4); a2=a(6:8); a3=a(1:12); b=strcat(a1,a2,a3); for i=1:9 s=str2num(b(i)); //deklarace proměnných //vytvoření linku pro čtení textového souboru //přečtení textového souboru jako text //vyjmutí jedné sekvence //výběr řetězce skupiny událostí //výběr řetězce událost //výběr řetězce číslo //spojení v jeden řetězec //konverze textového znaku na číslo 55

64 x(i)=s; end y=[y;x]; m=m+14; n=m+11; krok=krok+1; end //uložení do matice //spojení matic Skript pracuje tak, že jsou cyklicky vybírány jednotlivé sekvence, které mají velikost 12 znaků. Z tohoto řetězce jsou dále vybrány podřetězce po třech znacích mezi písmeny. Následně jsou podřetězce spojeny zpět v jeden řetězec a nakonec jednotlivé textové znaky převedeny na číslo a uloženy do řádku jedné matice. Jak bylo popsáno v teoretické části práce, je nejlepším vstupním formátem dat neuronových sítí binární kód. Z tohoto důvodu byla data převedena do dvojkové soustavy. Samotná konverze byla provedena dalším skriptem, níže uvedeným. for e=1:22564 for i=1:9 p=y(e,1:9); q=str2num(dec2bin(p(i))); q=num2str(q); x=length(q); c=4; while x> z=str2num(q(x)); c=c-1; x=x-1; end end end w(e,(i-1)*4+c)=z; //převod čísla na binární a zpět na číslo //převod čísla na textový řetězec //zjištění délky //převod textového řetězce na číslo //výpočet pozice umístění čísla v matici Ze skriptu je vidět, že jsou cyklicky vybírány hodnoty z dříve vytvořené matice. Jednotlivé prvky matice jsou poté převáděny do binárního kódu, a jelikož každé číslo je v binárním kódu poté jinak dlouhé, z důvodu přesného umístění čísla do matice je poté proveden výpočet pomocí zjištění délky konkrétní hodnoty. Jediným problémem se při výpočtu jevil fakt, že po konverzi čísla na binární hodnotu je takto hodnota v textové podobě, proto je nutné hodnota znovu převést na číslo. Po zpracování vstupních dat těmito dvěma skripty jsou data připravena ve formátu, který je plně odpovídající neuronové síti. Za účelem minimalizace dat lze navíc odstranit hodnoty z prvních buněk řádků, jelikož zbytečně zabírají místo a hodnoty v rámci sítě 56

65 už nepředstavují konkrétní číslo, ale individuální stavy. Tento krok je proveden následujícím skriptem. w2=[]; for i=1:22564 r=w(i,6:36); w2=[w2;r]; end w=w2; V posledním kroku je nutné matici vstupních dat transponovat, jelikož neuronová síť bere na vstup data ve formě sloupcového vektoru a v současné matici jednotlivé stavy reprezentují řádky. w=w V tuto chvíli jsou data připravena ve formátu plně vyhovujícím a umístěna v matici w Vytvoření neuronové sítě V rámci programu Matlab je práce s neuronovými sítěmi skutečně jednoduchá. Jednoduchost je ale vykoupena poměrně velkou časovou náročností jednotlivých výpočtů. V tomto případě se jedná o poměrně objemná data, kdy je vstupní matice o rozměrech , takže s časovou náročností je nutné počítat. V prostředí Matlab je neuron reprezentován následujícím obrázkem. Obrázek 26 Model neuronu - MATLAB [Zdroj: MATLAB] 57

66 Vstupní vektor je tvořen množinou prvků p 1 až p R. Jednotlivé vstupy jsou ohodnoceny vahami, respektive váhovým vektorem w 1,1 až w 1,R. Bias b je od matice vah oddělený a tvoří ho samostatný vektor pro každou vrstvu sítě, v průběhu trénování se oba vektory mění. Výstupem je poté hodnota a. Výchozí neuronovou sítí je zvolena dopředná vícevrstvá síť s algoritmem učení zvaným Back-propagation. Pro neuronovou síť je nutné nastavit několik potřebných parametrů. V Matlabu je možné definovat několik typu přenosových funkcí, navíc lze definovat i funkci vlastní. Přenosové funkce na výběr jsou následující: hardlim prahová funkce (tvrdá limita) purelin lineární funkce tansig sigmoidní funkce logsig logická sigmoida Při vytváření sítě lze pro každou vrstvu definovat vlastní přenosovou funkci. V tomto případě byla zvolena logická sigmoida, jelikož je třeba pracovat s logickými hodnotami. Dalším parametrem pro vytvoření sítě je počet neuronů v jednotlivých vrstvách. Jednotlivé počty byly navrženy v rámci optimalizace, aby síť nebyla zbytečně rozsáhlá, ale aby byla schopna naučit se všech stavů s maximální požadovanou chybou 1%. Vstupní vrstva obsahuje 31 neuronů. Tento počet vychází z počtu prvků řádku matice pro jednotlivý reprezentovaný stav. Skryté vrstvy jsou celkem tři a každá obsahuje 18 neuronů. Výstupní vrstva poté čítá 15 neuronů. Tento počet je určen množstvím stavů, aby bylo možné všechny reprezentovat binární hodnotou (2 15 =32 768). Pro trénování sítě byl vybrán algoritmus Back-propagation. Použití tohoto algoritmu je poměrně široké a prostředí Matlab nabízí několik variant jeho provedení. Varianty se liší v rychlosti, složitostí a stabilitou. Nabízenými typy jsou: traingd Batch Gradient Descent traingdm Batch Gradient Descent with Momentum traingdx Gradient Descent with Variable Learning Rate 58

67 Jako nejrychlejším a nestabilnějším typem algoritmu se jeví traingdx, z toho důvodu byl zvolen pro další zpracování dat. Největší výhodou tohoto algoritmu je variabilní rychlost učení. Posledním parametrem pro vytvoření sítě je rozsah hodnot, se kterými má síť pracovat. Tento krok je proveden pomocí příkazu minmax(). Samotné vytvoření neuronové sítě se provádí pomocí příkazu newff. net=newff(minmax(w),[31,18,18,18,15],{ logsig logsig logsig, logsig, logsig }, traingdx ) K vytvořené síti lze poté přistupovat jako k objektu a jeho vlastnostem. Mezi nejzákladnější vlastnosti sítě patří tyto: epochs maximální počet cyklů učení (poté se učení zastaví) goal požadovaná maximální kvadratická chyba time maximální čas trénování v sekundách show počet epoch, po kterých je cyklicky vykreslován graf min_grad minimální velikost gradientu (poté se učení zastaví) lr rychlost učení V případě simulace sítě v této práci jsou hodnoty nastaveny následovně. net.trainparam.epochs=3 net.trainparam.goal=1e-2 Následující příkaz slouží k naučení sítě na konkrétní vzory. Těmito vzory je myšlena matice obsahující čísla v binárním kódu. Tyto hodnoty jsou voleny z důvodu jednoduchosti. V případě konkrétní aplikace a zapojení výstupů sítě do dalších systémů by bylo možné samozřejmě hodnoty změnit a přizpůsobit tak chování sítě v dané situaci. [net]=train(net,w,vzory) Jak lze vidět z níže uvedeného obrázku, požadované chybovosti 1% nebylo dosaženo. Minimální hodnota chybové funkce dosáhla hodnoty zhruba 12% při počtu 2 4 učících epoch. Je to zapříčiněno zejména velkým objemem dat, pomocí kterých je celá síť učena. 59

68 Obrázek 27 Učení sítě č. 1 [Zdroj: MATLAB] Simulace neuronové sítě Pro simulování konkrétních stavů byly odečteny hodnoty ze sběrnice pomocí výše uvedené soustavy. Jako příkladně stavy byly vybrány tyto: Poplach zóny č. 8 Poplach do vypnutí kódem Narušen tamper zóny č. 8 Zóna č. 8 v klidu Vypnuto po poplachu uživatelem Výsledky simulace stavů jsou uvedeny přehledně v tabulce v přílohách (Příloha č. 2) Jak lze z tabulky vypozorovat, chybovost sítě je skutečně vyšší než 1%. 6

69 7.2.4 Návrh optimalizace sítě V případě integrace systémů PZTS v rámci inteligentních budov zřejmě nebude vyžadováno, aby byly přenášeny veškeré možné stavy. Systém pro tuto situaci zasílá i vcelku nepotřebné informace, jako například čas a podobně. V rámci optimalizace modelu neuronové sítě a práce s ní, byly vybrány ty nejzákladnější stavy, které jsou v rámci sběrnice systému PZTS posílány. Jedná se o velice hrubé zjednodušení, kdy neuronová síť rozpozná tyto situace: Zóna v klidu Zóna narušena Sabotáž zóny Jedná se o nejzákladnější stavy systému a po této redukci tak jejich počet klesá na hodnotu 576. (stavy obsahují informace o zónách, na kterých situace vznikla) Postup pro vytvoření sítě je obdobný jako v předešlém případě, liší se pouze vstupními hodnotami, velikostí a parametry sítě. net=newff(minmax(w),[14,1,1,1],{ logsig logsig, logsig, logsig }, traingdx ) net.trainparam.epochs=2 net.trainparam.goal=1e-2 [net]=train(net,w,vzory) stav=(2,1:14) sim (net,stav) V tomto případě již není žádný problém síť dostatečně adaptovat a vzhledem k nižšímu objemu dat je pro chybovou funkci 1% časová náročnost výpočtu zanedbatelná. Na následujícím obrázku je pak zobrazen průběh učení této sítě. 61

70 Obrázek 28 Učení sítě č. 2 [Zdroj: MATLAB] Jak je vidět, síť se pro hodnotu chybové funkce 1% naučila data po učících epochách. Správnost naučení neuronové sítě lze opět provést pomocí simulace některého stavu. Níže uvedená tabulka obsahuje data při simulaci vytvořené redukované neuronové sítě. Tabulka 21 Simulace optimalizované sítě [Zdroj: vlastní] pořadové číslo stavu 2 výstup sítě požadovaná hodnota 1 1 pořadové číslo stavu 15 výstup sítě požadovaná hodnota pořadové číslo stavu 333 výstup sítě požadovaná hodnota pořadové číslo stavu 56 výstup sítě požadovaná hodnota

71 Z tabulky lze vidět, že neuronová síť je schopna se stavy naučit s minimální chybovostí a je tak možné tento model použít k dalšímu zpracování. 7.3 Popis řešení C# Pro bližší seznámení s neuronovou sítí a postupem zpracování dat byl vytvořen model perceptronu v prostředí Visual Studio a programovacím jazyce C#. Jedná se pouze o ukázku možnosti. Složitost práce oproti toolboxu v Matlabu je mnohem vyšší, jelikož zde se jedná pouze o jediný prvek sítě, který je nutné dále spojit ve vrstvy a dále v konečnou síť. Obrázek 29 Konzolová aplikace v C# [Zdroj: Visual Studio] V podstatě se jedná o primitivní konzolovou aplikaci, kde je perceptron naučen reprezentovat logickou funkci AND. Pro vstupy { { 1, 1 }, { 1, }, {, 1 }, {, } } je předložen trénovací soubor { 1,,, }. Následně po předložení vstupu { {, }, {, 1 }, { 1, 1 }, { 1, } } vypočítá a zobrazí výstupní hodnoty (viz obrázek). Zdrojový kód aplikace je obsažena v přílohách (Příloha č. 2). 63