SCIENTIFIC PAPERS OF THE UNIVERSITY OF PARDUBICE Seres B The Jan Perner Transport Faculty 5 (1999) APLIKACE NEURONOVÝCH SÍTÍ PRO DETEKCI PORUCH SIGNÁLŮ Mchal MUSIL Katedra provozní spolehlvost, dagnostky a mechanky v dopravě 1. Úvod Neuronové sítě představují v současné době jeden z hlavních prostředků pro vytváření systémů s umělou ntelgencí. Aplkační oblast neuronových sítí je značně rozsáhlá. Neuronové sítě jsou označovány jako tzv. učící se systémy. Př procesu učení se sítě jsou na vstupy sítě přváděny tzv. trénovací obrazce pro které je předem známý správný výstup. Na základě konfrontace správného výstupu a skutečného výstupu sítě jsou prováděny zásahy do neuronové sítě tak aby výsledná odchylka byla mnmální. Po ukončení procesu učení se sítě je jž síť použta pro konkrétní vstupní sgnály pro které síť generuje příslušné výstupní sgnály. Obsahem tohoto článku bude seznámení se se základním neuronovým sítěm a některým algortmy a pravdly pro učení se sítě. Dále bude popsán způsob mplementace neuronových sítí v prostředí Matlabu. Jako konkrétní aplkace neuronových sít zde bude popsáno použtí sítí pro predkc a detekc poruch sgnálů. 2. Neuronová síť - základní pojmy V rozsahu tohoto článku se budeme zabývat pouze jednou třídou neuronových sítí, tzv. vícevrstvých perceptronových sítí (Mult-Layer Perceptron networks MLP networks). Scentfc Papers of the Unversty of Pardubce Seres B - The Jan Perner Transport Faculty 5 (1999) - 165 -
Elementární neuron je tvořen konečným počtem vstupů x, aktvační funkcí a, přenosovou funkcí f a jedním výstupem y. Každý vstup neuronu může být modfkován prostřednctvím váhy vstupu w j, která reprezentuje možnost působení konkrétního vstupu na výstup neuronu. Výpočty vah vstupů neuronů představují hlavní část učících algortmů sítí. Počáteční nastavení vah je buď provedeno automatcky na určté výchozí hodnoty nebo na konkrétní hodnoty zadané užvatelem. x y a f w j Obr.1 Elementární neuron vstupy neuronu výstup neuronu aktvační funkce přenosová funkce váhy jednotlvých vstupů Každý neuron transformuje vstupní hodnoty alespoň dvěma funkcem : Aktvační funkce agreguje hodnoty vstupů a posouvá agregovanou hodnotu vzhledem k určtému aktvačnímu prahu. Tato funkce je zpravdla lneární : Přenosová funkce : n a (k) = = w (k) x (k) + x j 1 j j 0 převádí hodnotu aktvační funkce do hodnoty výstupu neuronu. Zpravdla se používají tyto přenosové funkce : lneární skoková y (k) = K a (k) y (k) = 1,a (k) h1 y (k) = 0,a (k) h1 Mchal Musl: - 166 - Aplkace neuronových sítí pro detekc poruch sgnálů
sgmodální y (k) = 1 /( 1+ exp( ba (k))) Konkrétním propojením vstupů a výstupů více neuronů vznká neuronová síť. Neuronová síť je charakterzována třem hlavním vlastnostm. První vlastností je topologe sítě, která určuje vlastní propojení jednotlvých neuronů sítě. Dalším vlastnostm jsou typ přenosové funkce sítě a metoda učení se sítě. Neuronová síť má také určtý počet vrstev. Na obr. 2 je zobrazena síť obsahující tř vrstvy - vstupní, skrytou a výstupní. Vstupní a výstupní vrstvy jsou určeny počtem a typem vstupních a výstupních proměnných modelovaného systému. Počet neuronů skryté vrstvy není zcela lbovolný a je dán typem sítě a aplkací sítě. Např. velký počet neuronů urychluje dobu učení se sítě, ovšem znesnadňuje testování sítě. VRSTVY : vstupní skrytá výstupní - y(k) 1 - y(k-1) 2 h1 - y(k-2) 3 h2 4 h3 h4 o2 - y(k+1) - y(k-n) 15 H8 Obr.2 Neuronová síť 3. Proces učení se sítě Proces učení sítě představuje ve většně případů ladění vah vstupů neuronů. Jen v ojednělých případech se uvažuje o změně topologe sítě. Procedury nastavování vah v sobě obsahují jednak určtou strateg a jednak numercké postupy vyjádřené matematckým vztahy. Základ pro algortmy učení se sítí poskytují dvě pravdla a to jsou Hebbovo pravdlo a Delta pravdlo. Hebbovo pravdlo : Delta pravdlo: w (k + 1) = η a (k) y (k) j w (k + 1) = η (s (k) a (k)) y (k) j j j Scentfc Papers of the Unversty of Pardubce Seres B - The Jan Perner Transport Faculty 5 (1999) - 167 -
kde w j (k+1)... je změna váhy w j (k). Předpokládá se korekce w j (k+1) = w j (k) + w j (k+1), kde a(k)... představuje aktvační funkc a -tém neuronu s(k)... představuje vzor na který je -tý neuron trénován η... konstanta určující rychlost učení se sítě Dalším algortmem pro učení se sítí je tzv. "Back Propagaton", který je založen na postupné mnmalzac kvadrátu odchylky gradentovou metodou (Detaly např. ve zdrojích [1], [2], [3]). 4. Implementace neuronových sítí Jednou ze snadno dostupných možností pro prác s neuronovým sítěm se jeví využtí systému Matlab-Smulnk a jeho Neural Network Toolbox. Tento toolbox umožňuje mplementac několka typů sít a různých algortmů učení se sítě. V Smulnku je vytvořeno blokové schéma systému, kde je možno nastavt základní parametry neuronové sítě. Vlastní proces učení se sítě probíhá na úrovn Matlabu. Proces učení se sítě je realzován pomocí funkcí pro ncalzac sítě (ntff), smulac běhu sítě (smuff), trénování sítě algortmem back propagaton (tranbp). Na obr. 3 je blokové schéma systému s neuronovou sítí vytvořeného v prostředí Smulnk. Obr. 3 Blokové schéma neuronové sítě určené pro predkc sgnálů Mchal Musl: - 168 - Aplkace neuronových sítí pro detekc poruch sgnálů
5. Využtí neuronových sítí pro predkc a detekc poruch sgnálů Konkrétní aplkací neuronových sítí mplementovaných v prostředí Matlabu je využtí těchto sítí pro predkc a detekc poruch sgnálů. Tento systém nachází uplatnění tam kde je nutné testovat sgnály zda se v nch nevyskytují chyby, které mohou vznknout př snímání nebo přenosu sgnálů, další využtí je u dagnostckých systémů, kde výstupní sgnál zařízení má svůj konkrétní tvar a př určtých poruchách zařízení se toto projeví ve výstupním (např. akustckém) sgnálu. Úkolem neuronové sítě je detekovat chyby v sgnálu a na základě jejch struktury tyto chyby jednoznačně rozpoznat. Využtí neuronové sítě pro rozpoznávání chyb v sgnálech přnáší mnohem přesnější určení konkrétních chyb než např. př klascké frekvenční analýze sgnálu. Prncp detekce poruch pomocí predkce průběhu sgnálu je následující: Neuronová síť provádí predkc průběhu vstupního sgnálu vždy z několka předcházejících vzorků sgnálu. Vzorek sgnálu y(k+1)(resp. y(k+m)) je predkován např. z pět předcházejících vzorků tedy ze vzorků y(k), y(k-1), y(k-2), y(k-3),y(k-4). Na první pohled by se mohlo zdát, že kvalta predkce roste z délkou zpracovávané "hstore" sgnálu. Ovšem není tomu tak a je třeba pro každý sgnál najít optmální n délku hstore. Na druhé straně je však téměř jsté, že s rostoucí délkou predkce (m) se kvalta predkovaného sgnálu zhoršuje. k-n k-2 k-1 k k+1 k+2 k+m Obr 4. Predkce k-tého vzorku sgnálu z n předcházejících vzorků Prvním krokem musí být samozřejmě proces učení sítě, kdy je na vstup sítě přváděna posloupnost tzv. učebních párů. Prvním členem páru je n-tce vzorků y(k),, y(k-n+1), druhým členem páru je hodnota y(k+1) (rep. y(k+m)) učeného sgnálu.. Na obr. 3. je naznačeno zpracování učebních párů, kdy odezva sítě (tj. y*(k+1), (resp. y*(k+m)) na vložený vstupní pár je porovnávána se skutečnou hodnotou sgnálu y(k+1), (resp. y(k+m)) průběhem sgnálu a na základě zjštěných rozdílů se provádí korekce vah vstupů jednotlvých neuronů. Proces učení končí v okamžku dosažení chyby (rozdílu sgnálů) předem zadané užvatelem. Poté je jž "naučená" síť provozována v pracovním režmu, kdy je na vstup sítě přváděn reálný sgnál obsahující chyby. Protože síť byla Scentfc Papers of the Unversty of Pardubce Seres B - The Jan Perner Transport Faculty 5 (1999) - 169 -
naučená na bezchybný sgnál, bude zde každá chyba patrná protože průběh predkovaného vzorku bude odlšný od průběhu vzorku sgnálu s chybou. Každý tento rozdíl se projeví na výstupu sítě, kde je vzájemně porovnáván sgnál vstupní a sgnál predkovaný. Program využívající ncalzačních, smulačních a trénovacích funkcí prostředí Matlab/Smulnk umožňuje vypsovat jak okamžté, tak celkové chyby sgnálu. Na obr. 3 je zřejmé blokové schéma systému pro detekc poruch sgnálu jenž je predkován z pět předchozích vzorků. Prvním konkrétním příkladem je rozpoznávání chyb v čstě snusovém sgnálu ve kterém jsou smulovány chyby výpadku několka vzorků sgnálu. Síť je tedy nejprve naučena na bezchybný průběh sgnálu (v tomto případě 1000 vzorků) a dále je na vstup sítě přváděn sgnál obsahující chyby (jako příklad byla zvolena chyba cyklckého výpadku několka vzorků sgnálu). Průběh tohoto sgnálu je zřejmý z obr. 5 kde je zobrazen jednak průběh predkovaného sgnálu a jednak průběh chybového vstupního sgnálu. V grafu je zároveň zobrazována okamžtá chyba sgnálu, zde jsou jednotlvé chybné vzorky jednoznačně zřejmé. Výstupem neuronové sítě je tedy kromě okamžté chyby sgnálu také celková chyba jejíž hodnota je pro různé typy chyb odlšná. Na základě testování několka chybových sgnálů s různým chybam lze tedy stanovt konkrétní hodnoty nebo ntervaly celkové chyby odpovídající konkrétním chybám, takto lze tedy detekovat nejen to že sgnál obsahuje chyby, ale lze určt o jakou chybu se jedná. Je tedy ovšem nutné předem provést testování všech uvažovaných chybových sgnálů. Je jasné že v určtých případech bude docházet k překrývání se typů chyb proto je nutné vždy předem provést rozdělení chyb a jednoznačné přřazení celkové chyby ke konkrétnímu chybovému sgnálu. Je tedy nutné přesně znát strukturu uvažovaných chyb která se určuje z možného reálného výskytu chyb a tyto sgnály otestovat neuronovou sítí a zjstt do jaké míry je síť schopna jednotlvé chyby rozlšt. Obr. 5 Detekce poruch v snusovém sgnálu (poruchy = výpadky vzorků sgnálu) Mchal Musl: - 170 - Aplkace neuronových sítí pro detekc poruch sgnálů
Struktura použté neuronové sítě : vstupní vrstva (FL) - 9 tansg neuronů, skrytá vrstva (SL) - 15 tansg neuronů, výstupní vrstva (OL) - 1 pureln neuron, počet trénovacích vektorů (TV) - 1000, velkost povolené chyby (Err) - 0,0001 rychlost učení se sítě (LR) - 0,0005,počet epoch (E) - 5000. Dále je uveden příklad chyby která se projevuje lmtací špček snusového sgnálu, na obr.6 je průběh vstupního reálného sgnálu a na obr. 7 je průběh chybového sgnálu vypočteného jako rozdíl vstupního sgnálu a predkovaného sgnálu. Na průběhu chybového sgnálu jsou jednoznačně patrná místa výskytu jednotlvých chyb. Síť je nejprve neučena na bezchybný průběh sgnálu se stejným parametry jako v předcházejícím případě (obr. 5) Obr. 6 Reálný sgnál obsahující chyby typu lmtace špček Obr. 7 Chybový sgnál vypočtený jako rozdíl skutečného a predkovaného sgnálu Scentfc Papers of the Unversty of Pardubce Seres B - The Jan Perner Transport Faculty 5 (1999) - 171 -
Dalším příkladem je detekce výskytu chyby výpadku vzorků v reálném sgnálu získaném př tenzometrckých měřeních. Na obr. 8 je vstupní sgnál a na obr. 9 sgnál chybový, kde je opět jednoznačně zřejmé místo výskytu poruchy (chybový sgnál je 20 x zvětšený). 6 6 4 4 2 2 0 0-2 -2-4 -4-6 0 100 200 300 400 500 600 700 800 900 1000 Tme (second) -6 0 100 200 300 400 500 600 700 800 900 1000 Tme (second) Obr. 8 Reálný sgnál obsahující chyby typu výpadky vzorků (vlevo) a průběh sgnálu predkovaného neuronovou sítí (vpravo) Struktura neuronové sítě : vstupní vrstva (FL) - 26 tansg neuronů, skrytá vrstva (SL) - 50 tansg neuronů, výstupní vrstva (OL) - 1 pureln neuron, počet trénovacích vektorů (TV) - 1000, velkost povolené chyby (Err) - 0,001, rychlost učení se sítě (LR) - 0,0005,počet epoch (E) - 5000. Obr. 9 Chybový sgnál vypočtený jako rozdíl skutečného a predkovaného sgnálu Závěr Hlavním cílem tohoto článku bylo popsat možnost aplkace neuronových sítí pro detekce poruch sgnálů. Pro aplkac na lbovolný typ sgnálu s různým typy chyb je vždy Mchal Musl: - 172 - Aplkace neuronových sítí pro detekc poruch sgnálů
nejprve nutné síť "naučt" na bezchybný sgnál a dále síť otestovat se všem uvažovaným typy chyb a provést jednoznačné přřazení chybového sgnálu ke konkrétnímu typu chyby. S jednou sítí však vystačíme pouze v nejjednodušších případech (eventuálně pro jednou poruchu). V případech složtějších, s možností výskytu několka poruch naráz, je nutno pracovat s několka sítěm (pro každou poruchu mnmálně jedna síť) a často je nutno programové prostředky doplňovat specálním teoretckým konstrukcem, vz: např. [4]. Mnohdy je jednokroková predkce pomocí MLP sítí velm optmstcká (slná korelace na hodnotu y(k)) a je nutno j doplnt případy vícekrokových predkcí. Mnohdy an to nestačí a pro opravdu složté sgnály je nutno využít sítí s radální bázovou funkcí (RBF), jak bylo ukázáno např. v prác [7], anebo aplkovat některý ze specálních typů sítí (např. z rodny ART detaly ve zdroj [2]). Aplkace neuronových sítí v dagnostce je v současné době velm častá [5], [6] a obstojí ve srovnání s klasckým neklasckým dagnostckým metodam [8], [9],[10]. Lektoroval: Prof. Ing. Jří Bíla, DrSc. Předloženo: v prosnc 1999. Lteratura [1] Bíla, J. : Umělá ntelgence a neuronové sítě v aplkacích. (2. přepracované vydání). Vydavatelství ČVUT, Praha 1998. [2] Šnorek, M. a Jřna, M.: Neuronové sítě a neuropočítače. ČVUT, Praha, 1996. [3] Drábek, V. : Spolehlvost a dagnostka. SNTL, Brno 1983 [4] Bíla, J. and Kořan, L.: Applcaton of Matrods n Fault Detecton. In: Proc. Of 12th Int. Conference Process Control 99, Hgh Tatras, S.R., Vol. 1., 1999: pp. 78-82. [5] Bíla, J., Kreld, M., Houfek, P- and Koran, L.: Neural Networks n Ultrasonc Testng of Thn Walled Welded Constructons used n Aerospace Industry. In: Proc. Of 5th Int. Conference on Sof Computng MENDEL 99, Brno, C.R., 1999: pp. 325-328. [6] Kredl, M. : Dagnostcké systémy. Vydavatelství ČVUT, Praha 1995 [7] Vtkaj, J.: Analyss of Chaotc Sgnals by means of Nonlnear Methods. In: Proc. Of 4th Int. Conf. on Soft Computng, Brno, C.R., 1998: pp. 296-299. [8] Lánský, M. : Teore automatzovaných dagnostckých systémů v dopravě a spojích. Nadas, Praha 1990 [9] Natke, H.G. : Enführung n Theore und Praxs der Zetrehenanalyse und Modalanalyse. Veweg, Wesbaden 1983 [10] Sýkora, J. : Dagnostka telekomunkačních zařízení.vydavatelství ČVUT, Praha 1991 Scentfc Papers of the Unversty of Pardubce Seres B - The Jan Perner Transport Faculty 5 (1999) - 173 -
Resumé APLIKACE NEURONOVÝCH SÍTÍ PRO DETEKCI PORUCH SIGNÁLŮ Mchal MUSIL Příspěvek se zabývá využtím neuronových sítí v oblastech predkce sgnálů a detekce poruch sgnálů. Je zde také popsována teore prncpu algortmů pro učení se neuronových sítí a dále mplementace neuronových sítí v prostředí programového systému Matlab a Smulnk. Summary THE APPLICATION NEURAL NETWORKS FOR DETECTION DISTURBANCES SIGNAL Mchal MUSIL The paper deals wth under-used to be utlse neural networks n area predcate sgnal and detecton dsturbances sgnal. Is here also state theory tenet algorthm for study neural networks and further mplementaton neural networks n world programmatc system Matlab and Smulnk. Zusammenfassung DIE APPLIKATION DER NEURONNETZE FÜR NACHWEISE DEFEKTEN SIGNALE Mchal MUSIL Der Betrag beschäftg sch mt de Verwendung der Neuronnetze m Berech der Prädkat der Sgnale und Nachwese Deffekten Sgnale. Im Betrag wrd auch de Theore des Prnzpes der Algorthmus für Lernen der Neuronnetze und weter Implementanz der Neuronnetze n Mleu des Programmsystems Matlab und Smulnk beschreben. Mchal Musl: - 174 - Aplkace neuronových sítí pro detekc poruch sgnálů