VUI Neuronové sítě

Transkript

1 VUI 2014 Neurnvé sítě výpčetní mdel pužívaný v blasti UI vychází z bilgickéh mdelu nervvé sítě => neurny (perceptrny) prpjené synapsemi graf NS = tplgie NS, NS se skládá z perceptrnů využití u úlh z blasti klasifikace, aprximace a predikce výhdu paralelizmus při výpčtech typy NS: Vícevrstvé NS (Multi Layer Perceptrn) Hpfieldvy sítě RBF sítě (radial basis functin) další mdely Učení nastavení vah NS (synaptické váhy) pr správnu dezvu: s učitelem srvnávání aktuálníh výstupu s pžadvaným => nastavení vah pr c nejmenší rzdíl bez učitele váhy nastaveny pr knzistentní výstup (stejná dezva při stejných neb bdbných vstupech) je ptřeba rzlišvat učební a testvací data nejdříve jsu váhy nastaveny náhdně, prcesem učení dchází k jejich ptimalizaci Perceptrn matematický mdel neurnu, ústřední prvek NS základní klasifikátr, lze pužít pr jednduché rzhdvání (není ptřeba celá NS) vstup = pdnět z vnějšíh klí neb výstup jinéh neurnu váha = hdnta upravující významnst jedntlivých vstupů Prahvá hdnta = hdnta, při jejímž překnání je perceptrn nabuzen => vyšle výstupní signál mdulvaný přechdvu (aktivační) funkcí Aktivační funkce mduluje výstupní signál neurnu fce jedntkvéh skku (hardlim) => 0 (nenabuzen)/1 (nabuzen) fce signum (hardlims) => 1 (pr x>0), -1 (pr x<0) lineární (purelin) hyperblický tangent (tansig) Elmanvy NS sigmidální (lgsig) MLP saturační přensvá fce mezení veliksti vstupníh signálu 1

2 Vícevrstvé NS nejrzšířenější a nejpužívanější Vlastnsti: vstupní vrstva, skrytá vrstva, výstupní vrstva tvřena perceptrny pčet vstupních neurnů dán pčtem vstupů matematickéh mdelu pčet výstupních neurnů dán kódváním výstupu pčet neurnů skryté vrstvy dán slžitstí úlhy (maximum ze vstupů a výstupů) aktivační fce lineární neb sigmidální standardně učení s učitelem učící algritmus Back Prpagatin Errr (=pstupné snižvání chyby učebními iteracemi, případně metda sdružených gradientů) dluhý prces učení Pužití: predikce, klasifikace, aprximace 2

3 Samrganizující se NS (Khnenva) Vlastnsti: jednvrstvá, s dpředným šířením učení bez učitele => shlukvá analýza vstupních dat (puze analýza vstupů) jediná vrstva radiálních neurnů uspřádaná d mřížky lze rzšířit pr klasifikaci LVQ1, LVQ2 (Learning Vectr Quantizatin) Pužití: shlukvání (zatřiďvání dat), klasifikace Shlukvání zatřiďvání d skupin pdle bdbných vlastnstí => využití Mexickéh klbuku pr vymezení jasné hranice shluku Hpfieldvy sítě pravidla pr učení a dvzvání vychází z energetické fce Vlastnsti: výstup každéh neurnu přiváděn na vstup všech statních neurnů => pstupné zpřesňvání všechny neurny jsu jak vstupní, tak výstupní míra spjitsti neurnů dána vahu vzájemné synapse bvykle binární výstup (0/1) Pužití: asciativní paměť (pstupné vybavvání na základě částečné znalsti), klasifikace (rzpznání SPZ), ptimalizace (bchdní cestující) RBF sítě rychlejší průběh učení (prti MLP) => lze nasadit na slžitější prblémy Vlastnsti: 2 typy neurnů radiální a perceptrnvé váhy první vrstvy nastaveny na začátku učení, u druhé vrstvy se nastavují bdbně jak u vícevrstvé NS vybavvání pmalejší, než u MLP (dán slžitstí mdelu) Pužití: klasifikace, regrese (dhad na základě histrických dat) 3

4 Expertní systémy prgramy budvané s cílem dsažení stejné rzhdvací úrvně jak lidský expert pr danu prblematiku (pdnikvá, zákaznická pdpra) rysy ES: ddělení znalstí a mechanizmu jejich využívání rzhdvání za stavu neurčitsti vysvětlvací schpnsti ES = zvláštní typ znalstníh systému (využívá expertních znalstí, vysvětlvací mechanismus, dchází ke stírání rzdílu) Základní znalsti vkládá na pčátku expert Prázdný systém = ES nebsahující fakta ani znalsti Základní slžky ES: báze znalstí, inferenční mechanizmus, I/O rzhraní, vysvětlvací mdul, mdul pr akvizici znalstí Báze znalstí a báze faktů báze znalstí znalsti z určité dmény a specifické znalsti pr řešení prblémů v tét dméně báze faktů vytvářena v průběhu řešení knkrétníh prblému, bsahuje data k řešenému prblému inferenční mechanizmus becné (dménvě nezávislé) algritmy schpné řešit prblémy na základě dat báze znalstí, bává zalžen na: inferenčním pravidle dvzvání nvých pznatků z existujících znalstí strategii prhledávání báze znalstí Neurčitsti v expertních systémech mhu se nalézat v bázi znalstí i bázi faktů vychází z reality ne vždy máme všechna data dstupná a úplná Zdrje neurčitsti: nepřesnst, nekmpletnst, neknzistence dat vágní pjmy nejisté znalsti 4

5 Prstředky pr zpracvání neurčitsti: Bayesvský přístup, Bayesvské sítě faktry jistty Dempster-Shaferva terie fuzzy lgika Prstředky reprezentace znalstí pkud je ES zaměřen d specializvané dmény, musí mít nástrj pr uchvání dat, znalstí a infrmací => různé přístupy (lze nasadit i rzdílné pr 1 ES, ale musí tvřit kmpaktní celek), typy: matematická lgika pravidla (rules) sémantické sítě (semantic nets rámce a scénáře (frames and scripts) bjekty (bjects) Typy ES: Prblémvě rientvaný ES báze znalstí bsahuje znalsti z určité dmény Prázdný ES (shell) báze znalstí je prázdná Diagnstický ES určení, která předdefinvaná hyptéza nejlépe krespnduje s daty pr daný případ Plánvací ES je znám pčáteční a cílvý stav, je třeba určit vhdnu pslupnst krků mezi nimi k dsažení cíle Dělení pdle vnitřní reprezentace: pravidlvý, nepravidlvý, hybridní ES Vlastnsti ES Výhdy: schpnst řešit slžité prblémy dstupnst expertíz (snížení nákladů na jejich prvedení) trvalst a pakvatelnst expertízy trénvací nástrj pr začátečníky uchvání znalstí dbrníků dcházejících z rganizace Nevýhdy: nebezpečí selhaní ve změněných pdmínkách neschpnst pznat meze své pužitelnsti Mžnsti nasazení: pdpra rzhdvání medicína, práv, řízení lidských zdrjů (efektivní metdy řízení), plánvání výrby (rzvrhvání), finančnictví (úvěry), 5

6 Fuzzy lgika pstavena nad fuzzy mnžinami => využívá funkci příslušnsti => ppisuje naklik prvek patří d dané mnžiny => jeden prvek může patřit zárveň d více mnžin jeden z mžných přístupů zpracvání neurčitsti, využívaná v ES a pr klasifikaci Výhdy: dkáže zahrnut nepřesnsti dkáže pracvat s přirzeným jazykem Definice: FL je vícehdntvá lgika definvaná funkcí příslušnsti prvku na intervalu <0;1> Prvky fuzzy systému, blky integrující fuzzy lgiku: fuzzifikace transfrmace reálných prměnných na jazykvé určuje stupeň členství v příslušných mnžinách (fce lambda, S-typ, Z-typ) fuzzy inference definice pravidel, jazykvých prměnných IF pdmínka THEN prved (např. IF cena = vyská THEN bez prdeje;) defuzzifikace lgika transfrmace jazykvých prměnných d reálných, čast využívá principu maxima neb těžiště výsledné fuzzy mnžiny princip maxima deffuzifikvaná hdnta = střed intervalu princip těžiště deffuzifikvaná hdnta = hdnta těžiště výsledné fuzzy mnžiny Využití: fuzzy řízení pračky, autmatické stření fťáku (detekce bličejů, bd stření), řízení výtahu, řízení brzdné supravy (ABS), rzpznávání řeči, identifikace sb, analýza prtflia Na zkušce byl za úkl udělat sjedncení a průnik ze zadaných fuzzy mnžin (viz přednáška). Prhledávání stavvéh prstru Nepradí si: Je dán systém, který se může nacházet v různých stavech (stavem může být třeba křižvatka, kde se nachází aut). V každém stavu je dána knečná mnžina prdukčních pravidel (zatč vlev, vprav), ze kterých je mžné vybírat. Vlba pravidla přepne systém d nvéh jednznačně danéh stavu. Hledáme pslupnst aktivací prdukčních pravidel, které zajistí přechd systému z výchzíh Řešení = pslupnst aktivací S neknečným mnžstvím pravidel Neurčitst při aplikaci pravidla (pravidl vede na více stavů) Prhledávaný stavvý prstr lze reprezentvat strmem Neinfrmvané algritmy Lze dhadnut charakter řešení, jednduché, paměťvě nárčné i časvě prti infrmvaným D hlubky LIFO 6

7 D šířky - FIFO Infrmvané algritmy Využívají heuristicku znalst prblému, nárčnější na implementaci Hladvý algritmus, Dijkstrův algritmus, A* Terie her Vědní disciplína aplikvané matematiky Tvrba mdelů služících pr Analýzu situace Nalezení vítězných strategií Klasifikace rzhdvacích situací Dle pčtu charakteristik Mnkriteriální rzhdvání výsledky jsu subjektem hdnceny na základě jedné charakteristiky, jednh kritéria Vícekriteriální rzhdvání výsledky jsu subjektem hdnceny pdle více charakteristik Dle pčtu rzhdvatelů S jedním účastníkem rzhdvání za jistty x rizika x neurčitsti Více účastníků = hra Dle pčtu strategií knečné vs. neknečné Dle výskytu prvku náhdy deterministické vs. nedeterministické Dle infrmvansti stavu hry s úplnu infrmací vs. s neúplnu Dle vzájemnéh vlivu a ztráty Antagnistické c jeden hráč ztratí druhý získá Neantagnistické ztráta jednh hráče nemusí znamenat zisk ve výši ztráty pr druhéh hráče Zápis her Explicitní (extenzivní) frmě Hráči činí svá rzhdnutí pstupně, dá se ppsat pmcí strmu, například piškvrky Algritmy pr vítěznu strategii: Minimax Minimax + alfa-beta prřezávání (zabraňuje vzniku pdstrmů, které nevedu ke zlepšení) And-r grafy: úplné vs. částečné Jednduchá implementace, ale vyšší paměťvá nárčnst, nevhdné pr slžitější prblémy Nrmální (nrmativní) frmě Nrmální frma se pužívá u her, ve kterých se hráči rzhdují v jeden kamžik. 7

8 MATLAB Výpčetní prstředí Prgramvací jazyk Snadná a rychlá práce s matematickými bjekty Grafické znázrnění Velké mnžství htvých funkcí Každá prměnná je matice. M subry: Skripty, pslupnst příkazů Funkce, pslupnst příkazů + vstupní parametry functin [s] = sucin(a,b) % SOUCIN - sucin dvu cisel s = a * b; end functin sinus_graf % graf funkce sinus t = 0:0.1:10 % vytvri vektr t prvcich 0, az 10 sinus = sin(t) % vektr sinus bsahuje hdnty sinu pr t plt(t,sinus) % vykresli graf end Genetický algritmus Genetický algritmus je heuristický pstup, který se snaží aplikací principů evluční bilgie nalézt řešení slžitých prblémů, pr které neexistuje pužitelný exaktní algritmus. Patří d evlučních algritmů (pužívají techniky napdbující evluční prcesy známé z bilgie dědičnst, mutace, křížení, přirzený výběr). Ppis algritmu 1. (Inicializace) Vytvř nultu ppulaci (bvykle slženu z náhdně vygenervaných jedinců) 2. (Začátek cyklu) Pmcí určité výběrvé metdy (zpravidla zčásti náhdné) vyber z ppulace něklik jedinců s vysku zdatnstí 3. Z vybraných jedinců vygeneruj nvé pužitím následujících metd (perátrů), čímž vznikne další generace: křížení - prhď části něklika jedinců mezi sebu mutace - náhdně změň část jedince reprdukce - kpíruj jedince beze změny 4. Vypčti zdatnst těcht nvých jedinců 5. (Knec cyklu) Pkud není splněna zastavvací pdmínka, tak pkračuj d bdu 2 6. (Knec algritmu) Jedinec s nejvyšší zdatnstí je hlavním výstupem algritmu a reprezentuje nejlepší nalezené řešení. 8

9 Pužití: Optimalizace výrbníh plánu pdniku, výběr investic, klasifikace pdniku, prblém bchdníh cestujícíh. Lgické prgramvání Imperativní prgramvací styl JAK se má vypčet prvést, prgram tvřen pslupnstí příkazů. Neimperativní (deklarativní) prgramvací styl -> lgické prgramvání Důraz kladen na t CO má být vypčten. Prgram je tvřen subrem definic funkcí a jejich aplikací ve frmě výrazů (funkcinální prgramvání) neb subrem lgických frmulí (lgické prgramvání), které specifikují řešený prblém. Funkcinální prgramvání Algritmus je tvřen za pmci vzájemnéh vlání rekurzivních funkcí. Výsledek výpčtu nezávislý na přadí, v němž se jedntlivé výrazy redukují. Výhdy: kratší a elegantnější prgram, paralelizmus u víceprcesrvých systémů, tvrba ve frmě specifikací Náhrada statické datvé struktury dynamicku Příkladem může být prgramvací jazyk Lips, FP, Hpe, Haskell Rekurze -> rzklad slžitéh prblému na pdprblém Vnřená rekurze funkce též v argumentu 9

10 Kaskádní (strmvá) rekurze něklik vlání, ale ne vnřené Lineární rekurze nanejvýš jedn vlání Kncvá rekurze rekurzivní vlání je pslední perací alternativy definice Prlg Neimperativní (deklarativní) Vhdný tam, kde zkumáme vztahy mezi bjekty Prgram v Prlgu je ppis relací pmcí jednduchých frmulí. Rekurze hraje klíčvu rli Klauzule (klauzule definující stejnu relaci vytvářejí prceduru) Pravidla Tvrzení závislá na splnění nějakých pdmínek. Má hlavu, neprázdné těl. Fakta (predikát) Hlava, prázdné těl. Vyjadřují bezpdmínečně pravdivé tvrzení. Dtazy výpčet, zda tvrzení platí či nikliv. Klauzule bez hlavy. Datvé bjekty (termy) Struktury (slžené termy) Jednduché bjekty Prměnné velké písmen neb pdtržítk na začátku Knstanty Atmy identifikátr, malá písmena Čísla Data mining Strjvé učení Dlvání z dat Technlgie pr získávání (dlvání) znalstí z dat. Zaměřen na dkrytí znalsti v datech ukryté: data-> infrmace -> znalst. Zabývá se řešením prblémů pmcí analýzy dat, která jsu v daném čase k dispzici. Dlvání z dat dhaluje různé skryté struktury (pdbné ppisy bjektů). Rzhdvací strm Každá větev představuje pravidl (viz br. na knci). Occamv pravidl Entrpie Krsvalidace architektury dávají stejný výsledek, tak vlím tu nejjedndušší míru překvapení (neuspřádansti), kvalitní dtazy mají dpvědi, které pr trénvací data vyvlávají c nejmenší překvapení rzdělí náhdným výběrem data na k pkud mžn stejně velkých částí (například 10 pdmnžin), pak prběhne 10 tréninků, v každém je 9 trénvacích pdmnžin a 1 testvací 10

11 Klasifikace Nejbližší susedi k-nn Příklady mají své zařazení d tříd známé, pkud se bjeví případ, jehž příslušnst je neznámá, hledá se jeh nejbližší nejpdbnější sused. Bayesvské učení Bayesva metda inference je zalžena na pužití terie pravděpdbnsti. Strjvé učení pskytuje kvantitativní přístup ke zvažvání důkazů pdprujících alternativní hyptézy. 11