Transkript

1 SMR Strukturální metody rozpoznávání KKY/SMR KATEDRA KYBERNETIKY Doc. Ing. Mloš Železný, Ph.D. UK59 ( ) E-ml:

2 ZÁKLADNÍ POJMY A METODY ROZPOZNÁVÁNÍ.... PŘÍZNAKOVÉ METODY.... STRUKTURÁLNÍ METODY, SYNTAKTICKÉ, LINGVISTICKÉ MOTIVACE STRUKTURÁLNÍHO PŘÍSTUPU ROZPOZNÁVÁNÍ... 3 TEORIE FORMÁLNÍCH JAZYKŮ JAZYKY A GRAMATIKY Grmtky... 6 Rozdělení grmtk podle Chomského herrche Levá dervce Víceznčnost grmtk Jzyky.... JAZYKY A AUTOMATY..... Regulární jzyky konečné utomty..... Bezkontextové jzyky zásoníkové utomty Jzyky typu Turngovy stroje Kontextové jzyky nedetermnstcké Turngovy stroje s lneárním prostorem... 3 GRAMATIKY PRO POPIS OBRAZŮ KRITÉRIA VÝBĚRU PRIMITIV JEDNODIMENZIONÁLNÍ GRAMATIKY VÍCEDIMENZIONÁLNÍ GRAMATIKY SYNTAKTICKÁ ANALÝZA DEFINICE PROBLÉM VOLBY PRAVIDEL SYNTAKTICKÁ ANALÝZA SHORA DOLŮ SYNTAKTICKÁ ANALÝZA ZDOLA NAHORU DVA EFEKTIVNÍ ALGORITMY PRO SYNTAKTICKOU ANALÝZU Cocke Younger Ksm lgortmus Erleyho lgortmus VYUŽITÍ STOCHASTICKÝCH JAZYKŮ PRO ROZPOZNÁVÁNÍ STOCHASTICKÝ JAZYK A GRAMATIKA VYUŽITÍ STOCHASTICKÝCH GRAMATIK PŘI KLASIFIKACI STANOVENÍ PRAVDĚPODOBNOSTÍ PRAVIDEL Stochstcké regulární grmtky Stochstcké ezkontextové grmtky SYNTAKTICKÁ ANALÝZA STOCHASTICKÝCH JAZYKŮ ŘEŠENÍ VLIVU SYNTAKTICKÝCH DEFORMACÍ TEMPLATE MATCHING SYNTAKTICKÁ ANALÝZA S OPRAVOU CHYB SYNTAKTICKÁ ANALÝZA S OPRAVOU CHYB PRO STOCHASTICKOU GRAMATIKU SHLUKOVÁ ANALÝZA PRO SYNTAKTICKÉ OBRAZY INFERENCE GRAMATIK INFERENCE REGULÁRNÍCH GRAMATIK... 58

3 . Příznkové metody Orzy chrkterzovány vektorem nměřených hodnot příznků X = [x,,x N ] Kždému orzu odpovídá od v N-dmenzonálním eukldovském prostoru. Vyjdeme-l z předpokldu, že ody odpovídjící orzům stejné třídy udou ležet lízko see, prncp úlohy klsfkce spočívá v rozdělení prostoru n tolk částí, kolk je tříd. x 3 Postupy používné v rámc příznkových metod vycházejí z těchto teorí: x Sttstcká klsfkce příznky jsou povžovány z náhodné proměnné. Předpokládáme, že pro kždou třídu j je známá N-rozměrná hustot pst p(x/ j ) prorní pst P( j ). Jedná se o sttstcký rozhodovcí prolém, přčemž cílem je mnmlzovt pst chyné klsfkce. Nejznámější metody jsou zloženy n Byesovském prvdle mluví se o tzv. Byesovské klsfkc. V prx ovykle nejsou známy prmetry hustot pstí jednotlvých tříd k dspozc je pouze znlost počtu tříd omezená množn vzorků, reprezentovných vektory nměřených hodnot příznků, tzv. trénovcí množn. V těchto přípdech se využívá různých estmčních smoučících se lgortmů. Shluková nlýz nepředpokládá prorní znlost o třídách (shlucích), do nchž jsou jednotlvé orzy zřzovány. Shlukování předstvuje neprmetrcký smoučící se proces. Hledáme tkový rozkld množny orzů do jednotlvých shluků, který je optmální vzhledem k jstému krtéru optmlty, které ovykle oceňuje některou z těchto vlstností: - vzájemnou podonost orzů uvntř shluků - míru seprce shluků - homogentu rozložení orzů uvntř shluků Shlukovcí lgortmy dělíme: herrchcké glomertvní () dvzní () neherrchcké optmlzční (3) nlýzy módů (4) (): vycházíme od jednotlvých orzů, které postupně shlukujeme (): vycházíme od celé množny, kterou postupně dělíme (3): optmlzce krter (4): defnuje shluky n zákldě exstence polohy módů pstní fce vycházejí z pstního pojetí Dskrmnční fce metody využívjící dskrmnčních fcí nepředpokládjí znlost rozložení. Známe počet tříd máme k dspozc trénovcí množnu se známou klsfkcí X..X n. V učícím se procesu hledáme prmetry zvolené dskr. fce nlýzou trénovcí množny. Fuzzy množny metody zložené n využtí fuzzy množn předstvují lterntvu k prvděpodonostnímu přístupu. Tyto metody dávjí čsto lepší výsledky v přípdě, kdy schází prorní znlost prvděpodonostní přístup nemůže ýt použt.

4 . Strukturální metody, syntktcké, lngvstcké Jednotlvé orzy jsou reprezentovány pomocí množny zákldních popsných elementů tzv. prmtv, jejch vlstností vzthů mez nm tk, že vznklé popsy vysthují jejch podsttné strukturální vlstnost. Využívá se nloge mez strukturou orzů syntxí, resp. grmtkou jzyk. Orzy se skládjí z jednodušších částí podoně jko se věty skládjí ze slov, slov ze slk td. Výhod strukt. přístupu k rozpoznávání je v tom, že kromě klsfkce do tříd umožňuje získání popsu struktury nlyzovného orzu jeho částí vzthů mez nm. Oě metody (příznkové strukturální) mjí své výhody nevýhody spíše se vzájemně doplňují, než s konkurují. Proto se v prx používá oou strukturálních metod pro získání strukt. popsu celku příznkových většnou pro rozpoznání jednotlvých prmtv..3 Motvce strukturálního přístupu rozpoznávání V některých úlohách (npř. dentfkce otsků prstů neo tváří, rozpoznávání spojté řeč č čínských znků) je možných popsů tolk, že je neúnosné povžovt kždý pops z defnc jedné třídy. V tkových úlohách je poždvek rozpoznání splněn spíše nlezením vhodného popsu kždého nlyzovného orzu než vyřešením úlohy klsfkce do tříd. V přípdě velm složtých orzů (npř. nlýz scény) může ýt nformce o jejch struktuře ntolk podsttná, že ez jejího využtí nemůže ýt dosženo žádoucích výsledků. Nvíc počet příznků v tkových úlohách y yl neúnosný pro příznkové metody. Pro ntelgentní chování (rozhodování) root je nezytným předpokldem pops nlyzovného orzu ve vhodném jzyce proto strukt. metody rozpoznávání ncházejí upltnění v rámc jných úloh UI npř. strojové vnímání. Př.. scén S m D e t n y x z E herrchcký pops scén S ojekty B pozdí C ojekt D ojekt E podlh m stěn n stěn e stěn t x y z 3

5 Př.. Vět: Strá opce jí nán. Herrchcký pops: <Vět V> <podmětová část> <přísudková část> <přívlstek> <podmět> <přísudek> <předmět> Strá opce jí nán Celý orz je složen z jednodušších částí z ještě jednodušších podoně jko vět z jednotlvých částí ty ze slov. Právě reprezentc tkové herrchcké strukturální nformce způso jejího využtí pro rozpoznávání zhrnuje strukturální přístup k rozpoznávání. Nejjednodušší strukturální elementy orzu jsou nzývány prmtv. (v př.. stěn e,...) Strukturální nformc doplňují nformce o relcích (vztzích) mez prmtvy. Relce mohou ýt reprezentovány uď pomocí logckých neo mtemtckých opercí, neo relčním grfem. Př..3 prmtv: c d odélník d d jedná relce zřetězení c c c oznčíme + x + y... x je zřetězeno s y pops odélník: c + c + c + d + d jedná použtá relce - zřetězení možno vynecht její symol cccdd Př..4 d c c c c c+c+d ++c+c ccdcc.. pro vhodně zvolený počáteční od Jná možnost použít relční grf, kde kždá hrn mez uzly předstvuje relc mez částm orzu. 4

6 Př..5 m D e t n y x z E Pops pomocí relčního grfu může vypdt npř. tkto: je částí ojekty B scén S je před je částí pozdí C je částí je částí je částí je částí ojekt D ojekt E podlh m stěn n je částí je částí je částí je částí je částí stěn e stěn t stěn x stěn y stěn z je vlevo od je vlevo od je pod je pod je pod je vlevo od Pops grfem je ohtší, le pops stromovou strukturou umožňuje použtí výhodných postupů, které se opírjí o výsledky tzv. teore formálních jzyků. Tyto popsy umožňují reprezentc čsto orovského množství různých struktur orzů v jedné třídě pouze pomocí konečné množny vhodně zvolených prmtv jstých syntktckých prvdel. Proto se ovykle snžíme pomocí vhodných úprv převést relční grf n stromovou strukturu. Př..6 Scén S z př..5 Převod n stromovou strukturu... Převod n stromovou strukturu. scén S ojekty B je před pozdí C ojekt D vlevo ojekt E m pod n stěn t vlevo stěn e F pod < plášť > x y vlevo z 5

7 Systém strukturálního rozpoznávání lokové schém testovný orz předzprcování orzu vytvoření popsu orzu segmentce extrkce prmtv relcí syntkt. nlýz klsfkce strukt. pops rozpoznávání nlýz vzorky orzů vol popsu grmtcká nference předzprcování npř. vzorkování, kódování, proxmce, fltrce, vyhlzování dt... vytváření popsu segmentování orzu, vyhledávání prmtv relcí mez nm výsledkem je pops orzu řetězec strom grf syntktcká nlýz generuje rozhodnutí, zd nlyzovný orz ptří do třídy chrkterzovné dnou grmtkou pokud no je získán úplný strukturální pops nlyzovného orzu vol popsu prmtv relce musí ýt mnohem sndněj rozpozntelné než strukturálně složté výchozí orzy vysthovt přrozené výrzné strukturální elementy rozpoznávných orzů prvotně snh o pochopení přrozených jzyků zkoumání progrmovcích jzyků z teoretckého hledsk hlvní teoretcký zákld pro strukturální metody. Jzyky grmtky.. Grmtky V.. konečná množn (eced) symolů V +.. množn všech konečných neprázdných posloupností (řetězců) utvořených z prvků množny (symolů ecedy) V.. prázdný řetězec V * = V + {} 6

8 Zřetězení řetězců (slov),v * =.. n, =.. m, pk =.. n.. m n-násoné zřetězení řetězce n = = + = = Délk řetězce.. m = m = Defnce: Grmtk G je čtveřce G = (V N, V T, P, S), kde V N.. množn netermnálních symolů V T.. množn termnálních symolů (prmtv) P.. množn přepsovcích prvdel S.. počáteční symol grmtky SV N V = V N V T netermnální symoly velká písmen S, A, X,.. termnální symoly mlá písmen,, y,.. celé řetězce řecká písmen,,.. Př... Grmtk z příkldu.. S = < Vět V > V N = { <vět V>,<podm.část>,<přís.část>,<podmět>,<přísudek>,<přívlstek>,<předmět>} V T = {opce, žrf, jí, strá, mldá, opce,...} P: <vět V> <podm.č.> <přís.č.> <podm.č.> <podmět> <podm.č.> <přívlstek> <podmět> <přís.č.> <přísudek> <přís.č.> <přísudek> <předmět> <podmět> opce <podmět> žrf... Př... Grmtk z příkldu.. V N = {S, B, C, D, E} V T = {m, n, e, t, x, y, z} P: S B C B D E C m n D e t S... reprezentuje celý orz E x y z V N... její prvky reprezentují strukturálně jednodušší část V T... její prvky reprezentují jednotlvá prmtv 7

9 Termnologe řetězec přímo generuje, neo řetězec lze přímo odvodt z pokud: P znčíme: generuje, neo lze odvodt z, pokud exstuje posloupnost řetězců,..., n tková = ; = n,..., n posloupnost řetězců nzýváme dervce neol odvození řetězce z, znčíme: Pops způsou dervce řetězce: * Záps posloupnost čísel prvdel postupně plkovných v dervc Dervční strom * *,,,, V V T Př..3. G = ( V N, V T, P, S ) V N = {S, A, B} V T = {, } P: () S A B (3) A (5) B () A A (4) B B = dervce: () * S (4) () (5) S A B A B A B (, 4,, 5,, 3)... čísl prvdel Dervční strom S () A (3) A A B A B A 8

10 .. Rozdělení grmtk podle Chomského herrche Rozdělení řetězcových grmtk podle tvru jejch prvdel: Typ Grmtky ez omezení Typ Kontextové grmtky prvdl omezen n tvr: A, kontext Typ Bezkontextové grmtky prvdl omezená n tvr A Typ 3 Regulární grmtky prvdl omezen n tvr A B A A V N,, V * A V N V * A, B V N, V T Regulární grmtky jsou specálním přípdem ezkontextových, ezkontextové specálním přípdem kontextových kontextové specálním přípdem grmtk typu... herrche...3 Levá dervce Defnce: Nechť G je ezkontextová grmtk. Řekneme, že řetězec lze přepst n podle grmtky G levým přepsáním, jestlže: A P tkové, že A AV V V V N * T * G ( V N, V T, P, S) Odvození... n se nzývá levou dervcí, právě když kždé přepsání (odvození) + =,,..., n-, vznká levým přepsáním. Vět: Nechť G ( VN, VT, P, S) je ezkontextová grmtk lze z A odvodt levou dervcí. * A potom * ; AV N, VT 9

11 Důkz: Př přepsování řetězce u ezkontextové grmtky nezávsí přepsání netermnálního * symolu n sousedních symolech (řetězcích). Jestlže npř. Y, pk lze psát ve tvru: * * * = Y protože se část,, Y přepsují nezávsle n soě, je možno přeskupt plkc prvdel tk, že se nejdříve přepsuje první netermální symol zlev. Podoně lze zvést prvou dervc. Př..4. Aplkc prvdel v př..3. lze přeskupt tkto: () () S A B () A B (3) (4) A B B B (5) tedy (,,, 3, 4, 5) levá dervce..4 Víceznčnost grmtk Defnce: Mějme G ( V, V, P, S) ; exstuje-l řetězec tkový, že exstuje více než jedn levá dervce N * T S, pk grmtk G je víceznčná. Pozn.: Někdy je možné víceznčnou grmtku trnsformovt n jnou, která generuje stejná slov (jzyk), le není víceznčná. Př..5. G ( V, V, P, S) V S, X, Y V x, y, z, N T P: () S X + S (3) S z (5) Y y (7) Y z () S S + Y (4) X x (6) X z () () () = z + z + z (6) (6) () () S X S z S z X S z z S z z z () S X S z S z S Y z z Y z z z (3) S S Y S Y Y z Y Y z z Y z z z (6) (3) N (7) S S S S (3) (7) (7) T (, 6,, 6, 3) (, 6,, 3, 7) X + S X + S S + Y S + Y (,, 3, 7, 7); (,, 6, 3, 7) z X + S z S + Y S + Y z X + S z z z z z z z z Grmtk G je víceznčná. z Exstuje ekvvlentní jednoznčná grmtk, npř.: S x + S S z S z + S + z S S + y S z + z

12 ..5 Jzyky Defnce: Mějme grmtku G ( V, V, P, S). Jzyk generovný touto grmtkou N * defnujeme: L ( G) V * T, S Jzyk generovný regulární grmtkou nzýváme Regulární jzyk (L 3 ) Jzyk generovný ezkontextovou grmtkou nzýváme Bezkontextový jzyk (L ) Jzyk generovný kontextovou grmtkou nzýváme Kontextový jzyk (L ) Jzyk generovný grmtkou typu nzýváme Jzyk typu (L ) Pro třídy jzyků L,..., L 3 pltí: L3 L L L Př..6. G ( V, V, P, S) V S, X, Y V c d N T N T, P: S d X Y d S c Y X c S Y d S X d X X Y c Y Y X c T * L ( G) V * T, S = { n c = n d } = { cd, dc, cdcd, ccdd, ddcc,...} Pozn.: Trnsformce grmtk někdy lze grmtku jedné třídy trnsformovt n grmtku vyšší třídy.. Jzyky utomty Jednou z možností, jk určt, zd dný řetězec ptří do určtého jzyk, je použtí rozpoznávcího stroje (utomtu), který ude rozpoznávt (přjímt) pouze slov tohoto jzyk. Pro kždou třídu grmtk exstuje typ utomtu, který přjímá její slov... Regulární jzyky konečné utomty Defnce: Determnstcký konečný utomt je pětce A W Q,, q, F W... konečná množn vstupních symolů Q... konečná množn stvů... přechodová funkce (zorzení Q x W Q) q... počáteční stv: q Q F... množn koncových stvů F Q Př..7. Uvžujme A W Q,, q, F, W = { x, y} Q = { q, q, q, q 3 } F = { q } : (q, x) = q (q, x) = q 3 (q, y) = q (q, y) = q (q, x) = q (q 3, x) = q (q, y) = q 3 (q 3, y) = q,, kde:

13 Reprezentce utomtu: Tulkou vst.sym. stv x y q q q q q q 3 q q 3 q počáteční stv koncový stv zároveň počáteční koncový stv q 3 q q Stvovým dgrmem y x q q x y y x q q 3 x y Stvovým stromem x q y q q x y x q q 3 q 3 q x... dostneme-l se do lstu (npř. q ), musíme vyhledt q ve stromu pokrčujeme. Strom není totž nekonečný.... počáteční stv není tře vyznčovt, protože je jím kořen stromu. q q Znázornění funkce konečného utomtu konečná řídící jednotk čtecí hlv x y z... vstupní pásk N počátku: utomt ve stvu q snímá levý krjní symol ze vstupní pásky

14 Př kždém kroku: přečte symol ze vstupní pásky v závslost n tomto symolu ktuálním stvu q přejde do nového stvu (defnovného (q, ) ) Přesune čtecí hlvu o políčko doprv Pokud je po posledním kroku (po přečtení posledního symolu) utomt v koncovém stvu (q F), řetězec, který yl přečten ze vstupní pásky, je přjt. Defnce: Zoecněná přechodová funkce A = ( W, Q,, q, F ) * : Q x W * Q pltí:. * (q, ) = q q Q. * (q, ) = ( * (q, ), ) neo * (q, ) = * ((q, ), ) Jzyk rozpoznávný (přjímný) utomtem T * ( A) ( q *, ) F, W Řetězec W * * je přjímán utomtem A, právě když q, F, resp. T(A). Automt přjímá všechny řetězce, které ho převedou z počátečního stvu do jednoho z koncových stvů. Ekvvlence utomtů grmtk Dv utomty / grmtky jsou ekvvlentní, pokud přjímjí / generují stejný jzyk. Defnce: Nedetermnstcký konečný utomt je pětce A = ( W, Q,, q, F ), W, Q, q, F... stejná jko u determnstckého utomtu.... přechodová funkce Q x W Q q Q W * W V kždém kroku utomt sejme symol ze vstupní pásky, zvolí s jeden ze stvů z množny stvů (q, ) = {q,..., q e }, přejde do něj posune čtecí hlvu o políčko doprv. Vět: Mějme nedetermnstcký utomt (konečný) A = ( W, Q,, q, F ), který přjímá ~ ~ ~ ~ jzyk L. Pk exstuje determnstcký konečný utomt A W, Q, ~, q~, F, který tké přjímá jzyk L. Pltí: ~ W W ~ Q Q ~ ~ F q ~ Q q q~ : q F ~ stv q ~ oznčíme q, q,..., qe Q; q, q,..., qe Q počáteční stv q ~ q ~ q, q,..., q, p, p,..., p právě tehdy když: e q, q,..., q, q, p, p,..., p e e k k j j 3

15 4 Vět: Mějme G = (V N, V T, P, S) regulární grmtku, která generuje jzyk L. Exstuje nedetermnstcký konečný utomt A = (W, Q,, q, F), který přjímá jzyk L: ) ( ) ( G L A T Pltí: T T N T N N T V M P V V Y X Y X X Y P V V X X X M M F S q M V Q V W Ø,,, ;,,,, Vět: Nechť A = (W, Q,, q, F) je konečný utomt, který přjímá jzyk L. Exstuje regulární grmtk G = (V N, V T, P, S), která generuje jzyk L, tedy L(G) = T(A) Pltí: Př..8.: G = (V N, V T, P, S) V N = {S, D} P: S c D D c D V T = {c, d} S d S D c Zkonstruujeme nedetermnstcký konečný utomt: A = (W, Q,, q, F) tk, y T(A) = L(G): W = V T = {c, d} Q = V N {M} = {S, D, M} q = S F = {M} : (S, c) = {D} (S, d ) = {S} (D, c) = {D, M} (D, d) = Ø (M, c) = (M, d) = Ø Zkonstruujeme determnstcký konečný utomt: F q Q W A ~, ~, ~, ~, ~ ~ tkový, že ) ( ) ~ ( A T A T A ~ je ekvvlentní s A. pozn.: [stv] defnce koncový stv W Q Y X F Y Y X P X W Q Y X Y X P Y X q S W V Q V T N,, ;,,,,

16 ~ W W { c, d} ~ Q q~ ~ F ~ ~ : ~ ~ ~ Ø, S, D, M, S, D, S, M, M, D, S, D, M S M, S, M, D, M, S, D, M ~ S, c D D, M, c D, M ~ S, d S D, M, d Ø D, c D, M D, d Ø Stvy [M], [S, D], [S, M], [S, D, M] nejsou využty (není do nch defnován přechod) mohou ýt z Q ~ z F ~ vypuštěny. Sestrojíme regulární grmtku ~ ~ ~ G V V, P ~ ~,, S L G T ~ tkovou, že ~ A N T ~ ~ VN Q ~ ~ VT W ~ S S S, D, c, d D, M P ~ : [S] c [D] [D] c [S] d [S] [D, M] c [D, M] [D] c [D, M] [D, M] c Protože ze symolů [D] [D, M] lze odvodt stejnou množnu řetězců: c [D, M] c, lze tyto symoly ztotožnt. Pokud vynecháme závorky ude P ~ vypdt tkto: S c D D c D S d S D c ~ Výsledkem je tedy stejná grmtk, ze které jsme vyšl G G. Příkld ukzuje, že př trnsformc nedetermnstckého konečného utomtu n determnstcký nemusíme vždy získt mnmální relzc... Bezkontextové jzyky zásoníkové utomty Vět: Chomského normální form Lovolný ezkontextový jzyk může ýt generován grmtkou G ( VN, VT, P, S), ve které všechn prvdl jsou ve tvru: A B C A, B C V N A V T Př..9.: Převod n Chomského normální formu. Mějme ezkontextovou grmtku G ( V, V, P, S) : V N = {S, A, B, C} P: () S A A B C (4) B B V T = {,, c, d} () A (5) B C (3) C c d (6) C S N T 5

17 Odstrníme prvdl typu X Y místo (5) B C: (7) B c d (8) B S (6) C S: (9) C A A B C (8) B S: () B A A B C Odstrníme prvdl typu X... n, kde, V T, n> Pro kždý symol x V T (termnální symol) zvedeme netermnální symol Z x N prvé strně všech prvdel nhrdíme x symolem Z x Přdáme prvdl: Z X x () () A Z Z Z Z (3) (3) C Z c Z d (4) (4) B Z B Z (7) (7) B Z c Z d () Z () Z () Z c c (3) Z d d Prvdl, která mjí prvou strnu délky (netermnální symoly), jž vyhovují Chomského normální formě. Totéž pltí pro prvdl s prvou strnou délky (termnální symoly) Osttní prvdl nhrdíme soustvou prvdel: S A Y ; C A Y B A Y Y A Y ; Y B C A Z Y 3 ; Y 3 Z Y 4 ; Y 4 Z Z Přepíšeme: B Z Y 5 ; Y 5 B Z Z C Z c Z d C A Y Z B Z c Z d B A Y Z c c S A Y A Z c Y 3 Z d d Y A Y Y 3 Z Y 4 Y B C Y 4 Z Z B Z Y 5 Y 5 B Z Výsledná grmtk je v Chomského normální formě je ekvvlentní s původní grmtkou. 6

18 Defnce: Nedetermnstcký zásoníkový utomt M: M = ( W, Q,,, q, Z, F) W... konečná množn vstupních symolů Q... konečná množn stvů... konečná množn symolů zásoníku q... počáteční stv Z... počáteční symol zásoníku Z F... konečná množn koncových stvů F Q... zorzení Q x (W {}) x Q x * Znázornění funkce: konečná řídící jednotk Z... čtecí hlv c... (q,, Z) = { (q, ), (q, ),..., (q m, m ) } q, q,..., q m Q Z W,,..., m * Automt ve stvu q se symolem n vstupní pásce symolem Z n vrcholu zásoníku přejde do jednoho ze stvů q ; =,..., n symol Z nhrdí řetězcem tk, že jeho levý krjní symol ude umístěn n vrcholu zásoníku. ( q,, Z) = { (q, ), (q, ),..., (q m, m ) } q,q, q,..., q m Q Z,,..., n * Automt ve stvu q se symolem Z n vrcholu zásoníku přejde nezávsle n symolu n vstupní pásce (nž y ho přečetl) do jednoho ze stvů q, =,..., n symol Z nhrdí řetězcem tk, že jeho levý krjní symol ude n vrcholu zásoníku. Celkový stv utomtu (q, ) q... stv utomtu, q Q... řetězec uložený v zásoníku, * Záps: : q~ q, Z, (W {}) ( q ~,) (q,, Z), * q, q ~ Q Z Znmená, že podle prvdel může vstupní symol způsot, že utomt přejde z celkového stvu (q, Z) do celkového stvu ~q,. 7

19 Jestlže pltí: q, q,, :,..., n W q Q *, =,..., n+ Pk píšeme... n : q, q n, n z celkového stvu q do celkového stvu, * říkáme, že řetězec... n převádí utomt q., n n způsoy přjímání jzyk zásoníkovým utomtem: Jzyk přjímán koncovým stvem * T ( M ) : q, Z q,, *, q F Koncovým stvem jsou přjímány tkové řetězce, které převedou utomt z počátečního stvu do jednoho z koncových stvů. Jzyk přjímán prázdným zásoníkem * N ( M ) : q, Z q,, q Q Prázdným zásoníkem jsou přjímány tkové řetězce, které způsoí vyprázdnění zásoníku. V tomto přípdě je množn koncových stvů nepodsttná ovykle volíme F = Ø. Vět: Nechť L je lovolný ezkontextový jzyk, pltí: L = T(M ) právě tehdy, když L = N(M ), kde M M jsou zásoníkové utomty. O způsoy přjímání jzyk jsou ekvvlentní. Př... Příkld utomtu, který přjímá jzyk prázdným zásoníkem. T N( M ) x, * (cd) T = dc = x x... x m T = x m, x m-,..., x M = ( W, Q,,, q, Z, F) W = {,, x} q = q F = Ø Q = {q, q } Z = J = {J, K, L} : (q,, J) = { (q, K J) } (q, x, J) = { (q, J) } (q,, K) = { (q, K K) } (q, x, K) = { (q, K) } (q,, L) = { (q, K L) } (q, x, L) = { (q, L) } (q,, J) = { (q, L J) } (q,, K) = { (q, ) } (q,, K) = { (q, L K) } (q,, L) = { (q, ) } (q,, L) = { (q, L L) } (q,, J) = { (q, ) } 8

20 Vstupní řetězec ( = ): x q J q, K J q, K K J q, L K K J q, L K K J q, K K J q, K J q, J q,... přjto. Vět: Ke kždému ezkontextovému jzyku L exstuje nedetermnstcký zásoníkový utomt M (s jedným stvem) tkový, že přjímá tento jzyk prázdným zásoníkem, tj. L = N(M). Vět: Ke kždému zásoníkovému utomtu M lze sestrojt ezkontextovou grmtku tk, že: L(G) = N(M). Př... G = (V N, V T, P, S ) V N = {S, A, B, C} P: () S A A B C (4) B B V T = {,, c, d} () A (5) B c (3) C c d (6) C S Odpovídjící zásoníkový utomt lze sestvt n zákldě následujících úvh: prvdlo X = (q,, X) (q, ) pro x V T = (q, x, x) (q, ) V zásoníku v podsttě provádím plkc prvdel, dokud je n vrcholu netermnál, když se tm ojeví termnál, porovnáme ho se symolem n vstupním pásce v přípdě rovnost ho přečteme ze vstupní pásky odstrníme z vrcholu zásoníku. V nšem přípdě Pro prvdl: S A A B C (q,, S) = { ( q, A A B C) } A (q,, A) = { (q, ) } B B B c C c d C S (q,, B) = { (q, B ), (q, c) } (q,, C) = { (q, c d), (q, S) } do těchto množn ptří tento prvek q,, q, ; q,, q, ; q, c, c q, ; q, d, d q, M = ( W, Q,,, q, Z, F) x W = {,, c, d} Q = {q} = {S, A, B, C,,, c, d} q = q Z = S F = Ø Všmněte s, že utomt vystčí s stvem. 9

21 Vět: Ke kždému zásoníkovému utomtu lze sestrojt ekvvlentní zásoníkový utomt s stvem. Odpovídjící ezkontextovou grmtku k zásoníkovému utomtu lze nlézt tk, že nejdříve sestrojíme ekvvlentní zásoníkový utomt s jedním stvem pk využjeme uvedeného vzthu mez zásoníkového utomtu prvdly grmtky. Pozn.: nstrukc (q,, A) = {(q, )} můžeme díky nstrukc (q,, ) = {(q, )} nhrdt tkto: (q,, A) = {(q, )} Instrukce typu (q, x, x) = {(q, )} lze z vynecht jen v přípdě, že se symol x nevyskytuje nkde n prvé strně (po převodu). Příkld provedení této úprvy u utomtu z předchozího příkldu : (q,, S) = {(q, A A B C)} (q,, A) = {(q, )} (q, c, B) = {(q, )} (q,, B) = {(q, B )} (q,, C) = {(q, S)} (q, c, C) = {(q, d)} (q,, ) = {(q, )} (q,, ) = {(q, )} (q, d, d) = {(q, )} = {S, A, B, C,,, d} N rozdíl od konečných utomtů nelze oecně ke kždému nedetermnstckému zásoníkovému utomtu sestrojt odpovídjící determnstcký zásoníkový utomt...3 Jzyky typu Turngovy stroje konečná řídící jednotk čtecí záznmová hlv n B B... N rozdíl od konečného utomtu, má Turngův stroj čtecí záznmovou hlvu, tkže může symoly n pásce číst přepsovt. Dlším rozdílem je možnost pohyovt čtecí záznmovou hlvou n oě strny. Defnce: Turngův stroj je šestce: T = (W, Q, I,, q, F) Q... konečná množn stvů I... konečná množn symolů pásky (jedním z nch je prázdný symol B) W... konečná množn vstupních symolů, W I (neoshuje B) F... konečná množn koncových stvů F Q q... počáteční stv... zorzení Q x I Q x (I-{B}) x {-, } Zorzení - přechodová funkce nemusí ýt defnován pro určté rgumenty

22 Konfgurce Turngov stroje (q,, ) q... stv q Q... řetězec n neprázdné část pásky (I {B})*... pozce hlvy Elementární kroky Turngov stroje Jestlže (q, A ) = (p, X, ) <, n> (q, A A...A - A A +...A n, ) (p, A A...A - X A +...A n, +) pk Turngův stroj zpíše symol X do -tého políčk (přepíše A ), přejde ze stvu q do stvu p posune hlvu o políčko doprv. Jestlže (q, A ) = (p, X, -) <, n> (q, A A...A - A A +...A n, ) (p, A A...A - X A +...A n, -) tj. posunu hlvu o políčko dolev Jestlže (q, B) = (p, X, ) = n+ (q, A A...A n, n+) (p, A A...A n X, n+) přepíšeme prázdný symol B n X. n:= n+ (n++) Jestlže (q, B) = (p, X, -) = n+ (q, A A...A n, n+) (p, A A...A n X, n) n:= n+ (n++) Jestlže jsou dvě konfgurce spojeny konečným počtem těchto elementárních kroků, používáme znčení * * q,, p,, j Defnce: Jzyk přjímný Turngovým strojem: L( T) W * * q F, I*,, n q,, q,,, Všechn slov (řetězce) ptřící do jzyk přjímného Turngovým strojem převádí Turngův stroj do koncového stvu, z něhož není dlší přechod defnován Turngův stroj se zství. Pro jná slov je oecně možné, že se Turngův stroj vůec nezství. Př... Jzyk L = {x n y n n } T = (W, Q, I,, q, F) W = {x, y} Q = {q, q, q, q 3, q 4, q 5 } I = {x, y, B, C, D} F = {q 5 } : () (q, x) = (q, D, ) (7) (q, D) = (q 3, D, ) () (q, x) = (q, x, ) (8) (q 3, B) = (q 5, C, ) (3) (q, C) = (q, C, -) (9) (q 4, D) = (q, D, ) (4) (q 3, C) = (q 3, C, ) () (q, y) = (q, C, -) (5) (q 4, x) = (q 4, x, -) () (q, x) = (q 4, x, -) (6) (q, C) = (q, C, )

23 npř. pro = x x y y je posloupnost opercí: q, x x y y, q, D x y y, q, D x y y, 3q, D x C y, q, D x C y, 9 q, D x C y, q, D D C y, 3q, D D C y, 4q, D D C C, 3 q, D D C C, q, D D C C, 3q, D D C C, 4q, D D C C, 5 8 q, D D C C C, Vět: Jestlže je L generovný grmtkou typu, potom L je tké přjímný nějkým Turngovým strojem. Vět: Jestlže L je přjímný Turngovým strojem, potom je tké generovtelný nějkou grmtkou typu. Defnce: Turngův stroj rozhoduje jzyk L nd ecedou W, jestlže: L = L(T), L W* pro kždé W* se T-stroj zství. Exstují jzyky rozpozntelné T-strojem, které nejsou rozhodnutelné žádným T-strojem. Defnce: Nedetermnstcký Turngův stroj: T = (W, Q, I,, q, F) Q, W, I, F, q... stejné jko u defnce T-stroje. Q x (I {B}) x {-,} - zorzení Q x I 3 Vět: Je-l jzyk L přjímný nějkým nedetermnstckým Turngovým strojem, pk je přjímný nějkým determnstckým Turngovým strojem...4 Kontextové jzyky nedetermnstcké Turngovy stroje s lneárním prostorem Defnce: Nedetermnstcký T-stroj s lneárním prostorem: M = (W, Q, I,, q, F) Q... konečná množn stvů I... konečná množn symolů pásky W... konečná množn vstupních symolů W I q... počáteční stv q Q F... množn koncových stvů F Q Q x I x {-; }... zorzení Q x I 4 6 W oshuje dv specální symoly m l, m r levý prvý mezník řetězce n vstupní pásce zrňují přechodu hlvy mmo vstupní řetězec. Defnce: Jzyk přjímný nedetermnstckým T-strojem s lneárním prostorem: 3 * L( M ) W m l, mr *; q, ml mr, q,,, q F, I*,, n Vět: Jestlže je L kontextový jzyk, pk je přjímán nějkým nedetermnstckým T-strojem s lneárním prostorem. Vět: Jestlže je L přjímán nějkým nedetermnstckým T-strojem s lneárním prostorem, pk je generovtelný nějkou kontextovou grmtkou

24 3. Krtér výěru prmtv Prmtv: Žádný pops orzů. Sndno detekovtelná rozpozntelná. Př. 3.. Odlšení rovnostrnných trojúhelníků od osttních orzů. množn prmtv z x y segmenty x, y, z mjí stejnou délku množn všech rovnostrnných trojúhelníků je reprezentován řetězcem x y z. ~ ~ ~ Odlšení rovnostrnných trojúhelníků různých velkostí přřdíme segmentům x,y,z jednotku délky množnu rovnostrnných trojúhelníků popíšeme jzykem: ~ L = {x n ~ y n ~ z n n =,,...} Př. 3.. mtemtcké výrzy x... horzontální segment y... segment se sklonem z... segment se sklonem - G = (V N, V T, P, S) V N = { <výrz>, <operátor>, <opernd>, <X>, <Y>, <Z>, <plus>, <mínus>, <krát>, <děleno>, <mezer>} V T = {,, c, d, e, f} / \ c - d e _ f. S = <výrz> P: <výrz> <opernd> <operátor> <opernd> <X> <opernd> <X> <Y> d <opernd> <Y> <Z> c c <opernd> <Z> <plus> c d <opernd> <výrz> <mínus> c <operátor> <plus> <krát> f <operátor> <mínus> <děleno> <operátor> <krát> <děleno> f f <operátor> <děleno> <výrz> <opernd> <mezer> <operátor> <mezer> <opernd> <mezer> e Orz: X + Y : Z je reprezentován řetězcem: = ecdedeffecc 3

25 Odpovídjící dervční strom: <výrz> <opernd> <mezer> <operátor> <mezer> <opernd> <x> e <plus> e <výrz> c d <opernd> <mezer> <operátor> <mezer> <opernd> <y> e <děleno> e <z> d f f c c získný strukturální pops je přílš složtý. V N = {V, D, R} V T = {x, y, z, +, -,., :, /} S = V P: V D R D R + D V R - D x R. D y R : D z R / = x + y : z Př Pops čárových orzců, rozhrní orysů ve snímcích Freemnův řetězcový kód kždému segmentu je přřzeno číslo v závslost n jeho sklonu. Výhody: Otáčení orzu o násoek 45 Možnost měření délky křvky 3 vz ZDO Určení průsečíků 4 Orz písmene A: řetězec reltvní směr počáteční uzel koncový uzel 3 R S S T T S T P 5 P T S 5 3 R Př Pops křvek pomocí jejch tvrových vlstností. Prmtv úseky, kde má křvk přlžně stejný tvr (část přímky, proly, kružnce,...) Segmentční proxmční lgortmy nejjednodušší, nejrychlejší, nejpoužívnější po částech lneární proxmce. 4

26 Anlýz EEG (záznmy ktvty ldského mozku) Gese kol. Orz: 4 křvky po sekundách (4 knály) kždý sekundový úsek prmtvum 7 příznků shluková nlýz 7 tříd prmtv reprezentce orzu: 4 řetězce po prmtvech. 3. Jednodmenzonální grmtky Po výěru prmtv dlší prolém: konstrukce grmtky Ideál: odvození grmtky nferenčním strojem (konstrukce nferenčních strojů omezen n specální přípdy) Vol jzyk (složtější jzyk): Slnější prostředek k vyjdřování Vyšší nároky n složtost rozpoznávcího utomtu Delší do potřená pro klsfkc Nrůstá lgortmcká nerozhodnutelnost vlstností dného jzyk Komproms mez vyjdřovcí sílou jzyk efektvností jeho nlýzy je určován řeštelem v závslost n řešené úloze. Př Porovnání vyjdřovcí síly u různých typů grmtk. Zkonstruujeme grmtku pro regulární jzyk. n n n L x y z n,, 3 Regulární grmtk G = (V N, V T, P, S) V N = {S, D, D, E, E, E, E 3, E 3, F, F, F 3 } V T = {x, y, z} P: S x D E y F F z S x E E y E F z F D x D E y F F 3 z F D x E E 3 y E 3 V N = P = 4 D x E 3 E 3 y F 3 E 3 y E 3 Bezkontextová grmtk G = (V N, V T, P, S) V N = {S, D, D, E, E, E 3, F} V T = {x, y, z} P: S x D F D x D F E y E D y D x E 3 F E y D x E F E 3 y E F z V N = 7 P = 9 5

27 Grmtky s řízeným přepsováním Zvyšují genertvní sílu určtého typu grmtky. Npř. pro generování kontextového jzyk můžeme použít ezkontextovou grmtku s řízeným přepsováním pro rozpoznávání potom uprvený zásoníkový utomt s řízenou volou nstrukcí (nmísto nedetermnstckého Turngov stroje s lneárním prostorem). Př Jzyk L = {x n y n z n n =,,...} Bezkontextová progrmová grmtk G = (V N, V T, P, S, J) V N = {S, E, F} V T = {x, y, z} J = {,, 3, 4, 5}... množn čísel prvdel P: č. prvdl prvdlo úspěch neúspěch S x E {, 3} Ø Ø...konec. E x E E {, 3} Ø 3 E F {4} {5} 4 F y F {3} Ø 5 F z {5} Ø Generování v progrmové grmtce proíhá tkto: Je-l nějké prvdlo úspěšně plkováno, je možné v dlším kroku volt pouze prvdlo s číslem z množny uvedené ve sloupc úspěch, jnk je možné volt pouze prvdl z množny neúspěch. Npř. řetězec: x x x y y y z z z S () u ' (3) u ' (5) u ' x E ' () u x x E E x x x y F F E (4) u x x x y y y z F F Mtcová grmtk G = (V N, V T, P, S) V N = {S, D, E, F} V T = {x, y, z} P: () <S D E F> () u ' ' ' x x x E E E x x x y y F F E (5) u ' (3) u ' (3) u x x x y y y z z F () <D x D; E y E; F z F> (3) <D x; E y; F z> x x x F E E ' (5) u ' (4) u x x x y y F F F ' (4) u x x x y y y z z z ' (3) u x x x y F E E (3) N x x x y y y F F F U mtcových grmtk jsou zdávány posloupnost (mtce) prvdel, které se musí př odvozování použít součsně. Npř. = x x x y y y z z z () () mtce prvdel () S D E F x D y E z F x x D y y E z z F x x x y y y z z z (3) 6

28 Př Rozpoznávání vrcholů v křvkách, zložené n strukturálním přístupu Horowtz. Křvk reprezentován množnou odů: { (x, y ), =,,..., n } x + > x =,,..., n- První dference d, =,,..., n-: d = (y + y ) / (x + - x ) Ke kždé dvojc odů [ (x, y ), (x +, y + ) ] přřdíme symol tkto: d > = p (rostoucí úsek) d < = n (klesjící úsek) d = = (konstntní úsek) Nyní můžeme křvku reprezentovt řetězcem = 3... n- Kldný vrchol K levá strn L = {p} { p ( {p} {} )* p } prvá strn P = {n} { n ( {n} {} )* n } vrcholek V = * K = L V P Odoně záporný vrchol Z Z = P V L Křvk: x vrcholů, x =,,... Grmtk: L: <rost > p P: <kles > n <rost > <rost > p <kles > <kles > n <rost > <rost > p <kles > <kles > n <rost > <rost > <kles > <kles > <rost > <rost > <kles > <kles > V: <nul> <nul> <nul> K: <vrchol + > <rost > <kles > <vrchol + > <rost > <nul> <kles > Z: <vrchol - > <kles > <rost > <vrchol - > <kles > <nul> <rost > křvk: <vrchol - > <vrchol + > <rost > <vrchol - > <vrchol + > <nul> <rost > <vrchol + > <vrchol - > <kles > <vrchol + > <vrchol - > <nul> <kles > hlvní část křvky: <průěh> <rost > <průěh> <kles > <průěh> <vrchol + > <průěh> <vrchol - > lovolný počet n nul 7

29 celá křvk: <w> <nul> <w> <nul> <průěh> <w> <průěh> <nul> <w> <nul> <průěh> <nul> 3.3 Vícedmenzonální grmtky Nevýhod jednodmenzonálních grmtk: používjí pouze operce zřetězení. Získný pops D 3D ojektů ývá těžkopádný Použtí vícedmenzonální grmtky Defnce: Pvučnová grmtk G G = (V N, V T, P, S) V N... Množn netermnálních symolů V T... Množn termnálních symolů S... Množn počátečních pvučn P... Množn pvučnových přepsovcích prvdel ve tvru:, E,... Pvučny E... Je množn jstých logckých funkcí, určujících způso vložení místo v dosud vytvořené pvučně. Pvučnová grmtk generuje orentovné grfy, jejchž uzly jsou termnální symoly. Př Pvučnová grmtk G = (V N, V T, P, S) V N = {A}; V T = {,, c}; S = {A} P: () A E = { (p, ) (p, A) } c () A A E = { (p, ) (p, A) } c Aplkce prvdel,, c c c V přípdě, že V T oshuje jedný symol všechny uzly mjí stejné oznčení, které tedy nemusíme zpsovt. Pvučnu tedy můžeme povžovt z grf. Tento typ pvučnových grmtk je někdy nzýván grmtkm grfů. Rozšířením jednodmenzonálního zřetězení n vícedmenzonální vznkjí stromy. Může-l ýt struktur popsán stromem, může ýt její pops generován nějkou stromovou grmtkou přjímán nějkým stromovým utomtem. 8

30 Př. 3.. Stromová grmtk G = (V N, V T, P, S) V N = {S, A, B} V T = {,, $} P: S $ A A B B A B A B A B Příkldy generovných stromů: $ $ $ Př. 3.. Pops krychle stromem S c S c c c c 4. Defnce Předpokládejme třídy orzů, =,,..., m, kždá tříd je chrkterzován grmtkou G. L(G l ) L(G k ) = Ø l, k =,..., m l k Úloh klsfkce: *: x L(G * ) * <, m>? Syntktcká nlýz Proces, který rozhoduje o náležtost řetězce do jzyk generovného grmtkou. Blokový dgrm syntktckého klsfkátoru: x L(G )? x x L(G )? x L(G * ) x ~ * x L(G m )? 9

31 V přípdě, že exstuje G * tková, že x L(G * ), klsfkujeme x do třídy *. Regulární grmtk Stčí zkonstruovt odpovídjící determnstcký konečný utomt, který má ovykle sndnou softwrovou hrdwrovou relzc. Bezkontextová grmtk Oecně stčí zkonstruovt nedetermnstcký zásoníkový utomt. Kontextová grmtk Rozumné syntktcké nlýzy lze dosáhnout pomocí ezkontextové grmtky s řízeným přepsováním. Syntktcká nlýz ezkontextových jzyků Shor dolů (top down prsng) Vycházíme z počátečního symolu grmtky snžíme se postupně vygenerovt nlyzovný řetězec. Zdol nhoru (ottom up prsng) Vycházíme z nlyzovného řetězce snžíme se ho postupně redukovt n počáteční symol. Př. 4.. G = (V N, V T, P, S) V N = {S, A, B} V T = {,, c, d} = cdd Shor dolů P: S A B B c d A B c B A A B B d A A S S S S S A B A B A B A B A B d A B d A B d A c d A c d A Zdol nhoru A A S A B A B A B A B A B c d d c d d c d d c d d 3

32 4. Prolém voly prvdel V určtém stvu syntktcké nlýzy může nstt stuce, kdy máme možnost volt z více prvdel: X X Jk určt, které má ýt použto? Bcktrckng V přípdě, že po volě jednoho prvdl dojdeme k neúspěchu, musíme se vrátt k poslednímu prvdlu, kde yl možnost voly zvolíme dlší prvdlo. Tento způso je všk lgortmcky náročný. Prohledávání do šířky V tomto přípdě provádíme všechny možné rozory nlyzovného řetězce njednou. Využtí heurstcké nformce Omezíme volu prvdel pomocí podmínek zložených npř. n znlost: Délky řetězce přesáhne-l délk průěžně odvozovného řetězce délku řetězce nlyzovného, můžeme ho prohlást z neúspěch, protože z kždého netermnálního symolu lze odvodt mnmálně jeden termnální symol. (Pltí z předpokldu, že grmtk neoshuje prvdl typu X ) Výskytu termnálního symolu Aplkc prvdl můžeme zmítnout, pokud y vedlo ke generování termnálního symolu, který se v nlyzovném řetězc vůec nevyskytuje. Levých krjních termnálních symolů všech řetězců, které lze z dného netermnálního symolu odvodt. Př G = (V N, V T, P, S) V N = {S, A, B, C} V T = {,, c, d} P: S A B B B d C C d A A B B d B C d A B B C A A C c d S Ano Ne Ne Ano A Ano Ne Ne Ano B Ne Ne Ne Ano C Ne Ne Ne Ano Vytvořl jsme tulku určující, které termnální symoly lze odvodt z netermnálních symolů jko první zlev.... /// A...B......CA......d A d... spor!...a...c......d... 3

33 4.3 Syntktcká nlýz shor dolů Vycházíme z počátečního symolu snžíme se vygenerovt nlyzovný řetězec. Dosud vygenerovný řetězec ukládáme do zásoníku. Vždy, když se n vrcholu zásoníku ojeví termnální symol, porovná se s ktuálním vstupním symolem nlyzovného řetězce. V přípdě souhlsu se termnální symol z vrcholu zásoníku odstrní. V opčném přípdě se vrátím tk dleko, kde lze zvolt jné prvdlo (cktrckng). Př. 4.4 G = (V N, V T, P, S) V N = {S, T, I} V T = {,, c, f, g} P: () S T (5) I () S T f S (6) I (3) T I g T (7) I c (4) T I Anlyzovný řetězec: = fgc Průěh syntktcké nlýzy (pomocí cktrckngu): krok osh zásoníku čtený symol vstupní řetězec prvdlo č. dlší možnost návrt n krok S f g c S T () () T f g c T I g T (3) (4) 3 I g T f g c I (5) (6),(7) 4 g T f g c 5 g T f g c 3 3 I g T f g c I (6) (7) 6 g T f g c 3 3 I g T f g c I c (7) 7 c g T f g c T f g c T I (4) 8 I f g c I (5) (6), (7) 9 f g c - f g c 8 8 I f g c I (6) (7) f g c 8 8 I f g c I c (7) c f g c S f g c S T f S () 3 T f S f g c T I g T (3) (4) 4 I g T f S f g c I (5) (6), (7) 5 g T f S f g c 6 g T f S f g c 4 4 I g T f S f g c I (6) (7) 7 g T f S f g c 4 4 I g T f S f g c I c (7) 8 c g T f S f g c 3 3 T f S f g c T I (4) 9 I f S f g c I (5) (6), (7) f S f g c f S f g c S g c S T () () 3

34 krok osh zásoníku čtený symol vstupní řetězec prvdlo č. dlší možnost návrt n krok 3 T g c T I g T (3) (4) 4 I g T g c I (5) (6), (7) 5 g T g c 4 4 I g T g c I (6) (7) 6 g T g c 7 g T g c 8 T c T I g T (3) (4) 9 I g T c I (5) (6), (7) 3 g T c 9 9 I g T c I (6) (7) 3 g T c 9 9 I g T c I c (7) 3 c g T c 33 g T T c T I (4) 34 I c I (5) (6), (7) 35 c I c I (6) (7) 36 c I c I c (7) 37 c c řetězec je přjt Relzce: Postup kroků uložt do zásoníku. pokrč. 4.4 Syntktcká nlýz zdol nhoru Postupujeme od nlyzovného řetězce směrem k počátečnímu symolu. Anlýz zčíná s prázdným zásoníkem. V přípdě úspěšného přjetí řetězce zůstne v zásoníku pouze počáteční symol. Př Stejná grmtk jko v Př.4.4. stejný nlyzovný řetězec. osh zásoníku vstupní symol prvdlo č.prv dl nstrukce utomtu nčtení - I (5) redukce I - T I (4) redukce T f nčtení T f nčtení T f - I (6) redukce T f I g nčtení T f I g c nčtení T f I g c - I c (7) redukce T f I g I - T I (4) redukce T f I g T - T I g T (3) redukce T f T - S T () redukce T f S - S T f S () redukce S řetězec je přjt Pozn.: zpsány jsou pouze kroky ez nvrácení! 33

35 4.5 Dv efektvní lgortmy pro syntktckou nlýzu Čs potřený k syntktcké nlýze může v nejhorších přípdech nrůstt ž exponencálně s délkou řetězce. Exstují lgortmy, které zručují krtší čs, potřený k syntktcké nlýze Cocke Younger Ksm lgortmus Tento lgortmus zručuje, že čs potřený k syntktcké nlýze je úměrný pouze třetí mocnně délky řetězce. Uskutečňuje syntktckou nlýzu zdol nhoru. Algortmus CYK Vstup: Bezkontextová grmtk G = (V N, V T, P, S) v Chomského normální formě. Vstupní nlyzovný řetězec =... n Výstup: Tulk T pro nlyzovný řetězec tková, že t j oshuje A V N právě tehdy, když: * A... j j... délk odvodtelného řetězce j A A A 3 A Krok Krok Krok 3 Položíme t, = {A A P} =,,..., n Pozn.: pltí A * Opkuj pro j =, 3,..., n =,,..., n-j+ Předpokládáme, že t,k ylo stnoveno (nplněno) pro všechn =,..., n-k+, k =,..., j. t j = {A A B C P, k <, j ): B t k, C t +k,j-k } Z fktu, že k < j j-k < j vyplývá, že: * B * C tedy k k * A k j j Jestlže S t n, pk řetězec je přjt, tj. L(G). 34

36 Př G = (V N, V T, P, S) v Chomského NF. V N = {S, X} V T = {c, d} P: S X X X S X S d S X S X X S X c = c d c c d X S X X S Řádek : Řádek, 3, 4, 5: c d c c d S, X S, X X, S S, X S S, X X, S X S S, X X S X X S 4.5. Erleyho lgortmus Uskutečňuje syntktckou nlýzu shor dolů. Provádí všechny možné způsoy nlýzy součsně tkovým způsoem, že čsto může zkomnovt jž získné částečné výsledky. Čs potřený k syntktcké nlýze je úměrný třetí mocnně délky řetězce. Není-l grmtk víceznčná, je čs potřený k nlýze úměrný dokonce jen druhé mocnně délky řetězce. Algortmus Vstup: Bezkontextová grmtk G = (V N, V T, P, S) Anlyzovný řetězec =... n Výstup: Seznmy I I... I n pro nlyzovný řetězec Krok : Krok : Zkonstruujeme seznm I Pro kždé prvdlo S P přdáme do I položku [S., ] Provádíme tk dlouho, dokud lze do I přdt položku, pokud je v I položk [A. B, ] přdáme do I pro kždé prvdlo B položku [B., ] ( rozvedení netermnálů) Zkonstruujeme seznmy I, I,..., I n pro =,,..., n: Operce porovnání Pro položky z I - ve tvru [B., j] tkovou, číslo seznmu, kde yl položk zveden 35

37 že = přdáme do I položku: [B., j] Provádíme následující ody kroku tk dlouho, dokud do I lze přdt nějkou položku. Operce kompletce Pro kždou položku typu [A., j] v I prohledáme seznm I j njdeme položky typu: [B. A, k]. Pro kždou tkovou položku přdáme do I položku: [B A., k]. Operce predkce Pro kždou položku typu: [B. C, j] v I přdáme do I pro všechn C položky [C., ]. Krok 3: Pokud je v I n položk [S., ], pk řetězec je přjt, tj. L(G). Př G = (V N, V T, P, S) V N = {S, T, F} V T = {, +, *, (, ) } P: () S S + T (4) S T () T T * F (5) T F (3) F (S) (6) F = * Postup syntktcké nlýzy pomocí Erleyho lgortmu: I : I : [S. S + T, ] [S. T, ] [T. T * F, ] [T. F, ] [F. (S), ] [F., ] [F., ] [T F., ] [S T., ] [T T. * F, ] [S S. + T, ] nelze 36 I : I 3 : Od poslední položky [S T., ] lze vystopovt posloupnost položek, které vedly k přdání dné položky do seznmu. Z posloupnost: [S T., ] v I 3 [T T * F., ] v I 3 [F., ] v I 3 - [T T. * F, ] v I [T F., ] v I [F., ] v I Lze odvodt dervc řetězce : (4) () (5) S T T * F F * F * F * (6) (6) [T T *. F, ] nelze [F. (S), ] [F., ] [F., ] [T T * F., ] [S T., ] [T T. * F, ] [S S. + T, ] S T T * F F

38 5. Stochstcký jzyk grmtk V prx čsto pltí L(G ) L(G j ) Ø, j, tj. dochází k překrývání jzyků popsujících třídy j. Příčny: Strukturální podonost orzů z různých tříd. Nejrůznější šumy poruchy. Nepřesnost v procesu předzprcování orzů, detekce prmtv relcí. Nepřesnost př konstrukc č nferenc grmtk, chrkterzujících jednotlvé třídy orzů. Anloge s příznkovým metodm, kde orzy ptřící do různých tříd mohou ýt chrkterzovány stejným vektorem příznků, le s různou prvděpodoností. Pro řešení tohoto prolému v rámc strukturálního přístupu musíme grmtku doplnt o prvděpodonost výskytu kždého slov v dném jzyce. K tomu využíváme stochstckých jzyků grmtk. Defnce: Stochstcká grmtk G S = (V N, V T, P S, S) V N... množn netermnálních symolů V T... množn termnálních symolů S... strtovcí symol P S... množn stochstckých přepsovcích prvdel ve tvru: p j j, j V* V T * V = V N V T p j... prvděpodonost spojená s plkcí tohoto prvdl p j (, > n j p j =,,... k j =,,..., n,,, k k... počet různých levých strn prvdel n... počet prvdel s levou strnou Prvděpodonost spojená s odvozením Exstuje-l posloupnost řetězců,,..., n+ tková, že =, = n+ pro =,,..., n, potom z lze odvodt s prvděpodoností p p n p. To zpíšeme tkto: p 37

39 Stochstcký jzyk je pk defnován tkto: p() L(G S ) = { (, p() ) V T *, S }... pltí pro jednoznčnou grmtku. L(G S ) = { (, p() ) V T *, S k... počet odlšných dervcí řetězce p j... prvděpodonost spojená s j-tou dervcí L(G S ) může ýt chrkterzován dvojcí (L, p). p j k p j j, j =,,..., k p L... chrkterstcký jzyk L(G S ) p... prvděpodonostní rozložení defnovné nd L } Pltí-l p( ) říkáme, že stochstcká grmtk je konzstentní. L Př. 5.. Regulární grmtk G = (V N, V T, P, S) V N = {S, A, B} P: S A B A B B S V T = {, } A L = { ( ) n, ( ) n, n =,,...} Stochstcká grmtk vznkne doplněním prvděpodoností k jednotlvým prvdlům. G S = (V N, V T, P S, S) P S : S A A,7 B B B,4,6 S A,3 Příkld dervce: S A B S A B p( ) =,7,6,7,4 =,76 L S = L(G S ) L S p( ) n (,3,8) (,4) n Generovný řetězec p(),3,8 ( ) n,3 (,4) n ( ) n,8 (,4) n 38

40 5. Využtí stochstckých grmtk př klsfkc Výhody využtí stochstckých grmtk př klsfkc: Lze vyjádřt skutečnost, že některé orzy se v určté třídě vyskytují čstěj než jnde. Je možno přřdt nechtěným řetězcům nereprezentujícím žádné orzy mlé hodnoty prvděpodonost. Lze řešt prolém víceznčnost tím, že jestlže má řetězec reprezentující orz více různých dervčních stromů, můžeme z úplný strukturální pops povžovt ten nejprvděpodonější. Rozpoznávání podle stochstckého jzyk proíhá tkto: Provedeme syntktckou nlýzu řetězce podle grmtk všech tříd j, j =,,..., m. Tím vlstně získáme prvděpodonost p( j ) = p( G j ). N zákldě znlostí prorních prvděpodoností výskytu tříd p( j ), j =,,..., m můžeme použít klsfkátor, zložený n Byesovském klsfkčním prvdle. Aprorní prvděpodonost, že řetězec reprezentující neznámý orz yl generován stochstckou grmtkou G j, tj. posterorní prvděpodonost, s jkou nlyzovný řetězec ptří do třídy j : P( G j ) p( G ) P( G ) j p( ) P(G j ) = P( j )... prorní prvděpodonost výskytu třídy j. j p( G ) P( G ) m j p( G ) P( G ) P( G j ) = P( j )... prvděpodonost generování řetězce grmtkou G j, která reprezentuje třídu j. P()... prvděpodonost výskytu orzu reprezentovného řetězcem v řešené úloze vůec. Klsfkujeme n zákldě prncpu mxmální prvděpodonost: j ~ j* : P(G j* ) = mx j,,...,m {P(G j )} = P( G j ) P( G j mx P( j,,..., m ) ) Protože hodnot P() nemá vlv n výsledek klsfkce, můžeme vzth uprvt n: ~ j* : p( G ) P( G ) mx p( G ) P( G ) j* j* j j j,,..., m Blokové schém stochstckého strukturálního klsfkátoru: p( )? P( ) p( ) L(G j* )? P( ) j*, p(g j* ) P(G j* ) p( m ) m? P( m ) detektor mxm ~ j* 39

41 5.3 Stnovení prvděpodoností prvdel Máme-l k dspozc trénovcí množnu řetězců jm odpovídjící prvděpodonost (četnost), je z určtých předpokldů možné vypočítt neo odhdnout prvděpodonost jednotlvých prvdel stochstcké grmtky tk, y generovl řetězce s těmto prvděpodonostm Stochstcké regulární grmtky Př. 5.. Stochstcká regulární grmtk G S = (V N, V T, P S, S) V N = {S, A, A, A 3, A 4 } V T = {,,, 3, c, c, c 3 } Prmtv: Generovné trojúhelníky Rovnostrnný trojúhelník: jeho deformce: 3 c c c 3 c c c c 3 c c 3 3 c 3 c 3 c 3 Prvděpodonost jednotlvých řetězců mohou ýt odhdnuty n zákldě dlouhodoého pozorování četnost jejch výskytu. p() = c /36 = c /36 3 = c 3 3/36 4 = c /36 5 = c /36 6 = c 3 /36 7 = 3 c 3/36 8 = 3 c /36 9 = 3 c 3 /36 Normlzční podmínky: p = p + p 3 + p 4 = p 5 + p 6 + p 7 = p 8 + p 9 + p = p + p + p 3 = P: () S () A (3) A (4) A (5) A (6) A p A p A p 3 A 3 p 4 3 A 4 p 5 c p 6 c (7) A (8) A 3 (9) A 3 () A 3 () A 4 () A 4 (3) A 4 p 7 c 3 p 8 c p 9 c p c 3 p c p c p 3 c 3 4

42 Pro generování řetězce musíme použít prvdlo (), (), (5), tkže p( ) = p p p 5 Odoně: p( ) = p p p 6 p( 5 ) = p p 3 p 9 p( 7 ) = p p 4 p p( 3 ) = p p p 7 p( 6 ) = p p 3 p p( 8 ) = p p 4 p p( 4 ) = p p 3 p 8 p( 9 ) = p p 4 p 3 Z rovnc: p = p( ) p( ) p( ) p p 5 p p p ; p p5 6 6 p p 5 ; 3 p 6 p 7 p Odoně získáme: p 3 = /3 p 8 = /4 p 9 = 7/8 p = / p 4 = /6 p = / p = /3 p 3 = / p 3 36 Stochstcká grmtk s tkto stnoveným prvděpodonostm jednotlvých prvdel ude generovt řetězce s prvděpodonostm uvedeným v tulce Stochstcké ezkontextové grmtky Předpokládáme trénovcí množnu M t = { (, f ), (, f ),..., ( t, f t )}, kde f k, k =,,..., t je odhdnutá prvděpodonost výskytu řetězce k, popř. prvděpodonost sujektvně určená řeštelem, chce-l npř. generování některých řetězců potlčt. Pltí: M t L(G) le většnou: M t L(G)... čsto L(G) Bezkontextová grmtk G: p j A j A V N j V + p j =?... odhd oznčíme p j Provedeme syntktckou nlýzu všech vzorků řetězců k z trénovcí množny M t pro kždý řetězec k zjstíme solutní četnost N j ( k ) výskytu prvdel A použtých př jeho dervc. Očekávná solutní četnost n j výskytu prvdl nlýze všech vzorků z M t je: n j k km t f N ( ) A j j př syntktcké Mxmálně prvděpodoný odhd pro p j vypočteme podle vzthu: nj pj l : A l n p l l j konverguje k p j, pokud M t konverguje k L(G) odhdy f k konvergují ke skutečným hodnotám. j k 4

43 Blokový dgrm systému pro odvození prvdel {,,..., t} Odhd pstí řetězců M t = {(, f ),..., ( t, f t) } OR Syntktcký nlyzér Odhd pstí prvdel p j Sujektvní určení pstí učtelem Ve složtějším přípdě je známo, že řetězce jsou generovány ezkontextovým grmtkm: G q = (V Nq, V Tq, P q, S q ) q =,,..., m, kde m je počet tříd. Trénovcí množn M t L, kde L = L(G ) L(G )... L(G m ) Pro řetězce z M t je znám posterorní prvděpodonost P(G q k ), že řetězec k yl generován grmtkou G q pro k =,,..., l q =,,..., m pltí: Nejdříve vypočteme: n qj m q f k km t P( ) G q P( G q k ) N ( ) f k... odhdnutá prvděpodonost (reltvní četnost) výskytu orzu reprezentovného řetězcem k. N q j ( k )... solutní četnost výskytu prvdl n q j... očekávná solutní četnost výskytu prvdl k M t podle grmtky G q. Potom mxmálně prvděpodoný odhd prvděpodonost A q j z P q vypočteme podle vzthu: j p qj nqj n l ql A k j qj k v dervc řetězce k podle grmtky G q. A l : A P z P q v dervcích všech řetězců l j q p q j příslušející prvdlu pˆ konverguje k p qj z předpokldu, že s rostoucím t M t konverguje k L odhdovné četnost f k konvergují ke skutečným prvděpodonostem p( k ), pro které pltí: jestlže: p m k q m q p( P ( k G q G ) P( G ) q ) q 4

44 Př G S = (V N, V T, P S, S) V N = {S, X} V T = {,, c, d} P S : S K dspozc je trénovcí množn řetězců, pro které určíme solutní četnost. h Asolutní četnost Reltvní četnost d c d 9,9 c d 77,77 d c d, c d 6,6 d d c d, d c d, d d d c d, d d c d, S p X S p c X = = X X p d p X Zjstíme výskyty jednotlvých prvdel: počet výskytů prvdl S X S S c X X d X X četnost dcd 9 cd 77 dcd cd 6 ddcd 3 3 dcd dddcd 3 4 ddcd 3 4 / / /36 4/36 Pro celou trénovcí množnu. p j n j f k N j () S X S n j = f N ) n S c X n = X d n = X X n = 4 k k j ( k Odhdy prvděpodoností jednotlvých prvdel pk vypočteme tkto: n p,8 n p p l l,8,9 36 p 4 36, 43

45 5.4 Syntktcká nlýz stochstckých jzyků Informc o prvděpodonostech spojených s jednotlvým prvdly grmtky můžeme využít v procesu syntktcké nlýzy. Využtím specálních lgortmů lze snížt průměrný počet kroků syntktcké nlýzy tk celý její proces urychlt. Mluvíme o tzv. stochstcké syntktcké nlýze. V přípdě regulárních jzyků postčí zkonstruovt odpovídjící, tzv. stochstcký konečný utomt. Defnce: Stochstcký konečný utomt je pětce A S = (W, Q, M,, F) W... konečná množn vstupních symolů Q... konečná množn stvů ( Q = n) M... zorzení množny W do množny mtc (n x n) stochstckých stvových přechodů... n-dmenzonální řádkový vektor počátečního rozložení stvů F... množn koncových stvů ( F Q ) M() = [p j ()] W p j ()... prvděpodonost přechodu ze stvu q do stvu q j př sejmutí symolu ze vstupní pásky. V kždém kroku musí stochstcký konečný utomt přejít ze stvu q do nějkého ( stejného) stvu q j, tj. pltí: n p j j pro,,..., n Defnční oor zorzení M rozšíříme z W n W* následovně: M() = I (dentcká mtce n x n) M(... k ) = M( ) M( )... M( k ) Jzyk přjímný stochstckým konečným utomtem A S : T(A S ) = { (, p() ) W*, p() = M() F > } F... n-dmenzonální sloupcový vektor, jehož -tá složk je rovn, pokud q F je rovn, pokud q F. Př Stochstcký konečný utomt: A S = (W, Q, M,, F) W = {, } Q = {S, A, B, T, R} = [,,,, ] F = [,,,, ] T F = {T} M: S S A A M ( ) B T R,6 B T,3 R,7,4 S A M ( ) B T R S A T ~ přjímáno R ~ nepřjímáno B,7 T,4 R,3,6 S A,3 A,6 B S,7 A B,4 B 44