AUTOMATY VE VYHLEDÁVÁNI cvičeni

Transkript

1 Czech Technicl University in Prgue Fculty of Informtion Technology Deprtment of Theoreticl Computer Science AUTOMATY VE VYHLEDÁVÁNI cvičeni Bořivoj Melichr Evropský sociální fond. Prh & EU: Investujeme do vší udoucnosti

2 Osh Konečné utomty 3. Zákldnípojmy Převod nedeterministického konečného utomtu n deterministickýkonečnýutomt Vyloučení ε přechodů Konstrukce konečného utomtu pro zdný regulární výrz. 6 2 Konstrukce vyhledávcích utomtů pro sousměrné vyhledávání Přesnépřiližnévyhledáváníjednohovzorku Vyhledávánímnožinyvzorků Fktorové, prefixové sufixové utomty Zákldnípojmy Fktorovéutomty Sufixovéutomty Hrnice, periody repetice Zákldnípojmy Hrniceperiody Přesnérepetice Přiližnérepetice Simulce nedeterministických konečných utomtů fil funkce KMPvyhledávcíutomty ACvyhledávcíutomty Přiližnévyhledávcíutomtyfilfunkce Simulce nedeterministických konečných utomtů dynmické progrmování itový prlelismus Dynmicképrogrmování Bitovýprlelismus Protisměrné vyhledávání v textu vyhledávání předpon vzorku 8 7. Sufixovýutomtproreverzovnývzorek Přesné protisměrné vyhledávání předpon vzorku v textu Sufixový utomt pro přiližné protisměrné vyhledávání v textu Přiližné protisměrné vyhledávání předpon vzorku v textu Protisměrné vyhledávání v textu vyhledávání opkujících se přípon vzorku Přesnéprotisměrnévyhledáváníjednohovzorku

3 8.2 Protisměrné vyhledávání konečné množiny vzorků Indexové metody Fktorovéutomty Suffixovýutomt Suffixovýstrom Kompktnísuffixovýstrom Polepřípon SuffixArry Slovníindexy Uspořádnépoleslov Indexovýstrom Booleovskéinformčnísystémy RozšířenídotzůvooleovskémDIS Vektorovéinformčnísystémy Signtury Přiřzenísignturykjednomutermu IndexceWe...3 Sttistické metody komprese dt 9. Zákldnípojmy Shnnon Fnůvkód Huffmnůvkód Aritmetickékódování Slovníkové komprese dt 34. LZ LZ LZW Kontextové metody komprese dt Zákldnípojmy DynmickéMrkovovokódování MetodPPM Kontrol textu 52 Litertur 53 2

4 Konečné utomty. Zákldní pojmy Aecedu udeme oznčovt A ude to vždy konečná množin symolů. Definice. DeterministickýkonečnýutomtMjepětice M=(Q, A, δ, q, F),kde Q je konečná množin vnitřních stvů, A je konečná vstupní eced, δjezorzenízq Ado Q, q Qjepočátečnístv, F Q je množin koncových stvů. Tuto definici můžeme modifikovt získáme tk dlší třídy konečných utomtů, které udou v dlších kpitolách užitečné. Jedná se o tyto třídy modifikce zákldní definice:. Nedeterministický konečný utomt. Modifikce se týká zorzení δ: δjezorzenízq Adomnožinypodmnožin Q. 2. Konečný utomt s ε přechody. Modifikce se týká opět zorzení δ: δjezorzenízq (A {ε})domnožiny Q. 3. Konečný utomt s více počátečními stvy. Modifikce se týká definice počátečního stvu. V tomto přípdě je definován neprázdná množin počátečních stvů I Q. Uvedené modifikce, i když rozšiřují definici deterministického konečného utomtu, nerozšiřují množinu jzyků přijímných těmito utomty. Automty s uvedenými rozšířeními je možné převést n ekvivlentní deterministické konečné utomty. Potřené lgoritmy jsou uvedeny v[jpr]. Všechn uvedená rozšíření je možné sloučit do jedné definice tkto: Definice.2 Konečný utomt(nedeterministický, s ε přechody, s více počátečními stvy) jepětice M=(Q, A, δ, I, F),kde Q je konečná množin vnitřních stvů, A je konečná vstupní eced, δjezorzenízq (A {ε})domnožinypodmnožin Q, I Q je množin počátečních stvů, F Q je množin koncových stvů. Dále připomeneme definice zákldních vlstností konečných utomtů. 3

5 Definice.3 Úplný konečný utomt. Deterministickýkonečnýutomt M=(Q, A, δ, q, F)nzvemeúplný,když zorzení δ(q, )jedefinovánoprovšechnystvy q Qvšechnyvstupní symoly A. Definice.4 Dosžitelné stvy utomtu. Necht jedánkonečnýutomt M =(Q, A, δ, q, F).Stv q Qnzveme dosžitelný,pokudexistujeřetězec w A tkový,žeexistujeposloupnost přechodů,kterávedezpočátečníhostvu q dostvu q: (q, w) (q, ε). Stv, který není dosžitelný, nzveme nedosžitelný stv. Definice.5 Užitečné zytečné stvy. Necht jedánkonečnýutomt M =(Q, A, δ, q, F).Stv q Qnzveme užitečný,pokudexistujeřetězec w A tkový,žeexistujeposloupnostpřechodů, která vede ze stvu q do nějkého koncového stvu: (q, w) (p, ε), p F. Stv, který není užitečný, nzveme zytečný stv. Algoritmy n. doplnění konečného utomtu n úplný, 2. odstrnění nedosžitelných stvů, 3. odstrnění zytečných stvů jsou uvedeny v[jpr]. Definice.6 Množin Fct(x), x A +,jemnožinvšechpodřetězcůřetězce x: Fct(x)={y: x=uyv, u, v A, x, y A + }. Definice.7 Množin Su(x), x A +,jemnožinvšechpodposloupnostířetězce x: Su(x)={ 2... m : x=y y 2... m y m, x A +, y i A, i=,,2,...,m, j A, j=,2,...,m, m >} Definice.8 Množin Suf(x), x A +,jemnožinvšechpříponřetězce x: Suf(x)={y: x=uy, u A, x, y A + }. 4

6 Definice.9 Množin Pref(x), x A +,jemnožinvšechpředponřetězce x: Pref(x)={y: x=yu, u A, x, y A + }..2 Převod nedeterministického konečného utomtu n deterministický konečný utomt Příkld. Sestrojme konečný utomt, který přijímá řetězce nd ecedou {, } tkové, které končí řetězcem. Tento utomt má přechodový digrm n or...získnýutomtjezkonstruovántk,žejevněmnzčátku smyčk pro liovolný řetězec do koncového stvu vede cest pro řetězec. V tomto přípdě je utomt nedeterministický. Tulk přechodů tohoto utomtu má tvr:, Orázek.: Přechodový digrm nedeterministického konečného utomtu z příkldu. Příkld. Sestrojme deterministický konečný utomt, který je ekvivlentní nedeterministickému konečnému utomtu z příkldu.. Tulk přechodů deterministického konečného utomtu má tvr:

7 Jehopřechodovýdigrmjenor..2.Ztohotopříkldujevidět,žedeterministický konečný utomt má stejný počet stvů jko ekvivlentní nedeterministický. 2 3 Orázek.2: Přechodový digrm deterministického konečného utomtu z příkldu. Příkld.2 Příkld nedeterministického konečného utomtu, jehož deterministický ekvivlent má exponenciální počet stvů. Mějme nedeterministický konečný utomt M = ({,2,3}, {, }, δ,, {3}),kde δ jedefinovánotulkoupřechodů: δ 2 2 3,2 3,3 Jeho přechodový digrm je n or..3. Tento utomt je nedeterministický má3stvy.ekvivelentnídeterministickýkonečnýutomt M má2 3 =8 stvů. M =(Q, {, }, δ, {}, F ),kde δ jedefinovánotulkoupřechodů: δ {} {2} {2} {3} {,2} {3} {} {,3} {,2} {2,3} {,2} {,3} {,2} {,3} {2,3} {,3} {,2,3} {,2,3} {,2,3} {,2,3} kde F oshujestvy {,3}, {2,3}, {,2,3}{3}.Jehopřechodovýdigrm jenor..4 Z tohoto příkldu je vidět, že determinizce konečného utomtu může mít exponenciální složitost jk čsovou tk pmět ovou, 6

8 Je známo, že počet stvů deterministického konečného utomtu, který jeekvivlentnízdnémunedeterministickémukonečnémuutomtuje2 n, kde njepočetstvůzdnéhoutomtu.tojedánotím,žepřioecnékonstrukci se nejprve pro množinu stvů Q zdného utomtu vytvoří potenční množin P(Q), jejíž prvky, podmnožiny množiny Q, jsou stvy konstruovného deterministického konečného utomtu. Mohutnost této množiny je právě2 n.vprktickýchplikcíchsepkčstozjistí,žemnohostvůtkto vzniklých je nedosžitelných množin stvů deterministického konečného utomtu má menší mohutnost. Proto yl sestrojen lgoritmus, který vytváří jen dosžitelné stvy. 2 3 Orázek.3: Nedeterministický konečný utomt z příkldu.2 Příkld.3 Mějmenedeterministickýkonečnýutomt M=({,2,3,4}, {, }, δ,, {4}), kde δ je definováno tulkou přechodů: δ, Tento utomt je nedeterministický má 4 stvy. Ekvivlentní deterministickýkonečnýutomtmá4dosžitelnéstvy. M =(Q, {, }, δ, {}, F ), kde δ jedefinovánotulkoupřechodů: δ {} {,2} {} {,2} {,2} {,3} {,3} {,2} {,4} {,4} {,2} {} 7

9 {} {2} {3} {,2} {,3} {,2,3} Orázek.4: Deterministický konečný utomt z příkldu.2 Z uvedených příkldů je vidět, že determinizce konečného utomtu může mít n jedné strně lineární složitost n druhé strně exponenciální složitost. Mezi těmito krjními vrintmi je veliký rozdíl. Proto je účelné definovt třídy utomtů, pro které složitost determinizce je v intervlu <n,2 n >,kde njepočetstvůnedeterministickéhokonečnéhoutomtu. Tyto třídy utomtů se nzývjí:. homogenní utomty(hka), 2. zoecněné homogenní utomty(zhka), 3. semihomogenní utomty(ska). Uvedené množiny konečných utomtů jsou nekonečné tvoří hierrchii podle or..5. HKA ZHKA SKA KA Orázek.5: Hierrchie konečných utomtů vzhledem ke složitosti determinizce 8

10 Příkld.4 Je dán homogenní nedeterministický konečný utomt M=({p, q, r, s, t, u}, {, }, δ, p, {r, u}), kde zorzení δ je zdáno tulkou přechodů: p q s q r u r q, r s, t s q u t r s u t Přechodový digrm je n or..6. V tomto přípdě pltí: q r p u s t Orázek.6: Nedeterministický konečný utomt z příkldu.4 Q()={q, r}, Q()={s, t, u}. Tyto množiny mjí prázdný průnik, proto deterministický konečný utomt M=(Q, T, δ, q, F )udemítpočetstvůmenšíneorovennež 2 Q() +2 Q() T += =4+8 2+=. Ekvivlentní deterministický konečný utomt je M =({p, q, qr, s, t, st, stu, u, su, t, tu}, {, }, δ, p, {r, qr, u, su, tu, stu}), kde δ je definováno následující tulkou přechodů: 9

11 p q s q r u s q u qr qr stu st qr su u t stu qr stu su q tu t r s tu r st r qr st Z výsledku je vidět, že výsledný deterministický konečný utomt má právě stvů. Pojem homogenních utomtů je možno zoecnit. Jedno z možných zoecnění vede n situci, kdy do určité množiny stvů vedou přechody jen pro určité symoly. Jestliže množiny Q(), T, nejsou po dvou disjunktní, můžeme se pokusit njít množiny symolů, pro které vedou přechody jen do určité podmnožiny stvů. Jinými slovy se jedná o přípd nlezení jiného rozkldu množiny stvů, který není tk jemný jko pro homogenní utomty, le kždá množin v tomto rozkldu odpovídá určité množině vstupních symolů, tyto množiny jsou po dvou disjunktní. Příkld.5 Je dán zoecněný homogenní nedeterministický konečný utomt M=({p, q, r, s}, {,, c, d}, δ, p, {q, s}), kde zorzení δ je zdáno tulkou přechodů: c d p p, q r, s q p s r q r s Přechodový digrm tohoto utomtu je n or..7. V tomto přípdě pltí: Q({, })={p, q}, Q({c, d})={r, s}. Tyto množiny mjí prázdné průniky proto deterministický konečný utomtudemítpočetstvůmenšíneoroven 2 Q({,}) +2 Q({c,d}) 2+= =4+4 2+=7.

12 q p d r c d d s Orázek.7: Nedeterministický konečný utomt z příkldu.5 Skutečnýutomtudemítjen6stvů,protožepočátečnístv p δ(q, ). Ekvivlentní deterministický konečný utomt je M =({p, q, pq, r, s, rs}, {,, c, d}, δ, p, {q, pq, s, rs}), kde zorzení δ je definováno následující tulkou přechodů: c d p pq rs q p s pq p pq rs r q r s rs q r Přechodový digrm tohoto utomtu je n or..8. pq q p d rs d s d r c c Orázek.8: Deterministický konečný utomt z příkldu.5

13 Příkld.6 Necht je dán nedeterministický konečný utomt M=({p, q, r, s}, {,, c, d}, δ, p, {s}), kde zorzení δ je dáno tulkou přechodů: c d p q p, q q r r r r p r, s s s r Jehopřechodovýdigrmjenor..9.Vtomtopřípdějepočátečnípokrytí: Q()={p, q, r}, Q()={p, q, r}, Q(c)={r, s}, Q(d)={s}. Toto pokrytí není optimální po vynechání Q()(je podmnožinou Q()) Q(d)(je podmnožinou Q(c)) dostneme optimální pokrytí: C(Q)=({p, q, r}, {r, s}). Počet stvů deterministického konečného utomtu ude: Q 2 Q() +2 Q(c) 2 2 Q() Q(c) ++ = = = Skutečný deterministický utomt ude mít nejvýše 9 stvů, protože stv p Q(). Deterministický konečný utomt je M =({p, q, pq, pr, qr, pqr, r, s, rs}, {,, c, d}, δ, p, {s, rs}), kde zorzení δ je dáno tulkou přechodů: c d p q pq q r r r pq qr pqr r pr pq pq rs s qr pr r rs s pqr pqr pqr rs s r p rs s s r rs p rs s 2

14 c c d p q r c c s Orázek.9: Nedeterministický konečný utomt z příkldu.6.3 Vyloučení ε přechodů Příkld.7 Je dán konečný utomt M=({,2,3,4,5,6,7}, {, }, δ,, {4,7}),kdezorzení δjezdánotulkou přechodů: ε Přechodový digrm tohoto utomtu je n or... Orázek.: Přechodový digrm konečného utomtu s ε přechody z příkldu.7 Provedeme odstrnění ε přechodů. ε CLOSURE()={,5}, ε CLOSURE(2)={2,6}, ε CLOSURE(3)={3,7}, ε CLOSURE(4)={4}, ε CLOSURE(5)={5}, 3

15 ε CLOSURE(6)={6}, ε CLOSURE(7)={7}, Výsledný konečný utomt ez ε přechodů M =({,2,3,4,5,6,7}, {, }, δ,, {3,4,7})mázorzení δ definováno tulkou přechodů: , Jeho přechodový digrm je n or Orázek.: Přechodový digrm konečného utomtu z příkldu.7 po odstrnění ε přechodů Příkld.8 Sestrojme konečný utomt, který přijímá řetězec x = všechny jeho neprázdnépřípony. M Suf =({A, B, C, D, E}, {, }, δ, A, {E}),kdezorzení δ je zdáno přechodovým digrmem n or..2. A B C D E Orázek.2: Přechodový digrm konečného utomtu z příkldu.8 ε přechody odstrníme: 4

16 ε CLOSURE(A)={A, B, C, D}, ε CLOSURE(X)={X},pro X {B, C, D, E}. Nedeterministický konečný utomt po odstrnění ε přechodů má přechodový digrm n or..3. Jeho deterministický ekvivlent je n or..4. A B C D E Orázek.3: Přechodový digrm nedeterministického konečného utomtu z příkldu.8 po odstrnění ε přechodů A B,E C D E C,D Orázek.4: Deterministický konečný utomt z příkldu.8 Příkld.9 Sestrojme konečný utomt, který přijímá množinu posloupností Su(). M Su =({A, B, C, D, E}, {, }, δ, A, {B, C, D, E}),kdezorzení δje zdáno přechodovým digrmem n or..5. A B C D E Orázek.5: Přechodový digrm konečného utomtu z příkldu.9 Tento utomt oshuje ε přechody v prvním kroku je odstrníme: ε CLOSURE(A)={A, B, C, D, E}, ε CLOSURE(B)={B, C, D, E}, ε CLOSURE(C)={C, D, E}, ε CLOSURE(D)={D, E}, ε CLOSURE(E)={E}. Výsledný nedeterministický konečný utomt má přechodový digrm n or..6. Jeho deterministický ekvivlent je n or..7. 5

17 A B C D E Orázek.6: Přechodový digrm nedeterministického konečného utomtu z příkldu.9 A B C,D D E Orázek.7: Přechodový digrm deterministického konečného utomtu z příkldu.9 Počáteční stv není koncový, protože prázdná posloupnost je triviální přípd. Viz definice.7..4 Konstrukce konečného utomtu pro zdný regulární výrz Konečný utomt můžeme pro zdný regulární výrz zkonstruovt několik způsoy. Příkld.2 V tomto příkldu uvedeme metodu zloženou n pojmu sousedů. Sestrojme konečnýutomtproregulárnívýrz V =(+) (+). Metod sousedů: V =( + 2 ) 3 4 ( ), Z= {, 2, 3 }, P= {, 2, 3, 2, 2 2, 2 3, 3 4, 4 5, 4 6, 5 5, 5 6, 6 5, 6 6 }, F= { 4, 5, 6 }. Počátečnístvutomtuude q,množinkoncovýchstvů Fprozorzení δ pltí: δ(q, x)oshuje x i provšechn x i Ztková,že x i vznikloočíslováním x, δ(x i, y)oshuje y j provšechnydvojice x i y j Ptkové,že y j vznikloočíslováním y. 6

18 Pro dný regulární výrz tedy sestrojíme konečný utomt M =({q,, 2, 3, 4, 5, 6 }, {, }, δ, q, { 4, 5, 6 }),kdezorzení δje definováno následující tulkou: δ q {, 3 } { 2 } {, 3 } { 2 } 2 {, 3 } { 2 } 3 { 4 } 4 { 5 } { 6 } 5 { 5 } { 6 } 6 { 5 } { 6 } Příkld.2 Dlší metod konstrukce konečného utomtu pro zdný regulární výrz je zložen n pojmu derivce regulárního výrzu. Regulární výrz V = (+) (+) všechnyjehoderivcederivujemepodlevšechsymolů ecedy. Q={V }, Q = {V } dv d =(+) (+) + (+) = V dv d =(+) (+) = V Q={V, V }, Q = {V } dv d =(+) (+) + (+) = V dv d =(+) (+) +(+) = V 2 Q={V, V, V 2 }, Q 2 = {V 2 } dv 2 d =(+) (+) + (+) +(+) = V 3 dv 2 d =(+) (+) +(+) = V 2 Q={V, V, V 2, V 3 }, Q 3 = {V 3 } dv 3 d =(+) (+) + (+) +(+) = V 3 dv 3 d =(+) (+) +(+) = V 2 Q={V, V, V 2, V 3 }, Q 4 = Množinu stvů konečného utomtu tvoří všechny výrzy vzniklé derivcí, množin koncových stvů je tvořen výrzy, jejichž hodnot oshuje ε,propřechodovoufunkci δpltí: δ( du dx, )= du d(x). Pro dný regulární výrz sestrojíme konečný utomt M 2 =({V, V, V 2, V 3 }, {, }, δ, {V 2, V 3 }),kdezorzení δjedefinovánotulkou přechodů: 7

19 δ V V V V V V 2 V 2 V 3 V 2 V 3 V 3 V 2 Ztétotulkypřechodůjezřejmé,žestvy V 2 V 3 jsouekvivlentníproto můžeme provést minimlizci. Přechodový digrm výsledného konečného utomtu je n or..8. Porovnejte tento utomt s utomtem z příkldu.2! V V V 2 V 3 Orázek.8: Deterministický konečný utomt pro regulární výrz V = (+) (+) zpříkldu.2 Příkld.22 Sestrojme regulární výrz, který popisuje řetězec x = všechny jeho neprázdné předpony: +++=(ε+(ε+(ε+))). Sestrojme konečný utomt metodou sousedů. V = (ε+ 2 (ε+ 3 (ε+ 4 ))) Z={ } P={ 2, 2 3, 3 4 } F={, 2, 3, 4 } Výsledný konečný utomt M =({q,, 2, 3, 4 }, {, }, δ, q, {, 2, 3, 4 }),kdezorzení δ je definováno přechodovým digrmem n or.9. q Orázek.9: Konečný utomt z příkldu.22 8

20 Výsledný konečný utomt je deterministický minimální. Pokud ychom použili jko vstup první tvr regulárního výrzu, dostneme nedeterministický konečný utomt. Zkuste jej sestrojit! Příkld.23 Sestrojme regulární výrz, který popisuje řetězec x = všechny jeho neprázdné přípony: +++=(((+ε)+ε)+ε). Sestrojme konečný utomt metodou sousedů: V =((( + ε) 2 + ε) 3 + ε) 4 Z={, 2, 3, 4 } P={ 2, 2 3, 3 4 } F={ 4 } Výsledný konečný utomt M=({q,, 2, 3, 4 }, {, }, δ, q, { 4 }),kdezorzení δjezdánopřechodovým digrmem n or..2. Výsledný utomt je nedeterministický. q Orázek.2: Konečný utomt z příkldu.23 Sestrojte ekvivlentní deterministický konečný utomt. Příkld.24 Sestrojme regulární výrz, který popisuje množinu F c(). První způso vychází z toho, že popisujeme předpony všech přípon: RV = (ε+(ε+(ε+))) + (ε+(ε+)) + (ε+) + Druhý způso je zložen n tom, že popisujeme přípony všech předpon: RV 2 = (((+ε)+ε)+ε) +((+ε)+ε) +(+ε) + 9

21 Dokžte ekvivlenci těchto dvou regulárních výrzů. Sestrojímekonečnýutomtproregulárnívýrz RV.Použijemetentopostup:. Vytvoříme konečné utomty pro jednotlivé lterntivy(viz příkld.22). 2. S výslednými utomty provedeme sjednocení. Po prvním kroku dostneme čtyři utomty s přechodovými digrmy n or..2. Ve druhém kroku provedeme operci sjednocení těchto utomtů q q q q 4 Orázek.2: Konečný utomt z příkldu.24 q q q q q 4 Orázek.22: Konečný utomt z příkldu.24 po provedení operce sjednocení tk,ževytvořímenovýpočátečnístv q zněhopovedou ε přechody 2

22 do počátečních stvů všech čtyř utomtů. Výsledný konečný utomt má přechodový digrm n or..22. Po provedené minimlizci počtu stvů má konečný utomt, který přijímá všechny fktory dného řetězce přechodový digrm n or..23. q Orázek.23: Konečný utomt z příkldu.23 po minimlizci počtu stvů Příkld.25 Sestrojme regulární výrz, který popisuje množinu Su(). RV =(+ε)(+ε)(+ε)(+ε) Sestrojímeutomty M M 2 přijímjícíjzyky L = h(+ε)l 2 = h( + ε). Jejich přechodové digrmy jsou n or ) M ) M 2 Orázek.24:Automty M M 2 zpříkldu.25 Dálesestrojímeutomtprozřetězeníjzyků L. L 2. L 2. L.Výsledný utomt M=({,2,3,4,5}, {, }, δ,, {5}),kdezorzení δjeznázorněno n or Orázek.25: Konečný utomt z příkldu.25 2

23 2 Konstrukce vyhledávcích utomtů pro sousměrné vyhledávání 2. Přesné přiližné vyhledávání jednoho vzorku Příkld 2. Sestrojme konečný utomt pro přesné vyhledávání vzorku. Aeced je {, }. Přechodový digrm nedeterministického konečného utomtu je nor.2.., Orázek 2.: Nedeterministický konečný utomt pro vyhledávání vzorku Tulk přechodů tohoto utomtu má tvr:, Tulk přechodů ekvivlentního deterministického konečného utomtu má tvr: Jeho přechodový digrm je n or Tento příkld ukzuje, že počet stvů deterministického konečného utomtu je stejný jko počet stvů ekvivlentního nedeterministického konečného utomtu. Toto pltí pro všechny utomty pro přesné vyhledávání jednoho vzorku. Totéž pltí pro utomty pro přesné vyhledávání konečného počtu vzorků. 22

24 Orázek 2.2: Deterministický konečný utomt pro vyhledávání vzorku Příkld 2.2 Sestrojme konečný utomt pro přiližné vyhledávání vzorku s Hmmingovouvzdáleností k=.aeced A={, }. Příkld 2.3 Sestrojme konečný utomt pro přiližné vyhledávání vzorku c s Hmmingovouvzdáleností k=2.aecedje A={,, c, d}.přechodovýdigrm nedeterministického utomtu je n or. 2.3.,,c,d c 2 3,c,d,c,d,,d 4 5 c 6,c,d,,d 7 c 8 Orázek 2.3: Nedeterministický konečný utomt pro vyhledávání vzorku c s Hmmingovou vzdáleností k = 2 Tulk přechodů tohoto utomtu má tvr: 23

25 c d,,4,4, Tulk přechodů deterministického konečného utomtu má tvr: c d Příkld 2.4 Sestrojme vyhledávcí utomt pro vyhledávání vzorku s Levenshteinovouvzdáleností k=.aeced A={, }.Přechodovýdigrmnedeterministického utomtu je n or Po vyloučení ε přechodů dostneme konečný utomt n or Tulk přechodů tohoto utomtu má tvr: 24

26 , 2 3,, Orázek 2.4: Nedeterministický konečný utomt pro vyhledávání vzorku Levenshteinovou vzdáleností, 2 3,, Orázek 2.5: Nedeterministický konečný utomt z příkldu 2.4 po vynechání ε přechodů,,4,5 4,5,6 4,2 2 5,3 5, Tulk přechodů deterministického konečného utomtu má tvr:

27 Přechodový digrm tohoto utomtu je n or Orázek 2.6: Přechodový digrm deterministického konečného utomtu z příkldu 2.4 Příkld 2.5 Sestrojme vyhledávcí utomt pro vyhledávání vzorku s rozšířenou Levenshteinovou vzdáleností k =. Aeced je A = {, }. Přechodový digrm nedeterministického utomtu je n or Po odstrnění ε, 2 3,, Orázek 2.7: Nedeterministický konečný utomt z příkldu 2.5 přechodů ude mít tento utomt přechodový digrm podle or

28 , 2 3,, Orázek 2.8: Nedeterministický konečný utomt po odstrnění ε přechodů Tulk přechodů tohoto utomtu má tvr:,,4,5,7 4,5,6,8 2,4 2 3,5 5, Tulk přechodů deterministického konečného utomtu má tvr: Přechodový digrm tohoto utomtu je n or

29 Orázek 2.9: Deterministický konečný utomt z příkldu Vyhledávání množiny vzorků Příkld 2.6 Sestrojme vyhledávcí utomt, který vyhledává všechny neprázdné podřetězcevzorku.přechodovýdigrmnedeterministickéhoutomtu M je n or. 2.. Po vyloučení ε přechodů ude mít přechodový digrm, Orázek2.:Nedeterministickýkonečnýutomt M zpříkldu2.6 utomtu M 2 tvrpodleor

30 , X Orázek2.:Nedeterministickýkonečnýutomt M 2 zpříkldu2.6po vyloučení ε přechodů Tulkpřechodůutomtu M 2 mátvr:,,8,5, X X Tulk přechodů ekvivlentního deterministického konečného utomtu M 3 mátvr: 29

31 8 5X X 259X 368 5X X 24579X 368 5X 5X 68 5X X 2579X 368 5X Přechodovýdigrmdeterministickéhokonečnéhoutomtu M 3 jeuveden n or Všechny stvy kromě počátečního jsou koncové stvy. Tento 8 259X X X 5X Orázek2.2:Deterministickýkonečnýutomt M 3 zpříkldu2.6 utomt vyhledává tuto množinu řetězců: L(M 3 )={,,,,,, }. Automt je homogenní utomt, protože množinu stvů Q můžeme rozložit n množiny: Q() = {8, 368, 68}, Q() = {259X, 24579X, 2579X, 5X}. Příkld 2.7 Sestrojme konečný utomt pro vyhledávání množiny vzorků P= {kjk, jk, kj, j, j}. Přechodový digrm nedeterministického konečného utomtu M je n or.2.3. Tulkpřechodůutomtu M mátvr: 3

32 ,j,k,x k j k j 6 7 k 8 k 9 A j B C j D E j F G Orázek 2.3: Přechodový digrm nedeterministického konečného utomtu M zpříkldu2.7 j k x, C,6, F,, A A B B C D D E E F G G Tulkpřechodůdeterministickéhoutomtu M 2 mátvr: 3

33 j k x C 6F 9 9 2AC 6F 9 2AC C 36BDF 9 36BDF 47CEG 6F 9 47CEG C 6DF AC 6F 9 6F 7CG 6F 9 6DF 7CEG 6F 9 7CG C 6DF 89 7ECG C 6DF 89 C C 6DF AC 6F 9 Přechodovýdigrmkonečnéhoutomtu M 2 jenor.2.4. k x k 9 2AC 36BDF 47CEG 589 k i k j j j j k k k 6F 7CG 89 j j j j j k C k j k 6DF k j k 7CEG Orázek2.4:Konečnýutomt M 2 zpříkldu2.7 Příkld 2.8 Sestrojme vyhledávcí utomt pro tuto kominovnou úlohu: Jedánmnožinvzorků P = {, }vyhledávánímáýtprovedeno přiližně s Hmmingovou vzdáleností k =. Tento utomt můžeme sestrojit tímto způsoem: Sestrojíme vyhledávcí utomt pro kždý vzorek pk provedeme sjednocenítěchtoutomtů.vyhledávcíutomt M posjednoceníudemít 32

34 2 6 A D B E C F, Orázek2.5:Vyhledávcíutomt M zpříkldu2.8 přechodový digrm n or Po vyloučení ε přechodů ude mít utomt M 2 přechodovýdigrmpodleor.2.6. Tulkpřechodůutomtu 2 6 A D B E C F, Orázek2.6:Vyhledávcíutomt M 2 zpříkldu2.8 M 2 mátvr: 33

35 ,2,6, A, D 2 B C 4 A B B C C 6 7 E 7 F 8 8 D E E F F Tulkpřechodůdeterministickéhoutomtu M 3 udemíttvr: 26 AD B 3ADE 267B 267BCF 38ADE 3ADE 246E ABCDF 267BCF 267BCF 38ADE 246E 267B 3ADEF 38ADE 246E ABCDF AD 26E ABD ABD 26CE ABD 26E 267B 3ADEF 3ADEF 246E ABCDF ABCDF 26CE ABD 26CE 267B 3ADEF Přechodovýdigrmutomtu M 3 jenor

36 26 267B 3ADE 267BCF 38ADE 246E ABCDF 267B AD 26E 3ADEF 26CE ABD Orázek2.7:Deterministickývyhledávcíutomt M 3 zpříkldu2.8 35

37 3 Fktorové, prefixové sufixové utomty 3. Zákldní pojmy Je litext T = xyz,pk x, y, z jsoufktorytextu T.Řetězec xjeprefixřetězec zjesufixtextu T.Je li xfktor(prefix,sufix)textu T,pk kždýřetězec ytkový,že D(x, y) k,je k přiližnýfktor(prefix,sufix) textu T. Vzdálenost D může ýt definován jko Hmmingov, Levenshteinov, zoecněná Levenshteinov, Iliopoulosov zoecněná Iliopoulosov. Fktorový(prefixový, sufixový) utomt je konečný utomt, který přijímá všechny fktory dného textu. Přiližný fktorový(prefixový, sufixový) utomt je konečný utomt, který přijímá přiližné fktory(prefixy, sufixy) dného textu. 3.2 Fktorové utomty Příkld 3. Sestrojme fktorový utomt pro text T = cd. Konstrukci utomtu F c(t) provedeme ve čtyřech krocích použijeme metodu zloženou n ε přechodech..vytvořímeutomt M,kterýpřijímávšechnypředponytextu T.Jeho přechodový digrm je n or. 3.. c d Orázek3.:Konečnýutomt M,kterýpřijímávšechnypředponytextu T= cd 2.Doutomtu M přidáme ε přechodyzpočátečníhostvudovšech stvůkroměposledního.výsledkemjeutomt M 2,jehožpřechodový digrmjenor.3.2. c d Orázek3.2:Konečnýutomt M 2 s ε přechody,kterýpřijímávšechny fktory textu T = cd 36

38 3.Zutomtu M 2 odstrníme ε přechodydostnemeutomt M 3,jehož přechodový digrm je n or Všimněme si, že tento utomt je nedeterministický. c d c d Orázek 3.3: Nedeterministický konečný utomt, který přijímá všechny fktorytextu T= cd 4.Nedeterministickýutomt M 3 převedemendeterministickýutomt M 4.Tulkypřechodůutomtů M 3 M 4 mjítvr: c d 2,3,5, Přechodovýdigrmutomtu M 4 jenor.3.4. c d d c 3 c d 7 c d c d 36 Orázek 3.4: Deterministický fktorový utomt, pro text T = cd 37

39 Příkld 3.2 Sestrojme fktorový utomt pro stejný text T = cd jko v příkldu 3.. V tomto přípdě použijeme postup zložený n konečném utomtu s více počátečními stvy. Vyjdemezutomtu M,jehožpřechodovýdigrmjenor.3..Tento utomt uprvíme tk, že počáteční stvy udou všechny stvy kromě posledního.přechodovýdigrmutomtu M 5 jenor.3.5. c d Orázek3.5:Konečnýutomt M 5 sesedmipočátečnímistvy,kterýpřijímá všechny fktory textu T = cd Automt M 5 převedemendeterministickýkonečnýutomt M 6 sjednímpočátečnímstvem.tulkpřechodůutomtu M 6 mátvr: c d Přisrovnánítulkypřechodůutomtu M 6 tulkypřechodůutomtu M 4 jezřejmé,žežnoznčenípočátečníhostvujsoustejné.přechodový digrmutomtu M 6 jenor.3.4. Příkld 3.3 Sestrojme fktorový utomt pro stejný text T = cd jko v příkldu 3.. V tomto přípdě použijeme postup zložený n pojmu množiny fktorů pomocí regulárního výrzu. Regulární výrz, který popisuje množinu F c(t) má tvr: 38

40 RV = (ε+(ε+(ε+c(ε+(ε+(ε+d)))))) + (ε+(ε+c(ε+(ε+(ε+d))))) + (ε+c(ε+(ε+(ε+d)))) + c(ε+(ε+(ε+d))) + (ε+(ε+d)) + (ε+d) + d Nejdříve vytvoříme utomty pro jednotlivé lterntivy. Tyto utomty mjí přechodové digrmy n or Dále provedeme sjednocení všech 2 3 c d c d c d c d d d d 7 6 Orázek 3.6: Konečné utomty pro jednotlivé lterntivy regulárního výrzu z příkldu 3.3 těchto utomtů. K tomu je tře všechny utomty doplnit n úplné utomty. Toto doplnění provedeme tk, že vytvoříme nulový stv. Do všech utomtů přidáme přechody ze všech stvů do nulového stvu pro všechny symoly, pro které přechody dosud neexistují. Nulový stv je uveden n or Výsledný utomt M po provedeném sjednocení všech utomtů je uveden n or Pro přehlednost neuvádíme v oznčení stvů nulový stv. Pokud v oznčení stvu chyí stv některého z utomtů, je tímto stvem nulový stv. Konečný utomt M můžeme minimlizovt. Ekvivlentní množiny stvůjsou {4,4,4 2,4 3 }, {5,5,5 2,5 3 }, {6,6,6 2,6 3 }, {7,7,7 2,7 3,7 4,7 5,7 6 }. 39

41 c c d d Orázek 3.7: Nulový stv z příkldu 3.3 c d 7 3 X 2 3 c d d c d 7 d 7 4 c d 7 2 d 7 5 Orázek 3.8: Konečný utomt M po sjednocení utomtů z or. 3.6, počátečnístv X= Po provedení této minimlizce dostneme utomt n or Příkld 3.4 Sestrojme přiližný fktorový utomt pro text T = c pro Hmmingovu vzdálenost k=.vtomtopřípděpoužijemepostup,kterýjepoužitvpříkldu 3.. Vprvnímkrokusestrojímeutomt M,kterýpřijímávšechnypřesné přiližnépředponytextu T.Jehopřechodovýdigrmjenor.3.9. Ve druhém kroku přidáme ε přechody z počátečního stvu do stvů,2,3. Výsledkemjekonečnýutomt M 2,jehožpřechodovýdigrmjenor.3.. Tento utomt přijímá všechny přesné přiližné fktory textu T = c. Vetřetímkrokuodstrnímezutomtu M 2 ε přechodydostnemenedeterministickýutomt M 3,jehožpřechodovýdigrmjenor.3..Ve čtvrtémposlednímkrokupřevedemenedeterministickýutomt M 3 n ekvivlentnídeterministickýutomt M 4.Tulkypřechodůutomtů M 3 M 4 mjítvr: 4

42 c 2 3 4,c,c,c, 2 3 c 4 Orázek3.9:Konečnýutomt M,kterýpřijímávšechnypřesnépřiližné předponytextu T= c,hmmingovvzdálenost k= c 2 3 4,c,c,c, 2 3 c 4 Orázek3.:Konečnýutomt M 2 s ε přechody,kterýpřijímávšechny přesnépřiližnéfktorytextu T= c,hmmingovvzdálenost k=,c c c 2 3 4,c,c, 2 3 4,c,c, c Orázek3.:Nedeterministickýkonečnýutomt M 3,kterýpřijímápřesné přiližnéfktorytextu T= c,hmmingovvzdálenost k= 4

43 c c Přechodový digrm deterministického konečného utomtu M 4 je n or c 43 c c 3 4 c c c c c 2 3 c c c 4, 4 Orázek3.2:Deterministickýpřiližnýfktorovýutomt M 4,protext T= c,hmmingovvzdálenost k= 42

44 3.3 Sufixové utomty Příkld 3.5 Sestrojme sufixový utomt pro text T =. Konstrukci utomtu provedeme n čtyřech krocích..vytvořímeutomt M,kterýpřijímátext T.Jehopřechodovýdigrmjenor Orázek3.3:Konečnýutomt M,kterýpřijímátext T= 2.Doutomtu M přidáme ε přechodyzpočátečníhostvudovšech stvůkroměposledního.výsledkemjeutomt M 2,jehožpřechodový digrm je n or Tento utomt přijímá všechny přípony textu T= Orázek3.4:Konečnýutomt M 2,kterýpřijímávšechnypříponytextu T= 3.Zutomtu M 2 odstrníme ε přechody.výsledkemjenedeterministickýutomt M 3,jehožpřechodovýdigrmjenor Orázek3.5:Konečnýutomt M 3 ez ε přechodů,kterýpřijímávšechny příponytextu T= 4. Posledním krokem je vytvoření deterministického konečného sufixovéhoutomtu M 4,kterýjeekvivlentníutomtu M 3.Přechodovétulkyutomtů M 3 M 4 mjítvruvedenýnor.3.6.přechodový digrmutomtu M 4 jenor

45 ) ) Orázek3.6:Přechodovétulkyutomtů) M 3 ) M 4 zpříkldu Orázek3.7:Sufixovýutomt M 4,kterýpřijímávšechnypříponytextu T=, Suf()={,,,, } 44

46 4 Hrnice, periody repetice 4. Zákldní pojmy Hrnice řetězce x A + je kždá neprázdná předpon řetězce x, která je součsně jeho příponou. Množin všech hrnic řetězce x je ord(x) = Pref(x) Suf(x).Mezihrnicemiřetězce xmázvláštnímístonejdelšíhrnice Border(x). Liovolnýřetězec x A + můžemezpstvetvru: x=u r v,kde v Pref(u). Délkuřetězce u, p= u,udemenzývtperiodouřetězce x, rjeexponent řetězce xujegenerátor x.meziperiodmiřetězce xmázvláštnímístonejkrtší period Per(x). Kždý řetězec x můžeme zpst v normálním tvru: x=u r v, kde p= u jenejkrtšíperiod(per(x)), rjetudížnejvětšíexponentv Pref(u). Řetězec x,jehožnejkrtšíperiodmádélkuceléhořetězce p= x,se nzývá primitivní řetězec. Pole hrnic β[..n] je vektor nejdelších hrnic všechneprázdnýchpředpon x[..i]řetězce xpro i=,2,...,n. 4.2 Hrnice periody Příkld 4. Njděme všechny hrnice řetězce x =. K tomu, ychom nšli všechny hrnice řetězce x, sestrojíme sufixový utomt pro řetězec x. Nedeterministický sufixový utomt je n or Orázek 4.: Nedeterministický sufixový utomt pro řetězec x = z příkldu 4. Tulky přechodů nedeterministického deterministického sufixového utomtu mjí tvr: 45

47 ,3,4,6,7 2,5, Přechodový digrm deterministického konečného sufixového utomtu je nor.4.2. Orázek 4.2: Deterministický sufixový utomt pro řetězec x = z příkldu 4. Anlýzou tohoto utomtu zejmén jeho koncových stvů zjistíme, že ord(x) = {, }. Nejdelší hrnice je Border(u) =. Všimněme si, že tto hrnice se v řetězci x překrývá. Příkld 4.2 Njděmevšechnyhrniceřetězce x= n. ord(x)={, 2,..., n }. Všimněmesi,žepro i (n+)/2sehrnice i, i+,..., n překrývjí Border(x) =. Příkld 4.3 Njděme periody řetězce x =. Řetězec x můžeme zpst tkto: x=() 2.Ztohoplyne,žeperiodyjsou p =3, p 2 =6,exponentyjsou r =2, r 2 =generátoryjsou u = u 2 =. Příkld 4.4 Njděmeperiodyřetězce x= n.řetězec xmůžemezpsttěmitozpůsoy: x= n x=( 2 ) n/2,když njesudé, x=( 2 ) n /2,když njeliché,. x= n Periodyřetězce xtedyjsou: p=,2,...,n.nejkrtšíperiod p=. 46

48 Příkld 4.5 Njděme periody řetězce x =. Zjistíme, že period tohoto řetězce p=9= u,cožznmená,žeřetězec xjeprimitivní. Příkld 4.6 Jezdánřetězec f 6 = (Fionncihořetězec f 6 ).Vytvořme polepředpon β[...3]protentořetězec. Nejdřívesestrojímeprořetězec f 6 nedeterministickýfktorovýutomt. Pk sestrojíme tu část deterministického fktorového utomtu, ve které se vyskytují stvy složené z více než jednoho stvu nedeterministického utomtu.výsledekjenor BC 257AD 368B 49C 5AD 6B 7 Orázek4.3:Částdeterministickéhofktorovéhoutomtuprořetězec f 6 z příkldu 4.6, symoly A,B,C,D předstvují čísl,,2,3 Anlýzou množin stvů, které tvoří stvy deterministického utomtu, směrem zprv dolev nlezneme hodnotu jednotlivých prvků pole přípon β. Celý postup je uveden v následující tulce(písmen A,B,C,D v oznčení stvůznmenjípozice,,2,3vřetězci f 6 ): Anlyzovný stv Hodnoty prvků pole hrnic 6B β[]=6 5AD β[]=5, β[3]=5 49C β[9]=4, β[2]=4 368B β[6]=3, β[8]=3 β[] je už definováno 257AD β[5]=2, β[7]=2 β[]β[3]jeuždefinováno 34689BC β[3]=, β[4]= osttní hodnoty jsou již definovány Výsledné pole přípon β je uvedeno v následující tulce: Pořdí Symol β Npozicích2jsounuly,protožeřetězce mjíhrnicedélky. 47

49 4.3 Přesné repetice Příkld 4.7 Njděme repetice v řetězci x = cc. Nedeterministický fktorový utomt pro x má přechodový digrm uvedený n or c c c c Orázek 4.4: Nedeterministický fktorový utomt pro x = cc Přechodové tulky nedeterministického deterministického fktorového utomtu mjí tvr: c,4,5 2,6 3, c Přechodový digrm deterministického fktorového utomtu je uveden n or Redukovná tulk repetic má tvr: c c c Orázek 4.5: Deterministický fktorový utomt pro x = cc D-suset Fktor První výstyt Repetice 45 (4, G),(5, G) 26 2 (6, G) 37 c 3 (7, G) 48

50 Ztétotulkyjevidět,ževšechnyrepeticejsousmezeroužezákldní opkující se fktor je r = c. Všechny osttní opkující se fktory jsou fktory r. Příkld 4.8 Njděme repetice v řetězci x = cc. Nedeterministický fktorový utomt pro x má přechodový digrm uvedenýnor.4.6. c c c c Orázek 4.6: Nedeterministický fktorový utomt pro x = cc Přechodové tulky nedeterministického deterministického fktorového utomtu mjí tvr: c,4 2,5 3, c Přechodový digrm deterministického fktorového utomtu je n or Redukovná tulk repetic má tvr: c c c Orázek 4.7: Přechodový digrm deterministického fktorového utomtu pro x=cc D-suset Fktor První výskyt Repetice 4 (4, G) 25 2 (5, G) 36 c 3 (6, S) 49

51 Z této tulky je vidět, že všechny repetice jsou s mezerou, kromě repetice zákldníhofktoru r=c.fktor cseopkujejkočtverecx=(c) 2. Příkld 4.9 Njděme repetice v řetězci x =. Nedeterministický fktorový utomt pro x má přechodový digrm n or Orázek 4.8: Nedeterministický fktorový utomt pro řetězec x = Přechodové tulky nedeterministického deterministického fktorového utomtu mjí tvr:,3,5 2, Přechodový digrm deterministického fktorového utomtu je n or Orázek 4.9: Přechodový digrm deterministického fktorového utomtu pro x= Redukovná tulk repetic má tvr: D-suset Fktor První výskyt Repetice 35 (3, G),(5, G) 24 2 (4, S) 35 3 (5, O) Ztétotulkyjevidět,ževřetězci x=jsouvšechnydruhyrepetic: se opkuje s mezerou, 5

52 () 2 ječtverec, se opkuje s překrytím. Zákldníopkujícísefktorje r=. V dlších příkldech ukážeme typy řetězců, ve kterých je velký počet repetic. Příkld 4. Njděmerepeticevřetězci x== 6.Nedeterministickýfktorový utomt pro x má přechodový digrm n or Orázek4.:Nedeterministickýfktorovýutomtprořetězec x= 6 Přechodové tulky deterministického nedeterministického fktorového utomtu mjí tvr:,2,3,4,5, Přechodový digrm deterministického fktorového utomtu je n or Orázek4.:Přechodovýdigrmfktorovéhoutomtupro x= 6 Redukovná tulk repetic má tvr: D-suset Fktor První výskyt Repetice (2, S),(3, G),(4, G),(5, G),(6, G) (3, O),(4, S),(5, G),(6, G) (4, O),(5, O),(6, S) (5, O),(6, O) 56 5 (6, O) 5

53 Ztulkyjevidět,ževřetězci x= 6 jsouvšechnydruhyrepetic.dokonce sezdevyskytuje krychle () 3.Zákldníopkujícísefktorje r= 5. Příkld 4. Njděmerepeticevřetězci x==() 3.Nedeterministickýfktorový utomt pro x má přechodový digrm n or Orázek4.2:Nedeterministickýfktorovýutomtprořetězec x=() 3 Přechodové tulky deterministického nedeterministického fktorového utomtu mjí tvr:,3,5 2,4, Přechodový digrm deterministického fktorového utomtu je n or Orázek4.3:Přechodovýdigrmfktorovéhoutomtupro x=() 3 Redukovná tulk repetic má tvr: D-suset Fktor První výskyt Repetice 35 (3, G),(5, G) (4, S),(6, G) 35 3 (5, O) 46 4 (6, O) 52

54 Ztulkyjevidět,ževřetězci x=() 3 jsouvšechnydruhyrepetic.sám řetězec x je krychle. Zákldní opkující se fktor je r =. Příkld 4.2 Njděme repetice v řetězci x =. Tento řetězec je Fioncciho řetězec f 5.Nedeterministickýfktorovýutomtpro xmápřechodovýdigrm n or Orázek4.4:Nedeterministickýfktorovýutomtprořetězec x=f 5 Přechodové tulky deterministického nedeterministického fktorového utomtu mjí tvr:,3,4,6,8 2,5, Přechodový digrm deterministického fktorového utomtu je n or Orázek4.5:Přechodovýdigrmfktorovéhoutomtupro x=f 5 Redukovná tulk repetic má tvr: 53

55 D-suset Fktor První výskyt Repetice 3468 (3, G),(4, G),(6, G),(8, G) (5, G),(7, G) (6, S),(8, G) Ztulkyjevidět,žesevřetězci f 5 vyskytujírepeticesmezeroučtverec. Zákldníopkujícísefktorje r=. Příkld 4.3 Njděme repetice v množině řetězců X= {, }={f 5,() 3 } (viz příkldy ). Dále njděte nejdelší společný fktor oou řetězců. Nedeterministický fktorový utomt pro X má přechodový digrm n or Přechodová tulk nedeterministického fktorového utomtu Orázek 4.6: Přechodový digrm nedeterministického fktorového utomtuprořetězcezmnožiny X= {f 5,() 3 } má tvr: 54

56 ,3,4,6,8,,3,5 2,5,7,2,4, Část přechodové tulky deterministického fktorového utomtu(oshuje jen řádky pro netriviální podmnožiny) má tvr: Odpovídjící část přechodového digrmu je n or Orázek 4.7: Část přechodového digrmu deterministického fktorového utomtupromnožinu X= {f 5,() 3 } Zutomtunor.4.7jezřejmé,ženejdelšíspolečnýfktoroouřetězcůje LCF(f 5,() 3 )=.Ttoskutečnostjeindikovánmnožinou 85.Všechnyfktoryřetězce LCF(f 5,() 3 )jsoutkéspolečnéfktoryoou řetězců. 55

57 D suset Fktor První výskyty Repetice , (3, G),(4, S),(6, G),(8, G),(3, G),(5, G) ,2 (5, G),(7, G),(4, G),(6, G) ,2 (5, G),(7, S),(4, S),(6, S) ,3 (6, G),(8, S),(5, S) ,3 (6, S),(8, O),(5, O) ,4 (6, O ) ,4 (6, O ) 85 8,5 85 8,5 4.4 Přiližné repetice Příkld 4.4 Njděme přesné přiližné repetice v řetězci x = cd, s Hmmingovou vzdáleností k =. Přechodový digrm nedeterministického přiližného fktorového utomtu je n or Přechodová tulk tohoto utomtu,c,d c d c d ,c,d,,d,c,d,c,d,,c 2 c d 6,c,d,,d,c,d,c,d,,c Orázek 4.8: Přechodový digrm nedeterministického přiližného fktorovéhoutomtupro X= cd,hmmingovvzdálenost k= má tvr: 56

58 c d,4,2,3,5,6 2,5,,3,4,6 3,,2,4,5,6 6,,2,3,4, Při determinizci tohoto utomtu je zjímvá pro nlezení všech přesných přiližných repetic jen t část utomtu, která oshuje stvy tvořené množinmi: - oshujícími více stvů z hldiny (přesné repetice), -oshujícímijkstvyzhldiny,tkstvyzhldiny(přiližné repetice). Zjímvá část tulky přechodů deterministického utomtu má tvr: c d,4,2,3,5,6 2,5,,3,4,6 3,,2,4,5,6 6,,2,3,4,5,4,2,3,5,6 2,4,5 2,5 2,3,5 2,5,6 2,5,,3,4,6 3,4,6 2,3,5,6 3,6 6,3 3,,2,4,5,6 4 2,4,5 3,4 4,6 6,,2,3,4,5 4 2, ,5 3,6 3,6 3,6 6,3 3, ,3 4 N or. 4.9 je uveden část přechodového digrmu tohoto deterministického utomtu. Redukovná tulk repetic má tvr: D-suset Fktor První výskyt Repetice 2,5 2 (5, G, ) 3,6 c 3 (6, S, ) 6,3 d 6 (3, S,) 57

59 2,5,,3,4,6,4,2,3,5,6 2,5 c c 3,6 d 6,3 d Orázek 4.9: Zjímvá část deterministického přiližného fktorového utomtuprořetězec X= cd,hmmingovvzdálenost k= 58

60 5 Simulce nedeterministických konečných utomtů filfunkce V této kpitole uvedeme několik příkldů KM P AC vyhledávcích utomtů, které předstvují simulátory nedeterministických konečných utomtů pro přesné vyhledávání jednoho vzorku neo konečné množiny vzorků. Dále uvedeme použití této metody pro přiližné vyhledávání vzorku. 5. KM P vyhledávcí utomty Příkld 5. Sestrojme KM P vyhledávcí utomt pro vzorek P =. Přechodový digrm tohoto utomtu s fil funkcí f je n or. 5.. Přechodový digrm téhož utomtu s optimlizovnou fil funkcí h je n or Porovnejte tento utomt s utomtem z příkldu 2.. A-{} fil f Orázek5.: KMPvyhledávcíutomt, P=,filfunkce f A-{} fil h Orázek5.2: KMPvyhledávcíutomt, P=,filfunkce h Příkld 5.2 Sestrojme KMP vyhledávcíutomtprovzorek P = ppppp(pět p).digrm KMPvyhledávcíhoutomtujenor.5.3.Ntomtoorázkuje rozlišenfilfunkce ffilfunkce h. 59

61 A-{p} p p p p p p pp ppp pppp ppppp fil f fil h Orázek5.3: KMPvyhledávcíutomt, P= ppppp Příkld 5.3 Sestrojme KM P vyhledávcí utomt pro vzorek P = lll. Digrm tohoto utomtu je n or A - {} l l l fil f fil h Orázek 5.4: KM P vyhledávcí utomt, P = lll 5.2 AC vyhledávcí utomty Příkld 5.4 Sestrojme AC vyhledávcí utomt pro vyhledávání množiny vzorků P = {, }.Digrmtohotoutomtujenor.5.5. Filfunkce hje uvedenjenvpřípdě,žeselišíodfilfunkce f. Příkld 5.5 Sestrojme AC vyhledávcí utomt pro vyhledávání množiny vzorků P = {k, ok, rok, rok, orok}. Digrm tohoto utomtu je n or Fil funkce hjeuvedenjenvpřípdě,žeselišíodfilfunkce f. 6

62 A - {,} fil f fil h Orázek 5.5: AC vyhledávcí utomt pro množinu vzorků P = {, } o ro k rok r r A-{,o,k,r} r r o ro k rok o r o k o o or oro orok k k k ok fil f fil h Orázek 5.6: AC vyhledávcí utomt pro množinu vzorků P= {k, ok, rok, rok, orok} 6

63 Pro text T = o rok oroky projde tento utomt touto posloupností stvů: o ε o o ε r o k ε r ro rok ok k ε o r o ε o o or oro k orok rok rok ok k ε y ε Nlezené prvky množiny vzorků P jsou podtrženy. Příkld 5.6 Sestrojme AC vyhledávcí utomt pro vyhledávání množiny vzorků P = {hers, he, his, she}.digrmtohotoutomtujenor.5.7. Filfunkce h r e he r her s hers A-{h,s} h h i hi s his s s h sh e she Orázek 5.7: AC vyhledávcí utomt pro množinu vzorků P= {hers, he, his, she} jevtomtopřípděstejnájkofilfunkce f.protext T= resherscheprojde tento utomt touto posloupností stvů: ε r ε e ε s s h sh e she he r s her hers s ε c ε h h e he Nlezené prvky množiny vzorků jsou podtrženy. 5.3 Přiližné vyhledávcí utomty fil funkce Příkld 5.7 Je dán řetězec nd ecedou {, }. Sestrojme nedeterministický vyhledávcí utomt pro jeho přiližné vyhledávání s Hmmingovou vzdáleností. Jeho tulk přechodů má tvr: 62

64 , Přechodový digrm je n orázku 5.8. Dále sestrojíme tulku fil funkce:, Orázek 5.8: Nedeterministický utomt z příkldu 5.7 ε Všimněme si, že fil funkci je tře definovt jen pro stvy 4,,2,3,4. To je dáno tím, že v osttních stvech jsou možné přechody pro všechny symoly ecedy. V záhlví této tulky jsou uvedeny řetězce, pro které se utomt dopříslušnéhostvumůžedosttzpočátečníhostvu.symolem je oddělen přípon, která odpovídá stvu, do kterého fil funkce vede. N or. 5. je uveden původní vyhledávcí utomt ez počáteční smyčky s doplněnou fil funkcí. Dále je u stvů,2,3,4 doplněn seznm řetězců, pro které se utomt může dostt do příslušného stvu. Aychommohlipochopitdlšísouvislosti,sestrojíme přiližný fktorový utomt pro řetězec Hmingovu vzdálenost. Přechodový digrm tohoto utomtu s ε přechody je n or Přiližný fktorový utomt po eliminci ε přechodů je n or. 5.. Tulk přechodů tohoto utomtu 63

65 Orázek5.9: Přiližný fktorovýutomtsε přechodyzpříkldu5.7 má tvr: Deterministický přiližný fktorový utomt má přechodový digrm n or Jeho tulk přechodů má tvr:

66 Orázek5.: Přiližný fktorovýutomtzpříkldu5.7poodstrnění ε přechodů Orázek 5.: Hmmingův utomt s doplněnou fil funkcí z příkldu

67 Orázek 5.2: Deterministický přiližný fktorový utomt pro řetězec s Hmingovou vzdáleností rovnou z příkldu

68 6 Simulce nedeterministických konečných utomtů dynmické progrmování itový prlelismus 6. Dynmické progrmování Při simulci nedeterministického konečného utomtu pomocí dynmického progrmovánívytvářímemtici Dorozměrech(m+) (n+),kde m jedélkvzorkunjedélkvstupníhořetězce.vkždémkrokusimulce počítáme jeden sloupec mtice, v němž kždá jeho hodnot odpovídá hldině nejvyššího ktivního stvu v odpovídjící hlouce utomtu. Příkld 6. Mějme vzorek P = text T =. Nedeterministický utomt pro přesné vyhledávání vzorku P je zkonstruován v příkldu 2.. Tento utomt udeme simulovt pro text T pomocí dynmického progrmování. Prvky d ji mtice Dorozměrech( P +) ( T +)udemepočíttpodle vzorce. d j, =, < j m, d,i =, < i n, d j,i =if t i = p j then d j,i else < i n, < j m. () N zčátku simulce je ktivní pouze počáteční stv. Po kždém kroku simulce, t.j. po výpočtu jednoho sloupce mtice, jsou ktivní stvy ty, jimž odpovídjí prvky s nulovými hodnotmi ve vypočteném sloupci. Npříkld pro sloupec s hodnotmi,,,, pltí, že ktivní stvy jsou,,3, což znmená, že právě yly nlezeny předpony vzorku. Jestliže je ktivním stvem stv 4, pk to signlizuje nlezení vzorku. Výsledná mtice D je uveden vtulce6..vzorekylnlezennpozicích5(d 4,5 =)(d 4, =). D Tulk 6.: Simulce N KA pro přesné vyhledávání vzorku P = v textu 67

69 Příkld 6.2 Mějme vzorek P = dc text T = dccdc. Zkonstruujme nedeterministický konečný utomt pro přiližné vyhledávání vzorku P pro Hmmingovu vzdálenost s mximálně k = 3 záměnmi. Jeho přechodový digrm je n orázku 6.. Dále udeme simulovt tento utomt nd textem T pomocí dynmického progrmování. Orázek 6.: Konečný utomt z příkldu 6.2 Prosimulciudemepoužívtmtici Dorozměrech( P +) ( T +). Kždýprvek d j,i mticesepočítápodlevzorce2. d j, k+, < j m d,i, i n d j,i if t i = p j then d j,i else d j,i +, < i n, < j m (2) N zčátku simulce je ktivní pouze počáteční stv, proto všechny vektory pro hlouky j, < j m nstvíme hldinu nejvyššího ktivního stvu n k+.člen d j,i vevzorci2reprezentujepřechodmtch,kdyvstupní symol t i odpovídásoučsnémusymoluvzorku p j.vtomtopřípděse v následující hlouce utomtu stne nejvyšším ktivním stvem stv n hldině d j,i.vpřípdě,že t i p j,sepoužijepřechodreplcereprezentovnýčlenem d j,i +.Zdesezvýšípočetchytudížsenejvyšším ktivnímstvemvnásledujícíhloucestnestvnhldině d j,i +. Výslednámtice Djepkukázánvtulce6.2. Vtulcesevyskytujíihodnotyvětšínež k=3.tkovéhodnotylze nhrdit jednou hodnotou k +. Můžeme tím dosáhnout menších pmě- 68

70 D - d c c d c - 4 d c Tulk 6.2: Simulce NKA pro přiližné vyhledávání s k = 3 záměnmi, vzorek P = dc text T = dccdc ťových nároků n reprezentci čísel mtice D, neoť pk potřeujeme jen log 2 (k+) itůnjedenprvekmtice. Změňtevzorec2tk,ynejvyššíhodnotyl k+! Příkld 6.3 Mějme vzorek P = dc text T = dccdc. Zkonstruujme nedeterministický konečný utomt pro přiližné vyhledávání vzorku P pro Levenshteinovu vzdálenost s mximálně k = 3 chymi. Jeho přechodový digrm je n orázku 6.2. Dále udeme simulovt tento utomt nd textem T pomocí dynmického progrmování. Orázek 6.2: Konečný utomt z příkldu 6.3 Prosimulciudemepoužívtmtici Dorozměrech( P +) ( T +), 69

71 kterou udeme konstruovt pomocí vzorce 3. d j, j, j m, d,i, i n, d j,i min(if t i = p j then d j,i else d j,i +, if j < mthen d j,i +, d j,i +), < i n, < j m. (3) N zčátku simulce je ktivní pouze počáteční stv všechny stvy, do kterých se lze dostt pomocí ε-přechodů(tzn. stvy z ε-uzávěru vytvořeného ndpočátečnímstvem).protovšechnyvektoryprohlouky j, j m, nstvíme hldinu nejvyššího ktivního stvu n j. Člen d j,i vevzorci3reprezentujepřechodmtch,člen d j,i + reprezentujepřechodreplce.člen d j,i +reprezentujepřechodinsert, kdy ktivní stv přechází v rámci jedné hlouky do hldiny s vyšším počtem chy.člen d j,i +pkreprezentujepřechoddelete,kdyktivnístvpřechází při přechodu z jedné hlouky do následující z jedné hldiny do hldiny svyššímpočtemchy,tovšeezčtenívstupníhosymolu(tzn.index i jko ukztel v textu se nemění). Výsledná mtice je pk ukázán v tulce 6.3. D - d c c d c - d c Tulk 6.3: Simulce NKA pro přiližné vyhledávání s k = 3 chymi, vzorek P = dc text T = dccdc Příkld 6.4 Mějme vzorek P = dc text T = dccdc. Zkonstruujme nedeterministický konečný utomt pro přiližné vyhledávání vzorku P pro zoecněnou Levenshteinovu vzdálenost s mximálně k = 3 chymi. Jeho přechodový digrm je n orázku 6.3. Dále udeme simulovt tento utomt nd textem T pomocí dynmického progrmování. Prosimulciudemepoužívtmtici Dorozměrech( P +) ( T +), kterou udeme konstruovt pomocí vzorce 4. 7