Jak zpřesnit HMM? Pomocí přesnější výstupní pravděpodobnostní funkce. Až dosud uvažováno klasické gaussovské rozložení

Transkript

1 Pkrčilé metdy rzpznávánířeči Přednáška 6 Zpřes esňvání akustickéh mdelu, vyhdncvání úspěšnsti

2 Jak zpřesnit HMM? Pmcí přesnější výstupní pravděpdbnstní funkce a 11 a 22 a S-1S-1 a SS Q 1 a 12 a Q S-1 Q 2 a S-1S Q S b 1 b 2 b S-1 b S Až dsud uvažván klasické gaussvské rzlžení bs ( x) = (2π ) 1 P det Σ s.exp[ 1 2 ( x x s ) T Σ 1 s ( x x s )] Nyní h nahradíme vícemdálním gaussvským rzlžením (vážená směs dílčích gaussvských rzlžení) b s M 1 1 T ( x) = csm.exp[ ( x x P sm) 1 2 Σ sm( x xsm)] m= 1 ( 2π ) det Σ sm

3 Princip vícemdálníh rzlžen ení Data, z nichž se určují parametry gaussvskéh rzlžení (µ a σ), jsu čast uspřádána ve shlucích. Přesnější ppis rzlžení dat pak dstaneme, když každý datvý shluk reprezentujeme vlastní gaussvku a tyt gaussvky pak lineárně zkmbinujeme. Příklad data v dvurzměrném (dvupříznakvém) prstru

4 HMM s multimdáln lním gauss. rzlžen ením Směs gaussvek se v literatuře čast značuje jak GMM Gaussian Mixture Mdel a pr jedntlivé slžky se pužívá hvrvý termín mixtura. Při trénvání je nvě nutné určvat také c sm b s M 1 1 T ( x) = csm.exp[ ( x x P sm) 1 2 Σ sm( x xsm)] m= 1 ( 2π ) det Σ sm 1-mixture mdel 3-mixture mdel

5 Trénv nvání HMM s GMM v HTK (1) Všechny trénvací rutiny v HTK umžňují trénvat vícemixturvé HMM. Vhdný pstup: 1. Natrénvat jednmixturvé mdely 2. Zvýšit pčet pžadvaných mixtur na dvjnásbek. 3. Něklika iteracemi natrénvat nvý mdel s daným pčtem mixtur. 4. Pkračvat až d pžadvanéh pčtu mixtur. Pzn. Vhdný pčet mixtur závisí na mnžství trénvacích dat. Při malém mnžství dat nemusí být pžadvaný pčet mixtur u některéh stavu natrénván a zárveň mdely nemusí být lepší.

6 Trénv nvání HMM s GMM v HTK (2) Knkrétní pstup: Využití prgramu HHEd (editr subrů, zejména label subrů) Příklad: editr vezme stávající mdely v adresáři mn a v adresáři multi/mn2.0 připraví nvé mdely tím, že rzdělí každu stávající mixturu na 2 HHEd -H mn/hmmdefs -M multi/mn2.0 cm2mix mnphnes.lst Subr cm2mix vypadá následvně MU 2 {*.state[2-4].mix} V dalším krku HHEd -H multi/mn2.2/hmmdefs -M multi/mn4.0 cm4mix mnphnes.lst cm4mix MU 4 {*.state[2-4].mix}

7 Trénv nvání HMM s GMM v HTK (3) Příklad jednduché dávky na trénvání až d 4 mixtur HHEd -H mn/hmmdefs -M multi/mn2.0 cm2mix mnphnes.lst HERest -C cnfig -I lab.mlf -S data.lst -H multi/mn2.0/hmmdefs -M multi/mn2.1 mnphnes.lst HERest -C cnfig -I lab.mlf -S data.lst -H multi/mn2.1/hmmdefs -M multi/mn2.2 mnphnes.lst HHEd -H multi/mn2.2/hmmdefs -M multi/mn4.0 cm4mix mnphnes.lst HERest -C cnfig -I lab.mlf -S data.lst -H multi/mn4.0/hmmdefs -M multi/mn4.1 mnphnes.lst HERest -C cnfig -I lab.mlf -S data.lst -H multi/mn4.1/hmmdefs -M multi/mn4.2 mnphnes.lst U závěrečnéh mdelu se vyplatí prvést pět více iterací.

8 Vyhdncvání rzpznávánířeči i (1) V případě rzpznávání izlvaných slv je vyhdncvání jednduché: Crrectnes s = H N.100% H. pčet správně rzp. slv, N. pčet všech testvaných slv V případě rzpznávání sekvencí slv je vyhdncvání slžitější: Příklad: řečen: Zavlám k vám zítra dpledne (5 slv) rzpznán Zavlám nám zítra d pledne (5 slv) H D S H I S H. (hit) správně rzpznán, S. (substituce) nesprávně rzpznán D (delece) vynechán, I.. (inzerce) vlžen

9 Vyhdncvání rzpznávánířeči i (2) Při rzpznávání sekvencí slv se pužívají dvě míry: H Crrectnes s =.100% N H I Accuracy =.100% N Druhá míra je bjektivnější, přísnější a za určitých pdmínek může být < 0. Jak zjistit hdnty H, S, D, I? Metda minimální editační chyby (MEE) bdba DTW hledá se cesta s nejmenší pčtem prav - Levenshteinva vzdálenst - před aplikací metdy MEE je třeba stanvit cenu chyb typu S, D, I (v HTK )

10 Prgram HResult: Vyhdncvání v HTK (1) Vezme výsledky rzpznávače (nahrávku p nahrávce) a prvná je s referenčními (pžadvanými) přepisy. Příklad výpisu: Uvádí pčet správně rzpznaných vět (věta = sekvence slv v jednm subru) a pčet správně rzpznaných slv (Crrectness a Accuracy)

11 Pužití prgramu HResult: Vyhdncvání v HTK (2) 1) Nahrají se testvací nahrávky a ke každé se připraví subr s referenčním přepisem (implicitně *.lab) 2) Vytvří se jeden velký referenční subr přes všechny nahrávky ve frmátu MLF (refer.mlf) 3) Prvede se rzpznávání všech testvacích nahrávek pmcí HVite (pmcí S se specifikuje seznam subrů) 4) Výstupní subr z rzpznávání (result.mlf) se prvná s referenčním subrem HResults -C cnfig -I refer.mlf mnphnes result.mlf #!MLF!# test1.lab" nula šest pět. test2.lab" pět tři devět.

12 Výsledky rzpznávání (slvník k 413k) TEXT: ŘDS připravil nvý plán na dstavbu dálnic ASR: Řada sil připravil nvý plán na dstavbu dálnic ( 71.43) [H= 6, D= 0, S= 1, I= 1, N= 7, (OOV= 1)] TEXT: Desítky plicistů, dbrvlníků, myslivců i hasičů hledá d sbty 74letu Janu Šlcvu. ASR: Desítky plicistů dbrvlníků myslivců hasičů hledá d sbty sedmdesáti čtyř let Tuš Janu Šulcvu ( 50.00) [H= 9, D= 1, S= 2, I= 3, N= 12, (OOV= 2) TEXT: titul mladéh génia se utká přes dvacet tisíc zájemců. ASR: O titul mladéh genia se utká přes dvacet tisíc zájemců ( 90.00) [H= 9, D= 0, S= 1, I= 0, N= 10, (OOV= 1)] TEXT: Skutečně bych rád vyplnil mezeru ve svém vzdělání ASR: Skutečně rád bych vyplnil mezeru ve svém vzdělání ( 62.50) [H= 6, D= 1, S= 1, I= 1, N= 8, (OOV= 1)]

13 D příšp íštíh týdne Připravit si: Každý si připraví 40 testvacích nahrávek V každé nahrávce bude libvlná sekvence číslvek 0 až 9. U každé nahrávky bude *.lab subr Dále bude existvat refer.mlf Dma si každý prvede testy s různými mdely (a různým pčtem mixtur, d různých mluvčích)