Pokročil. Vyučující: Prof. Ing. Jan Nouza, CSc., ITE

Rozměr: px

Začít zobrazení ze stránky:

Download "Pokročil. Vyučující: Prof. Ing. Jan Nouza, CSc., ITE"

Ladislav Beran
před 7 lety
Počet zobrazení:

1 Pokročil ilé metody rozpoznávánířeči Vyučující: Prof. Ing. Jan Nouza, CSc., ITE Cíl předmětu: Seznámit se s nejmodernějšími metodami rozpoznávánířeči s využitím modulové stavebnice HTK (Hidden Model Markov Toolkit) a prakticky si vyzkoušet celý návrh systému pro rozpoznávánířeči Forma výuky: Předchozí znalosti: a) Přednášky b) cvičení většinou domácí práce (jinak A8) c) malý závěrečný projekt Nutnost předchozího absolvování PZR Literatura: I. Nouza J. (editor): Počítačové zpracovánířeči. TUL Liberec II. Psutka J., Müller L., Matoušek J., Radová V.: Mluvíme s počítačem česky. Academia Praha, 2006 III. Huang X., Acero A., Hon H.-W.: Spoken Language Processing. A Guide to Theory, Algorithm and System Development. Prentice Hall. New Jersey 2001 IV. HTK book V. Přednášky na webu:

2 Obsah předmp edmětu 1. Problémy a výzvy moderního počítačového rozpoznávánířeči. 2. Fonémově orientované rozpoznávání. Nástroj G2P. 3. Principy a metody parametrizace řečového signálu, kepstrum a kepstrální příznaky 4. Skryté markovské modely (HMM), nástroj HTK, trénování a testování. 5. Trénování fonémových modelů, tvorba trénovací databáze. 6. Využití HMM pro rozpoznávání slov a sekvence slov. Viterbiho dekodér. 7. Gramatiky. Pravděpodobnostní jazykový model pro rozpoznávánířeči a jeho tvorba. 8. Metody dalšího zlepšování úspěšnosti systémů rozpoznávání řeči. 9. Neuronové sítě, nástroj Kaldi. 10. Základy rozpoznávání mluvčího Práce na samostatném projektu.

3 Předchozí znalosti IWR a metoda DTW Recognised word (or its index) Word Templates or Models Lexicon Classification x 1, x 2,.. x f... x F Feature vectors Parameterization Separated speech Endpoint detection Segmented signal Segmentation Microphone Sampled signal Acoustic signal A/D conversion

4 Metoda DTW pro a proti Výhody DTW: snadno pochopitelná metoda snadná příprava systému (stačí pouze nahrát referenci pro každé slovo) snadná implementace i na nevýkonném HW (např. embedded systems) Nevýhody: reference jsou závislé na mluvčím (SD) SI system vyžaduje reference od mnoha osob každé slovo ve slovníku musí být předem nahráno (nelze přidávat nová slova pouze tím, že bychom je napsali a vložili do seznamu) SI systém s velkým slovníkem by zákonitě byl příliš pomalý (smyčky pro každé slovo, pro každou jeho referenci, pro každý frame) Řešení: místo referencí - modely slov HMM

5 Od DTW k HMM Metoda HMM (Hidden Markov Model skryté Markovovy modely) reprezentuje slovo stavovým modelem s pravděpodobnostními parametry Typická struktura slovního HMM takzvaný levo-pravý model a 11 a 22 a S-1S-1 a SS Q 1 a Q 2 a 23 Q S-1 a S-1S Q S b 1 b 2 b S-1 b S Q s... stavy (šipky naznačují možné přechody mezi nimi) a ij... přechodová pravděpodobnost pravděpodobnost, že (v aktuálním framu) model přejde ze stavu i do stavu j b s (x)...výstupní pravděpodobnostní rozložení funkce určující pravděpodobnost, že příznakový vektor x patří ke stavu s

6 Jak rozpoznávat pomocí HMM? Základní princip: Všechna slova ve slovníku jsou reprezentována modely se stejnou strukturou (a stejným počtem stavů) ale různými parametry. Při rozpoznávání hledáme model s nejvyšší pravděpodobností. Lexicon Model of word 1 Index of most probable word Decision probability Model of word 2 Matching Model of word N Sequence of feature vectors

7 Hláskov skové HMM cesta k neomezenému mu slovníku Až dosud probírané metody vyžadovaly nahrání každého slova, které bylo ve slovníku a natrénování jeho modelu. Pro velké slovníky by toto nebylo možné. Většina současných systémů rozpoznávánířeči používá HMM, které ovšem modelují jednotky menší než slova. Jejich počet je omezený a malý. Nejvhodnějšími jednotkami jsou fonémy. V mluvenéřeči hrají podobnou roli jako písmena v psaném jazyce. (Na rozdíl od grafémů jsou však závislé na řečníkovi a na kontextu.) Fonémy jsou jazykově závislé. Ve většině evropských jazyků se jejich počet pohybuje v rozmezí

8 Rozpoznávání s fonémovými HMM 1. Pro daný jazyk je třeba definovat fonémovou sadu. 2. Pro každé slovo ve slovníku musíme určit jeho fonetický přepis (sekvenci fonémů). 3. Je nutné nahrát velké množství záznamůřeči a pro každou nahrávku vytvořit její fonetickou transkripci. (Je třeba několik desítek hodin, stovky mluvčích). 4. Je třeba natrénovat HMM pro všechny fonémy. 5. Před rozpoznáváním se sestaví slovní HMM z hláskových modelů. 6. Pro vlastní rozpoznávání se použije standardní Viterbiho algoritmus.

9 Slovní modely z hláskových HMM Inventář fonémů a, á, b, X z, ž Akustické modely a á Slovník a až robot sud Zürich Výslovnost a aš robot sut cirix a a š

10 Od izolovaných slov ke spojitéřeči Přirozená plynulářeč je mnohem složitější pro rozpoznávání 1) V běžnéřeči neexistují oddělovače (pauzy) mezi slovy. Jedno slovo navazuje na druhé. Pauzy vznikají většinou jen při nádechu. 2) V plynuléřeči je výslovnost slov významně ovlivňována kontextem. Př. zavolejnačíslopječesedum 3) Záznam běžnéřeči obsahuje i neřečové zvuky, např. ticho, nádech a výdech, zvuky rtů, kašel, smích, ehm 4) V mnoha situacích mářeč nespisovný a spontánní charakter, např. Ano, ano máte pravdu, ale, ale, když vo tom tak pře přemejšlím 5) Rychlost řeči může být velmi různá, závisí na mluvčím, situaci, atd. 6) Pokud nahrávka řeči nevzniká ve studiu, kvalita a srozumitelnost řeči může být dále výrazně ovlivněna hlukem prostředí.

11 Základní problémy spojitéřeči Ukázka záznamu řeči: Co bylo řečeno a v jakých časových okamžicích? - zavolá - premiéra předseda - - za vola premiéra předsedá - - zvolá prima éra před sebou - - zavolej premiéra předsedo - - z vola prima tévé přesedá - - zavolá - premiér a předseda - Při rozpoznávání spojitéřeči není apriori známo: - Kolik slov bylo řečeno? - Jaká sekvence slov byla řečena? - Byla všechna vyřčená slova ze slovníku? - Byla to skutečně jenom řeč nebo i další zvuky a hluky? - V jakých časových okamžicích začínala jednotlivá slova?

12 Řešení úlohy spojitéřeči Principy 1) Sestavit co nejreprezentativnější slovník pro danou aplikační oblast 2) Pro každé slovo mít co nejreprezentativnější akustický model (HMM) 3) Vytvořit také modely neřečových zvuků 4) Vzít v úvahu statistiky výskytu slov (a jejich kombinací) v dané aplikační oblasti a vytvořit vhodný tzv. jazykový model. 5) Navrhnout strategii, která pro daný signál najde nejpravděpodobnější sekvenci slov s využitím kombinace akustického i jazykového modelu. Řešíme úlohu nalézt sekvenci slov w 1, w 2,. w N takovou, že je ze všech možných kombinací slov (a neřečových zvuků) nejpravděpodobnější z hlediska akustického i jazykového. Neznámé je:číslo N, sekvence slov a zvuků, a časy jejich začátků.

13 Základní koncepce rozpoznávání spoj. řeči s využit itím m akustického, lexikáln lního a jazykového modelu Fonetický inventář a, á, b, c, č, X, z, ž, Akustické modely Inventář hluků ticho, nádech, klik, a á Lexikon ticho ať robot už Zürich Výslovnost - ať robot uš cirix Jazykový model Pozn.: Síť všech modelů slov je nyní zacyklena, tj. z posledního stavu každého slova vede cesta na počáteční stavy všech slov.

Podobné dokumenty

7 Další. úlohy analýzy řeči i a metody

7 Další. úlohy analýzy řeči i a metody Pokročilé metody rozpoznávánířeči Přednáška 7 Další úlohy analýzy řeči i a metody jejich řešení Výsledky rozpoznávání (slovník k 413k) frantisek_vlas 91.92( 90.18) [H= 796, D= 10, S= 60, I= 15, N=866,