Pokročilé metody rozpoznávánířeči Přednáška 7 Další úlohy analýzy řeči i a metody jejich řešení
Výsledky rozpoznávání (slovník k 413k) frantisek_vlas 91.92( 90.18) [H= 796, D= 10, S= 60, I= 15, N=866, (OOV= 14)] jan_hybs 83.37( 81.51) [H= 807, D= 28, S=133, I= 18, N=968, (OOV= 10)] lukas_mateju 4.77( 4.34) [H= 33, D=455, S=204, I= 3, N=692, (OOV= 23)] martin_kaiser 85.30( 81.81) [H= 708, D= 14, S=108, I= 29, N=830, (OOV= 10)] Martin_Paroubek 87.16( 85.56) [H= 869, D= 21, S=107, I= 16, N=997, (OOV= 10)] pavel_rada 82.49( 80.71) [H= 603, D= 45, S= 83, I= 13, N=731, (OOV= 9)] radek_safarik 90.95( 88.89) [H= 663, D= 6, S= 60, I= 15, N=729, (OOV= 15)] zdenek_kybl 87.48( 85.97) [H= 636, D= 20, S= 71, I= 11, N=727, (OOV= 6)]
Časové zarovnání textového přepisu p (1) Úloha: K dispozici je nahrávka řeči a její přepis (automatický, ruční, stenozáznam, atd.) Jak k sobě přesně přiřadit audio a text? - dobrý den - vítám vás u večerních zpráv - Řešení: Nucené zarovnání (Forced Alignment) Idea: Donutit rozpoznávač, aby pracoval pouze se slovy obsaženými v textu a pouze v tomto pořadí.
Časové zarovnání textového přepisu p (2) Řešení v HTK (HTKbook str. 207) - Je potřeba slovník, soubor s přepisem ve formátu MLF, zparametrizovaný audiosoubor Úlohu vyřeší program HVite se switchem a Výsledkem jsou přesnéčasové značky u každého slova
Časové zarovnání textového přepisu p (3) Použití: 1. Tvorba prolinkovaných multimediálních databází 2. Full-text search v multimediálních databázích (hledá se v textu a z textu vedou časové značky do audio stopy) 3. Upřesňování výslovnosti v přepisech slovník obsahuje u každého slova více výslovností, rozpoznávač si v režimu nuceného rozpoznávání vybere tu nejsprávnější (použití při upřesňování trénovací databáze)
Fonémový rozpoznáva vač (1) Úloha: Zjistit nejpravděpodobnější sekvenci fonémů v nahrávce řeči Účel: - identifikovat/upřesnit fonémy v přepisu nahrávky - pokus o fonetický přepis promluvy v cizím jazyce - metoda (omezeně) použitelná pro vyhledávání klíčových slov Idea řešení: Slovník je tvořen všemi fonémy (+ticho a hluky), gramatika umožňuje libovolný přechod mezi nimi
Fonémový rozpoznáva vač (2) Problém: rozpoznávač mívá tendenci vkládat více hlásek, často opakovaně za sebou (místo a je to může rozpoznat aaa jee too, místo šumů v tichu některé hlásky, atd.) Řešení: V HVite specifikovat parametry -s (násobitel jazykového modelu) -p (penále za každé rozpoznané slovo) Přesnost fonémového rozpoznávače: - výrazně nižší než při rozpoznávánířeči (schází kontext) - cca 60 až 70 %
Detekce klíčových slov (1) Úloha: Nalézt (pokud možno rychle) pouze vybraná klíčová slova v záznamu řeči angl. zkratka KWS (Key-Word Spotting) Řešení: 1. Provést rozpoznávání (s dostatečně rozsáhlým slovníkem) a u každého slova určit časové značky. Pak provést full-search a najít časovou pozici hledaných slov. Nevýhody: pomalé, výpočetně náročné, hledaná slova nemusí být ve slovníku pro spontánnířeč nemusí platit použitý jazykový model ani standardní výslovnost 2. Provést rozpoznávání pouze s hledanými slovy a s fillery (výplňovými jednotkami)
Jednoduchý KWS s fillery Detekce klíčových slov (2) Slovník systému obsahuje hledaná slova (často raději s více výslovnostmi) a jako fillery slouží všechny fonémy (včetně ticha a hluků) Klíčová slova Fillery
Detekce klíčových slov (3) Problém: Jak docílit, že místo hledaných slov nebudou nalezeny příslušné sekvence fonémů? Řešení: nastavení parametrů s a p v programu Hvite Je potřeba je experimentálně vyladit tak, aby hledaná slova nebyla nahrazena sekvencemi fonémů (pomocí penále p) Příliš velké penále zase způsobí, že slova jsou nacházena i tam, kde řeč zní podobně Omezení: Metoda nebere v úvahu kontext. Např. slovo auto může být nalezeno i v ve větě jau to bolí.
Rozpoznávání mluvčího (1) Úloha: Rozpoznat identitu mluvící osoby Typy úloh: - identifikace mluvčího z uzavřené sady (1 z N osob) - identifikace mluvčího z otevřené sady (1 nebo žádná z N osob) - verifikace mluvčího (je hlas přisuzovaný osobě A opravdu od ní) Přístupy: - textově závislé rozpoznávání mluvčího (lze použít např. DTW) - textově nezávislé rozpoznávání mluvčího (používají se GMM)
Rozpoznávání mluvčího (2) Jednoduché rozpoznávání mluvčích v HTK Řešení: - natrénovat pro každou osobu její HMM (stačí 1 stav, naopak je třeba hodně mixtur) - jednotkami abecedy zde nebudou fonémy, ale symboly mluvčích - pro rozpoznávání se použije Hvite, slovníkem budou symboly mluvčích #!MLF!# train-jan-1.lab" jan. train-jan-2.lab" jan. train-petr-1.lab" petr. train-petr-2.lab" petr.
Do příšp íštího týdne Připravit si řešení úlohy rozpoznávání mluvčího - Vzájemně si nasdílejte data používaná pro trénování HMM - Malou část nahrávek (cca 10 od každého mluvčího) vyjměte z trénování a použijte jako testovací set - Natrénujte modely všech studentů - Proveďte rozpoznávací test mluvčích. - Určete skóre.