A6M33BIO- Biometrie. Biometrické metody založené na rozpoznávání hlasu II

Transkript

1 A6M33BIO- Biometrie Biometrické metody založené na rozpoznávání hlasu II Doc. Ing. Petr Pollák, CSc. 13. prosince :13

2 Obsah přednášky Úlohy automatického rozpoznávání řečníka Verifikace vs. identifikace Reprezentace řečníka a algoritmy klasifikace Časové funkce(dtw) Kódová kniha(vq) Statistický model(gmm, HMM) Moderní metody na bázi i-vektorů Rozpoznávání s umělými neuronovými sítěmi Příklady systémů verifikace

3 I. část Úlohy automatického rozpoznávání řečníka

4 Metody automatického rozpoznávání mluvčího Databáze mluvčích signál(spk x ) akustická analýza příznaky vytvoření reprezentace hlasu SROVNÁNÍ

5 Řečové příznaky v úlohách rozpoznávání mluvčího SHRNUTÍ- Používané příznaky: MFCC- obecně používané- textově nezávislé (možnost vyhlazení variability mezi mluvčími) LPC kepstrální příznaky (variabilita mezi mluvčími, přímá souvislost formanty malá robustnost vůči šumu) parametry AR modelu (menší robustnost, Itakurova vzdálenost) kombinované vektory příznaků pro komplexnější rozhodování(spíše textově závislé úlohy) f o -základnífrekvence(charakteristikahlasu) formanty(přímá souvislost s délkou vokálního traktu)

6 Metody automatického rozpoznávání mluvčího Databáze mluvčích signál(spk x ) akustická analýza příznaky vytvoření reprezentace hlasu SROVNÁNÍ

7 Úlohy rozpoznávání mluvčího Používaná řešení: expertní rozhodování(fonetici, lingvisté) automatizované vyhodnocování Základní úlohy automatického rozpoznávání mluvčího: 1 Verifikace mluvčího ověření předpokládané totožnosti mluvčího 2 Identifikace mluvčího Identifikace v uzavřené množině rozpoznání neznámého mluvčího z dané množiny mluvčích Identifikace v otevřené množině rozpoznání neznámého mluvčího z neomezené množiny mluvčích identifikace& verifikace

8 Verifikace mluvčího totožnost spk x Databáze mluvčích spk 1 spk 2 spkx spk N signál(spk x ) akustická analýza příznaky vytvoření reprezentace hlasu výpočet podobnosti spk x -ANO/NE porovnání s prahem vzdálenost(pravděpodobnost) ověření předpokládané totožnosti mluvčího VÝSLEDEK = přijetí/ odmítnutí předpokl. totožnosti

9 Identifikace mluvčího(v uzavřené množině) Databáze mluvčích spk 1 spk 2 spk 3 signál(spk x ) akustická analýza příznaky vytvoření reprezentace hlasu spk N výpočet podobnosti spk x výběr min(max) vzdálenosti(pravděpodobnosti) spk 1... spk N rozpoznání neznámého mluvčího(největší podobnost hlasu) VÝSLEDEK = ID mluvčího/ skupiny

10 Identifikace mluvčího(v otevřené množině) Databáze mluvčích spk 1 spk 2 spk 3 signál(spk x ) akustická analýza verifikace porovnání sprahem spk x nebo ŽÁDNÝ ZNÁMÝ MLUVČÍ příznaky vytvoření reprezentace hlasu identifikace výběr min(max) spk N výpočet podobnosti vzdálenosti(pravděpodobnosti) spk 1... spk N rozpoznání neznámého mluvčího(největší podobnost hlasu) VÝSLEDEK = ID mluvčího/ skupiny nebo ZAMÍTNUTÍ

11 II. část Klasifikační metody v úloze rozpoznávání řečníka

12 Reprezentace hlasu řečníka a klasifikační techniky Reprezentace mluvčího na bázi vzorů Vzorová promluva či jiná časová funkce: míra = DTW vzdálenost mezi vzorovou a verifikovanou reprezentací Kódová kniha používaných parametrů: míra = střední vzdálenost příznaků od typických reprezentantů Reprezentace mluvčího na bázi statistických modelů GMM modely: modelují rozložení příznaků pro daného řečníka míra = věrohodnost spočítaná z emitovaných pravděpodobností HMM modely: modelují též průchod stavy, tj. časovou funkci i-vektory: modelování prostoru středních hodnot GMM modelů Klasifikace na bázi neuronových sítí přímá identifikace mluvčího výpočet pravděpodobnosti místo GMM

13 Klasifikační metody při rozpoznávání řečníka- časové funkce Rozpoznávání na základě časových funkcí vzorová promluva průběh energie- rytmizace promluvy průběh f o -intonacevpromluvě Vzdálenost mezi promluvami: normalizace délky promluvy- prosté prodloužení, zkrácení (problém pro různou rychlost v rámci promluvy) normalizovaná kumulovaná vzdálenost na bázi DTW dist s =dk (O,O s ) Vzdálenost mezi všemi segmenty(normovaná na délku): d i,j = 1 p (c k [i] c k [j]) 2 pro i =1,..., N; j =1,..., M NM k=1 Kumulovaná vzdálenost algoritmem dynamického programování: dk i,j =min (dk i 1,j +d i,j,dk i,j 1 +d i,j,dk i 1,j 1 +d i,j ) pro i =1,..., N; j =1,..., M

14 DTW- shrnující popis metody Referenční promluva délky N 1 2 j c[j] M 1 dk 1,1 2 dk dk i 1,j 1 i 1,j Rozpoznávaná promluva délky M i dk i,j 1 dk i,j c[i] N dk N,M Identifikaceřečníka hledáníminima dk N,M prorůznévzory Verifikaceřečníka srovnání dk N,M sprahem SHRNUTÍ: VÝHODY- jednoduchá koncepce, potřeba málo dat NEVÝHODA- konkrétní časová funkce textově závislá metoda

15 Klasifikace na bázi VQ Rozloženíkepstrařečníka-1&2&3&4 15 Cepstrum variation for speakers 1 & 2 & 3 & c[3] c[2]

16 Srovnání obecného rozložení příznaků VQ- vektorová kvantizace - redukce počtu uchovávaných příznakových vektorů kvantování všech příznakových vektorů - rozložení příznaku je potom popsáno kódovou knihou Kódovákniha-c s VQ...konečnýpočetreprezentantůpopisující variabilitu příznaků - výpočet na bázi K-means algoritmu VAD (Voice Activity Detector) při výpočtu příznaků - vhodné pro odstranění neřečových segmentů(jednoduchý energetický detektor může být postačující pro kvalitní signál)

17 Variace kepstra a kódová kniha vybraného řečníka 15 Cepstrum variation and codebook for speaker 1 1 c[3] c[2]

18 Kódováknihařečníka-1&2&3&4 15 Codebooks for speakers 1 & 2 & 3 & c[3] c[2]

19 Realizace klasifikace na bázi VQ Srovnání dvou mluvčích na bázi VQ - měření průměrné vzdálenosti aktuálních příznakových vektorů od uložených typických reprezentantů 14 Cepstrum variation of speaker 1 and codebook for speaker 1 14 Cepstrum variation speaker 1 and codebook for speaker c[3] c[3] c[2] c[2] dist s =mean (cd (c i,argmin c VQ,s cd (c i,c s VQ )))

20 Statistiky výsledků pro 4 řečníky a 1 kódovou knihu 9 Distribution of VQ distances (BLUE - correct speaker) 8 7 Counts of appearance Computed VQ distances Kódovákniha-zdroj:12promluv(12x5s),cca2segmentů - velikost kódové knihy: 2 Identifikace-2promluv(2xcca1s),cca12segmentů Průměrné hodnoty vzdálenosti

21 Rozpoznávání řečníka na bázi GMM Hlavní idea - rozložení kepstra je popsáno statistickým modelem na bázi GMM M s p(o λ s ) = ci s N (Ó, µ s i,cs i ) i=1 - N (Ó, µ,c)... N-rozměrnágaussovskáfunkcedanávektorem středních hodnot µ a kovarianční maticí C - více směsí modeluje lépe variabilitu příznaků pro daného řečníka - typické počty směsí: 8-256(model řečníka), (univerzální model)- počty směsí zavisí na množství trénovacích dat

22 Rozložení prvků kódové knihy kepstra mluvčího A 15 Train data 5 1 c[2] 5 c[4] c[1] c[3] c[6] c[5] c[8] c[7]

23 Rozložení prvků kódové knihy kepstra mluvčího B 15 Train data c[2] 5 c[4] c[1] c[3] c[6] c[5] c[8] c[7]

24 GMM model rozložení kepstra mluvčího A pdf(gmm c12,[x,y]) pdf(gmm c34,[x,y]) y 5 1 x y 1 5 x pdf(gmm c56,[x,y]) pdf(gmm c78,[x,y]) y x y x 2 4

25 GMM model rozložení kepstra mluvčího B pdf(gmm c12,[x,y]) pdf(gmm c34,[x,y]) y 5 1 x y 1 5 x pdf(gmm c56,[x,y]) pdf(gmm c78,[x,y]) y x y x 2 4

26 Klasifikace na bázi GMM Klasifikační míra: věrohodnostpříznakuprodanýmodel-p(o j λ s ) - hodnota věrohodnosti se počítá z celé promluvy O = (o 1,o 2,...,o n ) P(O λ s ) = N p(o j λ s ) - logaritmická věrohodnost- průměrování(sčítání) logaritmů emitovaných pravděpodobností pro všechny krátkodobé realizace (segmenty) a GMM model daného mluvčího (omezení možnosti podtečení) N logp(o λ s ) = logp(o j λ s ) j=1 j=1 - opět vhodné aplikovat detektor řečové aktivity

27 Statistikyvýsledkůpro4řečníkya1GMMmodel 1 Distribution of emitted log-probabilities (BLUE - correct speaker) Counts of appearance Logarithm of emitted probabilities GMMmodel-zdroj:12promluv(12x5s),cca2segmentů -početváženýchsměsívgmm:6 Identifikace-2promluv(2xcca1s),cca12segmentů Průměrné hodnoty logaritmické pravděpodobnosti

28 Rozpoznávání mluvčího na bázi UBM-GMM Trénování GMM modelu pro jednotlivého mluvčího je problematické: - málo dat malá schopnost generalizace UBM-GMM modelování UBM- Universal Background Model - generalizující model popisující společný prostor parametrů pro všechny mluvčí GMM model mluvčího- získáný adaptací UBM - nejčastěji MAP(Maximum Aposteriori Probability) UBM-GMM systém = základ současných systémů

29 Rozhodování UBM-GMM verifikace Λ = log P(O λspk ) P(O λ UBM ) GMM spk řeč Features + + Decision Λ > =PŘIJATO Λ < =ZAMÍTNUTO UBM

30 Rozpoznávání mluvčích na bázi i-vektorů GMM-UBM: adaptace UBM GMM(pouze střední hodnoty) Mluvčího charakterizují hodnoty vektoru středních hodnot supervektor: vektor délky C F všech středních hodnot lze použít i pro reprezentaci nahrávek(různé délky) lze pak použít i jiné klasifikátory(svm) lze provést dekompozici na složku mluvčího resp. prostředí i-vektor: jednoduchý model na bázi faktorové analýzy(jfa) Ñ r,s = µ+ìü r,s základníidea-redukcedimenzesupervektoru Ñ r,s, CF D ivec µ- supervektor nezávislý na mluvčím a nahrávce Ì-transformačnímaticedimenze CF D ivec (odhad- iterativní EM algoritmus) Ü r,s -i-vektorpopisujícívariabilitumluvčíhočiprostředí (identity vector, itermediate vector)

31 Klasifikace na bázi i-vektorů i-vector: reprezentace mluvčích(trénování) či nahrávek(provoz) SVM klasifikátor s jádrovou funkcí na bázi kosinové vzdálenosti score = Ü T 1 Ü 2 Ü 1 Ü 2 verifikacehypotézy,žemluvčívnahrávce1jeshodnýs mluvčím v nahrávce 2 srovnání skóre s verifikačním prahem variabilita akustických podmínek není explicitně modelována potlačení variability akustických podmínek v prostoru i-vektorů LDA(nalezení podprostoru s optimální rozlišitelností tříd) WCCN(normalizace kovariance uvnitř tříd) PLDA-Ü r,s = µ+îý s + ÍÛ r,s +ǫ r,s (modelování variability akustických podmínek)

32 Zobecnění rozhodování v úlohách rozpoznávání řečníka identifikace spk =argmindist s pro s =1,2,...,L s spk =argmax s P(O λ s ) pro s =1,2,...,L verifikace dist s < dist thr...předpokládanáidentitapřijata dist s > dist thr...předpokládanáidentitazamítnuta P(O λ s ) > P thr...předpokládanáidentitapřijata P(O λ s ) < P thr...předpokládanáidentitazamítnuta

33 Systémy rozpoznávání řečníka s neuronovými sítěmi ANN/DNN- Artificial Neural Networks/Deep Neural Networks Použití: výpočet pravděpodobnosti místo GMM či přímo klasifikace VÝHODY: - možnost natrénování složitější funkce - možné rozšíření příznakového vektoru (řetězení příznaků s širším kontextem) - přesnější výsledky lze dosáhnout s DNN (vícevrstvé sítě s hlubokým učením- deep learning) - použití konvolučních sítí(cnn) umožňuje End-to-End processing (vstup: přímo signál/spektrogram, výstup: přímo ID mluvčího) NEVÝHODY: - obecně náročnější trénování(algoritmy hlubokého učení) - potřeba většího množství trénovacích dat (nastavení mnoha vnitřních parametrů sítě)

34 ANN, DNN- dopředný výpočet x 1 w 1 x 2 w 2 x 3 w 3 Σ z φ(z) y w n 1 x n 1 w n b Obecný výstup neuronu: y = φ ( x n b + ) m w i x i = φ(z) i=1 Sigmoidní přenosová fce ve skryté vrstvě: φ(z) = 1 1+e z Softmax přenosová fce ve výstupní vrstvě(pravděpod. C tříd, součet 1): e z k φ k (z) = p k = C j=1 ez k Lineární přenosová fce ve výstupní vrstvě- regresní síť(obecné mapování)

35 Trénování ANN, DNN Základní algoritmy trénování(učení) sítě: kritérium na bázi MSE(střední kvadr. chyba)- regresní síť kritérium na bázi CE(vzájemné entropie)- klasifikační síť algoritmus zpětného šíření chyby(gradient kritéria) dávkový odhad gradientu pro danou trénovací sadu gradientní stochastický algoritmus (odhad gradientu s každým vzorkem) minibatch training (odhad gradientu s menším souborem náhodně vybraných dat) Inicializace sítě před trénování: náhodná-okpro3-vrstvésítě,problémprodnn předtrénování pro DNN - RBM(Restricted Boltzmann Machines) - DPT- diskriminativní předtrénování

36 Klasifikace na bázi ANN/DNN Přímá klasifikace pomocí DNN(výpočet pravděpodobnosti) - DNN ve funkci odhadu aposteriorní pravděpodobnosti řečníka VSTUP: BF, kepstrum(mfcc), možný kontext několik oken SKRYTÉ VRSTVY: 4-1 VÝSTUP: Softmax(aposteriors) VARIANTA- DNN síť s bottleneck vrstvou(zúžení = komprese)

37 CNN(Convolution Networks): End-to-End Recognition Principiální schéma CNN: Nejčastější aplikace CNN ve zpracování obrázků Aplikace pro řeč: vstupem je spektrogram(obrázek) či signál End-to-End Recognition (tj. bez výpočtu příznaků)

38 CNN Siamese Speaker Verification

39 III. část Příklady systémů rozpoznávání řečníka

40 Hodnotící kritéria při verifikaci mluvčího- Míra stejné chyby 9 Distribution of VQ distances (BLUE - correct speaker) 8 7 Counts of appearance Computed VQ distances TA-Trueacceptance FA-Falseacceptance: R FA = N FA N podv TR-Truerejection FR-Falserejection R FR = N FR N spref EER-EqualErrorRate Míra stejné chyby: EER = R FR (P thr ) = R FA (P thr )

41 Příklady systémů J. R. Campbell: Speaker Recognition. Department of Defense Fort Meade, MD, at přehled různých systémů verifikace Autor Příznaky Metoda Text Vstup Error Atal 74 kepstr. Pattern depend. LAB 2%(1s) Fururi 81 nor. kepstr. Pattern depend. TEL,2%(3s) Doddington 85 FB DTW depend. LAB,8%(6s) Tishby 91 kepstr. HMM 1 digits TEL 2,8%(1,5s),8%(3,5s) Reynolds 96 MFCC+ GMM indep. TEL 11%(3s) match. 6%(1s) 3%(3s) Reynolds 96 MFCC+ GMM indep. TEL 16%(3s) mism. 8%(1s) 5%(3s)

42 Příklady systémů NIST 21- Speaker verification evaluations. výsledky verifikace pro rozdílné evaluační podmínky GMM-UBM systémy(ubm- Universal Background Model) EER-EqualErrorRate mic-mic mic-mic2 mic-tel tel-tel Systém 1- muži 8,39 17,29 16,24 15,68 Systém 1- ženy 13,5 23,47 18,42 17,18 Systém 1- AVG 1,94 2,38 17,54 16,52 Systém 2 6, 8,64 5,32 5,11 Systém1-8kHz,25/1ms,preemfáze,16MFCC(+,+ ), log energie, energetický VAD, normalizace příznakových vektorů, 512 směsí Systém2-8kHz,25/1ms,19MFCC&c[](+ ),detektorřeči na bázi automatického přepisu(rozpoznávání), normalizace příznakových vektorů, adaptace akustických modelů, 512 směsí

43 Příklady systémů Současné systémy na bázi GMM a ANN/DNN Tianetal,Interspeech215-NIST21task EER2.91%-GMMUBM-248 EER 2.28%- DNN(English) EER 2.61%- DNN(Multiling) Garcia-Romero& McCree, Interspeech 215 EER 1.82% UBM-GMM- 8kHz, 25/1 ms, preemfáze, 2 MFCC+, short-time CVMN, 248 mixtures, UBM, PLDA speaker subspace EER1.23%-DNN-4-5hiddenlayers,příznaky9x4dim(2 MFCC+ ), LDA+MLLT Chen, Moreno, etal, Interspeech 215 EER % fully connected DNN- 48 mel filter-banks, 12 frame context, 4 x 256 hidden layers, softmax output function, 32 output speakers

44 Příklady systémů- Interspeech 216 The IBM Speaker Recognition System EER2.11%-GMM-UBM(i-vector)-MFCC-LDA EER1.49%-GMM-UBM(i-vector)-MFCC-NDA (NDA- Nearest-neighbour discriminant analysis) EER.59%- DNN-fMLLR-NDA(English) SITW-SpeakersInTheWild-core-core Speakers In The Wild Database(for speaker recognition) speakers, 8 different sessions per speaker - mismatch of acoustic conditions - core conditions(data from one person of interest) - training 618 seconds -test6-18sofspeechperfile Brno University of Technology: EER = 5.85% Quensland University of Technology, Australia: EER = 8.69%

45 Příklady systémů- Interspeech 218 Muckenhirn, Magimai-Doss, Marcel: On Learning Vocal Tract System Related Speaker Discriminative Information from Raw Signal Using CNNs EER 3.5%- GMM-UBM(standard baseline approach) EER 2.4%- ISV(inter-session variability) EER 2.82/5.87%- i-vector, cosine distance/plda EER 5.%- JFA(Joint Factor Analysis) EER.8/1.15%-CNN(kW1=3/kW1=3) EER.75%-Fusionof2CNNsystems(averagescore)

46 Příklady systémů Vlasta Radová: Rozpoznávání řečníka. ZČU Plzeň. Prosinec 24. Komplexní systém využívající kombinované příznaky a víceúrovňové rozhodování - textově závislá verifikace EER.5%-vstupzmikrofonu(16kHz) EER2%-vstupztelefonnílinky(8kHz) - textově nezávislá verifikace EER2%-vstupzmikrofonu(16kHz) EER1%-vstupztelefonnílinky(8kHz)

47 Děkuji vám za pozornost!