A6M33BIO- Biometrie. Biometrické metody založené na rozpoznávání hlasu II

Transkript

1 A6M33BIO- Biometrie Biometrické metody založené na rozpoznávání hlasu II Doc. Ing. Petr Pollák, CSc. 16. listopadu :14

2 Obsah přednášky Úlohy automatického rozpoznávání řečníka Verifikace vs. identifikace Reprezentace řečníka a algoritmy klasifikace Časové funkce(dtw) Kódová kniha(vq) Statistický model(gmm, HMM) Moderní metody na bázi i-vektorů Rozpoznávání s umělými neuronovými sítěmi Příklady systémů verifikace

3 I. část Úlohy automatického rozpoznávání řečníka

4 Metody automatického rozpoznávání mluvčího Databáze mluvčích signál(spk x ) akustická analýza příznaky vytvoření reprezentace hlasu SROVNÁNÍ

5 Řečové příznaky v úlohách rozpoznávání mluvčího SHRNUTÍ- Používané příznaky: MFCC- obecně používané- textově nezávislé (možnost vyhlazení variability mezi mluvčími) LPC kepstrální příznaky (variabilita mezi mluvčími, přímá souvislost formanty malá robustnost vůči šumu) parametry AR modelu (menší robustnost, Itakurova vzdálenost) kombinované vektory příznaků pro komplexnější rozhodování(spíše textově závislé úlohy) f o -základnífrekvence(charakteristikahlasu) formanty(přímá souvislost s délkou vokálního traktu)

6 Metody automatického rozpoznávání mluvčího Databáze mluvčích signál(spk x ) akustická analýza příznaky vytvoření reprezentace hlasu SROVNÁNÍ

7 Úlohy rozpoznávání mluvčího Používaná řešení: expertní rozhodování(fonetici, lingvisté) automatizované vyhodnocování Základní úlohy automatického rozpoznávání mluvčího: 1 Verifikace mluvčího ověření předpokládané totožnosti mluvčího 2 Identifikace mluvčího Identifikace v uzavřené množině rozpoznání neznámého mluvčího z dané množiny mluvčích Identifikace v otevřené množině rozpoznání neznámého mluvčího z neomezené množiny mluvčích identifikace& verifikace

8 Verifikace mluvčího totožnostspk x Databáze mluvčích spk 1 spk 2 spkx spk N signál(spk x ) akustická analýza příznaky vytvoření reprezentace hlasu výpočet podobnosti spk x -ANO/NE porovnání s prahem vzdálenost(pravděpodobnost) ověření předpokládané totožnosti mluvčího VÝSLEDEK = přijetí/ odmítnutí předpokl. totožnosti

9 Identifikace mluvčího(v uzavřené množině) Databáze mluvčích spk 1 spk 2 spk 3 signál(spk x ) akustická analýza příznaky vytvoření reprezentace hlasu spk N výpočet podobnosti spk x výběr min(max) vzdálenosti(pravděpodobnosti) spk 1...spk N rozpoznání neznámého mluvčího(největší podobnost hlasu) VÝSLEDEK = ID mluvčího/ skupiny

10 Identifikace mluvčího(v otevřené množině) Databáze mluvčích spk 1 spk 2 spk 3 signál(spk x ) akustická analýza verifikace porovnání sprahem spk x nebo ŽÁDNÝ ZNÁMÝ MLUVČÍ příznaky vytvoření reprezentace hlasu identifikace výběr min(max) spk N výpočet podobnosti vzdálenosti(pravděpodobnosti) spk 1...spk N rozpoznání neznámého mluvčího(největší podobnost hlasu) VÝSLEDEK = ID mluvčího/ skupiny nebo ZAMÍTNUTÍ

11 II. část Klasifikační metody v úloze rozpoznávání řečníka

12 Reprezentace hlasu řečníka a klasifikační techniky Reprezentace mluvčího na bázi vzorů Vzorová promluva či jiná časová funkce: míra = DTW vzdálenost mezi vzorovou a verifikovanou reprezentací Kódová kniha používaných parametrů: míra = střední vzdálenost příznaků od typických reprezentantů Reprezentace mluvčího na bázi statistických modelů GMM modely: modelují rozložení příznaků pro daného řečníka míra = věrohodnost spočítaná z emitovaných pravděpodobností HMM modely: modelují též průchod stavy, tj. časovou funkci i-vektory: modelování prostoru středních hodnot GMM modelů Klasifikace na bázi neuronových sítí přímá identifikace mluvčího výpočet pravděpodobnosti místo GMM

13 Klasifikační metody při rozpoznávání řečníka- časové funkce Rozpoznávání na základě časových funkcí vzorová promluva průběh energie- rytmizace promluvy průběhf o -intonacevpromluvě Vzdálenost mezi promluvami: normalizace délky promluvy- prosté prodloužení, zkrácení (problém pro různou rychlost v rámci promluvy) normalizovaná kumulovaná vzdálenost na bázi DTW dist s =dk (O,O s ) Vzdálenost mezi všemi segmenty(normovaná na délku): d i,j = 1 p (c k [i] c k [j]) 2 proi =1,...,N;j =1,...,M NM k=1 Kumulovaná vzdálenost algoritmem dynamického programování: dk i,j =min (dk i 1,j +d i,j,dk i,j 1 +d i,j,dk i 1,j 1 +d i,j ) proi=1,...,n;j =1,...,M

14 DTW- shrnující popis metody Referenční promluva délky N 1 2 j c[j] M 1 dk 1,1 2 dk dk i 1,j 1 i 1,j Rozpoznávaná promluva délky M i dk i,j 1 dk i,j c[i] N dk N,M Identifikaceřečníka hledáníminimadk N,M prorůznévzory Verifikaceřečníka srovnánídk N,M sprahem jednoduchá koncepce, málo dat konkrétní časová funkce = textově závislá metoda

15 Klasifikace na bázi VQ Rozložení kepstra řečníka Cepstrum variation for speaker c[3] c[2]

16 Klasifikace na bázi VQ Rozloženíkepstrařečníka-1&2 15 Cepstrum variation for speakers 1 & c[3] c[2]

17 Klasifikace na bázi VQ Rozloženíkepstrařečníka-1&2&3 15 Cepstrum variation for speakers 1 & 2 & c[3] c[2]

18 Klasifikace na bázi VQ Rozloženíkepstrařečníka-1&2&3&4 15 Cepstrum variation for speakers 1 & 2 & 3 & c[3] c[2]

19 Vektorová kvantizace při rozpoznávání řečníka VQ- vektorová kvantizace - kvantování obecných příznakových vektorů - rozložení příznaku je popsáno kódovou knihou Kódovákniha-c s VQ...konečnýpočetreprezentantů variability příznaků (výpočet na bázi K-means algoritmu) VAD - vhodné použít pro odstranění neřečových segmentů (energetický detektor může být postačující)

20 Variace kepstra a kódová kniha vybraného řečníka 15 Cepstrum variation and codebook for speaker 1 1 c[3] c[2]

21 Kódováknihařečníka-1 15 Codebook for speaker c[3] c[2]

22 Kódováknihařečníka-1&2 15 Codebooks for speakers 1 & c[3] c[2]

23 Kódováknihařečníka-1&2&3 15 Codebooks for speakers 1 & 2 & c[3] c[2]

24 Kódováknihařečníka-1&2&3&4 15 Codebooks for speakers 1 & 2 & 3 & c[3] c[2]

25 Klasifikační metody při rozpoznávání řečníka- VQ klasifikace na bázi VQ - měření průměrné vzdálenosti aktuálních příznakových vektorů od uložených typických reprezentantů 14 Cepstrum variation of speaker 1 and codebook for speaker 1 14 Cepstrum variation speaker 1 and codebook for speaker c[3] c[3] c[2] c[2]

26 Klasifikační metody při rozpoznávání řečníka- VQ klasifikace na bázi VQ - měření průměrné vzdálenosti aktuálních příznakových vektorů od uložených typických reprezentantů 14 Cepstrum variation of speaker 1 and codebook for speaker 1 14 Cepstrum variation speaker 1 and codebook for speaker c[3] c[3] c[2] c[2] dist s =mean (cd (c i,argmin c VQ,s cd (c i,c s VQ )))

27 Statistiky výsledků pro 4 řečníky a 1 kódovou knihu 9 Distribution of VQ distances (BLUE - correct speaker) 8 7 Counts of appearance Computed VQ distances Kódovákniha-zdroj:12promluv(12x5s),cca2segmentů - velikost kódové knihy: 2 Identifikace-2promluv(2xcca1s),cca12segmentů

28 Statistiky výsledků pro 4 řečníky a 1 kódovou knihu 9 Distribution of VQ distances (BLUE - correct speaker) 8 7 Counts of appearance Computed VQ distances Kódovákniha-zdroj:12promluv(12x5s),cca2segmentů - velikost kódové knihy: 2 Identifikace-2promluv(2xcca1s),cca12segmentů Průměrné hodnoty vzdálenosti

29 Klasifikační metody při rozpoznávání řečníka- GMM Hlavní idea - rozložení kepstra je popsáno statistickým modelem na bázi GMM M s p(o λ s ) = ci s N (o, µ s i,cs i ) i=1 - N (o, µ,c)...n-rozměrnágaussovskáfunkcedanávektorem středních hodnot µ a kovarianční maticí C - více směsí modeluje lépe variabilitu příznaků pro daného řečníka - typické počty směsí: 8-256(model řečníka), (univerzální model)- počty směsí zavisí na množství trénovacích dat

30 Rozložení prvků kódové knihy kepstra mluvčího A 15 Train data 5 1 c[2] 5 c[4] c[1] c[3] c[6] c[5] c[8] c[7]

31 Rozložení prvků kódové knihy kepstra mluvčího B 15 Train data c[2] 5 c[4] c[1] c[3] c[6] c[5] c[8] c[7]

32 GMM model rozložení kepstra mluvčího A pdf(gmm c12,[x,y]) pdf(gmm c34,[x,y]) y 5 1 x y 1 5 x pdf(gmm c56,[x,y]) pdf(gmm c78,[x,y]) y x y x 2 4

33 GMM model rozložení kepstra mluvčího B pdf(gmm c12,[x,y]) pdf(gmm c34,[x,y]) y 5 1 x y 1 5 x pdf(gmm c56,[x,y]) pdf(gmm c78,[x,y]) y x y x 2 4

34 Klasifikace na bázi GMM Klasifikační míra: věrohodnostpříznakuprodanýmodel-p(o j λ s ) - hodnota věrohodnosti se počítá z celé promluvy O = (o 1,o 2,...,o n ) P(O λ s ) = N p(o j λ s ) - logaritmická věrohodnost- průměrování(sčítání) logaritmů emitovaných pravděpodobností pro všechny krátkodobé realizace (segmenty) a GMM model daného mluvčího (omezení možnosti podtečení) N logp(o λ s ) = logp(o j λ s ) - vhodné aplikovat detektor řeči pro vyřazení neřečových úseků j=1 j=1

35 Statistikyvýsledkůpro4řečníkya1GMMmodel 1 Distribution of emitted log-probabilities (BLUE - correct speaker) Counts of appearance Logarithm of emitted probabilities GMMmodel-zdroj:12promluv(12x5s),cca2segmentů -početváženýchsměsívgmm:6 Identifikace-2promluv(2xcca1s),cca12segmentů

36 Statistikyvýsledkůpro4řečníkya1GMMmodel 1 Distribution of emitted log-probabilities (BLUE - correct speaker) Counts of appearance Logarithm of emitted probabilities GMMmodel-zdroj:12promluv(12x5s),cca2segmentů -početváženýchsměsívgmm:6 Identifikace-2promluv(2xcca1s),cca12segmentů Průměrné hodnoty logaritmické pravděpodobnosti

37 Rozpoznávání mluvčího na bázi UBM-GMM Trénování GMM modelu pro jednotlivého mluvčího je problematické: - málo dat malá schopnost generalizace UBM-GMM modelování UBM- Universal Background Model (generalizující model popisující společný prostor parametrů pro všechny mluvčí) GMM model mluvčího se získává adaptací UBM - nejčastěji MAP(Maximum Aposteriori Probability) - optimální pro větší množství adaptačních dat - adaptují se jenom viděné parametry UBM-GMM systém = základ současných systémů

38 Rozhodování UBM-GMM verifikace Λ =log P(O λspk ) P(O λ UBM ) GMM spk řeč Features + + Decision Λ > =PŘIJATO Λ < =ZAMÍTNUTO UBM

39 Rozpoznávání mluvčích na bázi i-vektorů GMM-UBM: adaptace UBM GMM(pouze střední hodnoty) Mluvčího charakterizují hodnoty vektoru středních hodnot supervektor: vektordélkyc Fvšechstředníchhodnot lze použít i pro reprezentaci nahrávek(různé délky) lze pak použít i jiné klasifikátory(svm) lze provést dekompozici na složku mluvčího resp. prostředí i-vektor: jednoduchý model na bázi faktorové analýzy(jfa) m r,s = µ+tx r,s základníidea-redukcedimenzesupervektorum r,s, CF D ivec µ- supervektor nezávislý na mluvčím a nahrávce T-transformačnímaticedimenzeCF D ivec (odhad- iterativní EM algoritmus) x r,s -i-vektorpopisujícívariabilitumluvčíhočiprostředí (identity vector, itermediate vector)

40 Klasifikace na bázi i-vektorů i-vector: reprezentace mluvčích(trénování) či nahrávek(provoz) SVM klasifikátor s jádrovou funkcí na bázi kosinové vzdálenosti score = x T 1 x 2 x 1 x 2 verifikacehypotézy,žemluvčívnahrávce1jeshodnýs mluvčím v nahrávce 2 srovnání skóre s verifikačním prahem variabilita akustických podmínek není explicitně modelována potlačení variability akustických podmínek v prostoru i-vektorů LDA(nalezení podprostoru s optimální rozlišitelností tříd) WCCN(normalizace kovariance uvnitř tříd) PLDA-x r,s = µ+vy s +Uw r,s +ǫ r,s (modelování variability akustických podmínek)

41 Zobecnění rozhodování v úlohách rozpoznávání řečníka identifikace spk =argmindist s pro s =1,2,...,L s spk =argmax s P(O λ s ) pro s =1,2,...,L verifikace dist s <dist thr...předpokládanáidentitapřijata dist s >dist thr...předpokládanáidentitazamítnuta P(O λ s ) >P thr...předpokládanáidentitapřijata P(O λ s ) <P thr...předpokládanáidentitazamítnuta

42 Systémy rozpoznávání řečníka s neuronovými sítěmi Použití ANN(DNN) - ANN(DNN) se používají pro výpočet pravděpodobnosti místo GMM či přímo pro klasifikaci - možnost natrénování složitější funkce - přesnější pro DNN s více skrytými vrstvami(deep learning) - náročnější na trénování, zejména z hlediska množství dat (nutnost nastavení mnoha vnitřních parametrů sítě)

43 Klasifikace na bázi ANN/DNN Přímá klasifikace pomocí DNN - DNN ve funkci odhadu aposteriorní pravděpodobnosti řečníka VSTUP: BF, kepstrum(mfcc), možný kontext několik oken SKRYTÉ VRSTVY: 4-1 VÝSTUP: Softmax(aposteriors) VARIANTA- DNN síť s bottleneck vrstvou(komprese):

44 III. část Příklady systémů rozpoznávání řečníka

45 Hodnotící kritéria při verifikaci mluvčího- Míra stejné chyby P(O λ) P(O λ ok ) Distribution of VQ distances (BLUE - correct speaker) TA TR P(O λ bad ) Counts of appearance FA FR d Computed VQ distances P thr Vyhodnocování klasifikace: TA-Trueacceptance FA-Falseacceptance:R FA = N FA N podv TR-Truerejection FR-Falserejection R FR = N FR N spref EER-EqualErrorRate(Mírastejnéchyby): R EER =R FR (P thr,eer ) =R FA (P thr,eer )

46 Příklady systémů J. R. Campbell: Speaker Recognition. Department of Defense Fort Meade, MD, at přehled různých systémů verifikace Autor Příznaky Metoda Text Vstup Error Atal 74 kepstr. Pattern depend. LAB 2%(1s) Fururi 81 nor. kepstr. Pattern depend. TEL,2%(3s) Doddington 85 FB DTW depend. LAB,8%(6s) Tishby 91 kepstr. HMM 1 digits TEL 2,8%(1,5s),8%(3,5s) Reynolds 96 MFCC+ GMM indep. TEL 11%(3s) match. 6%(1s) 3%(3s) Reynolds 96 MFCC+ GMM indep. TEL 16%(3s) mism. 8%(1s) 5%(3s)

47 Příklady systémů NIST 21- Speaker verification evaluations. výsledky verifikace pro rozdílné evaluační podmínky GMM-UBM systémy(ubm- Universal Background Model) EER-EqualErrorRate mic-mic mic-mic2 mic-tel tel-tel Systém 1- muži 8,39 17,29 16,24 15,68 Systém 1- ženy 13,5 23,47 18,42 17,18 Systém 1- AVG 1,94 2,38 17,54 16,52 Systém 2 6, 8,64 5,32 5,11 Systém1-8kHz,25/1ms,preemfáze,16MFCC(+,+ ), log energie, energetický VAD, normalizace příznakových vektorů, 512 směsí Systém2-8kHz,25/1ms,19MFCC&c[](+ ),detektorřeči na bázi automatického přepisu(rozpoznávání), normalizace příznakových vektorů, adaptace akustických modelů, 512 směsí

48 Příklady systémů Současné systémy na bázi GMM a ANN/DNN Tianetal,Interspeech215-NIST21task EER2.91%-GMMUBM-248 EER 2.28%- DNN(English) EER 2.61%- DNN(Multiling) Garcia-Romero& McCree, Interspeech 215 EER 1.82% UBM-GMM- 8kHz, 25/1 ms, preemfáze, 2 MFCC+, short-time CVMN, 248 mixtures, UBM, PLDA speaker subspace EER1.23%-DNN-4-5hiddenlayers,příznaky9x4dim(2 MFCC+ ), LDA+MLLT Chen, Moreno, etal, Interspeech 215 EER % fully connected DNN- 48 mel filter-banks, 12 frame context, 4 x 256 hidden layers, softmax output function, 32 output speakers

49 Příklady systémů- Interspeech 216 The IBM Speaker Recognition System EER2.11%-GMM-UBM(i-vector)-MFCC-LDA EER1.49%-GMM-UBM(i-vector)-MFCC-NDA (NDA- Nearest-neighbour discriminant analysis) EER.59%- DNN-fMLLR-NDA(English) SITW-SpeakersInTheWild-core-core Speakers In The Wild Database(for speaker recognition) speakers, 8 different sessions per speaker - mismatch of acoustic conditions - core conditions(data from one person of interest) - training 618 seconds -test6-18sofspeechperfile Brno University of Technology: EER = 5.85% Quensland University of Technology, Australia: EER = 8.69%

50 Příklady systémů Vlasta Radová: Rozpoznávání řečníka. ZČU Plzeň. Prosinec 24. Komplexní systém využívající kombinované příznaky a víceúrovňové rozhodování - textově závislá verifikace EER.5%-vstupzmikrofonu(16kHz) EER2%-vstupztelefonnílinky(8kHz) - textově nezávislá verifikace EER2%-vstupzmikrofonu(16kHz) EER1%-vstupztelefonnílinky(8kHz)

51 Děkuji vám za pozornost!