A2B31SMS 6. PŘEDNÁŠKA 5. listopadu 2015 Hlas a řeč hlasivkový tón, formanty, zpěvní formant Formantové syntézy Klattův formantový syntetizér

Transkript

1 AB3SMS 6. PŘEDNÁŠKA 5. listopadu 5 Hlas a řeč hlasivkový tón, formanty, pěvní formant Formantové syntéy Klattův formantový syntetiér Číslicové IIR filtry vyšších řádu filtry se dvěma póly (filtry s více póly) řaení filtrů Aplikace banka filtrů (reonátorů) filtrační syntéy s časově prom. filtry formantové syntéy (samohlásky, nástroje) potlačení šumů

2 Hlasové ústrojí Artikulační ústrojí

3 Vnik hlasivkového tónu

4 Hlasové ústrojí Akustický model artikulačního ústrojí hlasitost F F, F, F3, F4

5 Hlasové ústrojí

6 Hlasové ústrojí Spektrum hlasivkového tónu + spektrum vokálního traktu F F, F, F3, F4 energie parametry hlasu

7 Generování samohlásek A E I O U Audio demonstrace modifikace harmonického droje tvarováním hlasového ústrojí [San Franciso Exploratorium]

8 O U A E I

9 Základní hlasivkový tón ` typ f [H] min f [H] max f [H] muži 5 8 ženy děti 3 5. Rosah hlasivkového tónu v řeči Změny v rychlosti kmitání hlasivek vnímáme jako měny v ákladní periodě hlasivkového tónu, resp. v ákladní frekvenci f. Základní perioda je ovlivněna vlastnostmi hlasivek (jejich pružností, hmotností a délkou).

10 Základní hlasivkový tón `. Rosah hlasivkového tónu v řeči

11 Základní hlasivkový tón samohlaska "a" perioda samohlasky "a" > cas [s] > cas [s] T = /f 8 6 f f f = /T amplitudove spektrum f 3.5 f amplitudove spektrum f f 3 4 f > frekvence [H] > frekvence [H]. Vtah ákladní frekvence, ákladní periody a formantových frekvencí vlevo: časový průběh a periodogram pro dlouhý samohláskový úsek vpravo: časový průběh a periodogram pro jednu periodu

12 ---> frekvence [H] ---> frekvence [H] ---> frekvence [H] ---> frekvence [H] Základní hlasivkový tón slovo "jedna" > cas [s] > cas [s] > cas [s] samohlaska "a" > cas [s] > cas [s] > cas [s].: širokopásmový (horní) a úkopásmový (dolní) spektrogram. Vpravo je obraení pro slovo jedna, vlevo je detail samohlásky a

13 vystup vystup vystup vystup Základní hlasivkový tón Předpracování signálu a jeho detekce délka okna by měla být alespoň ms normování signálu odstranění stejnosměrné složky často diferenciátor dolní propust s mení frekvencí do 5 H (event. pásmová propust či banka filtrů) pro většení rolišení se někdy provádí interpolace abychom potlačili formantovou strukturu řeči, provádíme spektrální ploštění pomocí růných nelineárních technik vstup - - vstup vstup - - vstup

14 Základní hlasivkový tón a jeho detekce a) normování řečového signálu b) umocnění na třetí c) signál, který je menší než prahová úroveň je omeen a výsledný signál je usměrněn samohlaska "a" > cas [s] 5-5 kubicke nelinearni kresleni > cas [s] 4 centralni omeeni > cas [s]

15 Základní hlasivkový tón a jeho detekce d) trojúhelníkovým FIR filtr potlačení ostrých špiček e) naleení všech lokálních maxim f) logická filtrace.5.5 "romaani spicek" FIR filtrem > cas [s].5 naleeni lokalnich maxim > cas [s].5 detekce periody akladniho tonu > cas [s] citlivost na nastavení rohodovacích úrovní a prahů pro daný signál a určitou apl.

16 Základní hlasivkový tón a jeho detekce Autokorelace nejčastěji používaná metoda detekce ákladní periody Autokorelační funkce udává míru toho, jak jsou jednotlivé úseky signálu mei sebou vájemně korelovány. R(n,m) = (s(k)w(n-k))(s(k+m)w(n-k+m)) k = - Je-li vstupní signál periodický s periodou P, nabývá tato funkce maximálních hodnot pro m =, P, P,.... Předpokládá se, že mikrosegment je dlouhý aspoň dvě periody signálu.

17 Základní hlasivkový tón a jeho detekce Příklad detekce ákladní periody pomocí algoritmů s dvojí transformací a nelineárním kreslením ve frekvenční oblasti

18 Základní hlasivkový tón X 3 = sqrt( S ) X = ln S a jeho detekce.5 f X = S 5 x x x > f [H] > cas [ms] Obray samohlásek (vlevo) a výsledné průběhy po dvojí transformaci a nelineárním kreslení ve frekvenční oblasti (vpravo). První řádek odpovídá autokoleračním metodám, druhý kepstrálním a třetí průběh ískáme po provedení čtvrté odmocniny výkonového spektra

19 4.odmocnina kepstrum ACF signal Základní hlasivkový tón a jeho detekce Postprocessing > cas [s].: Detekce ákladní frekvence v promluvě jaro už je tady pomocí metod s dvojí transformací a nelineárním kreslením. Plnou čarou je obraen výstup detektorů, čárkovaně je obraen výstup po filtraci pětibodovým mediánovým filtrem.

20 Určování formantových frekvencí Formanty jsou naývány energeticky výnamné frekvence, které odpovídají reonančním frekvencím hlasového ústrojí.

21 Určování formantových frekvencí Orientační hodnoty formantů českých samohlásek I E A O U F F F

22 [db] Porovnání formantových frekvencí v DFT, LPC a kepstrálně vyhlaených odhadech amplitudových spekter pro samohlásku a 5 4 F F DFT DFT F3 DFT F LP F LP F3 LP DFT LP cep 3 F4 DFT F4 LP F cep F cep F4 cep - F3 cep > frekvence [H]

23 frekvence [H] frekvence [H] 4 X s e s t a l e v i c e v d a l u j i X cas [s] Formantové frekvence ískané pomocí LPC analýy. řádu (výpočtem kořenů polynomu) pro okno délky 3 ms a překrytí 6 ms 4 X s e s t a l e v i c e v d a l u j i X cas [s] Formantové frekvence určené vrcholů kepstrálně vyhlaeného frekvenčního spektra (parametry analýy: 3 bodů DFT, 3 kepstrálních koeficientů, Hammingovo okno 3 ms, překrytí 6 ms)

24 frekvence [H] Trasování formantů pomocí adaptivní banky filtrů 4 X s e s t a l e v i c e v d a l u j i X cas [s]

25 Zpěvní hlas Vnik harmonických tónů kmitání hlasivek (ákladní frekvence a prvotní harmonická struktura tónů) vokální trakt (esilování harmonických frekvencí v jeho reonančních oblastech) spektrum harmonických tónů ávisí na velikosti a tvaru reonančních prostor

26 Zpěvní hlas

27 Přechod nepěvecké techniky v pěveckou

28 Akustické měny při operním pěvu - sblížení až propojení 3 původně oddělených reonancí vokálního traktu - vytvoření pěveckého formantového shluku - spojení 3., 4. a 5. formantu - navýšení akustické energie v oblasti kolem 3 kh až o db

29 Akustické měny při operním pěvu - sblížení až propojení 3 původně oddělených reonancí vokálního traktu - vytvoření pěveckého formantového shluku - spojení 3., 4. a 5. formantu - navýšení akustické energie v oblasti kolem 3 kh až o db

30 Tvarové rodíly mei jednotlivými druhy pěvu

37 Akustické měny při operním pěvu Závěry s porovnáním naivního a školeného pěvu ve fonujícím hlasotvorném traktu - sestup hrtanu - přitlačení jayka ke spodině - vednutí měkkého patra - posud brady dolů a vad - vyrovnání páteře

38 Akustické měny při operním pěvu Závěry s porovnáním naivního a školeného pěvu ve fonujícím hlasotvorném traktu - sestup hrtanu - přitlačení jayka ke spodině - vednutí měkkého patra - posud brady dolů a vad - vyrovnání páteře Školený pěv se liší od naivního pěvu výnamných většením objemu reonančních prostor nad hlasivkami a to všemi směry nahoru a dolů, dopředu a doadu

39 F (ACF) signal > cas [s]

40 Frequency Time

41 F (ACF) signal > cas [s]

42 Frequency Time

43 Fundamental Frequency (H) S použitím programu specsynt.m určení formantů všech samohlásek Left-line draw, Right-quit draw F4 F3 F F Time (ms) clear, close all y = wavread('samohlasky8.wav'); specsynt

44 Fundamental Frequency (H) Syntéa samohlásek Left-line draw, Right-quit draw F4 F3 F F Time (ms)

45 Fundamental Frequency (H) Syntéa samohlásek Left-line draw, Right-quit draw F4 F3 F F 5 Time (ms) clear, close all y = wavread('rosah8.wav'); y = y(:); specsynt

46 IIR filtr s jedním pólem (pohyb pólu po reálné ose)

47 IIR filtr s jedním pólem a jednou nulou (pohyb nuly a pólu po reálné ose)

48 Filtr se dvěma póly - reonátor

49 Filtr se dvěma póly y pásmová propust IIR [ n] x[ n] a y[ n ] a y[ n ] H( ) j j re re a a f f s a r cos a r

50 H( ) Filtr se dvěma póly pásmová propust IIR j j j j re re re re r

51 sin cos sin cos ) ( r j j r r re re re re H j j j j Filtr se dvěma póly pásmová propust IIR

52 cos sin cos sin cos ) ( r r r j j r r re re re re H j j j j Filtr se dvěma póly pásmová propust IIR

53 cos sin cos sin cos ) ( a a r r r j j r r re re re re H j j j j Filtr se dvěma póly pásmová propust IIR

54 cos sin cos sin cos ) ( a a r r r j j r r re re re re H j j j j r a f s f cos r a Filtr se dvěma póly pásmová propust IIR

55 Filtr se dvěma póly pásmová propust IIR cos sin cos sin cos ) ( a a a a r r r j j r r re re re re H j j j j r a f s f cos r a

56 8 r,975 Filtr se dvěma póly (tlumené oscilace) r 8,95 8 r,95

57 Filtr se dvěma póly - reonátor (netlumené oscilace) 8 r,5 8 r,5 8 r,75

58 Filtr se dvěma póly - reonátor (konstantní koeficient a ) a cos( / 6) a a cos( / 4) a a cos( /3) a

59 Filtr se dvěma póly - reonátor (konstantní koeficient a ) a cos( / 4) a,8 a cos( / 4) a a cos( / 4) a,

60 Pohyb pólů (konstantní úhel; růný poloměr)

61 Pohyb pólů po kružnici (růný úhel; konstantní poloměr)

62 Pohyb nul IIR filtru (po reálné ose)

63 IIR s více póly (pohyb vybraných pólů po ose)

64 IIR s více póly (pohyb vybraných pólů po kružnici)

65 Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part -rovina reonátorů - - Real Part - - Real Part - - Real Part - - Real Part - - Real Part - - Real Part - - Real Part - - Real Part - - Real Part

66 Amplitudové charakteristiky reonátorů

67 Analýa harmonických Time h h h3 h4 h5 h6 h7 h8 h9.4.

68 frekvence vitr F Filtrační syntéa větru > cas [s]

69 Filtrační syntéa větru clear, fs = 8; % vorkovaci frekvence [H] doba = ; % doba trvani tonu [s] x=*rand(,fs*doba)-; % generovani bileho sumu nt=:/fs:doba-/fs; % casova osa % souradnice ridicich bodu sily vetru X=[ ]; Y=[ ]; Fmin=; Fmax=9; y=(fmax-fmin)*y+fmin; % casovy prubeh interpolovane ridici frekvence fr=interp(x,y,nt/nt(end));

70 Filtrační syntéa větru % navrh reonatoru B = ; % sirka pasma reonatoru R = -B*pi/fs; % vypocet polomer polu a =-*R*cos(*pi*fr/fs); % vypocet koeficientu b=(-r)*sqrt(r*(r-4*cos(*pi*fr/fs)+)+); % norm.koeficient y=eros(,length(x)); for n=3:length(x) y(n)=b(n)*x(n)-a(n)*y(n-)-(r.^)*y(n-); end

71 frekvence vitr Filtrační syntéa vln 4 A B fr x > cas [s]

72 Filtrační syntéa vln % souradnice ridicich bodu X =[ ]; % casova osa Y_A=[ ]; % amplituda Y_B=[ ]; % sirka pasma Y_f=[8 8 ]; % reonancni frekvence % casovy prubeh interpolovane ridici amplitudy G=interp(X,Y_A,nT/nT(end)); % casovy prubeh interpolovane sirky pasma B=interp(X,Y_B,nT/nT(end)); % casovy prubeh interpolovane ridici reonancni f fr=interp(x,y_f,nt/nt(end));

73 Filtrační syntéa vln x=*rand(,fs*doba)-; for n=3:length(x) R(n) = -B(n)*pi/fs; % vypocet polomer polu a(n) =-*R(n)*cos(*pi*fr(n)/fs); % vypocet koeficientu b(n)=(-r(n))*sqrt(r(n)*(r(n)-4*cos(*pi*fr(n)/fs)+)+); % norm.koeficient y(n)=g(n)*(b(n)*x(n)-a(n)*y(n-)-(r(n).^)*y(n-)); end

74 Filtrační syntéa Aplikace s šumem reonátory a obálkami buben činel

75 Filtrační syntéa 8 řídící frekvence déšť

76 Filtrační syntéa hodiny Fr=35; B = 55; Fr=3; B = 75;

77 Frequency housle Filtrační syntéa % filtr (model housli) %%%%%%%%%%%%% F = [5, 5, 3, 4]; BW = [3,, 7, 5]; Time x 4

78 Filtrační syntéa klarinet % navrh reonatoru fr = 9; % reonancni frekvence B = ; % sirka pasma reonatoru

79 Syntéa strojů vlak letadlo

80 Syntéa materiálu dřevo kov sklo

81 Potlačení šumu v řeči bankou filtrů

83 Potlačení šumu v řeči bankou filtrů banka filtrů Dilci normovane propusti

84 Potlačení šumu v řeči bankou filtrů pracování signálů v i-tém pásmu

89 Potlačení šumu v řeči bankou filtrů III (generování rušení) %%%%%%%%%%%%%%%%%% GENEROVANI SUMU %%%%%%%%%%%%%%%%%%%% k_noise=.; sig=input(' = sinusove ruseni; = nahodny sum... ') if sig==, noise=k_noise*randn(length(xc),); end; if sig==, % rusivy signal 8H noise=sqrt()*k_noise*sin(*pi*(:length(xc)-)*8/8)'; end; x=xc+noise; 'cinitel odstupu signalu k sumu' snr=*log(sum(xc.^)/sum(noise.^))

90 Potlačení šumu v řeči bankou filtrů IV (banka filtrů) f_s=8; % vorkovaci frekvence [kh] P=8; % pocet propusti f_r=f_s/(*p)*(:p-); % vypocet reonancnich frekvenci R=.7; % polomer polu b=-*r*cos(*pi*f_r/f_s); % vypocet koeficientu reonatoru for i=:p % normovani charakteristik Ha(:,i)=(freq(,[ b(i) R.^],8)); Ham(i)=max(abs(Ha(:,i))); % vypocet normovacich koef. Han(:,i)=(freq(/Ham(i),[ b(i) R.^],8)); end; plot(abs(han)); axis tight title('dilci normovane propusti') % obraeni ampl. Dilci normovane frekvencnich propusti ch

91 Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Potlačení šumu v řeči bankou filtrů (banka filtrů) for k=:p % obraeni impulsnich charakteristik subplot(3,3,k), imp([ ],[ b(k) R.^]) end; % obraeni -roviny for k=:p subplot(3,3,k), plane([ ],[ b(k) R.^]) end;.5. pasmo 4 --> n 4. pasmo > n.5 7. pasmo.5. pasmo 4 --> n 5. pasmo > n 8. pasmo.5 3. pasmo 4 --> n 6. pasmo > n Real Part - Real Part Real Part - Real Part Real Part - Real Part > n > n - - Real Part - - Real Part

92 Potlačení šumu v řeči bankou filtrů (stanovení meí v pásmech) %%%%%% FILTRACE A VYPOCET MEZE PRO OREZAVANI %%%%%% k_noise=.; k_int =.8; for i=:p noisef(:,i)=filter(/ham(i),[ b(i) R.^],noise(:)); % filtrace noisefa(:,i)=abs(noisef(:,i)); % usmerneni nff(:,i)=filter(,[ -k_int],noisefa(:,i)); % obalka me(i)=mean(abs(nff(:,i))); end; stem(me) % vypocet mei ve vsech pasmech.4 Mee pro oreavani v jednotlivych pasmech > poradi pasma

93 Potlačení šumu v řeči bankou filtrů (filtrace a roklad do pásem) %%%%%%%%%%%%% POTLACENI SUMU BANKOU FILTRU %%%%%%%%%%%%% %%% FILTRACE A ROZKLAD DO PASEM - VYPOCET OBALEK %%%%%%% for i=:p xf(:,i)=filter(/ham(i),[ b(i) R.^],x); % filtrace xfs(:,i)=sign(xf(:,i)+.); % namenko xfa(:,i)=abs(xf(:,i)); % usmerneni xfaf(:,i)=filter(,[ -k_int],xfa(:,i)); % obalka subplot(4,,i), plot(xfaf(:,i)); axis tight xfafe(:,i)=abs(xfaf(:,i)-me(i)); xr(:,i)=xfafe(:,i).*xfs(:,i); subplot(4,,i), plot(xf(5:,i)) subplot(4,,i), plot(xr(5:,i)); axis tight end; xs=sum(xr'); xfs % orinuti xf xfa xfaf xfafe xr

94 Potlačení šumu v řeči bankou filtrů pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo pasmo

95 Potlačení šumu v řeči bankou filtrů xf xr x xs

96 Frequency ---> f Frequency ---> f Potlačení šumu v řeči bankou filtrů for i=:3 soundsc(x); pause(), soundsc(xs); pause();end; subplot(); specgram(x); subplot(); specgram(xs);.8.8 Spektrogram puvodniho signalu Time > n Spektrogram signalu s potlacenym sumem Time > n