B2M31SYN 6. PŘEDNÁŠKA 9. listopadu 2016 Hlas a řeč

Transkript

1 BM31SYN 6. PŘEDNÁŠKA 9. listopadu 16 Hlas a řeč fonace, prosodie, artikulace hlasivkový tón, formanty Hudební nástroje rodělení podle vniku tónu rosahy, spektra, formanty Formantové syntéy Klattův formantový syntetiér Číslicové pásmové propusti filtry se dvěma póly řaení filtrů Aplikace banka filtrů (reonátorů) filtrační syntéy s časově prom. filtry formantové syntéy (samohlásky, nástroje)

2 Hlas a řeč dutina nosní dutina ústní dutina hrdelní hrtan jícen plíce břicho bránice

3 respirace Hlas a řeč

4 Hlas a řeč vibrace fonace hlasivek a hrtanu vytvářejících vuk respirace

5 Hlas a řeč modifikace poice a tvaru řečových orgánů artikulace vibrace fonace hlasivek a hrtanu vytvářejících vuk respirace

6 Hlas a řeč měny v hlasitosti, ákladní periodě a časování při tvorbě řeči modifikace poice a tvaru řečových orgánů artikulace prosodie vibrace fonace hlasivek a hrtanu vytvářejících vuk respirace

7 Akustický model hlas En PLÍCE HLASOVÉ ÚSTROJÍ

8 Akustický model hlas En PLÍCE HLASOVÉ ÚSTROJÍ

9 Akustický model - fonace En PLÍCE fonace F, jitt, shim HLASIVKY HLASOVÉ ÚSTROJÍ

10 Akustický model - fonace En PLÍCE fonace F, jitt, shim HLASIVKY HLASOVÉ ÚSTROJÍ

11 Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE artikulace

12 Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=7 H artikulace F=11 H A

13 Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=4 H artikulace F=175 H E

14 Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=5 H artikulace F= H I

15 Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=5 H F=7 H artikulace O

16 Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=3 H artikulace F=55 H U

17 Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace artikulace

18 Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F1=7 H artikulace F=11 H A

19 Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F1=4 H artikulace F=175 H E

20 Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace artikulace F1=5 H F= H I

21 Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F1=5 H artikulace F=7 H O

22 Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F1=3 H artikulace F=55 H U

23 Akustické charakteristiky respirace En DEn

24 Akustické charakteristiky respirace En DEn fonace F jitter shimmer ACR šum NHR

25 Akustické charakteristiky F1, F respirace En DEn artikulace vokální trojúhelník artikulační index segmentace rychlost F [H] délky segmentů fonace F jitter I U O E A F1 [H] shimmer ACR šum NHR

26 Akustické charakteristiky F1, F respirace En DEn artikulace vokální trojúhelník artikulační index segmentace rychlost délky segmentů F, En prosodie std F (v půltónech) std EN časové poměry řeč/paua F fonace jitter Shimmer ACR šum NHR

27 Základní hlasivkový tón typ f [H] min f [H] max f [H] muži 15 8 ženy děti 3 5. Rosah hlasivkového tónu v řeči Změny v rychlosti kmitání hlasivek vnímáme jako měny v ákladní periodě hlasivkového tónu, resp. v ákladní frekvenci f. Základní perioda je ovlivněna vlastnostmi hlasivek (jejich pružností, hmotností a délkou).

28 Základní hlasivkový tón 1 samohlaska "a" 1 1 perioda samohlasky "a" > cas [s] > cas [s] T = 1/f f 1 f f = 1/T amplitudove spektrum f f 1 amplitudove spektrum f f 3 4 f > frekvence [H] > frekvence [H]. Vtah ákladní frekvence, ákladní periody a formantových frekvencí vlevo: časový průběh a periodogram pro dlouhý samohláskový úsek vpravo: časový průběh a periodogram pro jednu periodu

29 ---> frekvence [H] ---> frekvence [H] ---> frekvence [H] ---> frekvence [H] Základní hlasivkový tón slovo "jedna" > cas [s] > cas [s] > cas [s] samohlaska "a" > cas [s] > cas [s] > cas [s].: širokopásmový (horní) a úkopásmový (dolní) spektrogram. Vpravo je obraení pro slovo jedna, vlevo je detail samohlásky a

30 Základní hlasivkový tón

31 Formanty Orientační hodnoty formantů českých samohlásek I E A O U F F F

32 [db] Formanty 5 4 F1 F DFT DFT F3 DFT F1 LP F LP F3 LP DFT LP cep 3 F4 DFT F4 LP 1 F1 cep F cep F4 cep -1 F3 cep > frekvence [H]

33 frekvence [H] frekvence [H] 4 Formanty X s e s t a l e v i c e v d a l u j i X cas [s] Formantové frekvence ískané pomocí LPC analýy 1. řádu (výpočtem kořenů polynomu) pro okno délky 3 ms a překrytí 6 ms 4 X s e s t a l e v i c e v d a l u j i X cas [s] Formantové frekvence určené vrcholů kepstrálně vyhlaeného frekvenčního spektra (parametry analýy: 3 bodů DFT, 3 kepstrálních koeficientů, Hammingovo okno 3 ms, překrytí 6 ms)

34 Formanty

35 Zpěvní formant

36 HUDEBNÍ NÁSTROJE

37 HUDEBNÍ NÁSTROJE Příklady akustických systémů hudebních nástrojů nástroj buení = excitátor + oscilátor reonátor řeč,pěv proud vduchu + hlasivky soustava dutin housle kytara harfa klavír cembalo flétna hoboj trubka tympán vibrafon smyčec prst prst kladívko brk proud vduchu proud vduchu proud vduchu palička palička + struna + struna + struna + struna + struna + vdušný jaýček + třtinový strojek + rty hudebníka + membrána + kámen ovučná skříňka ovučná skříňka ovučná skříň ovučná deska ovučná deska vdušný sloupec vdušný sloupec vdušný sloupec vdušná dutina vdušný sloupec

38 Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje drojem vuku je napnutá chvějící se struna Dechové nástroje vuk vniká roechvíváním vduchu Bicí nástroje vuk vniká mechanickým působením

39 Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje drojem vuku je napnutá chvějící se struna smyčcové - struny roechvívá smyčec (housle, viola, violoncello, kontrabas) drnkací - struny se roechvívají trsátkem nebo prsty (kytara, harfa, cembalo) kladívkové (úderné) (klavír, cimbál)

40 Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje smyčcové housle viola violoncello kontrabas

41 Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje drnkací kytara harfa cembalo

42 Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje kladívkové klavír cimbál

43 Rodělení hudebních nástrojů podle působu vniku vuku Dechové nástroje vuk vniká roechvíváním vduchu dřevěné (flétny, hoboj, klarinet, fagot) žesťové (trubka, pooun, tuba, lesní roh) vícehlasé (varhany, akordeon, panova flétna)

44 Rodělení hudebních nástrojů podle působu vniku vuku Dechové nástroje dřevěné flétny hoboj klarinet fagot

45 Rodělení hudebních nástrojů podle působu vniku vuku Dechové nástroje žesťové trubka pooun tuba lesní roh

46 Rodělení hudebních nástrojů podle působu vniku vuku Dechové nástroje vícehlasé varhany akordeon panova flétna

47 Rodělení hudebních nástrojů podle působu vniku vuku Bicí nástroje vuk vniká mechanickým působením blanovučné - tón se tvoří rokmitáním membrány paličkami (tympány, malý buben, velký buben) samovučné (triangl, činely)

48 Rodělení hudebních nástrojů podle působu vniku vuku Bicí nástroje blanovučné tympány malý buben velký buben tamburína

49 Rodělení hudebních nástrojů podle působu vniku vuku Bicí nástroje samovučné triangl činely xylofon vony

50 Rosahy ákladní frekvence

51

52 Spektrum saxofonu

53 Vývoj spektra saxofonu

54 Spektrum flétny

55 Spektrum hoboje

56 Spektrum klarinetu

57 Spektrum fagotu

58 Spektrum lesního rohu

59 Spektrum trubky

60 Spektrum tuby

61 Spektrum houslí

62 Spektrum violoncella

63 Formanty

64 Formantová syntéa Formantová syntéa - Zjednodušené modelování hlasového traktu pomocí formantů a antiformantů - Praktické aplikace - nejpoužívanější v letech Založena na akustické teorii vytváření řeči Zjednodušená simulace vytváření řeči člověkem - Zdroj buení - generátor impulsů pro nělé vuky a šum nebo smíšené buení pro nenělé vuky - Hlasový trakt - modelování pomocí filtru, jehož parametry odpovídají formantům a antiformantům hlasového traktu Syntéa podle pravidel parametry se nastavují podle manuálně naleených pravidel Dříve velmi úspěšná a používaná metoda 4

65 Klatt Blokové schéma Klattova synteátoru

66 Parametry Klattova syntetiéru Symbol Name Min Max Typ N 1 AV Amplitude of voicing (db) 8 AF Amplitude of frication (db) 8 3 AH Amplitude of aspiration (db) 8 4 AVS Amplitude of sinusoidal voicing (db) 8 5 F Fundamental frequency (H) 5 6 F1 First formant frequency (H) F Second formant frequency (H) F3 Third formant frequency (H) F4 Fourth formant frequency (H) FNZ Nasal ero frequency (H) AN Nasal formant amplitude (H) 8 1 A1 First formant amplitude (H) 8 13 A Second formant amplitude (H) 14 A3 Third formant amplitude (H) 8 15 A4 Fourth formant amplitude (H) 8 16 A5 Fifth formant amplitude (H) 8 17 A6 Sixth formant amplitude (H) 8 18 AB Bypass path amplitude (H) 8 19 B1 First formant bandwidth (H) B Second formant bandwidth (H) B3 Third formant bandwidth (H) SW Cascade/parallel switch 1 3 FNP Nasal pole frequency (H) BNP Nasal pole bandwidth (H) BNZ Nasal ero bandwidth (H) BGS Glottal resonator bandwidth (H) SR Sampling rate (H) NWS Number of waveform samples per chunk G Overall gain control (db) NFC Number of cascaded formants 4 6 5

67 Formantová syntéa Výhody: - Jednoduchý model - Snadné říení proodických charakteristik - Konstantní kvalita - Změny hlasu a emoce možno řídit podle pravidel - Schopnost vytvářet plynulou kvalitní řeč Nevýhody: - Pracné hledání a nastavování pravidel - Vájemná interakce mei hodnotami parametrů - Složité vytváření některých vuků (exploívy) - Níká přiroenost řeči 5

68 IIR filtr s jedním pólem (pohyb pólu po reálné ose)

69 IIR filtr s jedním pólem a jednou nulou (pohyb nuly a pólu po reálné ose)

70 Filtr se dvěma póly - reonátor

71 Filtr se dvěma póly pásmová propust IIR y [ n] x[ n] a y[ n 1] a y[ n ] 1 H( ) j j 1 re re 1 a a 1 1 f f s a1 r cos a r

72 Filtr se dvěma póly H( ) pásmová propust IIR j j j j re re re re r

73 sin cos sin cos ) ( r j j r r re re re re H j j j j Filtr se dvěma póly pásmová propust IIR

74 cos sin cos sin cos ) ( r r r j j r r re re re re H j j j j Filtr se dvěma póly pásmová propust IIR

75 1 cos sin cos sin cos ) ( a a r r r j j r r re re re re H j j j j Filtr se dvěma póly pásmová propust IIR

76 1 cos sin cos sin cos ) ( a a r r r j j r r re re re re H j j j j r a f s f 1 cos r a Filtr se dvěma póly pásmová propust IIR

77 Filtr se dvěma póly pásmová propust IIR cos sin cos sin cos ) ( a a a a r r r j j r r re re re re H j j j j r a f s f 1 cos r a

78 Filtr se dvěma póly (tlumené oscilace) 8 r,975 r 8,95 8 r,95

79 Filtr se dvěma póly - reonátor (netlumené oscilace) 8 r 1,5 8 r 1,5 8 r 1,75

80 Filtr se dvěma póly - reonátor (konstantní koeficient a ) a cos( / 6) 1 a 1 a cos( / 4) 1 a 1 a cos( /3) 1 a 1

81 Filtr se dvěma póly - reonátor (konstantní koeficient a 1 ) a cos( / 4) 1 a,8 a cos( / 4) 1 a 1 a cos( / 4) 1 a 1,

82 Pohyb pólů (konstantní úhel; růný poloměr)

83 Pohyb pólů po kružnici (růný úhel; konstantní poloměr)

84 Pohyb nul IIR filtru (po reálné ose)

85 IIR s více póly (pohyb vybraných pólů po ose)

86 IIR s více póly (pohyb vybraných pólů po kružnici)

87 Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part -rovina reonátorů Real Part Real Part Real Part Real Part Real Part Real Part Real Part Real Part Real Part

88 Amplitudové charakteristiky reonátorů

89 Analýa harmonických Time h1 h h3 h4 h5 h6 h7 h8 h9.4.

90 frekvence vitr F Filtrační syntéa větru > cas [s]

91 Filtrační syntéa větru clear, fs = 8; % vorkovaci frekvence [H] doba = 1; % doba trvani tonu [s] x=*rand(1,fs*doba)-1; % generovani bileho sumu nt=:1/fs:doba-1/fs; % casova osa % souradnice ridicich bodu sily vetru X=[ ]; Y=[ ]; Fmin=1; Fmax=9; y=(fmax-fmin)*y+fmin; % casovy prubeh interpolovane ridici frekvence fr=interp1(x,y,nt/nt(end));

92 Filtrační syntéa větru % navrh reonatoru B = 1; % sirka pasma reonatoru R = 1-B*pi/fs; % vypocet polomer polu a =-*R*cos(*pi*fr/fs); % vypocet koeficientu b=(1-r)*sqrt(r*(r-4*cos(*pi*fr/fs)+)+1); % norm.koeficient y=eros(1,length(x)); for n=3:length(x) y(n)=b(n)*x(n)-a(n)*y(n-1)-(r.^)*y(n-); end

93 frekvence vitr Filtrační syntéa vln 1 A 4 B 1 fr x > cas [s]

94 Filtrační syntéa vln % souradnice ridicich bodu X =[ ]; % casova osa Y_A=[ ]; % amplituda Y_B=[ ]; % sirka pasma Y_f=[ ]; % reonancni frekvence % casovy prubeh interpolovane ridici amplitudy G=interp1(X,Y_A,nT/nT(end)); % casovy prubeh interpolovane sirky pasma B=interp1(X,Y_B,nT/nT(end)); % casovy prubeh interpolovane ridici reonancni f fr=interp1(x,y_f,nt/nt(end));

95 Filtrační syntéa vln x=*rand(1,fs*doba)-1; for n=3:length(x) R(n) = 1-B(n)*pi/fs; % vypocet polomer polu a(n) =-*R(n)*cos(*pi*fr(n)/fs); % vypocet koeficientu b(n)=(1-r(n))*sqrt(r(n)*(r(n)-4*cos(*pi*fr(n)/fs)+)+1); % norm.koeficient y(n)=g(n)*(b(n)*x(n)-a(n)*y(n-1)-(r(n).^)*y(n-)); end