BM31SYN 6. PŘEDNÁŠKA 9. listopadu 16 Hlas a řeč fonace, prosodie, artikulace hlasivkový tón, formanty Hudební nástroje rodělení podle vniku tónu rosahy, spektra, formanty Formantové syntéy Klattův formantový syntetiér Číslicové pásmové propusti filtry se dvěma póly řaení filtrů Aplikace banka filtrů (reonátorů) filtrační syntéy s časově prom. filtry formantové syntéy (samohlásky, nástroje)
Hlas a řeč dutina nosní dutina ústní dutina hrdelní hrtan jícen plíce břicho bránice
respirace Hlas a řeč
Hlas a řeč vibrace fonace hlasivek a hrtanu vytvářejících vuk respirace
Hlas a řeč modifikace poice a tvaru řečových orgánů artikulace vibrace fonace hlasivek a hrtanu vytvářejících vuk respirace
Hlas a řeč měny v hlasitosti, ákladní periodě a časování při tvorbě řeči modifikace poice a tvaru řečových orgánů artikulace prosodie vibrace fonace hlasivek a hrtanu vytvářejících vuk respirace
Akustický model hlas En PLÍCE HLASOVÉ ÚSTROJÍ
Akustický model hlas En PLÍCE HLASOVÉ ÚSTROJÍ
Akustický model - fonace En PLÍCE fonace F, jitt, shim HLASIVKY HLASOVÉ ÚSTROJÍ
Akustický model - fonace En PLÍCE fonace F, jitt, shim HLASIVKY HLASOVÉ ÚSTROJÍ
Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE artikulace
Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=7 H artikulace F=11 H A
Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=4 H artikulace F=175 H E
Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=5 H artikulace F= H I
Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=5 H F=7 H artikulace O
Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F1 F REZONANCE F1=3 H artikulace F=55 H U
Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace artikulace
Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F1=7 H artikulace F=11 H A
Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F1=4 H artikulace F=175 H E
Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace artikulace F1=5 H F= H I
Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F1=5 H artikulace F=7 H O
Akustický model artikulace + fonace En F, jitt, shim F1 F PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F1=3 H artikulace F=55 H U
Akustické charakteristiky respirace En DEn
Akustické charakteristiky respirace En DEn fonace F jitter shimmer ACR šum NHR
Akustické charakteristiky F1, F respirace En DEn artikulace vokální trojúhelník artikulační index segmentace rychlost F [H] délky segmentů fonace F jitter I U O E A F1 [H] shimmer ACR šum NHR
Akustické charakteristiky F1, F respirace En DEn artikulace vokální trojúhelník artikulační index segmentace rychlost délky segmentů F, En prosodie std F (v půltónech) std EN časové poměry řeč/paua F fonace jitter Shimmer ACR šum NHR
Základní hlasivkový tón typ f [H] min f [H] max f [H] muži 15 8 ženy 5 15 35 děti 3 5. Rosah hlasivkového tónu v řeči Změny v rychlosti kmitání hlasivek vnímáme jako měny v ákladní periodě hlasivkového tónu, resp. v ákladní frekvenci f. Základní perioda je ovlivněna vlastnostmi hlasivek (jejich pružností, hmotností a délkou).
Základní hlasivkový tón 1 samohlaska "a" 1 1 perioda samohlasky "a" -1.3.33.34.35.36.37.38.39.4.41 ---> cas [s] -1.35.353.354.355.356.357.358.359.36.361 ---> cas [s] T = 1/f 1 8 6 f 1 f f = 1/T amplitudove spektrum f 3 1.5 1 f 1 amplitudove spektrum f f 3 4 f.5 5 1 15 5 3 35 4 ---> frekvence [H] 5 1 15 5 3 35 4 ---> frekvence [H]. Vtah ákladní frekvence, ákladní periody a formantových frekvencí vlevo: časový průběh a periodogram pro dlouhý samohláskový úsek vpravo: časový průběh a periodogram pro jednu periodu
---> frekvence [H] ---> frekvence [H] ---> frekvence [H] ---> frekvence [H] Základní hlasivkový tón 1.5 -.5 slovo "jedna".1..3.4.5.6 ---> cas [s] 4 3 1.1..3.4.5.6 ---> cas [s] 4 3 1.1..3.4.5 ---> cas [s] 1.5 -.5-1 4 3 1 1 5 samohlaska "a".3.33.34.35.36.37.38.39.4.41 ---> cas [s].3.33.34.35.36.37.38.39.4.41 ---> cas [s].3.33.34.35.36.37.38.39.4.41 ---> cas [s].: širokopásmový (horní) a úkopásmový (dolní) spektrogram. Vpravo je obraení pro slovo jedna, vlevo je detail samohlásky a
Základní hlasivkový tón
Formanty Orientační hodnoty formantů českých samohlásek I E A O U F1 3.. 5 48.. 7 7.. 11 5.. 7 3.. 5 F.. 8 156.. 1 11.. 15 85.. 1 6.. 1 F3 6.. 35 5.. 3 5.. 3 5.. 3 4.. 9
[db] Formanty 5 4 F1 F DFT DFT F3 DFT F1 LP F LP F3 LP DFT LP cep 3 F4 DFT F4 LP 1 F1 cep F cep F4 cep -1 F3 cep - -3 5 1 15 5 3 35 4 ---> frekvence [H]
frekvence [H] frekvence [H] 4 Formanty X s e s t a l e v i c e v d a l u j i X 35 3 5 15 1 5..4.6.8 1 1. 1.4 cas [s] Formantové frekvence ískané pomocí LPC analýy 1. řádu (výpočtem kořenů polynomu) pro okno délky 3 ms a překrytí 6 ms 4 X s e s t a l e v i c e v d a l u j i X 35 3 5 15 1 5..4.6.8 1 1. 1.4 cas [s] Formantové frekvence určené vrcholů kepstrálně vyhlaeného frekvenčního spektra (parametry analýy: 3 bodů DFT, 3 kepstrálních koeficientů, Hammingovo okno 3 ms, překrytí 6 ms)
Formanty
Zpěvní formant
HUDEBNÍ NÁSTROJE
HUDEBNÍ NÁSTROJE Příklady akustických systémů hudebních nástrojů nástroj buení = excitátor + oscilátor reonátor řeč,pěv proud vduchu + hlasivky soustava dutin housle kytara harfa klavír cembalo flétna hoboj trubka tympán vibrafon smyčec prst prst kladívko brk proud vduchu proud vduchu proud vduchu palička palička + struna + struna + struna + struna + struna + vdušný jaýček + třtinový strojek + rty hudebníka + membrána + kámen ovučná skříňka ovučná skříňka ovučná skříň ovučná deska ovučná deska vdušný sloupec vdušný sloupec vdušný sloupec vdušná dutina vdušný sloupec
Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje drojem vuku je napnutá chvějící se struna Dechové nástroje vuk vniká roechvíváním vduchu Bicí nástroje vuk vniká mechanickým působením
Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje drojem vuku je napnutá chvějící se struna smyčcové - struny roechvívá smyčec (housle, viola, violoncello, kontrabas) drnkací - struny se roechvívají trsátkem nebo prsty (kytara, harfa, cembalo) kladívkové (úderné) (klavír, cimbál)
Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje smyčcové housle viola violoncello kontrabas
Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje drnkací kytara harfa cembalo
Rodělení hudebních nástrojů podle působu vniku vuku Strunné nástroje kladívkové klavír cimbál
Rodělení hudebních nástrojů podle působu vniku vuku Dechové nástroje vuk vniká roechvíváním vduchu dřevěné (flétny, hoboj, klarinet, fagot) žesťové (trubka, pooun, tuba, lesní roh) vícehlasé (varhany, akordeon, panova flétna)
Rodělení hudebních nástrojů podle působu vniku vuku Dechové nástroje dřevěné flétny hoboj klarinet fagot
Rodělení hudebních nástrojů podle působu vniku vuku Dechové nástroje žesťové trubka pooun tuba lesní roh
Rodělení hudebních nástrojů podle působu vniku vuku Dechové nástroje vícehlasé varhany akordeon panova flétna
Rodělení hudebních nástrojů podle působu vniku vuku Bicí nástroje vuk vniká mechanickým působením blanovučné - tón se tvoří rokmitáním membrány paličkami (tympány, malý buben, velký buben) samovučné (triangl, činely)
Rodělení hudebních nástrojů podle působu vniku vuku Bicí nástroje blanovučné tympány malý buben velký buben tamburína
Rodělení hudebních nástrojů podle působu vniku vuku Bicí nástroje samovučné triangl činely xylofon vony
Rosahy ákladní frekvence
Spektrum saxofonu
Vývoj spektra saxofonu
Spektrum flétny
Spektrum hoboje
Spektrum klarinetu
Spektrum fagotu
Spektrum lesního rohu
Spektrum trubky
Spektrum tuby
Spektrum houslí
Spektrum violoncella
Formanty
Formantová syntéa Formantová syntéa - Zjednodušené modelování hlasového traktu pomocí formantů a antiformantů - Praktické aplikace - nejpoužívanější v 6.- 8. letech Založena na akustické teorii vytváření řeči Zjednodušená simulace vytváření řeči člověkem - Zdroj buení - generátor impulsů pro nělé vuky a šum nebo smíšené buení pro nenělé vuky - Hlasový trakt - modelování pomocí filtru, jehož parametry odpovídají formantům a antiformantům hlasového traktu Syntéa podle pravidel parametry se nastavují podle manuálně naleených pravidel Dříve velmi úspěšná a používaná metoda 4
Klatt Blokové schéma Klattova synteátoru
Parametry Klattova syntetiéru Symbol Name Min Max Typ N 1 AV Amplitude of voicing (db) 8 AF Amplitude of frication (db) 8 3 AH Amplitude of aspiration (db) 8 4 AVS Amplitude of sinusoidal voicing (db) 8 5 F Fundamental frequency (H) 5 6 F1 First formant frequency (H) 15 9 5 7 F Second formant frequency (H) 5 5 15 8 F3 Third formant frequency (H) 13 35 5 9 F4 Fourth formant frequency (H) 5 45 35 1 FNZ Nasal ero frequency (H) 7 5 11 AN Nasal formant amplitude (H) 8 1 A1 First formant amplitude (H) 8 13 A Second formant amplitude (H) 14 A3 Third formant amplitude (H) 8 15 A4 Fourth formant amplitude (H) 8 16 A5 Fifth formant amplitude (H) 8 17 A6 Sixth formant amplitude (H) 8 18 AB Bypass path amplitude (H) 8 19 B1 First formant bandwidth (H) 4 5 5 B Second formant bandwidth (H) 4 5 7 1 B3 Third formant bandwidth (H) 4 5 11 SW Cascade/parallel switch 1 3 FNP Nasal pole frequency (H) 5 5 33 BNP Nasal pole bandwidth (H) 5 5 1 34 BNZ Nasal ero bandwidth (H) 5 5 1 35 BGS Glottal resonator bandwidth (H) 1 1 36 SR Sampling rate (H) 5 1 37 NWS Number of waveform samples per chunk 1 5 38 G Overall gain control (db) 8 48 39 NFC Number of cascaded formants 4 6 5
Formantová syntéa Výhody: - Jednoduchý model - Snadné říení proodických charakteristik - Konstantní kvalita - Změny hlasu a emoce možno řídit podle pravidel - Schopnost vytvářet plynulou kvalitní řeč Nevýhody: - Pracné hledání a nastavování pravidel - Vájemná interakce mei hodnotami parametrů - Složité vytváření některých vuků (exploívy) - Níká přiroenost řeči 5
IIR filtr s jedním pólem (pohyb pólu po reálné ose)
IIR filtr s jedním pólem a jednou nulou (pohyb nuly a pólu po reálné ose)
Filtr se dvěma póly - reonátor
Filtr se dvěma póly pásmová propust IIR y [ n] x[ n] a y[ n 1] a y[ n ] 1 H( ) j j 1 re re 1 a a 1 1 f f s a1 r cos a r
Filtr se dvěma póly H( ) pásmová propust IIR j j j j re re re re r
sin cos sin cos ) ( r j j r r re re re re H j j j j Filtr se dvěma póly pásmová propust IIR
cos sin cos sin cos ) ( r r r j j r r re re re re H j j j j Filtr se dvěma póly pásmová propust IIR
1 cos sin cos sin cos ) ( a a r r r j j r r re re re re H j j j j Filtr se dvěma póly pásmová propust IIR
1 cos sin cos sin cos ) ( a a r r r j j r r re re re re H j j j j r a f s f 1 cos r a Filtr se dvěma póly pásmová propust IIR
Filtr se dvěma póly pásmová propust IIR 1 1 1 1 1 cos sin cos sin cos ) ( a a a a r r r j j r r re re re re H j j j j r a f s f 1 cos r a
Filtr se dvěma póly (tlumené oscilace) 8 r,975 r 8,95 8 r,95
Filtr se dvěma póly - reonátor (netlumené oscilace) 8 r 1,5 8 r 1,5 8 r 1,75
Filtr se dvěma póly - reonátor (konstantní koeficient a ) a cos( / 6) 1 a 1 a cos( / 4) 1 a 1 a cos( /3) 1 a 1
Filtr se dvěma póly - reonátor (konstantní koeficient a 1 ) a cos( / 4) 1 a,8 a cos( / 4) 1 a 1 a cos( / 4) 1 a 1,
Pohyb pólů (konstantní úhel; růný poloměr)
Pohyb pólů po kružnici (růný úhel; konstantní poloměr)
Pohyb nul IIR filtru (po reálné ose)
IIR s více póly (pohyb vybraných pólů po ose)
IIR s více póly (pohyb vybraných pólů po kružnici)
Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part Imaginary Part -rovina reonátorů 1 1 1-1 1-1 1 Real Part -1 1-1 1 Real Part -1 1-1 1 Real Part -1 1-1 1 Real Part -1 1-1 1 Real Part -1 1-1 1 Real Part -1-1 1 Real Part -1-1 1 Real Part -1-1 1 Real Part
Amplitudové charakteristiky reonátorů 1 1 1.5.5.5 5 1 1 5 1 1 5 1 1.5.5.5 5 1 1 5 1 1 5 1 1.5.5.5
Analýa harmonických 1 1.5 -.5 5 4-1 5 1 15 5 3 35 4 45 5.9.8.7.6.5.4.3 3 1.5.1.15..5.3.35.4.1 Time.1.8.6..1 1 3 4 5 6 h1 h h3 h4 h5 h6 h7 h8 h9.4.
frekvence vitr F Filtrační syntéa větru 1 5.5 1 3 4 5 6 7 8 9 1 -.5 1 3 4 5 6 7 8 9 1 4 1 3 4 5 6 7 8 9 ---> cas [s]
Filtrační syntéa větru clear, fs = 8; % vorkovaci frekvence [H] doba = 1; % doba trvani tonu [s] x=*rand(1,fs*doba)-1; % generovani bileho sumu nt=:1/fs:doba-1/fs; % casova osa % souradnice ridicich bodu sily vetru X=[.15.3.4.5.65.7.75.8.85.9.95 1]; Y=[..1.3.5.3 1.8 1.5 1.7.1]; Fmin=1; Fmax=9; y=(fmax-fmin)*y+fmin; % casovy prubeh interpolovane ridici frekvence fr=interp1(x,y,nt/nt(end));
Filtrační syntéa větru % navrh reonatoru B = 1; % sirka pasma reonatoru R = 1-B*pi/fs; % vypocet polomer polu a =-*R*cos(*pi*fr/fs); % vypocet koeficientu b=(1-r)*sqrt(r*(r-4*cos(*pi*fr/fs)+)+1); % norm.koeficient y=eros(1,length(x)); for n=3:length(x) y(n)=b(n)*x(n)-a(n)*y(n-1)-(r.^)*y(n-); end
frekvence vitr Filtrační syntéa vln 1 A 4 B 1 fr.5 5 5 1 5 5-1 4 6 8 1 1 14 16 4 x 1 4 4 6 8 1 1 14 16 18 ---> cas [s]
Filtrační syntéa vln % souradnice ridicich bodu X =[..5.35 1]; % casova osa Y_A=[.8.15.8.1]; % amplituda Y_B=[ 3 4 6 4]; % sirka pasma Y_f=[8 8 1 1 1]; % reonancni frekvence % casovy prubeh interpolovane ridici amplitudy G=interp1(X,Y_A,nT/nT(end)); % casovy prubeh interpolovane sirky pasma B=interp1(X,Y_B,nT/nT(end)); % casovy prubeh interpolovane ridici reonancni f fr=interp1(x,y_f,nt/nt(end));
Filtrační syntéa vln x=*rand(1,fs*doba)-1; for n=3:length(x) R(n) = 1-B(n)*pi/fs; % vypocet polomer polu a(n) =-*R(n)*cos(*pi*fr(n)/fs); % vypocet koeficientu b(n)=(1-r(n))*sqrt(r(n)*(r(n)-4*cos(*pi*fr(n)/fs)+)+1); % norm.koeficient y(n)=g(n)*(b(n)*x(n)-a(n)*y(n-1)-(r(n).^)*y(n-)); end
Filtrační syntéa Aplikace s šumem reonátory a obálkami buben činel
Filtrační syntéa 8 řídící frekvence 6 4 1 3 4 5 6 7 8 9 1.1 déšť.5 -.5 -.1 1 3 4 5 6 7 8 9 1
Filtrační syntéa hodiny Fr=35; B = 55; Fr=3; B = 75;
Frequency Filtrační syntéa 1 housle -1.5 1 1.5.5 1-1.1..3.4.5.6 5-5.5 1 1.5.5 1.8.6.4. % filtr (model housli) %%%%%%%%%%%%% F = [5, 15, 3, 4]; BW = [3,, 7, 15]; 1 3 4 5 6 7 Time x 1 4
Filtrační syntéa klarinet.5 -.5..4.6.8 1 1. 1.4 1.6 1.8.8.6.4...4.6.8 1 1. 1.4 1.6 1.8.5 -.5..4.6.8 1 1. 1.4 1.6 1.8 % navrh reonatoru fr = 9; % reonancni frekvence B = 1; % sirka pasma reonatoru
Syntéa strojů vlak letadlo
Syntéa materiálu dřevo kov sklo