B2M3SYN 6. PŘEDNÁŠKA 7. listopadu 28 Hlas a řeč fonace, prosodie, artikulace hlasivkový tón, formanty Hudební nástroje rozdělení podle vzniku tónu rozsahy, spektra, formanty Formantové syntézy Klattův formantový syntetizér Číslicové pásmové propusti filtry se dvěma póly řazení filtrů Aplikace banka filtrů (rezonátorů) filtrační syntézy s časově prom. filtry formantové syntézy (samohlásky, nástroje)
Hlas a řeč dutina nosní dutina ústní dutina hrdelní hrtan jícen plíce břicho bránice
Hlas a řeč změny v hlasitosti, základní periodě a časování při tvorbě řeči modifikace pozice a tvaru řečových orgánů artikulace prosodie vibrace fonace hlasivek a hrtanu vytvářejících zvuk respirace
Akustický model - fonace En PLÍCE fonace F, jitt, shim HLASIVKY HLASOVÉ ÚSTROJÍ
Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F F2 REZONANCE artikulace
Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace artikulace
Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F=7 Hz artikulace F2= Hz A
Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F=4 Hz artikulace F2=75 Hz E
Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace artikulace F=25 Hz F2=2 Hz I
Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F=5 Hz artikulace F2=7 Hz O
Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F=3 Hz artikulace F2=55 Hz U
Akustické charakteristiky respirace En DEn
Akustické charakteristiky F, F2 respirace En DEn artikulace vokální trojúhelník artikulační index segmentace rychlost délky segmentů F, En prosodie std F (v půltónech) std EN časové poměry řeč/pauza F fonace jitter Shimmer ACR šum NHR
Základní hlasivkový tón typ f [Hz] min f [Hz] max f [Hz] muži 25 8 2 ženy 225 5 35 děti 3 2 5. Rozsah hlasivkového tónu v řeči Změny v rychlosti kmitání hlasivek vnímáme jako změny v základní periodě hlasivkového tónu, resp. v základní frekvenci f. Základní perioda je ovlivněna vlastnostmi hlasivek (jejich pružností, hmotností a délkou).
Základní hlasivkový tón samohlaska "a" perioda samohlasky "a" -.32.33.34.35.36.37.38.39.4.4 ---> cas [s] -.352.353.354.355.356.357.358.359.36.36 ---> cas [s] T = /f 8 6 f f 2 f = /T amplitudove spektrum f 3.5 f amplitudove spektrum f 2 f 3 4 2 f.5 5 5 2 25 3 35 4 ---> frekvence [Hz] 5 5 2 25 3 35 4 ---> frekvence [Hz]. Vztah základní frekvence, základní periody a formantových frekvencí vlevo: časový průběh a periodogram pro dlouhý samohláskový úsek vpravo: časový průběh a periodogram pro jednu periodu
Základní hlasivkový tón ---> frekvence [Hz] ---> frekvence [Hz].5 -.5 slovo "jedna"..2.3.4.5.6 ---> cas [s] 4 3 2..2.3.4.5.6 ---> cas [s] 4 3 2..2.3.4.5 ---> cas [s] ---> frekvence [Hz] ---> frekvence [Hz].5 -.5-4 3 2 5 samohlaska "a".32.33.34.35.36.37.38.39.4.4 ---> cas [s].32.33.34.35.36.37.38.39.4.4 ---> cas [s].32.33.34.35.36.37.38.39.4.4 ---> cas [s].: širokopásmový (horní) a úzkopásmový (dolní) spektrogram. Vpravo je zobrazení pro slovo jedna, vlevo je detail samohlásky a
Základní hlasivkový tón
Formanty Orientační hodnoty formantů českých samohlásek I E A O U F 3.. 5 48.. 7 7.. 5.. 7 3.. 5 F2 2.. 28 56.. 2.. 5 85.. 2 6.. F3 26.. 35 25.. 3 25.. 3 25.. 3 24.. 29
Formanty 5 4 F F2 DFT DFT F3 DFT F LP F2 LP F3 LP DFT LP cep 3 F4 DFT 2 F4 LP [db] F cep F2 cep F4 cep - F3 cep -2-3 5 5 2 25 3 35 4 ---> frekvence [Hz]
4 Formanty X s e s t a l e v i c e v z d a l u j i X 35 3 frekvence [Hz] 25 2 5 5.2.4.6.8.2.4 cas [s] Formantové frekvence získané pomocí LPC analýzy. řádu (výpočtem kořenů polynomu) pro okno délky 3 ms a překrytí 26 ms 4 X s e s t a l e v i c e v z d a l u j i X 35 3 frekvence [Hz] 25 2 5 5.2.4.6.8.2.4 cas [s] Formantové frekvence určené z vrcholů kepstrálně vyhlazeného frekvenčního spektra (parametry analýzy: 3 bodů DFT, 3 kepstrálních koeficientů, Hammingovo okno 3 ms, překrytí 26 ms)
Formanty
Zpěvní formant
HUDEBNÍ NÁSTROJE
HUDEBNÍ NÁSTROJE Příklady akustických systémů hudebních nástrojů nástroj buzení = excitátor + oscilátor rezonátor řeč,zpěv proud vzduchu + hlasivky soustava dutin housle kytara harfa klavír cembalo flétna hoboj trubka tympán vibrafon smyčec prst prst kladívko brk proud vzduchu proud vzduchu proud vzduchu palička palička + struna + struna + struna + struna + struna + vzdušný jazýček + třtinový strojek + rty hudebníka + membrána + kámen ozvučná skříňka ozvučná skříňka ozvučná skříň ozvučná deska ozvučná deska vzdušný sloupec vzdušný sloupec vzdušný sloupec vzdušná dutina vzdušný sloupec
HUDEBNÍ NÁSTROJE Tradiční analogová syntéza barev klasických nástrojů zdroj simulace nástroje pila trojúhelník obdélník pravoúhlý obdélníkové úzké pulsy tření smyčce pohyb vzduchového válce dutý zvuk píšťal (liché harm.) jazýčky a rty smyčce flétny klarinet, flétny, varhany hoboj, fagot a trubka
Rozsahy základní frekvence
Spektrum saxofonu
Vývoj spektra saxofonu
Spektrum flétny
Spektrum hoboje
Spektrum klarinetu
Spektrum fagotu
Spektrum lesního rohu
Spektrum trubky
Spektrum tuby
Spektrum houslí
Spektrum violoncella
Formanty
Formanty [Hz] vokál F F2 F3 F4 BW BW2 BW3 BW4 A E I O U 7 4 25 5 3 75 2 7 5 27 25 29 27 25 35 34 33 38 335 9 9 9 9 9 7 7 7 7 7 25 25 25 25 25 nástroj F F2 F3 F4 BW BW2 BW3 BW4 housle cello tuba fagot trubka saxofon hoboj lesní roh flétna klarinet 5 99 35 44 8 68 35 55 75 35 5 2 396 8 75 25 345 2 6 83 3 332 28 46 79 483 29 4 33 388 3 45 225 795 9 337 45 56 45 2 56 8 675 795 7 45 79 225 45 7 25 795 7 6 8 9 5 795 675
Formantová syntéza Formantová syntéza - Zjednodušené modelování hlasového traktu pomocí formantů a antiformantů - Praktické aplikace - nejpoužívanější v 6.- 8. letech Založena na akustické teorii vytváření řeči Zjednodušená simulace vytváření řeči člověkem - Zdroj buzení - generátor impulsů pro znělé zvuky a šum nebo smíšené buzení pro neznělé zvuky - Hlasový trakt - modelování pomocí filtru, jehož parametry odpovídají formantům a antiformantům hlasového traktu Syntéza podle pravidel parametry se nastavují podle manuálně nalezených pravidel Dříve velmi úspěšná a používaná metoda 24
Klatt Blokové schéma Klattova syntezátoru
Parametry Klattova syntetizéru Symbol Name Min Max Typ N AV Amplitude of voicing (db) 8 2 AF Amplitude of frication (db) 8 3 AH Amplitude of aspiration (db) 8 4 AVS Amplitude of sinusoidal voicing (db) 8 5 F Fundamental frequency (Hz) 5 6 F First formant frequency (Hz) 5 9 5 7 F2 Second formant frequency (Hz) 5 25 5 8 F3 Third formant frequency (Hz) 3 35 25 9 F4 Fourth formant frequency (Hz) 25 45 35 FNZ Nasal zero frequency (Hz) 2 7 25 AN Nasal formant amplitude (Hz) 8 2 A First formant amplitude (Hz) 8 3 A2 Second formant amplitude (Hz) 4 A3 Third formant amplitude (Hz) 8 5 A4 Fourth formant amplitude (Hz) 8 6 A5 Fifth formant amplitude (Hz) 8 7 A6 Sixth formant amplitude (Hz) 8 8 AB Bypass path amplitude (Hz) 8 9 B First formant bandwidth (Hz) 4 5 5 2 B2 Second formant bandwidth (Hz) 4 5 7 2 B3 Third formant bandwidth (Hz) 4 5 22 SW Cascade/parallel switch 32 FNP Nasal pole frequency (Hz) 2 5 25 33 BNP Nasal pole bandwidth (Hz) 5 5 34 BNZ Nasal zero bandwidth (Hz) 5 5 35 BGS Glottal resonator 2 bandwidth (Hz) 2 36 SR Sampling rate (Hz) 5 2 37 NWS Number of waveform samples per chunk 2 5 38 G Overall gain control (db) 8 48 39 NFC Number of cascaded formants 4 6 5
Formantová syntéza Výhody: - Jednoduchý model - Snadné řízení prozodických charakteristik - Konstantní kvalita - Změny hlasu a emoce možno řídit podle pravidel - Schopnost vytvářet plynulou kvalitní řeč Nevýhody: - Pracné hledání a nastavování pravidel - Vzájemná interakce mezi hodnotami parametrů - Složité vytváření některých zvuků (explozívy) - Nízká přirozenost řeči 25
IIR filtr s jedním pólem (pohyb pólu po reálné ose)
IIR filtr s jedním pólem a jednou nulou (pohyb nuly a pólu po reálné ose)
Filtr se dvěma póly - rezonátor
Filtr se dvěma póly pásmová propust IIR y [ 2 n] x[ n] a y[ n ] a y[ n 2] H( z) z 2 j j 2 z re z re a z a z 2 f 2 f s a 2r cos a r 2 2
Filtr se dvěma póly pásmová propust IIR 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 cos 2 sin cos sin cos ) ( z a z a a z a z z r z r z z r j j zr z z r zre zre z z re z re z z z H j j j j 2 2 r a f s f 2 cos 2 r a
Filtr se dvěma póly (tlumené oscilace) 8 r,975 r 8,95 8 r,925
Filtr se dvěma póly - rezonátor (netlumené oscilace) 8 r,25 8 r,5 8 r,75
Filtr se dvěma póly - rezonátor (konstantní koeficient a 2 ) a 2cos( / 6) a 2 a 2cos( / 4) a 2 a 2cos( /3) a 2
Filtr se dvěma póly - rezonátor (konstantní koeficient a ) a 2cos( / 4) a,8 2 a 2cos( / 4) a 2 a 2cos( / 4) a,2 2
Pohyb pólů (konstantní úhel; různý poloměr)
Pohyb pólů po kružnici (různý úhel; konstantní poloměr)
Pohyb nul IIR filtru (po reálné ose)
IIR s více póly (pohyb vybraných pólů po ose)
IIR s více póly (pohyb vybraných pólů po kružnici)
z-rovina rezonátorů Imaginary Part Imaginary Part Imaginary Part - - - 2 - Real Part 2 - Real Part 2 - Real Part Imaginary Part Imaginary Part Imaginary Part - - - 2 - Real Part 2 - Real Part 2 - Real Part Imaginary Part Imaginary Part Imaginary Part - - - 2 - Real Part 2 - Real Part 2 - Real Part
Amplitudové charakteristiky rezonátorů.5.5.5 5 5 5.5.5.5 5 5 5.5.5.5
Analýza harmonických.5 -.5 5 4-5 5 2 25 3 35 4 45 5.9.8.7.6.5.4.3 3 2.5..5.2.25.3.35.4.2 Time..8.6.2. 2 3 4 5 6 h h2 h3 h4 h5 h6 h7 h8 h9.4.2
Filtrační syntéza větru F 5.5 2 3 4 5 6 7 8 9 vitr -.5 2 3 4 5 6 7 8 9 4 frekvence 2 2 3 4 5 6 7 8 9 ---> cas [s]
Filtrační syntéza větru clear, fs = 8; % vzorkovaci frekvence [Hz] doba = ; % doba trvani tonu [s] x=2*rand(,fs*doba)-; % generovani bileho sumu nt=:/fs:doba-/fs; % casova osa % souradnice ridicich bodu sily vetru X=[.5.3.4.5.65.7.75.8.85.9.95 ]; Y=[.2..3.5.3.8.5.7.]; Fmin=; Fmax=9; y=(fmax-fmin)*y+fmin; % casovy prubeh interpolovane ridici frekvence fr=interp(x,y,nt/nt(end));
Filtrační syntéza větru % navrh rezonatoru B = ; % sirka pasma rezonatoru R = -B*pi/fs; % vypocet polomer polu a =-2*R*cos(2*pi*fr/fs); % vypocet koeficientu b=(-r)*sqrt(r*(r-4*cos(2*pi*fr/fs)+2)+); % norm.koeficient y=zeros(,length(x)); for n=3:length(x) y(n)=b(n)*x(n)-a(n)*y(n-)-(r.^2)*y(n-2); end
Filtrační syntéza vln A 4 B fr.5 2 5 5 5 5 vitr - 2 4 6 8 2 4 6 4 x 4 frekvence 2 2 4 6 8 2 4 6 8 ---> cas [s]
Filtrační syntéza vln % souradnice ridicich bodu X =[.2.25.35 ]; % casova osa Y_A=[.8.5.8.]; % amplituda Y_B=[ 32 4 6 4]; % sirka pasma Y_f=[8 8 ]; % rezonancni frekvence % casovy prubeh interpolovane ridici amplitudy G=interp(X,Y_A,nT/nT(end)); % casovy prubeh interpolovane sirky pasma B=interp(X,Y_B,nT/nT(end)); % casovy prubeh interpolovane ridici rezonancni f fr=interp(x,y_f,nt/nt(end));
Filtrační syntéza vln x=2*rand(,fs*doba)-; for n=3:length(x) R(n) = -B(n)*pi/fs; % vypocet polomer polu a(n) =-2*R(n)*cos(2*pi*fr(n)/fs); % vypocet koeficientu b(n)=(-r(n))*sqrt(r(n)*(r(n)-4*cos(2*pi*fr(n)/fs)+2)+); % norm.koeficient y(n)=g(n)*(b(n)*x(n)-a(n)*y(n-)-(r(n).^2)*y(n-2)); end
Filtrační syntéza Aplikace s šumem rezonátory a obálkami buben činel
Filtrační syntéza 8 řídící frekvence 6 4 2 2 3 4 5 6 7 8 9. déšť.5 -.5 -. 2 3 4 5 6 7 8 9
Filtrační syntéza hodiny Fr=35; B = 55; Fr=3; B = 75;
Filtrační syntéza housle -.5.5 2 2.5 -..2.3.4.5.6 5-5.5.5 2 2.5 Frequency.8.6.4.2 % filtr (model housli) %%%%%%%%%%%%% F = [5, 5, 3, 4]; BW = [3, 2, 7, 5]; 2 3 4 5 6 7 Time x 4
Filtrační syntéza klarinet.5 -.5.2.4.6.8.2.4.6.8.8.6.4.2.2.4.6.8.2.4.6.8.5 -.5.2.4.6.8.2.4.6.8 % navrh rezonatoru fr = 9; % rezonancni frekvence B = 2; % sirka pasma rezonatoru
Syntéza strojů vlak letadlo
Syntéza materiálu dřevo kov sklo
Potlačení šumu v řeči bankou filtrů
Potlačení šumu v řeči bankou filtrů
Potlačení šumu v řeči bankou filtrů banka filtrů Dilci normovane propusti.9.8.7.6.5.4.3.2. 2 4 6 8 2
Potlačení šumu v řeči bankou filtrů for i=:3 soundsc(x); pause(), soundsc(xs); pause();end; subplot(2); specgram(x); subplot(22); specgram(xs);.8.8 Spektrogram puvodniho signalu Frequency.6.4.2 ---> f.6.4.2 2 4 6 8 2 4 6 8 Time 5 5 2 25 ---> n Spektrogram signalu s potlacenym sumem.8.8 Frequency.6.4 ---> f.6.4.2.2 2 4 6 8 2 4 6 8 Time 5 5 2 25 ---> n