7. listopadu 2018 Hlas a řeč. Hudební nástroje. Formantové syntézy. Číslicové pásmové propusti. Aplikace

Transkript

1 B2M3SYN 6. PŘEDNÁŠKA 7. listopadu 28 Hlas a řeč fonace, prosodie, artikulace hlasivkový tón, formanty Hudební nástroje rozdělení podle vzniku tónu rozsahy, spektra, formanty Formantové syntézy Klattův formantový syntetizér Číslicové pásmové propusti filtry se dvěma póly řazení filtrů Aplikace banka filtrů (rezonátorů) filtrační syntézy s časově prom. filtry formantové syntézy (samohlásky, nástroje)

2 Hlas a řeč dutina nosní dutina ústní dutina hrdelní hrtan jícen plíce břicho bránice

3 Hlas a řeč změny v hlasitosti, základní periodě a časování při tvorbě řeči modifikace pozice a tvaru řečových orgánů artikulace prosodie vibrace fonace hlasivek a hrtanu vytvářejících zvuk respirace

4 Akustický model - fonace En PLÍCE fonace F, jitt, shim HLASIVKY HLASOVÉ ÚSTROJÍ

5 Akustický model - artikulace En PLÍCE HLASOVÉ ÚSTROJÍ F F2 REZONANCE artikulace

6 Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace artikulace

7 Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F=7 Hz artikulace F2= Hz A

8 Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F=4 Hz artikulace F2=75 Hz E

9 Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace artikulace F=25 Hz F2=2 Hz I

10 Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F=5 Hz artikulace F2=7 Hz O

11 Akustický model artikulace + fonace En F, jitt, shim F F2 PLÍCE HLASIVKY HLASOVÉ ÚSTROJÍ REZONANCE fonace F=3 Hz artikulace F2=55 Hz U

12 Akustické charakteristiky respirace En DEn

13 Akustické charakteristiky F, F2 respirace En DEn artikulace vokální trojúhelník artikulační index segmentace rychlost délky segmentů F, En prosodie std F (v půltónech) std EN časové poměry řeč/pauza F fonace jitter Shimmer ACR šum NHR

14 Základní hlasivkový tón typ f [Hz] min f [Hz] max f [Hz] muži ženy děti Rozsah hlasivkového tónu v řeči Změny v rychlosti kmitání hlasivek vnímáme jako změny v základní periodě hlasivkového tónu, resp. v základní frekvenci f. Základní perioda je ovlivněna vlastnostmi hlasivek (jejich pružností, hmotností a délkou).

15 Základní hlasivkový tón samohlaska "a" perioda samohlasky "a" > cas [s] > cas [s] T = /f 8 6 f f 2 f = /T amplitudove spektrum f 3.5 f amplitudove spektrum f 2 f f > frekvence [Hz] > frekvence [Hz]. Vztah základní frekvence, základní periody a formantových frekvencí vlevo: časový průběh a periodogram pro dlouhý samohláskový úsek vpravo: časový průběh a periodogram pro jednu periodu

16 Základní hlasivkový tón ---> frekvence [Hz] ---> frekvence [Hz] slovo "jedna" > cas [s] > cas [s] > cas [s] ---> frekvence [Hz] ---> frekvence [Hz] samohlaska "a" > cas [s] > cas [s] > cas [s].: širokopásmový (horní) a úzkopásmový (dolní) spektrogram. Vpravo je zobrazení pro slovo jedna, vlevo je detail samohlásky a

17 Základní hlasivkový tón

18 Formanty Orientační hodnoty formantů českých samohlásek I E A O U F F F

19 Formanty 5 4 F F2 DFT DFT F3 DFT F LP F2 LP F3 LP DFT LP cep 3 F4 DFT 2 F4 LP [db] F cep F2 cep F4 cep - F3 cep > frekvence [Hz]

20 4 Formanty X s e s t a l e v i c e v z d a l u j i X 35 3 frekvence [Hz] cas [s] Formantové frekvence získané pomocí LPC analýzy. řádu (výpočtem kořenů polynomu) pro okno délky 3 ms a překrytí 26 ms 4 X s e s t a l e v i c e v z d a l u j i X 35 3 frekvence [Hz] cas [s] Formantové frekvence určené z vrcholů kepstrálně vyhlazeného frekvenčního spektra (parametry analýzy: 3 bodů DFT, 3 kepstrálních koeficientů, Hammingovo okno 3 ms, překrytí 26 ms)

21 Formanty

22 Zpěvní formant

23 HUDEBNÍ NÁSTROJE

24 HUDEBNÍ NÁSTROJE Příklady akustických systémů hudebních nástrojů nástroj buzení = excitátor + oscilátor rezonátor řeč,zpěv proud vzduchu + hlasivky soustava dutin housle kytara harfa klavír cembalo flétna hoboj trubka tympán vibrafon smyčec prst prst kladívko brk proud vzduchu proud vzduchu proud vzduchu palička palička + struna + struna + struna + struna + struna + vzdušný jazýček + třtinový strojek + rty hudebníka + membrána + kámen ozvučná skříňka ozvučná skříňka ozvučná skříň ozvučná deska ozvučná deska vzdušný sloupec vzdušný sloupec vzdušný sloupec vzdušná dutina vzdušný sloupec

25 HUDEBNÍ NÁSTROJE Tradiční analogová syntéza barev klasických nástrojů zdroj simulace nástroje pila trojúhelník obdélník pravoúhlý obdélníkové úzké pulsy tření smyčce pohyb vzduchového válce dutý zvuk píšťal (liché harm.) jazýčky a rty smyčce flétny klarinet, flétny, varhany hoboj, fagot a trubka

26 Rozsahy základní frekvence

27 Spektrum saxofonu

28 Vývoj spektra saxofonu

29 Spektrum flétny

30 Spektrum hoboje

31 Spektrum klarinetu

32 Spektrum fagotu

33 Spektrum lesního rohu

34 Spektrum trubky

35 Spektrum tuby

36 Spektrum houslí

37 Spektrum violoncella

38 Formanty

39 Formanty [Hz] vokál F F2 F3 F4 BW BW2 BW3 BW4 A E I O U nástroj F F2 F3 F4 BW BW2 BW3 BW4 housle cello tuba fagot trubka saxofon hoboj lesní roh flétna klarinet

40 Formantová syntéza Formantová syntéza - Zjednodušené modelování hlasového traktu pomocí formantů a antiformantů - Praktické aplikace - nejpoužívanější v letech Založena na akustické teorii vytváření řeči Zjednodušená simulace vytváření řeči člověkem - Zdroj buzení - generátor impulsů pro znělé zvuky a šum nebo smíšené buzení pro neznělé zvuky - Hlasový trakt - modelování pomocí filtru, jehož parametry odpovídají formantům a antiformantům hlasového traktu Syntéza podle pravidel parametry se nastavují podle manuálně nalezených pravidel Dříve velmi úspěšná a používaná metoda 24

41 Klatt Blokové schéma Klattova syntezátoru

42 Parametry Klattova syntetizéru Symbol Name Min Max Typ N AV Amplitude of voicing (db) 8 2 AF Amplitude of frication (db) 8 3 AH Amplitude of aspiration (db) 8 4 AVS Amplitude of sinusoidal voicing (db) 8 5 F Fundamental frequency (Hz) 5 6 F First formant frequency (Hz) F2 Second formant frequency (Hz) F3 Third formant frequency (Hz) F4 Fourth formant frequency (Hz) FNZ Nasal zero frequency (Hz) AN Nasal formant amplitude (Hz) 8 2 A First formant amplitude (Hz) 8 3 A2 Second formant amplitude (Hz) 4 A3 Third formant amplitude (Hz) 8 5 A4 Fourth formant amplitude (Hz) 8 6 A5 Fifth formant amplitude (Hz) 8 7 A6 Sixth formant amplitude (Hz) 8 8 AB Bypass path amplitude (Hz) 8 9 B First formant bandwidth (Hz) B2 Second formant bandwidth (Hz) B3 Third formant bandwidth (Hz) SW Cascade/parallel switch 32 FNP Nasal pole frequency (Hz) BNP Nasal pole bandwidth (Hz) BNZ Nasal zero bandwidth (Hz) BGS Glottal resonator 2 bandwidth (Hz) 2 36 SR Sampling rate (Hz) NWS Number of waveform samples per chunk G Overall gain control (db) NFC Number of cascaded formants 4 6 5

43 Formantová syntéza Výhody: - Jednoduchý model - Snadné řízení prozodických charakteristik - Konstantní kvalita - Změny hlasu a emoce možno řídit podle pravidel - Schopnost vytvářet plynulou kvalitní řeč Nevýhody: - Pracné hledání a nastavování pravidel - Vzájemná interakce mezi hodnotami parametrů - Složité vytváření některých zvuků (explozívy) - Nízká přirozenost řeči 25

44 IIR filtr s jedním pólem (pohyb pólu po reálné ose)

45 IIR filtr s jedním pólem a jednou nulou (pohyb nuly a pólu po reálné ose)

46 Filtr se dvěma póly - rezonátor

47 Filtr se dvěma póly pásmová propust IIR y [ 2 n] x[ n] a y[ n ] a y[ n 2] H( z) z 2 j j 2 z re z re a z a z 2 f 2 f s a 2r cos a r 2 2

48 Filtr se dvěma póly pásmová propust IIR cos 2 sin cos sin cos ) ( z a z a a z a z z r z r z z r j j zr z z r zre zre z z re z re z z z H j j j j 2 2 r a f s f 2 cos 2 r a

49 Filtr se dvěma póly (tlumené oscilace) 8 r,975 r 8,95 8 r,925

50 Filtr se dvěma póly - rezonátor (netlumené oscilace) 8 r,25 8 r,5 8 r,75

51 Filtr se dvěma póly - rezonátor (konstantní koeficient a 2 ) a 2cos( / 6) a 2 a 2cos( / 4) a 2 a 2cos( /3) a 2

52 Filtr se dvěma póly - rezonátor (konstantní koeficient a ) a 2cos( / 4) a,8 2 a 2cos( / 4) a 2 a 2cos( / 4) a,2 2

53 Pohyb pólů (konstantní úhel; různý poloměr)

54 Pohyb pólů po kružnici (různý úhel; konstantní poloměr)

55 Pohyb nul IIR filtru (po reálné ose)

56 IIR s více póly (pohyb vybraných pólů po ose)

57 IIR s více póly (pohyb vybraných pólů po kružnici)

58 z-rovina rezonátorů Imaginary Part Imaginary Part Imaginary Part Real Part 2 - Real Part 2 - Real Part Imaginary Part Imaginary Part Imaginary Part Real Part 2 - Real Part 2 - Real Part Imaginary Part Imaginary Part Imaginary Part Real Part 2 - Real Part 2 - Real Part

59 Amplitudové charakteristiky rezonátorů

60 Analýza harmonických Time h h2 h3 h4 h5 h6 h7 h8 h9.4.2

61 Filtrační syntéza větru F vitr frekvence > cas [s]

62 Filtrační syntéza větru clear, fs = 8; % vzorkovaci frekvence [Hz] doba = ; % doba trvani tonu [s] x=2*rand(,fs*doba)-; % generovani bileho sumu nt=:/fs:doba-/fs; % casova osa % souradnice ridicich bodu sily vetru X=[ ]; Y=[ ]; Fmin=; Fmax=9; y=(fmax-fmin)*y+fmin; % casovy prubeh interpolovane ridici frekvence fr=interp(x,y,nt/nt(end));

63 Filtrační syntéza větru % navrh rezonatoru B = ; % sirka pasma rezonatoru R = -B*pi/fs; % vypocet polomer polu a =-2*R*cos(2*pi*fr/fs); % vypocet koeficientu b=(-r)*sqrt(r*(r-4*cos(2*pi*fr/fs)+2)+); % norm.koeficient y=zeros(,length(x)); for n=3:length(x) y(n)=b(n)*x(n)-a(n)*y(n-)-(r.^2)*y(n-2); end

64 Filtrační syntéza vln A 4 B fr vitr x 4 frekvence > cas [s]

65 Filtrační syntéza vln % souradnice ridicich bodu X =[ ]; % casova osa Y_A=[ ]; % amplituda Y_B=[ ]; % sirka pasma Y_f=[8 8 ]; % rezonancni frekvence % casovy prubeh interpolovane ridici amplitudy G=interp(X,Y_A,nT/nT(end)); % casovy prubeh interpolovane sirky pasma B=interp(X,Y_B,nT/nT(end)); % casovy prubeh interpolovane ridici rezonancni f fr=interp(x,y_f,nt/nt(end));

66 Filtrační syntéza vln x=2*rand(,fs*doba)-; for n=3:length(x) R(n) = -B(n)*pi/fs; % vypocet polomer polu a(n) =-2*R(n)*cos(2*pi*fr(n)/fs); % vypocet koeficientu b(n)=(-r(n))*sqrt(r(n)*(r(n)-4*cos(2*pi*fr(n)/fs)+2)+); % norm.koeficient y(n)=g(n)*(b(n)*x(n)-a(n)*y(n-)-(r(n).^2)*y(n-2)); end

67 Filtrační syntéza Aplikace s šumem rezonátory a obálkami buben činel

68 Filtrační syntéza 8 řídící frekvence déšť

69 Filtrační syntéza hodiny Fr=35; B = 55; Fr=3; B = 75;

70 Filtrační syntéza housle Frequency % filtr (model housli) %%%%%%%%%%%%% F = [5, 5, 3, 4]; BW = [3, 2, 7, 5]; Time x 4

71 Filtrační syntéza klarinet % navrh rezonatoru fr = 9; % rezonancni frekvence B = 2; % sirka pasma rezonatoru

72 Syntéza strojů vlak letadlo

73 Syntéza materiálu dřevo kov sklo

74 Potlačení šumu v řeči bankou filtrů

75 Potlačení šumu v řeči bankou filtrů

76 Potlačení šumu v řeči bankou filtrů banka filtrů Dilci normovane propusti

77 Potlačení šumu v řeči bankou filtrů for i=:3 soundsc(x); pause(), soundsc(xs); pause();end; subplot(2); specgram(x); subplot(22); specgram(xs);.8.8 Spektrogram puvodniho signalu Frequency > f Time > n Spektrogram signalu s potlacenym sumem.8.8 Frequency > f Time > n