MULTIMEDIÁLNÍ A HYPERMEDIÁLNÍ SYSTÉMY

Transkript

1 MULTIMEDIÁLNÍ A HYPERMEDIÁLNÍ SYSTÉMY 3. Uložení a komprese zvuku Petr Lobaz, ZVUKOVÝ ZÁZNAM ANALOGOVÝ záznam akustického tlaku (resp. nap tí) spojitou veli inou citlivý na stav záznamového média médium asem degraduje ale: plošná hustota záznamu pom rn malá se vzr stajícím poškozením média rovnom rn roste zkreslení (poškození) záznamu dá se chápat jako nevýhoda i jako výhoda (archivnictví!) citlivý na kvalitu záznamového i p ehrávacího za ízení b žn pro monofonní a stereofonní záznam vícestopé záznamy komplikovan jší stopy musí být synchronní, kvalita všech tecích hlav stejná, nástup digitálních formát MHS Uložení a komprese zvuku 2 / 68

2 ZVUKOVÝ ZÁZNAM n které principy zavedené v analogovém záznamu se používají stále (úmysln i neúmysln ) mechanický hrací strojky, orchestriony, princip podobný notovému záznamu digitální záznamy typu MIDI fonograf, gramofon záznam pr b hu nap tí na mikrofonu hloubkou drážky digitalizace vede na PCM záznam apod. n která technická omezení se vžila (ve stereofonní gramofonové nahrávce nesm l být jeden kanál výrazn hlasit jší než druhý umíst ní bicích na st ed stereofonní báze používá se bez technického d vodu i dnes) MHS Uložení a komprese zvuku 3 / 68 ZVUKOVÝ ZÁZNAM optický záznam nap tí pr hledností filmu pro zvukové filmy zvuková stopa proužek (proužky) prom nlivé ší ky vedle obrazu na film asem p ibývaly další typy záznamu zvuku (magnetický, optický komprimovaný), ale základní stereostopa z stala pro p ípad problému s lepšími formáty magnetický záznam magnetizací materiálu magnetofon, magnetická stopa na filmovém pásu asto vícestopé záznamy magnetická média se v digitálním sv t používají nadále (páska archivace, pevný disk externí pam ) MHS Uložení a komprese zvuku 4 / 68

3 ZVUKOVÝ ZÁZNAM DIGITÁLNÍ záznam akustického tlaku (resp. nap tí) veli inou diskrétní v asu i v hodnot (vzorkování, kvantizace) umož uje velkou plošnou hustotu zázamu náchylný k poškození záznam typicky opat ený samoopravným mechanismem p i malém poškození média zvuk stále perfektní, p i v tším poškození prudká degradace (až zni ení) p i záznamu je t eba A/D p evodník, p i reprodukci D/A kvalita digitálního zvuku záleží p edevším na nich samotné uložení záznamu, distribuce, zpracování v jistém smyslu bezšumové MHS Uložení a komprese zvuku 5 / 68 ZVUKOVÝ ZÁZNAM p íznakový kódování not (MIDI) obdoba vektorové grafiky kódování charaketru zvuku, nap. p i kódování hlasu vzorkovaný záznam digitalizace pr b hu nap tí na mikrofonu nej ast ji PCM (pulse code modulation) existují i alternativy, ale ve sv t multimédií se užívají spíše z ídka: PDM (pulse density modulation), resp. (sigma-delta modulation) signál rozložen do série puls (nap. Super Audio CD) t t t p vodní signál PCM PDM MHS Uložení a komprese zvuku 6 / 68

4 VÍCESTOPÝ ZÁZNAM ODD LENÉ KANÁLY perfektní odd lení signál p ehráva musí p íslušný po et kanál podporovat záznam není zp tn kompatibilní se staršími p ehráva i stereo užití digitální i analogové surround (5.1 apod.) užití obvykle jen digitální analogová podoba prakticky jen ve zvukových studiích, jistou dobu na 70mm filmovém pásu ZP TN KOMPATIBILNÍ ODD LENÉ KANÁLY nap. FM rádio: vstup L, R; p enos L + R, L R monofonní p ijíma umí p ijmout jen L + R kvalitní mono stereofonní p ijíma z L + R, L R dekóduje L, R MHS Uložení a komprese zvuku 7 / 68 VÍCESTOPÝ ZÁZNAM MATICOVÉ ULOŽENÍ uložení n kolika kanál do menšího po tu stop (nap. left, right, center, surround left TOTAL, right TOTAL ) (dále jen zkratky L, R, C, S, L T, R T ) nevyžaduje vyšší kapacitu p enosového kanálu, dobrá zp tná kompatibilita neumož uje dokonalé odd lení p vodních kanál typický p íklad: Dolby Motion Picture (MP) kodér: L, C, R, S L T, R T Dolby Surround dekodér (pasivní): L T, R T L, R, S Dolby ProLogic dekodér (aktivní): L T, R T L, R, C, S MHS Uložení a komprese zvuku 8 / 68

5 VÍCESTOPÝ ZÁZNAM DOLBY MP KODÉR low-pass filtrace: S S L T = L{0 } + 0,707 C{0 } + R{0 } + 0,707 S {90 } R T = L{0 } + 0,707 C{0 } + R{0 } 0,707 S {90 } (složené závorky: dodate ný fázový posuv) (násobení 0,707: útlum 3 db polovina energie) stereofonní p ehrávání L T, R T zkoumáme sm r originálního a reprodukovaného zvuku: originál z L (R) reprodukce vlevo (vpravo) originál z C virtuální stereofonní zdroj uprost ed originál z S v reprodukci v L T, R T s opa nou polaritou obtížná lokalizace virtuálního zdroje MHS Uložení a komprese zvuku 9 / 68 VÍCESTOPÝ ZÁZNAM DOLBY SURROUND DEKODÉR L OUT = L T R OUT = R T S OUT = zpožd ný, lowpass filtrovaný signál L T R T jaký je výstup S OUT reproduktoru? originál z C v S OUT dokonalé ode tení originál z S objeví se v S OUT zpožd ní signálu (L T R T ) využití Haasova jevu zvuk je stále primárn vnímán zep edu (z obrazu) p i sledování filmu mén rušivé než zvuky zezadu lowpass filtrace signálu (L T R T ) zvuk zní vzdálen ji, lze jej h e lokalizovat fázový posun S{90 } odd lení sou asných zvuk v C a S MHS Uložení a komprese zvuku 10 / 68

6 VÍCESTOPÝ ZÁZNAM DOLBY PRO LOGIC DEKODÉR pokud byl originální zvuk nap. virtuáln mezi L a C, nedokáže pasivní dekodér korektn kanály odd lit: nap. v S OUT = L T R T už není dokonalé ode tení ešení: L OUT = L1 L T + L2 R T R OUT = R1 L T + R2 R T S OUT = S1 L T + S2 R T C OUT = C1 L T + C2 R T parametry XY (tj. hodnota, znaménko) ur ovány pr b žn podle povahy L T, R T lepší odd lení kanál, v plném frekven ním rozsahu umož uje odd lit i C OUT kanál MHS Uložení a komprese zvuku 11 / 68 VÍCESTOPÝ ZÁZNAM maticové uložení se používá nap. pro uložení 6.1, 7.1 zvuku apod. do 5.1 digitálního zvukového záznamu standardní 5.1 p ehráva p ehraje 5.1 zvuk vylepšený p ehráva dekóduje zbylé kanály a p ehraje 6.1 apod. (Dolby Digital EX) MHS Uložení a komprese zvuku 12 / 68

7 MIDI Musical Instrument Digital Interface definuje p íznakový systém záznamu zvuku, nap.: v ase t 0 prudce stisknuta klávesa C5 v ase t 1 prudce stisknuta klávesa E5 v ase t 2 pomalu uvoln na klávesa C5 MIDI p íkazy generuje tzv. controller (hudební nástroj, nap. klávesy) nebo tzv. sequencer (nap. po íta ) MIDI p íkazy p ijímá tzv. sound module generuje reálný zvuk alternativn m že MIDI za ízení p ijmout MIDI p íkaz, generovat další a odesílat jinému za ízení, typický datový tok 31,25 kbit/s MHS Uložení a komprese zvuku 13 / 68 PCM Pulse Code Modulation diskretizace spojitého signálu v ase: vzorkování p evod s(t) na s[i] = s(i t) v hodnotách: kvantizace p evod na celá ísla PCM záznam vnáší do signálu chybu (šum) snaha o minimalizaci s s t t p vodní signál PCM záznam MHS Uložení a komprese zvuku 14 / 68

8 VZORKOVÁNÍ vzorkování funkce s(t) = sin(2 ft) pro t [0, 1] sekund t = 1/16 s f S = 16 Hz A/D p evod: f = 2 zjišt ní f = 4 funk ní hodnoty f = 6 D/A p evod: lineární f = 10 interpolace nefunguje pro f = 12 f 0,5 f S f = 0 [Hz] f = 8 = 0,5 f S f = íslo vzorku MHS Uložení a komprese zvuku 15 / 68 VZORKOVÁNÍ PROCES VZORKOVÁNÍ TEORETICKY vstupní signál: s(t) vzorkovaný signál: s(t) comb(t / t) comb(t) rovno nule mimo celo íselná t v celo íselných t se blíží nekone nu není to klasická funkce, matematické podrobnosti vynecháme t p vodní signál s(t) comb(t / t) s(t) comb(t / t) (symbolické zakreslení) t t t MHS Uložení a komprese zvuku 16 / 68

9 VZORKOVÁNÍ spektrum signálu s(t) je dáno FT{ s(t) } = S(f) spektrum navzorkovaného signálu: FT{ s(t) comb(t / t) } FT: Fourierova t. = FT{ s(t) } FT{comb(t / t) } : konvoluce = S(f) comb(f t) t konvoluce S(f) h ebenovou funkcí s rozte í 1 / t sou et kopií S(f) posunutých o k / t = k f S f max f max f 2f S f S 0 f S 2f S f korektní vzorkování: spektra se po vzorkování nep ekrývají f max f max f p vodní signál 2f S f S 0 f S 2f S f kopie spektra po navzorkování nekorektní vzorkování: kopie spektra už od sebe nelze odd lit MHS Uložení a komprese zvuku 17 / 68 VZORKOVÁNÍ je-li vzorkovací frekvence f S > 2f max, lze po navzorkování rekonstruovat p vodní spektrum: S(f) = (S(f) comb(f t) t ) rect(f / f S ) funkce rect(f) = S(f) comb(f t) t 1 pro f < 0,5 0,5 pro f = 0,5 0 pro f > 0,5 2f S rect(f / f S ) f S 0 f S 2f S f 2f S f S 0 f S 2f S f 2f S f S 0 f S 2f S f MHS Uložení a komprese zvuku 18 / 68

10 VZORKOVÁNÍ neplatí-li f S > 2f max (tj. platí f max 0,5 f S ), navzorkovaný signál nelze korektn rekonstruovat vzniklá chyba: aliasing v praxi je nutné p ed A/D p evodník za adit dolní propust (low-pass filtr) ze signálu odstraní frekvence f 0,5 f S konstrukce kvalitní analogové dolní propusti složitá (frekvence f < 0,5 f S ponechá beze zm ny, vyšší potla í) ešení: filtrace mén kvalitní dolní propustí (ponechá f < 0,5 f S, potla í f > 0,5 f OS ) vzorkování frekvencí f OS > f S (oversampling, nap. f OS = 4f S ) digitální low-pass filtrace pro odstran ní f 0,5 f S vynechávání vzork redukce na vzorkování f S MHS Uložení a komprese zvuku 19 / 68 VZORKOVÁNÍ nej ast jší vzorkovací frekvence f S pro zpracování zvuku: telefonie 8 khz (sta í pro srozumitelnost hlasu) rádio 32 khz (kompromis mezi kvalitou a objemem dat) Audio CD 44,1 khz (plný záznam 20 Hz 20 khz) zvukové stopy k filmu 48 khz v profesionálních aplikacích pro zpracování zvuku vyšší (až 192 khz) snazší konstrukce filtr kvalita A/D i D/A p evodu záleží také na p esnosti hodin generujích pulsy problémy s nep esností ozna ujeme jitter U správné okamžiky vzorkování p vodní signál U t skute né okamžiky vzorkování rekonstruovaný signál t MHS Uložení a komprese zvuku 20 / 68

11 KVANTIZACE p idání kvantiza ního šumu k signálu šum = zaokrouhlená hodnota skute ná hodnota jemnost kvantizace podle míry akceptovatelného šumu odstup signál šum: 1 bit 6 db (tj. 16 bit 96 db) p i n-bitové kvantizaci maximální amplituda A max = 2 n 1 amplituda kvantiza ního šumu A Q = 1 / 2 dynamický rozsah = 20 log(a max / A Q ) = 20 log 2 n = n 20 log 2 = n 6,02 db s s t t MHS Uložení a komprese zvuku 21 / 68 KVANTIZACE KVANTIZA NÍ ŠUM velký po et kvantiza ních úrovní kvantiza ní šum nezávislý na signálu zvukový charakter jako bílý šum (každá hodnota kvantiza ní chyby stejn pravd podobná) hodnota odstup signál šum vypovídá o kvalit signálu malý po et kvantiza ních úrovní kvantiza ní šum závislý na signálu zvukový charakter není jako bílý šum hodnota odstup signál šum p íliš nesouvisí s vnímanou kvalitou zvuku vhodn jší je hovo it o kvantiza ním zkreslení MHS Uložení a komprese zvuku 22 / 68

12 KVANTIZACE KVANTIZÉRY mid-rise: q[i] = floor(a s[i]) s[i] ( 1, 1) q[i] = íslo kvantiza ní hladiny, interpretace = dekvantizace A je kvantiza ní hloubka, typicky A = 2 n 1 nap. pro A s(t) [0, 1) je kvantizovaná hodnota 0 chyba kvantizace [0, 1) p i interpretaci kvantiza ní hladina 0 hodnota 0,5 je chyba [ 0.5, 0.5) dekvantizace: s [i] = (q[i] + 0.5) / A 2 n úrovní se d lí symetricky na kladné a záporné hodnoty neobsahuje kód pro ticho pro zvuk se používá z ídka dekvantizovaná hodnota p vodní hodnota mid-rise MHS Uložení a komprese zvuku 23 / 68 KVANTIZACE mid-tread: q[i] = floor(a s[i] + 0.5) dekvantizace: s [i] = q[i] / A op t typicky A = 2 n 1, obsahuje kód pro nulu vytvá í 2 n + 1 kvantiza ních úrovní, tj. lichý po et neefektivní uložení pro malé n p íklad: n = 1 3 kvantiza ní hladiny 1, 0, 1 p evod hladina kód: 0 00, 1 01, 1 11 kód 10 nepoužit 25 % kapacity kódu nepoužito dá se napravit od íznutím jedné extrémní kvantiza ní hladiny nešikovné, protože ztrácíme symetrii alternativn lze napravit sdružováním kód dekvantizovaná hodnota p vodní hodnota mid-tread MHS Uložení a komprese zvuku 24 / 68

13 KVANTIZACE sdružování kód : kódování n kolika vzork do jednoho kódového slova p íklad (vychází z p edchozího snímku): Pokud kódy 00, 01, 10 interpretujeme jako 0, 1, 2, m žeme nap íklad ty i vzorky s[0], s[1], s[2], s[3] kódovat jedním kódovým slovem k = s[0] + 3 s[1] s[2] s[3] (p edstavíme si s[0], s[1], s[2], s[3] jako cifry ísla v trojkové soustav ). Jelikož platí k [0, 80], sta í na kódové slovo 7 bit 7 bit na 4 vzorky = 1,75 bitu/vzorek MHS Uložení a komprese zvuku 25 / 68 KVANTIZACE UNIFORMNÍ KVANTIZACE uniformní = ší ka kvantiza ních interval stejná CD, DVD, kódování pro 12 a více bit odhad dynamického rozsahu 16bitové kvantizace (odstup signál / šum): 16 6,02 db 96 db p i korektním výpo tu je dynamický rozsah n-bitového bipolárního signálu s rovnom rn rozloženou kvantiza ní chybou (1,76 + 6,02n) db pro unipolární signál (tj. nap. pro obraz) je to (7,78 + 6,02n) db MHS Uložení a komprese zvuku 26 / 68

14 KVANTIZACE KOREKTNÍ VÝPO ET ODSTUPU SIGNÁL ŠUM n-bitový signál velikost kvantiza ního intervalu q maximální amplituda signálu: A max = q 2 n 1 výkon signálu: P = 1 2 / 2 0 (A max sin(t)) 2 dt = A 2 / 2 max maximální kvantiza ní chyba : max = q / 2 rovnom rné rozložení ppsti kvantiza ní chyby st ední hodnota výkonu ( tverce) kvantiza ní chyby: Q = 1 / q q / 2 q / 2 2 d = q 2 / 12 maximální pom r signál / šum: P / Q = 2 2n 1,5 v db: 10 log(p / Q) = n 20 log log 1,5 = = (6,02n + 1,76) db MHS Uložení a komprese zvuku 27 / 68 KVANTIZACE NEUNIFORMNÍ KVANTIZACE velikost kvantiza ního intervalu r zná v tichém zvuku je i malý šum patrný pro nízké úrovn kvantizace jemná, pro vysoké úrovn hrubá praktická implementace companding: 1. komprese dynamického rozsahu c = 3 s 2. uniformní kvantizace c = floor(a c + 0.5) 3. dekvantizace, expanze s = (c / A) 3 vhodné p i malém po tu (nap. 8) bit na vzorek (telefonie) signál s c komprese c kvantizace s expanze neuniformní mid-tread ukázková funkce signál s zesílení -krát s c p enos c zde by m lo být c MHS Uložení a komprese zvuku 28 / 68

15 KVANTIZACE STANDARDNÍ NEUNIFORMNÍ KVANTIZACE vstupní signál s(t) ( 1, 1), p enosové funkce liché -law (telefonie USA, Japonsko) c ln (1+ s) c = =255, 0 s 1 ln (1+ ) zesílení 0,18 zesílení 46 A-law (mezinárodní telefonie) menší zesílení šumu p i s 0 s c = c = 1+ ln(as) 1+ ln A As 1+ ln A pro 1/A s 1 A=87,6 pro 0 s 1/A c zesílení 0,18 zesílení 16 s MHS Uložení a komprese zvuku 29 / 68 KVANTIZACE obecná analýza odstupu signál šum komplikovaná tvary funkcí A-law, -law umož ují zjisit vlastnosti kvantizace prost edky matematické analýzy alternativn : numerická simulace kvantizace, numerický výpo et (výkon signálu) / (výkon šumu) uniformní kvantizace: tišší signály mají horší SNR neuniformní kvantizace: SNR pro tiché i hlasité zvuky srovnatelný A-law μ-law SNR (odstup signál / šum) p i 8bitové kvantizaci [db] uniformní kvantizace 10 úrove vstupního signálu [dbfs] MHS Uložení a komprese zvuku 30 / 68

16 KVANTIZACE POTLA ENÍ KVANTIZA NÍHO ŠUMU kvantizovaný signál není lineární: kvantizace( s(t)) kvantizace(s(t)) linearita d ležitá pro správnou innost filtr dithering p idání šumu ±0,5 kvantiza ní úrovn p ed kvantizérem kvantizovaný signál s ditheringem je statisticky lineární (tj. ne pro konkrétní as t, ale pr m rn na intervalu) objektivní zhoršení pom ru signál-šum (SNR, signal to noise ratio) cca o 3 5 db kvantizér subjektivní zlepšení SNR kvalitní ditheringový šum respektuje citlivost ucha signál šum Q MHS Uložení a komprese zvuku 31 / 68 KVANTIZACE tvarování spektra šumu (noise shaping) hodnota p ed kvantizací: s[i] 1,3 hodnota po dekvantizaci: s [i] = Q(s[i]) 1 chyba kvantizace: e[i] = s [i] s[i] 0,3 p ed kvantizací: s[i+1] 1,4 další vzorek: s [i + 1] = Q(s[i + 1] e[i]) 2 p idávání šumu e[i] kompenzujícího kvantiza ní chybu šum e[i] lze filtrovat filtrem H, aby respektoval citlivost ucha lze kombinovat s ditheringem dekvantizér s[] Q H e[] s [] DQ MHS Uložení a komprese zvuku 32 / 68

17 NEKOMPRIMOVANÝ ZVUK nejvyšší kvalita, nejv tší datový tok standard pro studiové zpracování nap. Audio Compact Disc (CD) 16 bit na vzorek stereofonní nahrávka (= 2 kanály) vzorkovací frekvence f S = Hz datový tok = 1,41 Mbit/s pro srovnání: nekomprimovaný datový tok HDTV ( pixel, 25 snímk za vte inu): 622 Mbit/s p i dnešním výpo etním výkonu není problém nekomprimovaný zvuk zpracovávat ani archivovat rozhodnutí komprimovat/nekomprimovat ovlivn no jinými než technickými faktory (zejména ekonomickými) MHS Uložení a komprese zvuku 33 / 68 KOMPRESE ZVUKU bezztrátová odstran ní redundance v datech po dekompresi požadujeme p esný duplikát vstupních dat ztrátová odstran ní neslyšitelných ástí zvuku (a odstran ní redundance v datech) obecná libovolný realistický zvuk obvykle testováno pro hudbu, hlas (ne pro obecný šum!) obvykle požadujeme maximální v rnost speciální hlas obvykle požadujeme jen srozumitelnost kódování stovek podobných zvuk pro MIDI Sound Module (všechny tóny klavíru apod.) MHS Uložení a komprese zvuku 34 / 68

18 KOMPRESE ZVUKU konstantní datový tok (CBR) snadná manipulace, snadný odhad pot ebného výpo etního výkonu, pam ových nárok, ticho komprimováno stejným datovým tokem jako složitý zvuk prom nný datový tok (VBR) ticho kódováno velmi úsporn, složitý zvuk pat i ným množstvím bit dá se chápat jako konstantní kvalita zvuku pam ové nároky se nedají p íliš odhadnout pr m rný datový tok (ABR) kompromis CBR VBR lokáln VBR, pr m r p es dlouhý interval CBR datový tok CBR také kolísá, ale proti ABR velmi málo MHS Uložení a komprese zvuku 35 / 68 KOMPRESE ZVUKU POŽADAVKY NA KOMPRESI pro archivaci co nejlepší kvalita pro komunikaci co nejmenší zpožd ní nap. kodér pracující po blocích 384 vzork p i vzorkování 48 khz zanáší zpožd ní nejmén 8 ms další zpožd ní zp sobené filtrací, prediktivním kódováním, nap. mp3 typické zpožd ní 130 ms, HE-AAC 320 ms pro telefonii tolerovatelné 150 ms, v hudební produkci 30 ms speciální low-latency kodéry CELT 5 ms, Opus 22 ms, AAC LD 35 ms, obecn : co nejjednodušší (= nejlevn jší) dekodér MHS Uložení a komprese zvuku 36 / 68

19 BEZZTRÁTOVÁ KOMPRESE vstup: kvantizované vzorky s[i] monofonní zvukové stopy (p ípadn n kolik monofonních stop, nap. dv pro stereo) pokud se n které hodnoty vyskytují pravd podobn ji, je vhodné je uložit menším po tem bit ideální je kódovat hodnotu, o které víme, že p ijde (nemusíme uložit ani bit) snahou je s[i] p evést do podoby, kde n kolik hodnot má zna nou pravd podobnost, ostatní velmi malou pravd podobnost hodnoty (symbolu) h je p její zakódování vyžaduje log 2 p bit nap. hodnota s ppstí p = 0,25 = 2 2 vyžaduje 2 bity v celém signálu délky N vzork zabere hodnota h celkem Np log 2 p bit MHS Uložení a komprese zvuku 37 / 68 BEZZTRÁTOVÁ KOMPRESE signál (zpráva) s[] délky N složený z nezávislých vzork s[i], s[i] {h 0, h 1, }, pravd podobnosti hodnot (symbol ) h 0, h 1, jsou p 0, p 1,, zabere N k p k log 2 p k bit hodnoty s pravd podobností 0 se ze sumy vynechávají suma ve výrazu se ozna uje pojmem entropie výraz ozna uje teoretický limit, snažíme se mu p iblížit jsou-li vzorky s[i] na sob závislé, m žeme entropii podstatn snížit obecný postup: dekorelace: odstran ní závislostí mezi vzorky s[i] uložení (zakódování) upraveného dekorelovaného signálu MHS Uložení a komprese zvuku 38 / 68

20 BEZZTRÁTOVÁ KOMPRESE P ÍKLAD signál s[] složený z hodnot {0, 1, 2, 3} standardní uložení (14 2 = 28 bit ) p 0 = 3/14, p 1 = 3/14, p 2 = 4/14, p 3 = 4/14 teoreticky lze uložit na 27,79 bitu pozorování: hodnoty se asto opakují dekorelace: uložení rozdíl mezi vzorky pouze hodnoty {0, 1} lze uložit jen 14 bity p 0 = 11/14, p 1 = 3/14 teoreticky lze uložit na 10,49 bitu MHS Uložení a komprese zvuku 39 / 68 BEZZTRÁTOVÁ KOMPRESE KÓDOVÁNÍ HODNOT (SYMBOL ) hodnota (symbol) h i má ppst p i kód má ideáln log 2 p bit variable length coding (VLC) Huffmanovo kódování symbol h i kódován kódem optimální délky (v jistém smyslu) (celo íselným po et bit slabina Huffmanova kódu) vyžaduje znalost pravd podobností, kódování a dekódování vyžaduje tabulku kód vyžaduje preprocessing pro zjišt ní ppstí (nevhodné pro realtime kódování), nebo je tabulka kód pevn daná p íklad: zpráva A A B C B B A A A EOF (10 symbol ) p A = 5/10, p B = 3/10, p C = 1/10, p EOF = 1/10 kódy: A 0, B 10, C 110, EOF 111 kód zprávy: (17 bit ) MHS Uložení a komprese zvuku 40 / 68

21 BEZZTRÁTOVÁ KOMPRESE Riceovo kódování nevyžaduje tabulku kód, vhodné pro kódování signálu s exp. rozd lením ppsti hodnot: p(x) exp( x ) kód pro celé íslo I složen ze 4 ástí: [bit pro znaménko I] [m nejmén d ležitých bit I] [n bit 0 reprezentujících ostatní bity I] [bit 1] p íklad (m = 2) 0 (+00000) (+01000) (+00001) (+01001) (+00010) (+01010) (+00011) (+01100) (+00100) (+01101) (+00101) binárn = 4 7 (+00111) ( 10001) MHS Uložení a komprese zvuku 41 / 68 BEZZTRÁTOVÁ KOMPRESE aritmetické kódování poskytuje teoreticky nejlepší kód výpo etn nejnáro n jší v kódování zvuku se používá z ídka (DVD-Audio, MPEG-4) detaily pozd ji DEKORELACE lineární predikce vzork : p[i] = a 1 x[i 1] + a 2 x[i 2] + kódování rozdílu predikce p[i] a skute ného vzorku x[i] hledání opakujících se sekvencí, transformace signálu, dá se použít libovolná technika ze ztrátové komprese dat výstup z kodéru ztrátov komprimovaný (dekorelovaný) zvuk + odchylka od p vodního signálu MHS Uložení a komprese zvuku 42 / 68

22 BEZZTRÁTOVÁ KOMPRESE B ŽNÉ KODÉRY SHORTEN, FLAC (Free Lossless Audio Codec) lineární predikce vzorku FIR filtrem DVD-Audio (Meridian Lossless Packing) predikce vzorku IIR filtrem Dolby TrueHD, DTS-HD Master Audio (Blu-ray disc) obvyklý kompresní pom r 2 : 1 až 4 : 1 pro srovnání: u ztrátových kodér b žn 10 : 1 až 25 : 1 MHS Uložení a komprese zvuku 43 / 68 BEZZTRÁTOVÁ KOMPRESE P ÍKLAD PRINCIPU (FLAC) 1. rozd lení vstupního signálu na bloky výb r optimálních parametr kódování bloku 2. odstran ní redundance mezi kanály L, R nap. (podle kroku 1): x = (L + R) / 2, y = L R alternativn x = L, y = R nebo x = L, y = L R nebo 3. lineární predikce vzorku x[i] (resp. y[i]) p[i] = x[i 1] + (x[i 1] x[i 2]) = 2 x[i 1] + x[i 2] alternativn (podle kroku 1) jiné prediktory, nap. p[i] = 0 4. ur ení chyby predikce (rozdílu predikce x[i] a signálu p[i]): e[i] = x[i] p[i] 5. uložení parametr kódování bloku uložení e[i] Riceovým kódem MHS Uložení a komprese zvuku 44 / 68

23 ZTRÁTOVÁ KOMPRESE PRINCIP dekorelace signálu odstran ní psychoakusticky nevýznamné informace kódování zpracovaného signálu ízení datového toku pr b žné ízení parametr mechanismu odstran ní nevýznamné informace vzorky dekódovaného zvuku nejsou totožné se vstupem p íklad vstup: náhodná ísla s jistým rozložením pravd podobnosti výstup: jiná (!) náhodná ísla se stejným rozložením ppsti zvuk zní stejn, a koliv data jsou naprosto odlišná MHS Uložení a komprese zvuku 45 / 68 ZTRÁTOVÁ KOMPRESE METODY hrubší kvantizace, podvzorkování využívá se v kombinaci s jinými metodami komprese a dekomprese dynamiky (kompandér) odhad následujícího vzorku, kódování rozdílu skute ného vzorku oproti odhadu odhad spektra, kódování rozdílu oproti skute nému ( ili technika odhad následujícího vzorku ve frekven ní oblasti) rozd lení zvuku na více frekven ních pásem kódování každého z nich samostatn kódování transformovaného signálu (fourierovské transformace apod.) MHS Uložení a komprese zvuku 46 / 68

24 DPCM differential PCM vstup x[i] M predikce vzorku p[i] = a[k] x [i k] k=1 (kvalita predikce závisí na zvolených koeficientech a[]) chyba predikce e[i] = x[i] p[i] p enos kvantizované chyby ẽ[i] redukce datového toku v dekodéru výpo et odhadu p[i] jako v kodéru M p[i] = a[k] x [i k] k=1 rekonstrukce x [i] = p[i] + ẽ[i] dekodér rekonstruuje poškozené vzorky x [i] kodér musí p i výpo tu predikce p[i] pracovat s tím, co bude mít dekodér k dispozici (tj. se vzorky x [i]) MHS Uložení a komprese zvuku 47 / 68 DPCM P ÍKLAD prediktor p[i] = x [i 1], x [ 1] = 0 kvantizace chyby na násobky 5 kvantizovaná vstup predikce chyba chyba rekonstrukce x[i] p[i] e[i] ẽ[i] x [i] MHS Uložení a komprese zvuku 48 / 68

25 ADPCM adaptive differential PCM pr b žná adaptace kvantizéru nebo prediktoru (koeficient a[k]) podle vstupu dekodér i kodér se adaptují podle stejného algoritmu není t eba p enášet parametry prediktoru/kvantizéru používáno samostatn i jako dopln k dalších metod (stejn jako DPCM) MHS Uložení a komprese zvuku 49 / 68 SUB-BAND KÓDOVÁNÍ stejný princip jako LFE (low frequency effect channel) rozd lení zvuku na více frekven ních pásem (optimální po et a velikost podle kritických pásem) d ležitá informace je rozložena nerovnom rn datový tok p ed a za dolní propust :2 :2 :2 sub-band :2 filtrem stejný 0 16 khz :2 :2 : khz horní propust khz vynechání každého druhého vzorku :2 :2 :2 :2 :2 :2 :2 [khz] MHS Uložení a komprese zvuku 50 / 68

26 SUB-BAND KÓDOVÁNÍ zjišt ní maximální amplitudy A k v každém pásmu k dynamický rozsah pásma k: D k = 20 log A k / A Q [db] (A Q = velikost kvantiza ního kroku) vzorky pásma k je možné ukládat D k / 6,02 bity na vzorek redukce datového toku snadné využití frekven ního maskování je-li v pásmu k vysoká úrove a v pásmu k + 1 nízká, m že být pásmo k + 1 zamaskováno maskuje-li pásmo k pásmo k + 1 až do úrovn S db, m žeme pásmo k + 1 kvantizovat mén než D k + 1 / 6,02 bity na vzorek, pokud bude kvantiza ní šum menší než S vstup je vhodné rozd lit na malé bloky, aby byl v rámci bloku charakter pásem stabilní MHS Uložení a komprese zvuku 51 / 68 SUB-BAND KÓDOVÁNÍ IMPLEMENTACE rozd lení pomocí horní a dolní propusti (FIR) na dv pásma podvzorkování pásem na polovi ní frekvenci p i rekonstrukci p evzorkování pásem, posun do správného frekven ního pásma a sou et vícefázový filtr (polyphase filter) pásmová propust a podvzorkování najednou pro vzorky 0 až n se použije FIR filtr 1 (n-tap) 1 vzorek pro 1. pásmo pro vzorky 1 až (n + 1) se použije FIR filtr 2 (n-tap) 1 vzorek pro 2. pásmo atd. návrh dobrých filtr netriviální MHS Uložení a komprese zvuku 52 / 68

27 TRANSFORMACE SIGNÁLU rozd lení signálu na bloky transformace bloku pomocí DFT (diskrétní Fourierova t.), DCT (diskrétní kosinová t.), MDCT (modifikovaná DCT) využití standardních dekorela ních technik odhad amplitudy jiné frekvence v bloku (intra kód.) (podobné jako odhad následujícího vzorku v DPCM) odhad amplitudy v následujícím bloku (inter kód.) kvantizace dekorelovaného signálu bloky dlouhé dobré vyjád ení tón bloky krátké dobré vyjád ení impulsních blok délka blok se pr b žn m ní (typicky 4 typy: dlouhý, krátký, blok mezi krátkým a dlouhým, blok mezi douhým a krátkým) MHS Uložení a komprese zvuku 53 / 68 TRANSFORMACE SIGNÁLU typický artefakt: pre-echo kv li kvantizaci transformovaného signálu je chyba rozložena rovnom rn v celém bloku chvíli p ed a za hlasitou pasáží vzniká echo artefakt za hlasitou pasáží typicky nevadí díky setrva nosti bazilární membrány velmi krátké pre-echo nevadí, viz asové maskování v blízkosti prudké zm ny hlasitosti krátké bloky hranice bloku vstupní signál signál poškozený kompresí MHS Uložení a komprese zvuku 54 / 68

28 TRANSFORMACE SIGNÁLU potenciální artefakt: bloková struktura p vodní signál spojitý po rozd lení na bloky a nezávislé kompresi blok m že na hranici bloku vzniknout nespojitost lupnutí s frekvencí odpovídající délce bloku ešení: délka bloku 2N vzork, rozte blok N vzork (tj. bloky se z poloviny p ekrývají) aplikace okna w[] na blok na krajích útlum do ticha (tak, aby se po sou tu blok signál nezm nil) blok 2 blok 4 w 1 blok 1 blok 3 rozd lení vstupu na bloky, N = útlum vzork bloku (w[]) n MHS Uložení a komprese zvuku 55 / 68 MDCT Modified Discrete Cosine Transform speciální typ DCT (podrobnosti k DCT pozd ji) konverze 2N hodnot signálu x[] na N hodnot X[]: 2N 1 X[k] = w[ j] x[ j] cos ( N j=0 (j N 2 ) (k ) ) x[ j] signál, j = 0,, 2N 1 w[ j] okno X[k] frekven ní charakteristika, k = 0,, N 1 bloky délky 2N se z poloviny p ekrývají konverze 2N vzork x[] na N koeficient X[] je nutn ztrátová MHS Uložení a komprese zvuku 56 / 68

29 MDCT inverzní vztah (IMDCT): x[ j] = w[ j] N N 1 k=0 X[k] cos ( N (j N 2 ) (k ) ) pro j = 0,, 2N 1 po IMDCT jednotlivých blok, umíst ní na správnou pozici v ase a sou tu zavle ená chyba zmizí (TDAC Time Domain Alias Cancellation) rekonstrukce sudých blok rekonstrukce lichých blok sou et blok 1 blok 2 blok 3 blok 4 MHS Uložení a komprese zvuku 57 / 68 KOMPRESE HLASU omezený frekven ní a dynamický rozsah Hz, vzorkování 8 khz, 12 bit /vzorek využití principu vzniku hlasu (proud vzduchu rozechvívá hlasivky) vokodéry nevhodné pro obecný zvuk, cílem srozumitelnost rozd lení signálu na fragmenty (25 ms) signál lze p ibližn vyjád it konvolucí: x[] e[] f[] hledání excitace e[] (nap. položka ve slovníku excitací) a filtru f[], které povedou na nejmenší chybu vyjád ení fragment zakódován koeficienty filtru (nap. 10 ísel), parametry excitace (nap. íslo položky ve slovníku), hlasitostí apod. datový tok n kolik kbit/s (nap. 2,4 kbit/s) standardní kodéry: CELP (G.723.1, G.729 apod.) MHS Uložení a komprese zvuku 58 / 68

30 MPEG AUDIO MPEG-1 vzorkovací frekvence 32, 44,1 a 48 khz režimy mono, dual mono, stereo, joint stereo dual mono: nezávislé mono kanály stereo: kanály podobné, ale citlivé na chybu fáze joint stereo: psychoakustický model stereofonie MPEG-2 dopl uje další vzorkovací frekvence kompatibilní a nekompatibilní (AAC) vícekanálový zvuk MPEG-4 dopl uje kompresi hlasu, syntézu zvuku HE-AAC schéma, bezztrátová komprese MHS Uložení a komprese zvuku 59 / 68 MPEG-1 AUDIO MPEG-1 Audio základní kompresní schéma Layer 1 (mp1) nejjednodušší, datový tok > 128 kbit/s sub-band kódování, využití frekven ního maskování Layer 2 (mp2) st ední složitost, datový tok 128 kbit/s rozší ení Layer 1, neobsahuje nové algoritmické prvky VideoCD, DVD Layer 3 (mp3) po sub-band kódovaní transformace signálu pomocí MDCT lepší frekven ní rozlišení psychoakustický model m že lépe ur ovat, kterou informaci ztratit nejsložit jší, nejnižší datový tok ( 64 kbit/s) MHS Uložení a komprese zvuku 60 / 68

31 MPEG-1 AUDIO základní schéma kodéru ízení datového toku PCM frekven ní filtry kvantizace, kódování formátování proudu dat mp? psychoakustický model pomocná data základní schéma dekodéru mp? dekódování proudu dat obnova amplitud p evod na PCM PCM pomocná data MHS Uložení a komprese zvuku 61 / 68 MPEG-1 AUDIO PRINCIP KOMPRESE LAYER 1 rozd lení PCM na 32 stejn velkých frekven ních pásem (po et kompromis mezi složitostí a rozlišením pro psychoakustický model viz 24 kritických pásem sluchu) rozd lení dat v pásmech na bloky po 12 vzorcích zesílení bloku scale factorem na max. amplitudu (p íklad: rozsah ±8 vyžaduje 5 bit využití 53 % rozsahu) psychoakustický model: výpo et spektra z p vodního PCM (FFT z 512 vzork ) a ur ení maskování jednotlivých pásem, v úvahu se bere charakter zvuku (tón/šum/impuls) kvantizace pásem výstup délek slov (po et bit na vzorek), scale factor a kvantizovaných vzork MHS Uložení a komprese zvuku 62 / 68

32 MPEG-1 AUDIO P ÍKLAD ALOKACE BIT vstup: jednotlivá frekven ní pásma s upravenou úrovní pásmo úrove [db] pásmo 60 db podle psychoakustického modelu maskuje 12 db v 7. pásmu, 15 db v 9. pásmu 7. pásmo 10 db (< 12 db ) ignorovat 9. pásmo 35 db (> 15 db ) kódovat m li bychom kvantizovat na 35/6,02 = 6 bit /vzorek, ale m žeme kódovat s 2bitovou kvantiza ní chybou (= 12 db), tj. jen 4 bity/vzorek MHS Uložení a komprese zvuku 63 / 68 MPEG-1 AUDIO VYLEPŠENÍ PRO LAYER 2 charakter pásem se nem ní p íliš asto ur ení scale faktor pro 3 bloky najednou do výstupu 1 až 3 scale faktory na 3 bloky snižuje datový tok na cca polovinu je t eba zaznamenat, kolik bit /vzorek používá dané pásmo nízké frekvence 15 r zných délek slova st ední frekvence 7 r zných délek slova vysoké frekvence 3 r zné délky slova jeden kód vyhrazen pro informaci pásmo chybí sdružování krátkých slov do jednoho kódu (viz mid-tread kvantizér, snímek 24) p esn jší FFT (1024 vzork ) pro psychoakustický model MHS Uložení a komprese zvuku 64 / 68

33 MPEG-1 AUDIO VYLEPŠENÍ PRO LAYER 3 jednotlivá frekven ní pásma transformována MDCT p esn jší rozlišení frekvencí možnost v tší kvantizace neuniformní kvantizace bloky pro MDCT krátké/dlouhé/p echodové (viz snímek 53) Huffmanovo kódování koeficient MDCT MHS Uložení a komprese zvuku 65 / 68 MPEG-1 AUDIO KOMPRESE STEREOFONNÍHO ZVUKU kódování dvou kanál s p ihlédnutím k jejich fázovým posun m vysoké frekvence de facto mono redukce datového toku intensity (implementováno v Layer 1, 2, 3) pro frekvence > 2 khz se stereo informace získává z obálky, ne z mikrodynamiky u vyšších frekvencí se kóduje jen sou et kanál, scale factors jsou r zné pro L / R kanál MS (implementováno v Layer 3) middle / side tj. kódování signál sou tového (L+R) a rozdílového (L R) používá se automaticky tehdy, je-li rozdílový signál tichý MHS Uložení a komprese zvuku 66 / 68

34 MPEG-2 AUDIO pro nižší datové toky vhodn jší hrubší vzorkování frekvence 0,5 MPEG-1 (16; 22,05; 24 khz) rozší ení na více kanál kompatibilní s MPEG-1 typicky 5 kanál v základních MPEG-1 datech left TOTAL, right TOTAL (viz maticové uložení vícestopého záznamu) v pomocných datech (viz snímek 61) 3 isté kanály L, R se dají zp tn vypo ítat nekompatibilní schéma AAC (Advanced Audio Coding) až 48 kanál kódování rozd leno na moduly mnohem složit jší než MPEG-1, principy z stávají navíc mj. predikce koeficient v bloku a mezi bloky MHS Uložení a komprese zvuku 67 / 68 DALŠÍ FORMÁTY HE-AAC (High-Efficiency AAC, MPEG-4 Part 3-Audio) p edevším pro nízké datové toky, založeno na AAC dopo ítávání harmonických frekvencí (neukládají se) Dolby Digital (AC-3, A-52) de facto standard pro vícekanálový zvuk k filmu sub-band kódování, MDCT snaha o sjednocení kodér pro hlas a obecný zvuk Opus open source, nízká latence Unified Speech and Audio Coding (USAC, MPEG-D Part 3), pro kbit/s MHS Uložení a komprese zvuku 68 / 68