Komprese multimédií. Ing. Jan Přichystal, Ph.D. 7. října PEF MZLU v Brně

Transkript

1 PEF MZLU v Brně 7. října 2010

2 Úvod Komprimace umožňuje efektivní digitální reprezentaci zdrojového signálu jako je text, obraz, zvuk nebo video, použitím redukovaného počtu prvků digitální informace, než má originál. Musí však umožňovat, pokud má být efektivní, reprodukci komprimované informace v požadované kvalitě. Pro komprimaci dat v současných informačních a komunikačních systémech hovoří tři základní důvody: rozsáhlé paměťové nároky multimediálních dat, relativně pomalá paměťová zařízení, která neumožňují přehrávání multimediálních dat v reálném čase, nedostatečná šířka pásma současných sítí pro přenos videa a často i zvuku v reálném čase.

3 Příklady použití Předpokládejme barevnou videonahrávku s rámci o rozměru pixelů s rozlišením 24 bitů na pixel. Pro uchování jednoho rámce by bylo potřeba asi 1 MB paměti. Pro plynulé přehrávání videa s frekvencí 30 fps to představuje celkem 30 MB paměti na sekundu videa. I v případě dostatečné paměťové kapacity pro uložení videa, nám rychlost přenosových médií neumožní přehrát video v reálném čase. Současné běžné technologie umožňují přenos přibližně 1,2 MB/s. Proto je zatím jedinou možností použití komprimačních metod. Pro různé typy formátů používáme různé komprimační algoritmy.

4 Komprese rastrového obrazu Rastrové obrazy se vyznačují vysokou paměťovou náročností, která roste kvadraticky s jejich rozlišením. Na rozdíl od komprese obecných souborů lze vycházet z vlastností a charakteristických rysů konkrétního rastrového obrazu. Velký objem dat a zároveň specifický tvar obrazových informací jsou podnětem pro používání různých druhů kompresí. Na rozdíl od bezztrátové komprese běžných datových souborů, při které nesmí být žádná data ztracena či změněna, je u rastrových obrazů mnohdy žádoucí docílit co nejvyššího kompresního poměru i tím, že pozměníme barevné hodnoty pixelů a zhoršíme tak výsledný obraz použitím ztrátové komprese.

5 Používané kompresní metody Kompresní metoda Zkratka Ztrátová Příklad formátu Run length encoding RLE ne PCX Huffmanovo kódování CCITT ne TIFF Lempel Ziv Welch LZW ne GIF Diskrétní kosinová transformace DCT ano JPEG Fraktální komprese FIF ano FIF

6 Run length encoding Jednoduchá a pro velkou třídu obrázků i efektivní metoda vycházející z předpokladu, že v rastrovém obrázku, vzniklém jako kresba či skica, se opakují hodnoty sousedících pixelů. 1 čítač hodnota hodnota se opakuje 1 + čítač 0 hodnota přímý zápis jediné 7-bitové neopakující se hodnoty hodnota zápis neopakující se hodnoty větší než binárně Ve většině případů je kódování RLE prováděno v rámci jednoho řádku. V případě, že je obrázek tvořen mnoha vodorovnými čarami, je kódování velmi efektivní. Avšak tentýž obraz otočený o 90 je zapsán téměř beze změny. V případě, že kódovaný obrázek obsahuje neopakující se hodnoty v sousedních pixelech, dochází k záporné kompresi. Lze se setkat i se ztrátovou kompresí RLE, kdy se nejprve testují sousední pixely a pokud se liší jen nevýznamně, nahradí se hodnotou jednou. Metoda RLE je vhodná pro obrázky kreslené od ruky nebo pro ilustrace s většími stejnobarevnými plochami.

7 Lempel Ziv Welch Zcela obecná metoda, se kterou se setkáváme ve většině běžných kompresních programů. Princip spočívá v nahrazení vzorků vstupních dat binárními kódy proměnné délky. Vstupní vzorky se překládají pomocí slovníku, který je postupně doplňován o nové vzorky.

8 Komprese JPEG Pro velmi kvalitní obrazy s mnoha barevnými přechody se metody RLE a LZW nehodí. Metoda je vhodná především pro kódování fotografií, u nichž sousední pixely mají sice odlišné, ale přesto blízké barvy. Snižování kvality se projevuje potlačováním rozdílů v blízkých barvách. U metody DCT je kompresní poměr řízen požadavkem na výši kvality dekomprimovaného obrazu. V praxi se ukazuje, že snížení kvality na 75 % je pro většinu uživatelů nepozorovatelné, přitom kompresní poměr v takovém případě může být až 25:1. DCT je formou diskrétní Fourierovy transformace. Obrazová data jsou považována za barevné vzorky spojitých barevných signálů naměřené v diskrétní síti pixelů. Výsledkem kosinové transformace je pak nalezení sady parametrů kosinových funkcí, jejichž složením lze rekonstruovat původní obraz. Postup při kompresi sestává z 5 kroků.

9 Postup JPEG komprimace 1 transformace barev barvy je třeba převést do barevného modelu YC B C R. V další fázi jsou jasové složky Y a barevné složky C B, C R zpracovávány odděleně. 2 redukce barev snižování objemu dat zprůměrováním barevných složek sousedních pixelů. 3 dopředná diskrétní kosinová transformace obrazová data jsou rozdělena do čtverců 8 8. Každý čtverec je podroben diskrétní kosinové transformaci. Výsledkem je řídká matice s dominantním levým horním rohem. 4 kvantování koeficientů zde se stanovuje kvalita (tedy i stupeň komprese) obrazu. 5 kódování používá Huffmanovo nebo aritmetické kódování s využitím toho, že většina koeficientů v okolí pravého dolního rohu má nulovou hodnotu.

10 Postup JPEG komprimace

11 Transformace barev Nejprve je potřeba převést obrázek z RGB do YC B C R. Tento barevný model má tři složky Y, C B, C R : Y reprezentuje jas pixelu a C B, C R reprezentují barvu pixelu. Toto barevné schéma umožňuje aplikovat kompresi s lepším výsledkem při stejné kvalitě obrazu. Y = 0, 299R + 0, 587G + 0, 114B Cb = 0, 1687R 0, 3313G + 0, 5B Cr = 0, 5R 0, 4187G 0, 0813B + 128

12 Redukce barev Lidské oko je citlivější na změny jasu obrazu než na změny odstínů barev. Tohoto faktu se využívá ke zvýšení efektivity komprese obrazu. Je tak možné redukovat složky C B, C R. Redukcí barev lze ušetřit % paměťového prostoru. Hodnota se vypočítá jako průměr buď ze dvou sousedních pixelů na řádku, nebo ze čtyř pixelů tvořících čtverec 2 2 pixely.

13 Rozdělení do bloků Po redukci barev následuje rozdělení každého barevného kanálu obrazu na bloky o velikosti 8 8 pixelů. Na ty je následně aplikována diskrétní kosinová transformace (DCT).

14 Diskrétní kosinová transformace F (u, v) = C(u)C(v) x=0 y=0 7 f (x, y) cos (2x + 1)uπ 16 cos (2y + 1)uπ 16

15 Kvantování koeficientů Lidské oko je citlivé na malé změny jasu v relativně velké oblasti. Nedokáže však odlišit přesnou hodnotu rozdílů odstínů vysokých frekvencí. Toho lze využít při redukci nesené informace u vysokofrekvenčních koeficientů. Kvantizace redukuje amplitudu koeficientů, které nepřispívají ke kvalitě obrazu. Účelem je také odstranění informace, která není pozorovatelná. Výsledkem je, že většina vysokofrekvenčních koeficientů je nulová. kvantizační tab. kvantované koef.

16 Kódování Výsledkem předchozích kroků byly numerické úpravy čtvercové podoblasti vstupního obrazu, které zjednodušily tvar dat do podoby řídké matice s dominantním levým rohem. Tato matice je nyní zapisována do výstupního souboru postupem CIK-CAK. Při kódování je pak využíváno skutečnosti, že většina koeficientů má nulovou hodnotu. Pro zakódování se používá aritmetické nebo Huffmanovo kódování

17 Dekódování

18 Srovnání

19 Fraktální komprese Moderní, teprve se rozvíjející metoda ztrátové komprese. Patří mezi nesymetrické kompresní postupy, čas komprese a dekomprese se významně liší. Je založena na principu vyhledávání podobností (tvarových, barevných) v různě velkých částech obrazu. Algoritmus FIF se nejprve snaží vhodně rozdělit obraz na menší, nestejně velké části (domény), a poté z nich pomocí různých transformací poskládat celý obraz. Celkově je kvalita výsledných obrázků lepší než při použití metody DCT. Jedinou nevýhodou zůstává delší doba komprese nutná pro analýzu obrazu.

20 Komprimace audio signálu Kvalitní digitální stereozáznam používá vzorkovací frekvenci 44,1 khz, což odpovídá datovému toku bajtů za sekundu. Komprimace zvuku se uplatňuje v oblasti přenosu lidského hlasu, kde lze použít nižších vzorkovacích frekvencí a predikce chování akustického signálu. Druhou oblastí je hudební signál, kde se naopak využívají vysoké vzorkovací frekvence a uplatňuje se psychoakustický model sluchu.

21 Druhy MP3 MP3 spadá do skupiny kompresních algoritmů MPEG. MPEG (Moving Picture Experts Group) pracuje pod vedením International Standards Organization (ISO) a International Elektro-Technical Commission (IEC) a zabývá se kódováním videa a audia. MPEG standardy se dělí: MPEG 1 kódování videa a audia pro uložení na digitálních mediích, datový tok do 1.5Mbit/s MPEG 2 kódování při nižších datových tocích, poloviční vzorkovací frekvence MPEG 3 původně plánováno pro HDTV, později spojeno s MPEG 2 MPEG 4 kódování audiovizuálních objektů (např. pro media objects, syntézu zvuku)

22 Druhy MP3 Každý standard obsahuje několik částí, které popisují kódování audia, videa, synchronizačních dat a formáty uložení kódovaných dat. MPEG standard obsahuje několik vrstev Layer I-III, které popisují kódovací schémata. Od Layer I do Layer III roste komplexnost a efektivita komprese zvuků, ale klesá rychlost kódování a dekódování. Zvuková schémata se dělí: Layer I nejjednodušší schéma, původně je určeno pro Digital Compact Cassette (DCC) Layer II kompromis mezi kvalitou, rychlostí a kompresním poměrem Layer III od začátku vytvářeno pro nízké bitové proudy, vylepšené kódování

23 Formát MP3 Myšlenka vytvoření ztrátového kompresního algoritmu pro zvuková data se zrodila v roce 1987 ve Fraunhofer Institut Integrierte Schaltungen (IIS). Využívá se ve specifikaci MPEG 1 a 2 a označuje se jako Layer III (MP3). Záznam odpovídající kvalitě CD je možno získat při kbps. Dosažený stupeň komprese je tedy 1: Kodér i dekodér velmi náročné na výpočetní výkon.

24 Layer-III (MP3) 1 Kódovaný zvuk se rozdělí na 32 frekvenčních pásem. Každé toto pásmo se kóduje zvlášť. Jednotlivá pásma jsou široká 625 Hz. Pásma jsou na nízkých frekvencích užší a na vyšších širší (kvůli citlivosti ucha na různé frekvence). 2 Je použita ztrátová komprese kvantizace. Kvantizační koeficienty se vypočítávají dynamicky podle dosažené akustické hladiny zvuku tak, aby šum vzniklý použitím kvantizace byl pod rozlišovací schopností ucha. Využívá se psychoakustického modelu. 3 Kromě klasického psychoakustického modelu je využit temporal masking, který počítá s tím, že hlasitý tón zastíní blízké frekvence nejenom v době, kdy sám zní, ale i chvilku potom (asi 100ms). Zajímavé je, že díky jisté malé prodlevě při zpracování zvuku lidským uchem platí maskování frekvencí i 2 5 ms předem. 4 Vypočtený signál se kóduje Huffmanovým kódováním. 5 Výsledná kvalita je určena datovým tokem.

25 Psychoakustický model Umožňuje odstranění dat lidským sluchem nepostižitelných a tedy v signálu redundantních, bez znatelné újmy na kvalitě reprodukovaného signálu. 1 omezení frekvenčního rozsahu využívá omezené citlivosti lidského ucha. Přenosového pásmo se omezuje na šířku 20 Hz až 20 khz. 2 maskování frekvencí využívá nelinearity citlivosti lidského sluchu. V přítomnosti silnějšího signálu nedokážeme vnímat slabší signál, který zaniká a není třeba jej tedy uvažovat. 3 časové maskování využívá setrvačnosti lidského sluchu. I po zániku silnějšího signálu chvíli trvá, než začneme vnímat současně působící slabší signál.

26 Použití Tento formát je doporučen do terénu na reportáže, komentáře, atd. neboť exceluje na nejnižších bitrates. Pro vyšší kvalitu se hodí lépe Layer-II. Nicméně v současné době se nejčastěji používá právě Layer-III, zvláště pak pro grabování CD.

27 Ogg Datový formát Ogg propagovaný nadací Xiph.org byl vytvořen jako výchozí materiál, který si klade za cíl vyvinout komponenty pro kódování a dekódování multimediálního obsahu, přičemž tyto komponenty budou svobodně dostupné a svobodně reimplementovatelné v softwaru. Ogg je jen kontejnerový formát. Vlastní audio nebo video zakódované kodekem bude uložené uvnitř Ogg kontejneru. Ogg kontejnery mohou obsahovat streamy zakódované s vícenásobnými kodeky, například, audio nebo video soubor může obsahovat data zakódovaná audio kodekem i video kodekem. Formát Ogg může uložit audio a video v různých formátech.

28 Ogg Audio kodeky ztrátová komprese Speex: hlasová data v nízkém bitratu (8 32 kbps/kanál) Vorbis: hlavní zvuková data ve střední až vysoké úrovni proměnného bitratu ( kbps/kanál) bezeztrátová komprese FLAC: pro archivní a vysoce přesná zvuková data Textový kodek Writ: textový kodek k vkládání titulků nebo popisků CMML: textový/aplikační kodek pro časová metadata, popisování, a formátování

29 Ogg Video kodeky Theora: konkuruje formátu MPEG-4 a kodekům RealVideo, Windows Media Video. Tarkin: experimentální kodek využívající Diskrétní vlnkovou transformaci v třech dimenzích (šířka, výška a čas). Dirac: experimentální kodek vyvinutý BBC jako základ nového kodeku pro přenos videa přes internet. OggUVS: kodek pro ukládání nekomprimovaného videa.

30 Ogg Speex Speex je svobodný zvukový kodek, který slouží ke kompresi lidské řeči. Jeho specializace mu umožňuje dosahovat velmi dobrých kompresních poměrů při zachování srozumitelnosti. Není primárně určen na kompresi telefonních hovorů, ale na VoIP. Speex byl navržen pro použití se třemi vzorkovacími frekvencemi 8 khz, 16 khz, a 32 khz. Kvalita se nastavuje jako parametr od 0 do 10. CBR se nastavuje celočíselným parametrem, VBR reálným parametrem.

31 Ogg Speex Speex má několik zajímavých postupů, které jsou speciálně určeny pro kompresi lidské řeči: Voice Activity Detection (VAD) detekce aktivity hlasu. Tato technologie má za úkol rozpoznat, zda řečník právě mluví, nebo dělá přestávku (mezi slovy, větami), nebo prostě jen čeká. V tom případě je produkováno jen velmi malé množství bitů, které stačí na generování šumu. Discontinuous Transmission (DTX) rozšíření předchozí technologie, která detekuje delší odmlčení. V tom případě úplně zastavuje přenos dat. Perceptual enhancement Snaží se zeslabit šum vytvořený kódováním/dekódováním. Objektivně (tedy měřením) tato technologie vzdaluje výstupní zvuk od originálu, ale subjektivně je zvuk lepší.

32 Ogg Vorbis Vývoj kodeku se datuje do roku 1998, kdy Frauenhoferův institut ohlásil záměr zpoplatnit formát MP3. Umožňuje používat CBR, ABR a VBR. Cílem je získat zvuk lepší kvality při menší velikosti než MP3. Jde o dopředný, adaptivní monolitický kodek využívající DCT a psychoakustický model. Dekódování je výpočetně méně náročné než u MP3, je však náročnější paměťově.

33 Ogg Vorbis kvalita bitrate -q-2 not available -q-1 45 kb/s -q0 64 kb/s -q1 80 kb/s -q2 96 kb/s -q3 112 kb/s -q4 128 kb/s -q5 160 kb/s -q6 192 kb/s -q7 224 kb/s -q8 256 kb/s -q9 320 kb/s -q kb/s

34 Ogg Vorbis Poslechové testy různých kodeků pro stejné datové toky (bitrates): Nízký bitrate (< 64 kbps): lepší kvalita než WMA Střední až nízký bitrate (< 128 kbps > 64 kbps): lepší kvalita než MP3 a WMA Střední bitrate (128kbps): stejný jako MP3, WMA Pro a QuickTime AAC Vysoké bitrates (> 128 kbps): znatelné rozdíly rozpozná jen školený posluchač, lepší než MP3

35 Windows Media Audio (WMA) součástí programového vybavení Windows Media firmy Microsoft. zpočátku vyvíjen jako konkurence MP3. nabízí zvukovou kvalitu srovnatelnou s audio CD při datovém toku 64kbps, což představuje přibližně dvakrát účinnější kompresi oproti MP3. Ve spojení s ASF Advanced Streaming Format může být WMA streamován. WMA formát podporuje celá řada přenosných hardwarových i softwarových přehrávačů.

36 AAC Advanced Audio Coding jedná se o nástupce MP3, není však zpětně kompatibilní lepší komprese při zachování srovnatelné kvality s MP3 (výsledkem jsou menší komprimované audio soubory), větší počet audio kanálů širší nabídku dostupných vzorkovacích frekvencí pro zajištění lepšího výsledného zvuku, součástí standardu MPEG-4. využíván firmou Apple, např. v přehrávačích ipod

37 ATRAC3 Adaptive Transform Acoustic Coding 3 majetkem firmy Sony a představuje vylepšenou verzi formátu ATRAC, který je používán v přehrávačích MiniDisc. nabízí stejnou kompresi i zvukovou kvalitu jako MP3.

38 epac Enhanced Perceptual Audio Coder autorem firma Lucent Technologies při kompresním poměru 11:1 k nerozeznání od originálního CD (téměř na stejnou úroveň jako formát MP3) používá se pro přenosné MP3 přehrávače.

39 Real Audio kompresním formátem pro streaming audio a video dat od RealNetworks po zvukové stránce při vyšším datovém toku (bitrate) srovnatelný s MP3

40 FLAC Free Lossless Audio Codec V současnosti nejrozšířenější bezztrátový audiokodek Navržen především pro kompresi zvukových dat (vzorky mají vysoký stupeň korelace)

41 FLAC vlastnosti Rychlost symetrický z hlediska kódování a dekódování Podpora hardware podporován na přenosných přehrávačích, domácích audiosystémech i PC Přizpůsobitelnost metadata mohou být modifikována přehrávacím zařízením nezávisle na zvukové stopě Prohledávatelnost rychlé přeskakování ve skladbě Streamování každý rámec je možné rozkódovat a přehrát nezávisle na ostatních Archivace bezztrátová komprese umožňuje dekódování do stavu před kompresí Archivace CD podporuje cue sheet, CD lze převést do jednoho souboru a skladby přehrávat jako na CD Odolný proti chybám chybné rámce lze přeskakovat Neobsahuje DRM

42 Postup rozdělení do bloků vstupní signál rozdělen na bloky, délka bloku ovlivňuje výsledný kompresní poměr, minimální velikost bloku je 16 vzorků maximální velikost bloku je vzorků výchozí velikost bloku je 4096 do budoucna se počítá s proměnnou délkou bloku stereo lze kódovat pomocí rozdílů

43 Postup aproximace signál je aproximován modelem zvuku po odečtení vzniká error signál, který vyžaduje méně bitů na kódování přenáší se i funkční parametry k aproximaci se používá polynomická a lineární predikce polynomická je rychlejší, ale ne tak přesná čím vyšší stupeň lineární predikce tím je proces pomalejší, ale přesnější

44 Postup kódování zbytku error signál je kódován Riceovým kódem (Huffman) každý výsledný rámec je uvozen hlavičkou se synchronizačním kódem, vzorkovací frekvencí a počtem bitů na vzorek rámec obsahuje i CRC kód pro kontrolu dat

45 Výsledný formát Ve zkomprimovaném souboru jsou odděleny části zvuku a metadata. 4 B textový řetězec flac sloužící jako poznávací značka blok metadat STREAMINFO obsahující informace o vzorkování, počtu kanálů, min. a max. velikost rámců a MD5 otisk původních dat další metadata bloků (nepovinná část) s různými informacemi např. PICTURE pro obal desky samotný komprimovaný audio záznam rozdělený do rámců

46 Apple Lossless Apple Lossless, také známý jako Apple Lossless Encoder (ALE), nebo Apple Lossless Audio Codec (ALAC) je audio kodek, vyvinutý společností Apple Computer pro bezztrátovou kompresi hudby. Používá kontejner MP4. Není založen na AAC, ale používá lineární predikci podobně jako ostatní bezztrátové audio kodeky. Podle specifikace firmy Apple audio soubory komprimované pomocí ALAC potřebují přibližně polovinu velikosti nekomprimovaných dat. Testy však prokázaly, že soubory průměrně dosahují 60 % původní velikosti, podobně jako ostatní bezztrátové formáty. Na rozdíl od ostatních formátů, Apple Lossless není náročný na dekompresi a je tak použitelný i v přístrojích s omezeným zdrojem energie jako například ipod.

47 Zvukové artefakty Aplikováním kompresních algoritmů se v někdy objevují charakteristické zvukové projevy znehodnocující výsledek. pre-echo slabá kopie zvuku, který teprve zazní reverb kovově znějící ozvěna trylkování zhrubnutí...

48 Komprimace videa Video je reprezentováno jako posloupnost rámců ve formátech RGB, YUV.... Vjem spojitého pohybu vzniká při přehrávání rámců frekvencí 15 fps a vyšších. Pro zobrazování videa v televizních formátech i ve formátech pro PC jsou různé avšak metody pro jejich komprimace jsou v podstatě stejné. Stejně jako při komprimaci audia i při komprimaci videa je potřeba vynucena nedostatečnou kapacitou přenosových médií.

49 Ideální metoda komprimace přehrávání bez nutnosti použití drahých technických zařízení, přizpůsobit se (postupným snižováním kvality) při přetížení přenosové sítě anebo při použití na méně výkonném hardware, komprimace v reálném čase bez nutnosti použití nákladného hardware.

50 Formát MPEG Komprimace využívá vnitrorámcové, mezirámcové komprimace a metody odhadu pohybu pro snížení datového toku. Vnitrorámcová komprimace je založena na DCT. Rámce jsou kódovány do tří typů: rámce I samostatné, nezávisle zobrazitelné, zakódovány pomocí DCT, rámce P kódovány pomocí dopředného prediktivního kódování, je kódován vzhledem k vztahu k předchozímu rámci I nebo P, rámce B zakódovány pomocí dvou referenčních rámců předchozího a následujícího I nebo P. I B B P B B P B B P B B I

51 Závěr Děkuji za pozornost Dotazy?