Současný vývoj obrazových kompresních metod



Podobné dokumenty

Digitální magnetický záznam obrazového signálu

Algoritmy komprese dat

Kosinová transformace 36ACS

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY

Komprese dat Obsah. Komprese videa. Radim Farana. Podklady pro výuku. Komprese videa a zvuku. Komprese MPEG. Komprese MP3.

OD OMALOVÁNEK K BRILANTNÍMU 8K

Počítačová grafika a vizualizace I

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY

Kompresní metody první generace

Testování UHDTV v DVB-T2

KOMPRESE OBRAZŮ. Václav Hlaváč, Jan Kybic. Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání.

Formáty videa. David Bařina. 5. dubna David Bařina Formáty videa 5. dubna / 46

Obraz jako data. Biofyzikální ústav Lékařské fakulty Masarykovy univerzity Brno. prezentace je součástí projektu FRVŠ č.2487/2011

Multimediální systémy. 10 Komprese videa, formáty

Kurz digitální fotografie. blok 1 data/úpravy fotografií

Moderní multimediální elektronika (U3V)

Karel Mikuláštík Katedra radioelektroniky, ČVUT-FEL Radiokomunikace 2016, Pardubice

Vliv šumu na kompresi videa

1 Přenos: Kodování, formáty dat

37MK Mobilní komunikace. Video v mobilních sítích

Datové formáty videa a jejich využití. Tomáš Kvapil, Filip Le Manažerská informatika Multimédia

Videokonference SYSTÉMY PRO VZDÁLENOU KOMUNIKACI

DIGITÁLNÍ VIDEO. pokus o poodhalení jeho neskutečné obludnosti (bez jednosměrné jízdenky do blázince)

GRAFICKÉ FORMÁTY V BITMAPOVÉ GRAFICE

VIDEO DATOVÉ FORMÁTY, JEJICH SPECIFIKACE A MOŽNOSTI VYUŽITÍ SMOLOVÁ BÁRA

KOMPRESE OBRAZŮ. Václav Hlaváč. Fakulta elektrotechnická ČVUT v Praze katedra kybernetiky, Centrum strojového vnímání. hlavac@fel.cvut.

Datové formáty videa, jejich specifikace a možnost využití. Petr Halama

Performance comparison of advanced standards for video

Počítačová grafika a vizualizace volné 3D modelování. Maxon CINEMA 4D. Mgr. David Frýbert, 2012

JPEG Formát pro archivaci a zpřístupnění.

Multimediální systémy

TESTY A TECHNIKA VIDEOKODEKY. Rozdílné typy snímků. Základy: Jak pracuje kodér 54 04/2009

Rastrová grafika. body uspořádané do pravidelné matice

Informační systémy ve zdravotnictví

BPC2E_C09 Model komunikačního systému v Matlabu

Kódování obrazu podle standardu MPEG 2

Grafika na počítači. Bc. Veronika Tomsová

Projekt: 1.5, Registrační číslo: CZ.1.07/1.5.00/ Komprese videa

RAFT IKI2010 JPEG Optimální formát pro archivaci a zpřístupnění. Přednáška: 19. 1, 2010, IKI 2010 Přednášející:

Hardwarová akcelerace HD videa v návaznosti na architektury čipu grafických karet

FAKULTA INFORMAČNÍCH TECHNOLOGIÍ

Porovnání kodeků standardu MPEG 4

Katedra radioelektroniky K13137, FEL ČVUT Praha. zakódování dané informace. Tento trend postihl i oblast záznamu a přenosu širokopásmových

VYUŽITÍ POČÍTAČOVÉ GRAFIKY

Jasové transformace. Karel Horák. Rozvrh přednášky:

Komprese 3D videa. Compression of 3D video

Videosekvence. vznik, úpravy, konverze formátů, zachytávání videa...

1. Vlastnosti diskretních a číslicových metod zpracování signálů... 15

Formáty videa. David Bařina. 31. března David Bařina Formáty videa 31. března / 50

Komprese dat. Jan Outrata KATEDRA INFORMATIKY UNIVERZITA PALACKÉHO V OLOMOUCI. přednášky

25. DIGITÁLNÍ TELEVIZNÍ SIGNÁL A KABELOVÁ TELEVIZE

Obraz s vysokým dynamickým rozsahem

České vysoké učení technické v Praze

1 Komprese obrazových signálů

HDR obraz (High Dynamic Range)

Vlastnosti Picodome DDF4220HDV je hybridní WDR HD dome kamera.

STRUKTURA RASTROVÝCH DAT

Jan Kaiser ČVUT, Fakulta elektrotechnická, katedra Radioelektroniky Technická 2, Praha 6

Full High-Definition Projektor pro domácí kino PT-AE3000

Škola: Gymnázium, Brno, Slovanské náměstí 7 III/2 Inovace a zkvalitnění výuky prostřednictvím ICT Název projektu: Inovace výuky na GSN

RADIOKOMUNIKACE 2014 PARDUBICE NOVINKY V DIGITÁLNÍM VYSÍLÁNÍ

FAKULTA INFORMAČNÍCH TECHNOLOGIÍ

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Multimediální systémy. 08 Zvuk

Digitální video, formáty a kódování. Jan Vrzal, verze 0.8

Kompresní algoritmy grafiky. Jan Janoušek F11125

VÝVOJ DIGITÁLNÍHO VYSÍLÁNÍ (v období NAB 2019)

Barvy v digitální fotografii. Jaroslav Svoboda

OBJEKTIVNÍ HODNOCENÍ KVALITY VIDEA V PROSTŘEDÍ MATLAB

Abstrakt. Klíčová slova

13 Barvy a úpravy rastrového

Co nového přinese HbbTV 2.0

Rastrový obraz, grafické formáty

Fórum ULTRA HD - nejnovější aktivity

PCM30U-ROK 2 048/256 kbit/s rozhlasový kodek stručný přehled

Multimediální systémy

Webové stránky. 16. Obrázky na webových stránkách, optimalizace GIF. Datum vytvoření: str ánk y. Vytvořil: Petr Lerch.

DIGITÁLNÍ FOTOGRAFIE

Charakteristiky zvuk. záznamů

TECHNIKY PRO DETEKCI A PREDIKCI POHYBU VE VIDEO SEKVENCÍCH

Bezpečný JPEG Úvod 2. JPEG Vlastnosti JPEG /

Práce s obrazovým materiálem CENTRUM MEDIÁLNÍHO VZDĚLÁVÁNÍ. Akreditované středisko dalšího vzdělávání pedagogických pracovníků

NOVÉ METODY HODNOCENÍ OBRAZOVÉ KVALITY

Identifikátor materiálu: ICT-1-19

Ing. Jan Buriánek. Katedra softwarového inženýrství Fakulta informačních technologií České vysoké učení technické v Praze Jan Buriánek, 2010

VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ BRNO UNIVERSITY OF TECHNOLOGY MĚŘENÍ KVALITY PRO HEVC VIDEO QUALITY MEASUREMENT FOR HEVC. Bc.

SIMULACE OBRAZOVÉHO KODÉRU NA BÁZI 3D KLT

Rastrové grafické formáty. Václav Krajíček KSVI MFF UK, 2007

Konverze grafických rastrových formátů

Ukládání videa. Datová média Práce se soubory Vlastnosti videa Kontejnery a komprese. Technologické trendy v AV tvorbě, Ukládání videa 2

GPU jako levný výpočetní akcelerátor pro obrazovou JPEG2000 kompresi. ORS 2011 Karviná,

Obrazová data. Biofyzikální ústav Lékařské fakulty Masarykovy univerzity Brno. prezentace je součástí projektu FRVŠ č.2487/2011

Multimediální systémy

Technická zpráva CESNETu číslo 4/2002 VIDEOKONFERENCE S VYŠŠÍ KVALITOU

Objektivní analýza standardu H.265

Komprese zvuku. Ing. Jan Přichystal, Ph.D. 14. března PEF MZLU v Brně

zdroj světla). Z metod transformace obrázku uvedeme warping a morfing, které se

Moderní multimediální elektronika (U3V)

Moderní multimediální elektronika (U3V)

Transkript:

XXV. KONFERENCE Současný vývoj obrazových kompresních metod Karel Fliegel (fliegek@fel.cvut.cz) Radiokomunikace 2015 DK Dukla, Pardubice, 16.10.2015 České vysoké učení technické v Praze Fakulta elektrotechnická Katedra radioelektroniky Technická 2 166 27 Praha 6 Česká republika 16/10/2015 mmtg.fel.cvut.cz v2.00

Obsah přednášky Úvod do kódování obrazové informace Standardizace kódování videa Současné standardy pro kódování videa Popis a porovnání standardů H.264/AVC a H.265/HEVC Další technologie pro kompresi videa Obraz s vysokým dynamickým rozsahem HDR Současné standardy pro kódování statického obrazu Přehled aktivit ve skupině JPEG JPEG (Joint Photographic Experts Group) ISO/IEC JTC 1/SC 29/WG 1 a ITU T SG16 MPEG (Moving Picture Experts Group) ISO/IEC JTC 1/SC 29/WG 11 a ITU T SG16 1/34

Kódování videa Algoritmy pro kompresi obrazu Bezeztrátová komprese Rekonstruovaný obraz je identický s originálem Ztrátová komprese Rekonstruovaný obraz je vůči originálu degradován Algoritmy pro ztrátovou kompresi Perceptuálně bezeztrátové Pozorovatel nevnímá zkreslení Perceptuálně ztrátové Pozorovatel vnímá zkreslení Důležitá podmínka návrhu Bezeztrátová komprese Perceptuálně bezeztrátové Ztrátová komprese Perceptuálně bezeztrátový systém Nutnost definovat psychovisuální redundanci Max. Bitrate Min. Bitrate Redukce redundance Entropie dat Redukce irelevance Dolní mez pro perceptuálně bezeztrátovou kompresi 2/34

Kódování videa Vývoj standardů pro kódování videa ITU T Video Coding Experts Group (ITU T VCEG) H.261 (1990), H.263 (1995) videokonference, nízké bitové toky ISO Moving Picture Experts Group (ISO/IEC MPEG) MPEG 1 (1991), MPEG 2 (1994) DVD, DVB ITU T/ISO Joint Video Team (JVT) H.264/MPEG 4 Part 10 AVC (Advanced Video Coding) První verze standardu dokončena v roce 2003 Dvojnásobná účinnost proti MPEG 2 DVB a HDTV aplikace ITU T/ISO Joint Collaborative Team on Video Coding (JCT VC) H.265/MPEG H Part 2 HEVC (High Efficiency Video Coding) První verze standardu dokončena v roce 2013 Dvojnásobná účinnost proti MPEG 4 AVC UHDTV aplikace Přibližně desetiletý cyklus vývoje nového standardu Vždy požadavek na redukci bitového toku o 50 % při zachování kvality 3/34

Kódování videa Růst efektivity zdrojového kódování videa Každých 10 let nový standard a 50% úspora bitového toku Nejbližší 113. MPEG zasedání (19.10. 23.10.2015, Ženeva) Bitový tok MPEG 2 1994 AVC 2003 HEVC 2013 Další standard je plánován na rok 2020 (zisk 30 50 %) 1995 2005 2015 http://mpeg.chiariglione.org/ 4/34

Kódování videa Zasedání skupin MPEG/JPEG Několik významných ocenění pro MPEG/JPEG Technology & Engineering Emmy (oceňují vývoj technologie) Ceny Emmy pro MPEG/JPEG vystavené v sídle ISO v Ženevě 5/34

Kódování videa Standardizován je pouze bitový tok, syntaxe a dekodér Optimalizace kodéru Možnost optimalizace parametrů kodéru při zachování kompatibility Implementovatelnost Možnost zjednodušení realizace kodéru (zmenšení účinnosti komprese) Nevýhoda Kvalita obrazu není garantována Zdroj Předzpracování Kodér Cíl Následné zpracování a oprava chyb Dekodér Standardizace 6/34

H.264/Advanced Video Coding Kódování videa ve standardu H.264/AVC Založeno na hybridním kodéru V základních vlastnostech shodné s předchozími standardy Klíčové vlastnosti H.264/AVC vzhledem k MPEG2 Vylepšená kompenzace pohybu Transformace malých bloků Adaptivní protiblokový filtr Vylepšený kodér entropie Úspora bitového toku proti předchozím standardům Zachování stejné kvality obrazu Žádný z bloků není přímo zodpovědný za výrazné zlepšení účinnosti komprese mnoho malých vylepšení 7/34

H.264/Advanced Video Coding Vstupní video signál Rozdělení na makrobloky 16x16 Transformace Dekodér Kompenzace pohybu Řízení Inter Kvantizace Intra Inverzní kvantizace Inverzní transformace + Protiblokový filtr Kvantované koeficienty Pohybová data Výstupní video signál Řídicí data Kódování entropie Výstup Vnitrosník. predikce Snímková paměť Odhad pohybu Marpe, D., Wiegand, T., Sullivan, G. J. The H.264/MPEG4 advanced video coding standard and its applications, IEEE Communications Magazine, 44 (8), pp. 134-142, 2006. 8/34

H.264/Advanced Video Coding Vnitrosnímková predikce bloky 4x4 (princip) Celkem 9 režimů (DC + 8 směrových) 0 (vertical) M A B C D E F G H I J K L 3 (diag down/left) M A B C D E F G H I J K L 6 (horizontal down) M A B C D E F G H I J K L 1 (horizontal) M A B C D E F G H I J K L 4 (diag down/right) M A B C D E F G H I J K L 7 (vertical left) M A B C D E F G I J K L H 2 (DC) M A B C D E F G H I Mean J (A..D, K I..L) L 5 (vertical right) M A B C D E F G H I J K L vzorku D 8 (horizontal up) M A B C D E F G H I J K L 8 1 6 3 4 7 0 5 Pokud nejsou E,F,G,H k dispozici volí se replika Marpe, D., Wiegand, T., Sullivan, G. J. The H.264/MPEG4 advanced video coding standard and its applications, IEEE Communications Magazine, 44 (8), pp. 134-142, 2006. 9/34

H.264/Advanced Video Coding Mezisnímková predikce s kompenzací pohybu Pohybový vektor pro každou oblast i podoblast Velikost oblasti má zásadní vliv na účinnost komprese Malá oblast X Velká oblast Malá zbytková energie X Malý počet pohybových vektorů Pohybové vektory přesnost na ¼ vzorku Rozdílový snímek Malá změna mezi snímky: velká oblast (16x16) Velká změna mezi snímky: malá oblast (4x4) Pro každou část snímku volí kodér nejvhodnější velikost oblasti Marpe, D., Wiegand, T., Sullivan, G. J. The H.264/MPEG4 advanced video coding standard and its applications, IEEE Communications Magazine, 44 (8), pp. 134-142, 2006. 10/34

H.264/Advanced Video Coding Transformační kódování pro přenos chyby predikce Tři aplikace transformace (A) Rozdílových bloků 4x4 (Celočíselná transformace založená na DCT) (B) 4x4 jasových DC koeficientů (Hadamardova trasformace) (C) 2x2 chrominančních DC koeficientů (Hadamardova trasformace) Příklad aplikace transformace a pořadí přenosu Luma DC koef. 0 2 8 10 1 3 9 11 4 6 12 14 Luma MB 5 7 13 15 1 Transformace 4x4 DC Transformace 4x4 Chroma DC koef. 18 20 Cb 16 Transformace 17 2x2 DC 19 21 Transformace 4x4 22 24 Cr 23 25 11/34

H.264/Advanced Video Coding 12/34 Protiblokový filtr potlačení rušivé blokové struktury Aplikuje se adaptivně na každý dekódovaný makroblok Dva hlavní účinky Vyhlazení okrajů bloků subjektivně lepší obraz Menší rozdílová hodnota při pohybově kompenzované predikci Redukce bitového toku o 5 až 10% a b c d 16x16 luma e f g h i 8x8 chroma j k l Pořadí filtrace rozhraní: (1) filtrace vertikálních rozhraní (2) filtrace horizontálních rozhraní Filtrace ovlivní max. 3 obrazové body na každé straně rozhraní

H.265/High Efficiency Video Coding Motivace pro účinnější kompresi videa Kontinuální růst rozlišení videa Přechod od HD k UHD U mobilních zařízení je hojně využíváno HD Přenos stereoskopického a vícepohledového videa Dostupnost UHD záznamových a reprodukčních zařízení Několik oblastí u videa zodpověných za růst bitového toku Prostorové rozlišení (4K, 8K,...), časové rozlišení (snímkové kmitočet) Barevné prostory (WCG) a bitové hloubka (HDR) Vícepohledové (multiview) systémy Potřebný bitový tok roste rychleji než propustnost sítě Vývoj účinnějších přístupů pro kompresi videa je nutný 13/34

H.265/High Efficiency Video Coding Blokové schéma hybridního kodéru HEVC S + E Σ S' Intra Inter Dekodér SP MCP T S/Q BIN Dekódované sousední bloky DPB S* Řízení kodéru SAO DBF + S' Σ BIN SAO filtr s adaptivním offsetem (Sample Adaptive Offset) BIN binarizace MUX multiplexer CABAC kontextově adaptivní binární aritmetický kodér (Context Adaptive Binary Arithmetic Coding) S/Q 1 + T 1 E* MUX CABAC Data S, S, S* vstupní snímek, predikce, rekonstruovaný snímek E, E* chyba predikce, rekonstruovaná chyba predikce T dvoudimenzionální transformace sproměnnou velikostí bloku S/Q škálování a kvantizace DPB vyrovnávací paměť dekódovaných snímků (Decoded Picture Buffer) MCP pohybově kompenzovaná predikce (Motion Compensated Prediction) SP vnitrosnímková (prostorová) predikce (Spatial Prediction) DBF protiblokový filtr (Deblocking Filter) Ohm, J.-R., Sullivan, G.J. High efficiency video coding: The next frontier in video compression, IEEE Signal Processing Magazine, 30 (1), pp. 152-158, 2013. 14/34

H.265/High Efficiency Video Coding Základní porovnání AVC a HEVC AVC HEVC Makroblok o velikosti 16x16 Bloky o velikosti 64x64 Dělení pro mezisnímkovou predikci až 4x4 9 vnitrosnímkových režimů predikce Hierarchické dělení pomocí kvadrantového stromu až 8x8 (transformace 4x4) 35 vnitrosnímkových režimů predikce Transformace o velikosti 8x8 a 4x4 DST Transformace o velikosti 32x32, 16x16, 8x8 a 4x4 Goldman, M. High Efficiency Video Coding (HEVC), Ericsson, 2014. 15/34

H.265/High Efficiency Video Coding Bloková struktura CTU Coding Tree Unit kódová stromová jednotka CTU dělena na čtvercové kódové jednotky CU (Coding Units, 8x8...64x64) Pod úrovní CU: predikční (PU) a transformační jednotky (TU) Čtvercové/obdélníkové predikční (PB) a čtvercové transformační (TB) bloky Variabilní rozměr PB (4x4...64x64) a TB (4x4...32x32) Hranice kódových bloků CB (Coding Blocks) Hranice transformačních bloků TB (Transform Blocks) Kódový stromový blok CTB (Coding Tree Block) Odpovídající dělení CTB kvadrantovým stromem 16/34

H.265/High Efficiency Video Coding Kódový strom Další dělení na predikční jednotky (pohybové vektory) Kódovací režimy Skip Intra Kódové jednotky CU 8x8 CU 64x64 Nezávislé dělení pro transformaci Goldman, M. High Efficiency Video Coding (HEVC), Ericsson, 2014. 17/34

H.265/High Efficiency Video Coding Vnitrosnímková predikce Směrová predikce z již dekódovaných vzorků Směrová predikce pro 33 různých úhlů K dispozici také DC a planární režim 0: Planární 1: DC Směrové režimy pro vnitrosnímkovou predikci 2 34 Režim predikce je nutno signalizovat 5 67 8 9 10 11 12 13 14 15 16 17 34 18 33 19 32 31 30 22 21 20 29 282726252423 Příklad vnitrosnímkové predikce v módu 29 Hraniční vzorky dekódovaných PU Aktuální PU Režim signalizován pro každou predikční jednotku PU Predikce prováděna nezávisle pro danou predikční jednotku PU Sullivan, G.J., Ohm, J.-R., Han, W.-J., Wiegand, T. Overview of the high efficiency video coding (HEVC) standard, IEEE Trans. on Circuits and Systems for Video Technology, 22 (12), 2012. 18/34

H.265/High Efficiency Video Coding Profily a úrovně standardu HEVC Podobně jako u předchozích standardů Profil (profile) definuje množinu kódovacích nástrojů Úroveň (level) definuje např. rozlišení, bitové toky Datový tok pro danou kombinaci profil/úroveň Musí být dekódovatelný jakýmkoliv dekodérem podle tohoto profilu/úrovně V první fázi definovány tři hlavní profily (profiles) Hlavní (Main) pro typické video aplikace (podpora YCbCr 4:2:0) Hlavní 10 (Main 10) pro vyšší bitové hloubky (až 10 bitů na vzorek) Hlavní statický (Main Still Picture) pro statické snímky (pouze intra) Dále jsou definovány rozšiřující profily (extension profiles) Monochrome, Monochrome 12, Monochrome 16, Main 12, Main 4:2:2 10, Main 4:2:2 12, Main 4:4:4, Main 4:4:4 10, Main 4:4:4 12, Main Intra, Main 10 Intra, Main 12 Intra, Main 4:2:2 10 Intra, Main 4:2:2 12 Intra, Main 4:4:4 Intra, Main 4:4:4 10 Intra, Main 4:4:4 12 Intra, Main 4:4:4 16 Intra, Main 4:4:4 Still Picture, Main 4:4:4 16 Still Picture 19/34

H.265/High Efficiency Video Coding Profily a úrovně standardu HEVC Dělení na úrovně (levels) a stupně (tiers) Definováno 13 úrovní označených 1, 2, 2.1, 3, 3.1, 4, 4.1, 5, 5.1, 5.2, 6, 6.2 Pro úroveň 4 a vyšší definovány dva stupně (tiers) Hlavní (Main) základní stupeň pro většinu aplikací Vysoký (High) vysoký stupeň pro nejnáročnější aplikace Obrovský rozsah parametrů videa Rozsah rozlišení SQCIF (128 x 96), QCIF (176 x 144), QVGA (320 x 240), 525 SIF (352 x 240), CIF (352 x 288), 525 HHR (352 x 480), 625 HHR (352 x 576), Q720p (640 x 360), VGA (640 x 480), 525 4SIF (704 x 480), 525 SD (720 x 480), 4CIF (704 x 480), 625 SD (720 x 576), 480p (16:9) (864 x 480), SVGA (800 x 600), QHD (960 x 540), XGA (1024 x 768), 720p HD (1280 x 720), 4VGA (1280 x 960), SXGA (1280 x 1024), 525 16SIF (1408 x 1152), 16CIF (1408 x 1152), 4SVGA (1600 x 1200), 1080 HD, 2Kx1K (2048 x 1024), 2Kx1080 (2048 x 1080), 4XGA (2048 x 1536), 16VGA (2560 x 1920), 3616 x 1536 (2,35:1), 3672 x 1536 (2,39:1), 3840 x 2160 (4*HD), 4Kx2K (4096 x 2048), 4096 x 2160, 4096 x 2304 (16:9), 4096 x 3072, 7680 x 4320, 8192 x 4096, 8192 x 4320 Úroveň (level) definuje další parametry, např. snímkový kmitočet 20/34

H.265/High Efficiency Video Coding Další technologie vedle standardů ITU T a ISO/IEC Společnost Google navrhla otevřený formát WebM Určen primárně pro webové aplikace Pro kompresi videa využívá VP8 a VP9 VP8 vyvíjen původně společností On2 Technologies Google (2010) Cílem VP9 bylo dosáhnout 50% úspory proti VP8 Dostupné analýzy ukazují, že VP9 nedosahuje účinnosti HEVC Organizace Xiph.Org (podporuje Mozilla) vyvíjí kodek Daala Cílem je otevřený formát, nezatížený licenčními poplatky Cílem je lepší účinnost než HEVC a VP9 Využívá transformaci s překrývajícími se bloky Výrazné potlačení rušivé blokové struktury Optimalizovaná vektorová kvantizace WebM: an open web media project, http://www.webmproject.org/ Daala video compression, https://xiph.org/daala/ 21/34

H.265/High Efficiency Video Coding Porovnání kompresní účinnosti UHD aplikace (subjektivní a objektivní hodnocení) Testovací sekvence v rozlišení 4K Testovací sekvence v rozlišení 4K Řeřábek, M., Ebrahimi, T. Comparison of compression efficiency between HEVC/H.265 and VP9 based on subjective assessments, Proceedings of SPIE 9217, 2014. 22/34

H.265/High Efficiency Video Coding Porovnání kompresní účinnosti Aplikace v reálném čase (subjektivní a objektivní hodnocení) Rozlišení 720p Rozlišení 1080p Řeřábek, M., Hanhart, P., Korshunov, P., Ebrahimi, T. Quality evaluation of HEVC and VP9 video compression in real-time applications, QoMEX 2015. 23/34

H.265/High Efficiency Video Coding Porovnání kompresní účinnosti UHD aplikace (subjektivní a objektivní hodnocení) Aplikace v reálném čase (subjektivní a objektivní hodnocení) Řeřábek, M., Ebrahimi, T. Comparison of compression efficiency between HEVC/H.265 and VP9 based on subjective assessments, Proceedings of SPIE 9217, 2014. Řeřábek, M., Hanhart, P., Korshunov, P., Ebrahimi, T. Quality evaluation of HEVC and VP9 video compression in real-time applications, QoMEX 2015. 24/34

H.265/High Efficiency Video Coding Shrnutí základních vlastností standardu HEVC Redukce bitového toku na polovinu proti H.264/AVC Významné zvýšení výpočetní náročnosti Pro moderní snímací snímací systémy a displeje Rozlišení obrazu v rozsahu 320 x 240 (QVGA) až 8192 x 4320 (8K UHD) Progresivní rozklad, rozšířený gamut a vysoký dynamický rozsah Používá opět hybridní kodér Vnitrosnímková a mezisnímková predikce 2D transformační kódování Nahrazení makrobloků stromovou strukturou CTU Umožňuje rozdělení obrazu na struktury proměnných rozměrů Kódování entropie založeno pouze na metodě CABAC Přesnější mezisnímková predikce Vylepšený protiblokový filtr a filtr pro potlačení záznějů Podpora paralelního zpracování pro rychlé výpočty 25/34

H.265/High Efficiency Video Coding Rozšíření standardu HEVC Postupné rozšiřování pro speciální aplikace 3D komprese 3D videa (dokončeno v roce 2015 jako 3D HEVC) Efektivní reprezentace hloubkové mapy (redundance mezi snímkem a hloubkovou mapou) Pohybový vektor obrazu lze použít i u hloubkové mapy Hloubková mapa využita pro přesnější mezipohledovou predikci HDR (High Dynamic Range) obraz s vysokým dynamickým rozsahem HDR pro realističtější zážitek v budoucích systémech (MPEG řeší od 2015) Standardní dynamický rozsah (SDR) až 10 clonových čísel Rozšířený dynamický rozsah (EDR) 10 až 16 clonových čísel Vysoký dynamický rozsah (HDR) víc jak 16 clonových čísel WCG (Wide Color Gamut) obraz s rozšířeným barevným gamutem Podpora barevných rozsahů nad ITU R BT.601 (SDTV) a BT.709 (HDTV) Mezi uvažované WCG patří ITU R BT.2020 nebo P3D65 (digitální kino) Důležitá je zpětná kompatibilita Sullivan, G.J., Boyce, J.M., Chen, Y., Ohm, J.-R., Segall, C.A., Vetro, A. Standardized extensions of high efficiency video coding (HEVC), IEEE Journal on Selected Topics in Signal Processing, 7 (6), pp. 1001-1016, 2013. 26/34

Úvod do HDR High Dynamic Range Imaging Dynamický rozsah (DR) Poměr mezi nejsvětlejším L max a nejtmavším L min jasem ve scéně Scény reálného světa mohou mít DR řádu mnoha dekád DR spotřebních fotoaparátů je mnohem nižší než DR scény 10 3 10 2 10 1 1 10 10 2 10 3 10 4 10 5 10 6 cd/m 2 DR Scény A B C DR fotoaparátu 10 3 10 2 10 1 1 10 10 2 10 3 10 4 10 5 10 6 cd/m 2 Mnoho scén dosahuje DR 100 000 : 1 DR je vysoký pokud scéna obsahuje zdroj světla nebo zrcadlové odrazy HVS (při plném rozsahu adaptace) může pracovat s DR až 10 000 : 1 Běžné kompaktní digitální fotoaparáty nabízí DR okolo 400 : 1 Profesionální DSLR fotoaparáty mohou mít DR (RAW data) až 10 000 : 1 27/34

High Dynamic Range Imaging Fotografické snímání HDR obrazu Sada expozic stejné scény (změna expozičního času) Rekonstrukce převodní charakteristiky DF a mapy jasů scény Mapování jasů do LDR snímku Sejmutí sady snímků běžným DF Sada vstupních LDR snímků LDR IN 1 15 Rekonstrukce mapy jasů reálné scény Zobrazení na běžném monitoru LDR OUT Výstupní LDR snímek Mapování jasů na nízký DR HDR mapa jasů scény HDR 28/34

High Dynamic Range Imaging Ukázka mapování jasů Mapování jasů na nízký DR Výstupní mapované snímky 2EV 0EV +2EV Rekonstrukce mapy jasů reálné scény Lokální mapování jasů Globální mapování jasů 29/34

High Dynamic Range Imaging Zobrazení HDR snímků SIM2 HDR 47E S 4K displej Podsvětlení maticí LED 2202 oblastí 1920 x 1080 pixelů, 4000 cd/m 2, kontrast 20 000:1 Zpracování obrazu v displeji SIM2 Barevný obraz s vysokým rozlišením (8 bitů na kanál) Zpracování 30 bitů na kanál TMO TMO 1 Modulace podsvětlení (12 bitů na kanál) HDR obraz Běžný LDR obraz Výsledný obraz (HDR) Matice podsvětlení http://www.sim2hdr.com/ 30/34

High Dynamic Range Imaging Zpětně kompatibilní ztrátová komprese HDR obrazu Od roku 2013 připravovaný standard JPEG XT Rozšíření více než 20 let starého standardu JPEG Kódování HDR obrazu pomocí JPEG po aplikaci TMO Přenos chybového signálu v postranních datech HDR obraz Chybový obraz Vstupní HDR obraz + Výpočet chybového obrazu - HDR obraz Zkreslený HDR obraz Mapování (TMO) Inverzní mapování (TMO -1 ) LDR obraz Zkreslený LDR obraz Kodér JPEG Dekodér JPEG q JPEG Komprimovaný LDR obraz Sloučení dat Dodatečná data JPEG kompatibilní obrazový soubor Kódování chybového obrazu Q Pinheiro, A., Fliegel, K., Korshunov, P., Krasula, L., Bernardo, M., Pereira, M., Ebrahimi, T. Performance evaluation of the emerging JPEG XT image compression standard, MMSP 2014. 31/34

Skupina standardů JPEG JPEG Joint Photographic Experts Group Obrovské množství fotografií sdílených na Internetu Více jak 1,8 miliardy fotografií sdílených denně Cena Emmy (1995 96) za vývoj technologie pro MPEG a JPEG KPCB estimates based on publicly disclosed company data, 2014 YTD data per latest as of 5/14. 32/34

JPEG Skupina standardů JPEG Joint Photographic Experts Group JPEG (1992) patří mezi nejúspěšnější standardy vůbec JPEG 2000 (2000) využití vlnkové transformace, vysoká účinnost Rozšířil se hlavně v profesionální praxi (DCI, DICOM,...) JPEG XR (2009) extended Range komprese HDR (až 32 bit na kanál) Nezaručená zpětná kompatibilita malé uplatnění v produktech JPEG XT (2015) zpětně kompatibilní komprese HDR obrazu Aktivita JPEG PLENO Nová aktivita JPEG (2015) Zaměřuje se na nové modality (light field (světelné pole), point cloud (mračno bodů), holografie,...) Zpětná kompatibilita s klasickým JPEG https://www.lytro.com/ http://www.raytrix.de/ 33/34

Skupina standardů JPEG JPEG Další vývoj AIC(Advanced Image Coding) V únoru 2015 byla zveřejněna výzva CfI (Call for Information) Hledání nových nástrojů pro kompresní standardy další generace Velký potenciál má vnitrosnímková komprese založená na HEVC Kompresní účinnost Složitost Ebrahimi, T. JPEG Business plan, 2015, http://www.slideshare.net/touradj_ebrahimi/overview-of-jpeg-standardizaton-committee-activties-49905793. 34/34

XXV. KONFERENCE Děkuji za pozornost! mmtg.fel.cvut.cz České vysoké učení technické v Praze Fakulta elektrotechnická Katedra radioelektroniky Technická 2 166 27 Praha 6 Česká republika 16/10/2015 v2.00