MULTIMEDIÁLNÍ A HYPERMEDIÁLNÍ SYSTÉMY. 8, 9) Teoretický základ videa

Transkript

1 MULTIMEDIÁLNÍ A HYPERMEDIÁLNÍ SYSTÉMY 8, 9) Teoretický základ videa Petr Lobaz, ,

2 IMPLEMENTACE bitmapové video snímané kamerou generované počítačem změna parametrů statického popisu vektorová animace + rasterizace změna palety bitmapového obrazu MHS Teoretický základ videa 2 /58

3 ZÁKLADNÍ CHARAKTERISTIKY velikost snímku, poměr stran snímková frekvence jasový rozsah, barevnost struktura obrazu technologie uložení/přenosu MHS Teoretický základ videa 3 /58

4 VELIKOST SNÍMKU rozlišovací schopnost oka cca 1' předpokládáme pozorovací vzdálenost, pozorovací úhel rozlišení obrazu příklad: PAL TV 576 řádek, poměr stran 4:3 pozorovací úhel cca 13 pozorovací vzdálenost cca 3,5 úhlopříčka MHS Teoretický základ videa 4 /58

5 VELIKOST SNÍMKU ROZLIŠENÍ klasická (analogová) televize počet řádků SDTV 480, 576 řádků HDTV 720, 1080 řádků digitální obraz počet sloupců a řádků , , , , , , , , film šířka filmového pásu 8 mm, 16 mm: amatérský, poloprofesionální film 35 mm: standard profesionálního filmu 70 mm: vysoká kvalita, IMAX pro scan rozlišení cca ppi MHS Teoretický základ videa 5 /58

6 POMĚR STRAN šířka : výška poměr stran obrazu/pixelu SDTV: obraz 4 : 3 (1,33 : 1) pixel není čtvercový ( 1,1 : 1 PAL, 0,9 : 1 NTSC) HDTV: 16 : 9 (1,78 : 1), pixel čtvercový film: 1,33 : 1 klasický formát (4:3) 1,37 : 1 Academy 1,66 : 1 oříznutí Academy, kompromis kinem a TV 1,85 : 1 Academy Flat, Widescreen 2,35 : 1 Cinemascope (také 2,39 : 1, až 2,75 : 1) MHS Teoretický základ videa 6 /58

7 POMĚR STRAN Academy (1,33 : 1) Widescreen (1,85 : 1) Cinemascope (2,35 : 1) MHS Teoretický základ videa 7 /58

8 POMĚR STRAN převod poměru stran letterbox/pillarbox roztažení, chytré roztažení pan & scan natáčení open matte MHS Teoretický základ videa 8 /58

9 POMĚR STRAN pillarbox letterbox MHS Teoretický základ videa 9 /58

10 POMĚR STRAN chytré roztažení roztažení MHS Teoretický základ videa 10 /58

11 POMĚR STRAN open matte pan & scan MHS Teoretický základ videa 11 /58

12 JASOVÝ ROZSAH JAS Y, luminance svítivost jednotkové plochy [cd m 2 ] oko rozpoznává jas v rozmezí 0, cd m 2 jasová adaptace oka na prostředí vjem bílé = jas 5 větší než průměr v šeru rozsah 100 : 1 (D = 2) ve světlém prostředí rozsah 1000 : 1 (D = 3) pro potřeby reprodukce obrazu uvažujeme D = 2, nejtmavší rozpoznatelná černá 1 % bílé referenční bílá pro video 103 cd m 2 reakce na jas není lineární MHS Teoretický základ videa 12 /58

13 JASOVÝ ROZSAH VNÍMANÝ JAS L * (lightness) L * jas Y korigovaný vůči citlivosti oka, normalizovaný na jas Y n referenční bílé L * = 116 (Y / Y n ) 1/3 16 pro Y/Y n 0, L * = 903,3 (Y / Y n ) pro Y/Y n < 0, L * <0, 100>, L* Y 0,4 L* (Y/Y n ) 1/3 (Y/Y n ) 0,4 L* Y/Y n Y/Y n MHS Teoretický základ videa 13 /58

14 JASOVÝ ROZSAH rozlišovací schopnost oka cca 1 % jasu (luminance) pro videoobraz potřebujeme rozsah jasů cca 1 : 100 UNIFORMNÍ KVANTIZACE lineární kódování jasu Y k, k v rozmezí 0 n poměr 101 : 100 = 1,01 hodnoty menší než 100 vykazují posterizaci bez posterizace umíme vyjádřit jasy pro n > 100 poměr : 100 = 100 pro rozsah 1 : 100 potřebujeme n = (14 bitů) poměr : << 1,01 neefektivní MHS Teoretický základ videa 14 /58

15 JASOVÝ ROZSAH NEUNIFORMNÍ KVANTIZACE nelineární logaritmické kódování jasu Y 1,01 k pro k = 1: Y 1 pro k = 463: Y 1, = 100,2 pro rozsah 100 : 1 potřebujeme 463 hodnot (9 bitů) kódování: k log Y / log 1,01 v praxi se používá mocninné kódování k Y e lepší aproximace vjemu než exponenciála log Y L* exponent typicky 0,4 (Y/Y n ) 0,4 pro praktické účely televize stačí 8 bitů Y/Y n MHS Teoretický základ videa 15 /58

16 JASOVÝ ROZSAH ZOBRAZOVACÍ ŘETĚZEC světlo Y IN kamera napětí U Y IN úměrné jasu aproximace vnímaného jasu U L A/D přenos D/A vnímaný jas rekonstrukce napětí U Y IN zobrazení Y OUT oko 0,4 aproximace vnímaného jasu: U L = U YIN typická CRT obrazovka reaguje nelineárně: Y OUT U 2,5 0,4 Y OUT (U YIN ) 2,5 = U YIN Y IN obrazovka sama o sobě rekonstruuje lineární napětí exponent 2,5 = γ, tj. Y U γ inverzní funkce gama korekce vnímání jasu je kompatibilní s chováním CRT! MHS Teoretický základ videa 16 /58

17 JASOVÝ ROZSAH ZOBRAZOVÁNÍ okolní světlo poškozuje tmavé odstíny pro kompenzaci nastavení ε (black level, brightness), c (gain, contrast) lepší popis reakce CRT: Y c (U + ε) γ, γ = 2,5 při jednoduchém popisu Y U γ je γ mezi 1,5 až 3,0 při typických kancelářských podmínkách γ = 2,2 Y Y ε ε U U MHS Teoretický základ videa 17 /58

18

19 JASOVÝ ROZSAH VLIV PROSTŘEDÍ světlé prostředí zvyšuje jas tmavých částí obrazu oko kompenzuje zvyšuje kontrast (ztmavuje tmavé části obrazu) v tmavém prostředí se stejný obraz jeví jako méně kontrastní podobný problém: snímání scény s velkým jasovým rozsahem v jasném prostředí zobrazení v šerém/tmavém prostředí s menším jasovým rozsahem obraz se jeví jako málo kontrastní MHS Teoretický základ videa 19 /58

20 JASOVÝ ROZSAH kompenzace: napodobení adaptace oka na jasné prostředí umělé ztmavení tmavých částí obrazu γ nepotřebujeme Y OUT Y IN, ale Y OUT Y s IN γ S (systémová gama) > 1 tmavé prostředí (kino): γ S = 1,5 šeré prostředí (sledování TV): γ S = 1,25 jasné prostředí (kancelář): γ S = 1,125 řešení: modifikace exponentu pro kódování (γ E ) a dekódování (γ D ) Y OUT (U YIN 1 / γ E ) γ D = U γ D / γ E YIN = U γ S YIN Y γ s IN typicky γ E = 1 / 0,5; γ D = 2,5 γ S = 1,25 pomocí black level γ D = 2,2 γ S = 1,1 atd. MHS Teoretický základ videa 20 /58

21 JASOVÝ ROZSAH VNÍMANÝ KONTRAST menší než poměr jasů v obrazu vnímání tmavých jasů lepší v tmavém prostředí snižuje se rozptylem světla, okolním světlem zobrazení okolí max. jas vnímaný kontrast filmové plátno tma : 1 televizor šero : 1 monitor světlo : 1 tma: jas okolního prostředí < 1 % bílé v obrazu šero: jas okolního prostředí cca 20 % bílé v obrazu světlo: jas okolního prostředí podobný bílé v obrazu MHS Teoretický základ videa 21 /58

22 BARVA pro video aditivní systémy, technicky založené (tj. ne kolorimetricky) RGB složky obsahují (lineární) jas R G B složky obsahují vnímaný jas pro přenos oddělený jas a barevnost slučitelné s čb vysíláním větší odolnost k šumu, menší šířka pásma barevné signály nemění jas princip konstantního jasu MHS Teoretický základ videa 22 /58

23 BARVA lineární systém: Y = 0,2126 R + 0,7152 G + 0,0722 B αβ (B Y, R Y) RGB Yαβ Yαβ RGB gama b. prostor kód. dekód. perceptuální systém: RGB Yαβ L * αβ L * αβ Yαβ RGB perceptuální systém s CRT: RGB Yab L * αβ L * αβ Yab RGB R G B CRT aproximace kolorimetrického systému: RGB R G B Y P B P R Y P B P R R G B CRT luma: Y = 0,299 R + 0,587 G + 0,114 B chroma: P B = 0,564(B Y ), P R = 0,713(R Y ) MHS Teoretický základ videa 23 /58

24 BAREVNÉ PROSTORY Y P B P R Y je mezi 0 1, P B P R jsou mezi ±0,5 Y C B C R Y je mezi , C B C R jsou mezi (střed 128) zbytek rozsahu pro analogové překmity studiové RGB 219 : R G B jsou mezi Y UV, Y IQ pro PAL, NTSC MHS Teoretický základ videa 24 /58

25 PODVZORKOVÁNÍ BAREV oko citlivější na změnu v jasu informace o barvě se může podvzorkovat standardní typy podvzorkování označení trojicí A : B : C A : B poměr podvzorkování Y : C B C R horizontálně B = C C B C R má stejné vertikální rozlišení jako Y C = 0 C B C R má poloviční vertikální rozlišení než Y 4:4:4 počítačová grafika, scan, RGB i Y C B C R 4:2:2 studiové video podle CCIR 601, DV50 4:1:1 uživatelské video, NTSC, profi DV25/PAL 4:2:0 uživatelské video, JPEG, MPEG-1, MPEG-2, amatérské DV25/PAL 3:1:1, 3:1:0 některé videokamery MHS Teoretický základ videa 25 /58

26 PODVZORKOVÁNÍ BAREV vzorkování 4:2:2, = vzorek Y, = vzorek C B i C R vzorkování 4:1:1, = vzorek Y, = vzorek C B, = vzorek C R vzorkování 4:2:0, varianta 1 = vzorek Y, = vzorek C B i C R vzorkování 4:2:0, varianta 2 = vzorek Y, = vzorek C B i C R MHS Teoretický základ videa 26 /58

27 PODVZORKOVÁNÍ BAREV Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y C B C B C B C B C B C B C B C B C B C B C R C R C R C R C R C R C R C R C R C R 4:4:4 4:2:2 4:1:1 4:2:0 (MPEG-1) 4:2:0 (MPEG-2) MHS Teoretický základ videa 27 /58

28 PODVZORKOVÁNÍ BAREV bez chroma podvzorkování chroma podvzorkování 4:2:2 chroma podvzorkování 4:2:0 chroma podvzorkování 4:1:1 MHS Teoretický základ videa 28 /58

29 PODVZORKOVÁNÍ BAREV bez chroma podvzorkování chroma podvzorkování 4:2:2 chroma podvzorkování 4:2:0 chroma podvzorkování 4:1:1 MHS Teoretický základ videa 29 /58

30 PODVZORKOVÁNÍ BAREV bez chroma podvzorkování chroma podvzorkování 4:2:2 chroma podvzorkování 4:2:0 chroma podvzorkování 4:1:1 MHS Teoretický základ videa 30 /58

31 SNÍMKOVÁ FREKVENCE rozpoznatelnost záblesku různá při tma světlo tma a světlo tma světlo záblesk až 1/400 s (identifikace obrazu 1/200 s) zatemění 1/100 s iluze pohybu při velmi dobrém vzorkování času 18 fps dostačující pro dobré vzorkování času 24 fps pomalé pohyby 10 fps nebo méně pro ostré snímky více než 50 fps MHS Teoretický základ videa 31 /58

32 SNÍMKOVÁ FREKVENCE klidný obraz bez blikání (flicker) frekvence závisí na jasové adaptaci oka, velikosti obrazu zobrazení obraz prostředí frekvence promítací plátno velký tma 48, 72 fps televizor malý šero 50, 60 fps monitor malý světlo > 60 fps velká frekvence dělení snímku na půlsnímky standardní televize opakování snímků 100Hz televizor, kino MHS Teoretický základ videa 32 /58

33 SNÍMKOVÁ FREKVENCE POHYB OČÍ při pohybu objektu se zvyšují frekvence v obrazu oko málo citlivé na vyšší frekvence kompenzace pohybem oka oko sleduje pohyblivý objekt objekt na stejném místě na sítnici nehybné pozadí na různých místech sítnice při nízké snímkové frekvenci pozadí bliká MHS Teoretický základ videa 33 /58

34 STRUKTURA OBRAZU PSF (PIXEL SPREAD FUNCTION) rozložení jasu v rámci jednoho pixelu LCD, DLP obdélníkové rozložení CRT gaussovské rozložení obrazovka ze skvrn luminoforu/triád skvrn neexistuje souvislost mezi pixely a luminofory MHS Teoretický základ videa 34 /58

35 STRUKTURA OBRAZU PROKLÁDANÝ OBRAZ rozložení snímku (frame) na dva půlsnímky (field) zobrazování/snímání lichých/sudých řádek opak progresivní obraz dvojnásobná frekvence obnovování obrazu redukce blikání (flicker) pro 25 Hz se projevuje, pro 50 Hz ne meziřádkové blikání (twitter) obraz liché ř. sudé ř. blikání 50 Hz blikání 25 Hz twitter blikání 50 Hz MHS Teoretický základ videa 35 /58

36 STRUKTURA OBRAZU zvýšení ostrosti obrazu (zmenšení PSF) 1. půlsnímek s mezerami mezi řádky 2. půlsnímek zaplňuje mezery při prograsivním obrazu při stejném fps a šířce pásma by PSF musela být větší redukce šířky pásma, výkonu vysílače Kellův jev rozlišovací schopnost se zmenšuje oproti teoretické Nyquistově podmínce, dáno především PSF MHS Teoretický základ videa 36 /58

37 STRUKTURA OBRAZU ANALOGOVÝ TELEVIZNÍ SIGNÁL nepřerušovaný musí zahrnovat časy pro přenos obrazu v řádce synchronizaci na začátku řádky horizontální zatemnění a zpětný běh paprsku vertikální zatemnění a zpětný běh paprsku rozlišujeme celkový počet řádků/sloupců a počet aktivních řádků/sloupců okraje obrazu obsahují artefakty plocha obrazu menší NTSC 525 řádků, aktivních 480 PAL 625 řádků, aktivních 576 MHS Teoretický základ videa 37 /58

38 STRUKTURA OBRAZU typické snímkové frekvence film 24 fps (625/50) PAL 25 fps = 50 půlsnímků/s (525/60) NTSC 29,97 fps ( /1001) = 59,94 půlsnímků/s 30 fps (původní) zkratky PAL/NTSC v tomto kontextu nepřesné, viz dále MHS Teoretický základ videa 38 /58

39 KONVERZE KONVERZE SNÍMKOVÉ FREKVENCE film PAL (24 fps 25 fps) 2:2 pulldown: A B C A L A S B L B S C L C S 24 fps 48 půlsnímků/s zrychlené přehrání (60 min. 57 min. 36 s) korekce zvukové stopy film NTSC (24 fps 29,97 fps) 2:3 pulldown (telecine): A B C A L A S B L B S B L C S C L 24 fps 60 půlsnímků/s zpomalené přehrání 59,94 půlsnímků/s (1 h 1 h 3,6 s) NTSC film (29,97 fps 24 fps) inverse telecine 29,97 fps 23,976 fps MHS Teoretický základ videa 39 /58

40 KONVERZE DEINTERLACING obrázky převzaty z MHS Teoretický základ videa 40 /58

41 KONVERZE blend zvětšení field na frame, prolnutí statická scéna přijatelná (horší vertikální rozlišení) pohyb špatný MHS Teoretický základ videa 41 /58

42 KONVERZE weave zobrazení obou půlsnímků najednou statická scéna plné vertikální rozlišení pohyb špatný MHS Teoretický základ videa 42 /58

43 KONVERZE selektivní blend (area based) ve statických místech obrazu weave, v pohyblivých místech blend kompromis mezi weave a blend MHS Teoretický základ videa 43 /58

44 KONVERZE motion blur ve statických místech weave, v pohybu rozmazání teoreticky ideální možnost výpočetně náročné odhad pohybu ve snímcích MHS Teoretický základ videa 44 /58

45 KONVERZE discard zobrazování jen sudých (lichých) fields bez artefaktů, poloviční rozlišení, trhaný pohyb bob zobrazení obou fields v plném rozlišení obraz bez artefaktů, horší rozlišení, dvojnásobné fps bob+weave bob+ve statických místech weave dobré rozlišení, téměř bez artefaktů, dvojnásobné fps MHS Teoretický základ videa 45 /58

46 TECHNOLOGIE kompozitní komponentní analogové digitální RGB yuv komprimované nekomprimované MHS Teoretický základ videa 46 /58

47 TECHNOLOGIE STANDARDNÍ TV prokládání snímků, podvzorkování barevné informace pevný poměr stran obrazu 4:3 obraz 525/59,94 (480i29,97) a 625/50 (576i25) kódování barev NTSC, PAL, SECAM HDTV HIGH DEFINITION TV progresivní i prokládaný obraz vyšší rozlišení, 16:9, surround zvuk DTV DIGITAL TV interaktivní prostředí MHS Teoretický základ videa 47 /58

48 TECHNOLOGIE NTSC National Television Systems Commitee typicky 525/59,94, vzorkování obrazu Severní Amerika, Japonsko, Korea R G B Y P B P R Y UV kódování UV C = ± (U sin ωt + V cos ωt) (fáze = odstín, amplituda = sytost) součet Y a C do kompozitního signálu pro dekódování barvy musíme znát vlnu sin ωt na začátku každé řádky chroma burst signál signál náchylný k chybě fáze chyba odstínu typicky podvzorkování 4 : 1 : 1 MHS Teoretický základ videa 48 /58

49 TECHNOLOGIE PAL Phase Alternation at Line Rate typicky 625/50, vzorkování obrazu Austrálie, Čína, většina Evropy, Jižní Amerika vylepšení NTSC střídání polarity V signálu v každé řádce chyba fáze mění mezi řádkami znaménko průměrná chyba odstínu malá typicky podvzorkování 4 : 2 : 0 MHS Teoretický základ videa 49 /58

50 TECHNOLOGIE SECAM Sequential Couleur avec Memoire typicky 25 fps, 625 řádků Francie, Střední východ, část Afriky U, V nejsou modulovány do C na každé řádce přenos jedné komponenty MHS Teoretický základ videa 50 /58

51 STANDARDY doporučení CCIR 601 (dnes ITU-R) CCIR 601 CCIR 601 CIF QCIF 525/60 625/50 luma chroma chroma sub. 4:2:2 4:2:2 Fields/s prokládané ano ano ne ne MHS Teoretický základ videa 51 /58

52 STANDARDY doporučení ATSC (Advanced Television Systems Committee) pro HDTV, 1995 rozlišení poměr stran fps :9 60I 30P 24P :9 60P 30P 24P :9 & 4:3 60I 60P 30P 24P :3 60I 60P 30P 24P MHS Teoretický základ videa 52 /58

53 STANDARDY další názvy a rozlišení název rozlišení poznámka square DV rendering, 480 pro NTSC D plné CCIR 601 rozlišení, 480 pro NTSC cropped D případně , 480 pro NTSC TV vysílání, DVD 3/4 D LaserDisc, 480 pro NTSC 2/3 D SVCD, 480 pro NTSC 1/2 D1, D DVD, 480 pro NTSC CIF 601, D VCD, 240 pro NTSC MHS Teoretický základ videa 53 /58

54 ANALOGOVÉ VIDEO VHS kompozitní, luma poloviční rozlišení CCIR 601 čtvrtinové chroma rozlišení S-VHS kompozitní, ale Y a C oddělené, lepší než VHS HI-8 kompozitní, kvalita srovnatelná s S-VHS amatérské kamery MHS Teoretický základ videa 54 /58

55 ANALOGOVÉ VIDEO BETACAM, BETACAM SP Sony komponentové video, standard pro TV snímání rozdíl v typu pásky MII Panasonic, reakce na BetaCam SP komponentové, kvalita srovnatelná s BetaCam SP EBU B, EBU C komponentové, profesionální použití, nízká chybovost (dropouts) MHS Teoretický základ videa 55 /58

56 DIGITÁLNÍ VIDEO NEKOMPRIMOVANÉ D , komponentové 4:2:2, drahé, referenční, překonané D-2 kompozitní, dočasné záznamy (zprávy) D-3 kompozitní, menší pásky než D1/D2 D-5 komponentové, stejná páska jako D-3, umožňuje HDTV D-6 HDTV, D1 páska, špičková kvalita MHS Teoretický základ videa 56 /58

57 DIGITÁLNÍ VIDEO KOMPRIMOVANÉ Digital BetaCam zprávy, podobné pásky jako BetaCam Ampex DCT, Ampex DST filmová postprodukce DV amatérské, kvalita BetaCam, 4:1:1 nebo 4:2:0 DVCPRO jako DV, větší rychlost pásku DVCPRO-50 větší šířka pásma než DV, 4:2:2 DVCAM mezi DV a DVCPRO Digital8 jako DV, páska jako Hi8 propojení DV s počítačem IEEE 1394 (FireWire) BetaCam SX profesionální, 4:2:2, MPEG MHS Teoretický základ videa 57 /58

58 TIMECODE pro digitální i analogové video hours:minutes:seconds:frames plus uživatelská data film: 0:0:0:0; ; 0:0:0:23; 0:0:1:0; PAL: 0:0:0:0; ; 0:0:0:24; 0:0:1:0; pro NTSC problém s 29,97 fps dropframe timecode (vynechat čísla frame 0, 1 v první vteřině každé minuty kromě minut 0, 10,, 50) 0:0:0:0; ; 0:0:0:29; 0:0:1:0; 0:0:1:1; 0:0:59:29; 0:1:0:2; 0:1:0:3; 0:9:59:29; 0:10:0:0; 0:10:0:1; 0:10:0:2; MHS Teoretický základ videa 58 /58