Multimédia a data - 6 Informatika 2 Přednáší: doc. Ing. Jan Skrbek, Dr. - KIN Přednášky: středa 14 20 15 55 Spojení: e-mail: jan.skrbek@tul.cz 16 10 17 45 tel.: 48 535 2442 Obsah: Princip digitalizace vstupních multimediálních dat Klasifikace Zpracování Využití IN2-14-06 1
Multimedia obecně - oblast informačních a komunikačních technologií, která je charakteristická sloučením audiovizuálních technických prostředků s počítači či dalšími zařízeními - splňují požadavek na efektivní ovládání a prezentaci výsledků v co nejpřirozenější formě pro člověka
jsou Multimedia multidisciplinární Počítačové sítě, operační systémy Zpracování obrazu, zvuku, videa Multimedia computing Počítačové vidění, rozpoznávání Interakce člověk - počítač Počítačová grafika
typ obsahu (obraz, zvuk) prostředí obsahu (TV, internet) nosič obsahu (TV signál, CD nosič, jpeg) signály data informace obsah nosič (prostředí) příjemce
Základní terminologie Multimédia integrální spojení médií Polymédia spojení několika médií, které spolu nevytvářejí integrální celek Hypertext informace soustředěná v textu Hypermédia umožňují pohyb v informačním prostoru pomocí odkazu. Složení hypertextu a multimédií. Tradiční média linearita
Média Obraz text jazyk (strukturovaný přenos informací) fotografie vizuální vjem, reálné objekty kresba tvorba vizuálního vjemu
Obrázky a pixely Původní obraz Digitalizované pixely
Média Pohyblivý obraz faktor času animace video
Zvuk Média záznam zvuku (ruchy nestrukturované, řeč strukturovaná) hudba (akustické/elektronické nástroje)
Média Interakce aktivní prvky (hyperlink) komunikace člověka s prostředím aplikace
- doplňující se média Polymédia - nespojená do integrálního celku: učebnice cizího jazyka + audionahrávka výslovnosti tištěný průvodce + videokazeta
Hypermediální aplikace multimédia s vnějšími vazbami - multimediální webová stránka (odkazy na související materiály) - encyklopedie (odkazy na on-line část, on-line aktualizace) - hry (online aktualizace, multiplayer, massive multiplayer) - virtuální prostředí a světy (Second Life)
Technologie Technologie v pozadí (zastoupena v nástrojích a technice) Postupné kroky: Pořízení (zajištění kvality, zajištění uchování) Zpracování (úprava kvality, kreativita, příprava pro výstup pro výsledné médium) Výstup (zajištění odpovídajícího výstupu vzhledem k účelu, zajištění zálohy pro další zpracování)
Digitální konverze médií trend nárust digitalizace: fotografie digitální fotografie film video digitální video analog zvuk digitální zvuk (CD) digitální komprimovaný zvuk zpracování signálu (AD převodníky) zpracování dat profesní sféra (pozvolnější přechod, některé oblasti nelze digitalizovat)
Problematika technologií Kvalita věrnost obraz, zvuk, video Kvantita objemová vs. výpočetní náročnost (archivace, přenos, prohlížení) Průchodnost (propustnost) technologií (PC bus, network bandwith, wireless bandwith)
Výhody digitálního signálu Digitalizovaný záznam se: snadněji zálohuje. snadněji přepisuje. snadněji se z něj pořizují kopie. a navíc se dá digitalizovaný zvuk dodatečně v počítači upravit.
Digitalizace Při získání počítačového obrazu je jedním ze základních jevů přechod od spojité funkce f(x,y) k diskrétní funkci Fi,j. Obraz, který je snímán, má teoreticky nekonečný rozsah obrazových hodnot, stejně jako je možné ho přibližovat či vzdalovat téměř neomezeně.
Digitalizace Proces přechodu od spojitého obrazu k diskrétnímu se nazývá digitalizace. Odehrává se ve dvou nezávislých krocích kvantování a vzorkování
Vzorkování analogového signálu - Vzorkovací (Shannonův) teorém nutné vzorkovat dvojnásobnou frekvenci, než je maximální frekvence zdroje. V opačném případě výrazné zkreslení
Kvantování Kvantování probíhá v oboru hodnot obrazové funkce, které se rozdělí na intervaly, jimž je pak přidělena jediná, zástupná hodnota. Podle způsobu rozdělení kvantované veličiny hovoříme o kvantování uniformním a neuniformním
Vzorkování Vzorkováním (sampling) spojité funkce f(x) rozumíme zaznamenávání hodnot vzorků, v předem daných intervalech. F i =f(x 0 +iδx), i=0,1...
Vzorkování F i =f(x 0 +iδx), i=0,1... -Frekvence - Amplituda F
DIGITALIZACE ZVUKU, VIDEA Digitalizace (z angl. digital, číslicový) je obecně převod analogového - spojitého signálu (např. hlasový projev, historie gramofonová deska) do nespojité posloupnosti digitálních (číselných) údajů, obvykle kódovaných v binární soustavě. Analogový záznam: gramofonová deska, magnetofonový záznam, mikrofon
Gramofonová deska (prožívající v současnosti renesanci) K záznamu zvuku byl použit převod elektrického signálu např. z mikrofonu na mechanickou stopu v drážce desky. (Lisováním) Proměnná hloubka (později šířka) drážky nese spojitou informaci, která se pomocí jehly a zesilovacího řetězce přenáší do reproduktoru.
DIGITALIZACE ZVUKU Digitalizujeme, abychom eliminovali nevýhody analogového záznamu. Neopotřebitelnost, přenositelnost, odolnost proti šumu, Digitalizací však také ztrácíme také část informace vzorkování je vždy konečné a proto část zvuků zkrátka ignoruje. (viz dále) Takto vypadá analogový záznam. V kroužku je detailní průběh krátkého zvuku např. ruch
DIGITALIZACE ZVUKU ZVUKOVÉ POLE UCHA
DIGITALIZACE ZVUKU Digitalizace se skládá ze dvou kroků 1, Spojitý signál se nejprve vzorkuje, to jest stanoví jeho velikost v pravidelných časových intervalech Vzorky jsou znázorněny červenou tečkou Velikost vyjadřuje červená spojnice s bodem
Čím větší počet vzorků je změřen za jednotku času, tím je převod kvalitnější, zabírá však více dat k uložení 2, Velikost vzorků je za pomoci A/D převodníku součást zvukové karty převedena do dvojkové soustavy.
Komprese zvuku a kvalita? Protože vzorkování je velmi "husté", má takový digitální signál velký datový obsah. Proto se digitalizace doplňuje o nějakou kompresi, například nahrazením posloupnosti za sebou následujících shodných čísel údajem o jejich počtu. Viz formáty mp3, wma, a podobně
Komprimace dat - Ztrátová Digitalizovaná data se modifikují formou určité komprese, například nahrazením posloupnosti za sebou následujících shodných hodnot údajem o jejich počtu. -Metody pro video mpeg kontajner -Metody obrazu jpeg ( slučování ) - Bezztrátová
Tabulka vzorkovaních frekvencí Počet vzorků za sekundu Popis 8 khz Telefonní kvalita 11 khz při 8 bitové šířce - zpracování řeči (diktafony, ) 22 khz vhodné na mix hudby a slova - monofonně 44.1 khz 16ti bitový standard pro kvalitní zvuk (standard audio CD) 96 khz DVD audio - 24 bit 192 khz Studiový mastering 192 bit
Přenos zvuku a videa Streaming technologie kontinuálního přenosu informace mezi serverem a klientem umožňuje přehrávání při přenosu dat bez předchozího uložení do souboru Bitrate - kvalita přenosu měřená v bitech za sekundu Kodek - software pro kódování a dekódování informace při přenosu a ukládání dat
Bit-rate (bitová rychlost) Bit-rate indikuje objem zvukových dat přenášených za jednotku času Bit-rate může být vztahována ke dvěma variantám záznamu - variabilní nebo konstantní Variabilní bit-rate vytváří menší datové objemy díky odstraňováním neslyšitelných zvuků. Je proto vhodná pro prostředí Internetu, kde je limitující šířka přenášeného pásma. Konstantní bit-rate zaznamenává audio data nezávisle na jejich obsahu. Jde v podstatě o analogii analogového záznamu, který reprodukuje neslyšitelné zvuky (datový objem je nesrovnatelně vyšší, než u variabilní bit-rate) Bit rate (kb/s) Quality MB/min 1411 CD quality 10.584 192 Good CD quality 1.440 128 Near CD quality 0.960 112 Near CD quality 0.840 64 FM quality 0.480 32 AM quality 0.240 16 Short-wave quality 0.120
Digitální audio formáty Formát Komprese Bit-rate Popularita MPEG Audio Layer III (MP3) ztrátová Variabilní Široce používaný Mp3PRO (MP3) ztrátová Variabilní Omezená podpora Ogg Vorbis (OGG) ztrátová Variabilní Populární pro hry RealAudio (RA) ztrátová Variabilní Populární pro hry Microsoft wave (WAV) bezztrátová Konstantní Základní zpracování zvuku Windows Media (WMA) ztrátová Variabilní Součást WMP, DVD přehrávače Master audio data by měla být uchována v bezztrátovém formátu, aby nedošlo ke ztrátě kvality. Pozn.: převod mezi ztrátovými formáty způsobuje další degradaci kvality (odstranění doplňujících dat může mít za následek nečekaný a nežádaný výsledek)