Bakalářská práce 2006 Tomáš Satinský

Transkript

1 Bakalářská práce 2006 Tomáš Satinský

2 Prohlašuji, že jsem tuto bakalářskou práci vypracoval samostatně pod vedením Ing. Jana Pačivy Uvedl jsem všechny literární prameny a publikace, ze kterých jsem čerpal. V Brně dne Tomáš Satinský

3 Abstrakt Tato práce se zabývá návrhem a realizací programu pro tvorbu vizuálního doprovodu k hudbě. Oním vizuálním doprovodem k hudbě se rozumí obraz měnící se v čase, který je promítán na plátno na kulturních akcích jako jsou vystoupení kapel a dýdžejů. Dotváří tak scénu, na které vystoupení probíhá. Program, který je výsledkem této práce jej umožňuje vytvářet v reálném čase. Architektura programu je navržena pomocí objektově orientovaného přístupu. Vstupy programu jsou obrázky, videosoubory a obraz z kamery. Ty jsou v programu upravovány a kombinovány. Dalším vstupem je audiosignál sloužící k modulování a generování obrazu. Nejvýraznějším rysem uživatelského rozhraní je použití virtuálních zařízení pro zpracování obrazu, které je možno propojovat. Uživatel tak získá vysokou flexibilitu programu, která je ještě podpořena možností přidávat další virtuální zařízení jako moduly programu. Navržen je jako přenositelný mezi operačními systémy Windows a Linux. Implementován je na OS Windows. Klíčová slova: VJ, VJing, vizualizace, FFMPEG, OpenGL, Qt, FMOD, OpenCV

4 Abstract This work considers by design and realization of program for composing visual entourage to music. This visual entourage mean picture changing in time, wich is projected to canvas on cultural events as band performance a DJ shows. Put the finishing touch to performance in progress. This program make possible to create it in real-time. Program architecture is designed by object oriented way. Inputs are: pictures, videos a videosignal from camera. Those can be edited and combined. Next input is audiosignal for picture generating and modulating. User interface uses virtual devices for picture processing, wich can be connect trough. User acquire flexible program with possibility to add new virtual devices as plugins. Is designed as portable between operation systems Windows a Linux. Implemented is on OS Windows. Key Words: VJ, VJing, visualization, FFMPEG, OpenGL, Qt, FMOD, OpenCV

5 Obsah 1 Úvod 2 Specifikace programu 2.1 Multimediální vstupy programu 2.2 Výstup programu 2.3 Úpravy a mixování videosignálu 2.4 Uživatelské rozhraní 2.5 Modularita 2.6 Kód programu a přenositelnost 2.7 Nároky na hardware 2.8 Distribuce a licence 3 Použité programové prostředky 3.1 GNU C Sada nástrojů Qt Modul pro tvorbu uživatelských rozhraní Modul OpenGL Systém signálů a slotů Podpora projektů Systém zásuvných modulů a dynamických knihoven 3.3 Knihovna OpenGL 3.4 Knihovna FFMPEG 3.5 Knihovna OpenCV 3.6 Knihovna FMOD 4 Návrh programu 4.1 Uživatelské rozhraní 4.2 Architektura programu 5 Výsledný program 5.1 Struktura adresářů, spuštění, kompilace 5.2 Uživatelské rozhraní, ovládání 5.3 Implementovaná virtuální zařízení 5.4 Tvorba nových modulů Třída nového virtuálního zařízení Třída nového modulu Projektový soubor modulu 5.5 Výsledky testování 6 Závěr 7 Literatura 8 Přílohy 8.1 Licence OpenCV 8.2 Data na CD

6

7 1 Úvod Cílem této práce je navrhnout a zhodnotit program pro tvorbu a mixování vizuálního doprovodu k hudbě. Vizuálním doprovodem k hudbě je myšlen obraz měnící se v čase, který je promítán na plátno na vystoupeních kapel a dýdžejů. Může být promítán i na stěny či objekty zavěšené ve vzduchu. Doplňuje se tedy s dalšími prostředky pro zpestření scény jako je barevná hudba a jiné světelné a kouřové efekty. Nabývá na důležitosti hlavně na scéně elektronické hudby, kde často schází výrazný prvek živě hrajících interpretů. Vizuální doprovod k hudbě bude dále nazýván vizualizací. Vizualizace může být předem připravená nebo tvořena v reálném čase tvůrčí osobou nejčastěji nazývanou VJ (z anglického Video Jockey, čte se vídžej ), samotné tvorbě se říká VJing( vídžejing ). Tvorba vizualizace vychází z předem připravených obrázků, videjí a obrazů z videokamery, která je umístěna přímo na konkrétní kulturní akci. VJ tedy musí disponovat prostředky, jenž mu umožní tyto vstupy kreativně zpracovávat a kombinovat. V dnešní době bývá tímto prostředkem především osobní počítač vybavený potřebným softwarem. Již mnoho let disponují počítače dostatečným výkonem při zpracování multimédii a tak je spojení PC a potřebného programu levnou a efektivní variantou. Právě dostupnost prostředků na bázi PC umožnila rozvoj tohoto oboru. Program, který bude výsledkem této práce tedy umožní vytvářet vizualizace v reálném čase přímo na místě kulturní akce, či jen tak pro zábavu kdekoli jinde. Existovala a existují i jiná řešení používající speciální hardwarové prostředky pro kombinování obrazu z videií, videokamer či speciálních DVD přehrávačů, ale tyto se uplatňují v menší míře a jsou finančně mnohem náročnější. Struktura tohoto dokumentu. Tématem této práce není nějaké obecné téma, ale úkol vytvořit konkrétní program. Tento dokument je koncipován jako záznam životního cyklu daného programu od specifikace přes návrh až po zhodnocení vytvořeného aplikace. Druhá kapitola se zabývá specifikací, tedy obecnými požadavky které klademe na výsledný program. Jelikož program se skládá z několika poměrně komplikovaných součástí, je zcela nezbytné použít předem připravené nástroje a knihovny, které umožní vytvořit funkční program v odpovídajícím časovém intervalu. Vybranými prostředky se zabývá třetí kapitola. Čtvrtá kapitola je návrhem programu. Důraz je kladen na uživatelské rozhraní, prostřednictvím kterého probíhá interakce mezi programem a uživatelem. Dále je navržena architektura programu udávající vnitřní dělení, uspořádání a principy činnosti programu. Jak bylo zmíněno, je cílem této práce také vytvoření funkčního programu. Pátá kapitola se zabývá hodnocením procesu tvorby i hotového díla. Následuje závěr, použitá literatura a přílohy. Strana 1.

8 2 Specifikace programu 2.1 Multimediální vstupy programu Hlavními vstupy programu by měly být: obrázky a videa uložené v počítači, obraz z připojených kamer a zvukový signál. U obrázku je důraz kladen na rastrové formáty. Hlavně by mělo být podporováno načítání obrázků typů PNG(Portable Network Graphics), BMP a JPEG(Joint Photographic Experts Group). Rozhraní by mělo poskytovat náhled u jednotlivě otvíraných souborů. U video-souborů musí být možné otevření a přehrávání několika soborů zároveň. Náhled by měl být rovněž k dispozici. Mezi podporovanými formáty by měly být hlavně sobory komprimované metodou MPEG(Moving Picture Experts Group). Dále je zde externí zvukový signál přijímaný prostřednictvím zvukové karty z mikrofonu nebo přímo ze zvukové aparatury daného představení. Ten nalezne uplatnění při tvorbě obrazu přímo v programu. Takto se nejčastěji tvoří obraz abstraktního charakteru. Program by měl umožňovat tvorbu alespoň jednoho abstraktního obrazu na základě této zvukové složky. Výhodná by byla také možnost modulovat obraz na podle této zvukové složky (například jas podle amplitudy). Velmi důležitým vstupem je obraz z připojených kamer. Program by měl umožňovat jeho využití se zachováním kvality obrazu a snímkovací frekvence. 2.2 Výstup programu Výstupem je obraz kombinující použité vstupy a generovaný obraz za použití různých způsobů směšování a filtrace obrazu. Je tvořen v reálném čase. Program musí být schopen zachovat vysokou rychlost snímkování (min. 20 snímků za sekundu) i v případě přehrávání a úpravy několika videí, obrázků a obrazů z kamery. Pokud se má program uplatnit v praxi, musí zde existovat možnost výstupu obrazu na jiný než primární obrazový výstup počítače. V současné době disponují i levné grafické karty kromě běžného výstupu na monitor ještě minimálně jedním dalším S-video výstupem nebo digitálním výstupem na LCD, na který je možno připojit projektor. Právě tento by měl být použit pro hlavní obrazový výstup programu. 2.3 Úpravy a mixování videosignálu Existují dvě základní operace s obrazem, kterými bude výsledný program disponovat. Je to úprava obrazu(např. změna kontrastu) a slučování dvou obrazů do jednoho(např. prolínání). Možná je i kombinace obou dvou typů operací. Úpravy, které by měly být k dispozici: Změna jasu a kontrastu Transformace posunutí, rotace, zmenšení/zvětšení a deformace obrazu Požadované typy slučování: Jednoduché prolínání Kombinace s matematickou operací(např. sečtení jasových složek obrazů) Sloučení s trojrozměrným efektem pro demonstraci možností 3D grafiky. Strana 2.

9 2.4 Uživatelské rozhraní Zcela zásadní roli hraje v podobných programech uživatelské rozhraní. Uživatelské rozhraní mnoha podobných programů z nich dělá jednoúčelově zaměřené a neflexibilní nástroje. S lepším uživatelským rozhraním by byl jejich potenciál mnohem větší. Musí být intuitivní, přehledné a jednoduché. Zároveň však nesmí uživatele omezovat. A právě to je největší výzvou - navrhnout program s uživatelským rozhraním, které dokáže plně využít možnosti programu i tvůrce. Důraz je kladen na následující: jestliže program disponuje možností určitých úprav a kombinování obrazů, pak musí umožnit uživateli tato prostředky libovolně kombinovat. To je handicap mnoha existujících programů. Nabízí například řadu filtrů a kombinátorů obrazu ale použít lze vždy jen jeden. Kombinace jsou nemožné. 2.5 Modularita Je velmi pravděpodobné, že se najdou uživatelé, kteří nejsou zcela spokojeni s možnostmi, které program nabízí. To se právě v případě programu tohoto typu děje až podezřele často. Není výjimkou situace, kdy si skupiny zabývající se tvorbou audiovizuálního obsahu vyvíjejí každá svůj program takříkajíc na míru. Komerční či volně šířitelné produkty jim jednoduše neposkytují požadovanou funkčnost. Jak zajistit aby se daný software nestal jen dalším programem na míru tvůtci? Je možné si povšimnout, že velice úspěšnými se stávají programy umožňující rozšíření pomocí zásuvných modulů. Funkčnost programu je pak možno snadno rozšiřovat. Každý aktivnější uživatel pomocí modulu přidá to, co mu v programu chybí. Pokusím se vyhovět tomuto požadavku a umožnit uživateli vytvořit či stáhnout z internetu modul, který doplní program o potřebnou funkcionalitu. Důkazem o vhodnosti tohoto přístupu jsou například programy: Firefox, Winamp či Miranda, pro něž existují snad stovky rozšíření formou modulů. 2.6 Kód programu a přenositelnost Program by měl být napsán s objektově orientovaným přístupem a měl by být přenositelný. Přenositelností se myslí schopnost programu fungovat pod více operačními systémy. Hlavním důraz je kladen na nejrozšířenější operační systémy Windows a Linux. Na Windows pracuje většina současných uživatelů. Komunita okolo Linuxu zase disponuje lidmi ochotnými spolupracovat na cizích projektech. Podporou operačního systému Linux se tedy zvyšuje počet potenciálních tvůrců přídavných modulů. 2.7 Nároky na hardware Program by měl být plně funkční na jakémkoli multimediálním počítači. Nutná je zvláště přítomnost grafického akcelerátoru v systému. Minimální parametry počítače, který zajistí plnou funkčnost programu: procesor 1 Ghz grafická karta ekvivalentní s nvidia Riva TNT2 256 MB operační paměti Strana 3.

10 2.8 Distribuce a licence Program bude distribuován jako volně šiřitelný tedy zdarma a s přístupným zdrojovým kódem. Vyhovující je často používaná licence GPL(verze 2) vytvořená Free Software Foundation. Základní vlastnosti které musí splňovat software distribuovaný pod licencí GPL je zdarma dostupný všem uživatelům včetně zdrojového kódu kdokoli jej může šířit i za poplatek jiný program založený na tomto programu (např. používající část zdojového kódu) musí být opět šířen pod touto licencí. Strana 4.

11 3 Použité programové prostředky Tato kapitola se zabývá všemi programy či knihovnami, které budou použity při tvorbě programu. Při tvorbě programu bude třeba vyřešit řadu problémů. Použití dostupných knihoven a nástrojů umožňuje rychlejší postup v práci. Další výhodou je, že knihovny bývají dobře otestované uživateli, kteří je používali před námi. Oblasti které je takto třeba pokrýt jsou hlavně: Grafické uživatelské rozhraní, modularita, načítání videí a obrázků, přístup k pokročilým funkcím grafické karty, vstup videosignálu z kamery a vstup audiosignálu prostřednictvím zvukové karty. To vše se splněním podmínky přenositelnosti, což situaci dále komplikuje. 3.0 GNU C++ Pro programování projektu byl vybrán objektově orientovaný přístup(oop). Nejpoužívanějším objektově orientovaným jazykem je C++, který v sobě zahrnuje programovací jazyk C. V důsledku značného rozšíření existuje mnoho knihoven pro tyto jazyky. V případě volby jiného jazyka by byl výběr knihoven podstatně menší. Zvoleno tedy bylo C++ a to také proto, že právě s tímto programovacím jazykem má autor programu největší zkušenosti. Jako kompilátor C++ byl zvolen GNU C++. Hlavním důvodem je, že tento existuje ve stejné podobě na mnoha operačních systémech včetně Windows s Linux, na které je podle specifikace kladen důraz. Jeho použití je zdarma. 3.1 Sada nástrojů Qt Sada nástrojů (toolkit) Qt je produktem firmy Trolltech. Ta při distribuci Qt používá takzvaný duální model. To znamená, že Qt je dodáváno ve dvou hlavních verzích komerční a open-source. Každá z verzí má vlastní licenční ujednání. Pro tento projekt je důležitá zejména open-source verze. Její použití se řídí podmínkami licence GPL, což vyhovuje tomuto projektu, který bude šířen pod stejnou licencí. Duální model firmě poskytuje jak potřebné finanční zajištěni nutné k existenci stálého týmu, tak spoluúčast členů open-source komunity na testování. Na knihovně Qt je založen například okenní systém Linuxu - KDE. Testování je tedy opravdu důkladné. Qt je přenositelné - poskytuje identickou funkčnost na platformách Windows, Linux, UNIX a Macintosh. Současná open-source verze obsahuje tyto součásti: Modul jádra (QtCore). Ten obsahuje: Základní datové typy a soubor tříd kontejnerů a iterátorů Třídy pro víceváknové programování Třídy pro časování Systém zásuvných modulů Systém slotů a signálů Modul pro tvorbu uživatelských rozhraní(qtgui) OpenGL modul(qtopengl) Modul pro práci v síti(qtnetwork) XML modul(qtxml) Databázový modul(qtsql) Podporu projektů Editor uživatelských rozhraní - Qt Designer Nástroj pro podporu více jazyků v programech Qt Linguist Obsáhlá kolekce příkladů použití Podrobná dokumentace Zdrojový kód všech součástí Strana 5.

12 Jak se vidno, Qt pokrývá mnoho oblastí. Prakticky všechny součásti toolkitu jsou provázány. Uživatelské rozhraní používá datové typy a kontejnery Qt. OpenGL je možno použít v součinnosti s uživatelským rozhraním. Komunikace mezi prvky GUI může probíhat pomocí slotů a signálů atd. Z toho důvodu je vhodné použít prostředky Qt všude, kde je to možné a vhodné. Vyhneme se tak zbytečným konverzím dat a zůstaneme uvnitř léta testovaného a prověřeného systému. Tomu bude učiněno za dost a toolkit Qt se stane základem této aplikace. Popsány budou použité součásti Modul pro tvorbu uživatelských rozhraní K dispozici jsou prakticky všechny základní i složitější ovládací prvky formou tříd. Z těch je možné odvozovat vlastní typy s rozšířenou funkcionalitou. Jak je zvykem i z jiných prostředí, jsou ovládací prvky strukturovány do stromů. Kořenem stromu je hlavní okno. Potomky jsou prvky v tomto okně, které můžou rekurzivně obsahovat další potomky. Vzhled V programu hlavní okno panel1 panel2 Hlavní okno -rodič není -potomci: panel1, panel2 tlačítko1 Panel1 -rodič - hlavní okno -potomci tlačítko1, tlačítko2 Panel2 - rodič - Hlavní okno - potomci nejsou tlačítko2 obrázek 3.1 Tlačítko1 - rodič panel1 -potomci nejsou Tlačítko2 - rodič panel1 -potomci nejsou Identické rozmístění a vzhled prvků je garantováno na všech podporovaných operačních systémech. Rozmístění může být zadáno přesnou polohou prvku relativně ke svému rodiči a nebo pomocí tzv. layoutů. Layout neboli rozvržení určuje rozmístění prvků na ploše prvku, ke kterému je přiřazen. Jedním typem je pomyslná mřížka pokrývající celou plochu prvku, ke kterému je přiřazen. Do buněk v mřížce se vkládají ovládací prvky. Jak se prvky rozmístí záleží na několika parametrech. Prvek může mít určenou minimální a maximální velikost a způsob chování, tzn. jestli se snaží pokrýt co největší či nejmenší možnou plochu nebo zda mají velikost pevně danou. Nutno poznamenat, že výše uvedené vysvětlení je mírně zjednodušené. Jednotlivé parametry a způsoby chování je možno určovat odděleně v horizontálním a vertikálním směru. Existuje ještě zásobníkový typ layoutu. Ze všech prvků do něj vložených je vždy viditelný pouze jeden. Jeho použití je například u záložek, kde se viditelný prvek určuje podle označené záložky. Do layoutů leze vkládat nejen ovládací prvky, ale i další layouty. Možné je také navržení uživatelského rozhraní v programu Qt Designer. Uživatelské rozhraní v Qt nepoužívá standardní funkce pro vykreslování oken a tlačítek daného operačního systému. Všechny ovládací prvky jsou navrženy jako třídy a jejich vykreslování provádějí další speciální třídy. To s sebou přináší řadu výhod. Identický vzhled je tímto garantován a daný operační systém nemůže vzhled ovlivnit. Je možno dodat vlastní typ vykreslovací třídy pro nový vzhled ovládacích prvků a oken. Dále je možno z tříd ovládacích prvků odvozovat vlastní typy s přidanou funkčností, což přináší možnosti objektově orientovaného přístupu i tam, kde by to prostředky operačního systému nemusely podporovat. Strana 6.

13 3.1.2 Modul OpenGL Umožňuje vkládat do uživatelského rozhraní prvky využívající akcelerovanou práci s grafikou prostřednictvím OpenGL. Tento prvek zajišťuje veškerou režii spojenou s inicializací včetně vytvoření OpenGL kontextu. Jelikož právě OpenGL bude použito pro zpracování a výstup obrazu, je podpora výhodou. Rozhraní OpenGL je realizováno funkcemi. V Qt jsou k dispozici třídy, umožňující přístup k OpenGL pomocí objektů. Jsou to tyto: QGLContext Zapouzdřuje renderovací kontext OpenGL. QGLWidget Je prvek uživatelského rozhraní používající k vykreslování OpenGL akceleraci. Jedná se o jednoduchou obdélníkovou oblast. Může mít svůj vlastní renderovací kontext nebo jej může sdílet s dalšími prvky uživatelského rozhraní. QGLColormap Barevná paleta pro QGLWidget. OpenGL může pracovat například s formátem barev RGBA na 32 bitech a výstup v uživatelském rozhraní můžeme pomocí této třídy redukovat například na 16 barev či odstíny šedi. QGLFormat zapouzdřuje konfiguraci renderovacího kontextu Systém slotů a signálů Tento systém rozšiřuje komunikaci mezi objekty C++. Jeden objekt vyvolá signál a druhý jej přijme pomocí slotu. Scénář použití je následující. Máme-li objekt A, který chce posílat zprávy objektu B, musí mít třída objektu A v deklaraci ve speciální sekci signals: definovánu metodu s určením parametrů signál. Tato nemá tělo. Třída objektu B musí mí v sekci slots: definovánu metodu se stejnými parametry slot. Deklarace obou tříd musí obsahovat makro Q_OBJECT viz příklad. Po vytvoření objektů A a B je nutno spojit signál objektu A se slotem objektu B pomocí funkce connect. K poslání zprávy musí objekt A vyvolat signál se zadáním parametrů. Ten je přijat slotem objektu B a obsloužen. Signál je emitován jednoduše: za klíčovým slovem emit volání metody signálu s parametry. Je třeba dodat, že sekce slots i signals musí být public, private nebo protected podle způsobu zapouzdření, který jim chceme přiřadit. Příklad použití: Třída tlačítka uživatelského rozhraní obsahuje signál stisknuto, který je emitován při stisku tlačítka. Třídě nějakého objektu použitého v naší aplikaci přidáme slot např. stisk_ok a slot se signálem instancí těchto tříd propojíme. Při stisku daného tlačítka je emitován signál stisknuto, který je obsloužen v metodě stisk_ok, která je slotem. Zdrojový kód příkladu: class MojeTlacitko { Q_OBJECT private: void libovolna_fce(); public signals: void stisknuto(); }; void MojeTlacitko::libovolna_fce() { emit stisknuto() } class MojeTrida { Q_OBJECT public slots: void stisk_ok(); }; void MojeTrida::stisk_ok() { //obsložení události } int main() { tlacitko MojeTlacitko; objekt MojeTrida; connect(&tlaitko, SIGNAL(stisknuto()), &objekt, SLOT(stisk_ok())); // nyní se při při volání funkce libovolna_fce() emituje signal // stisknuto a je obsloužen slot stisk ok } Strana 7.

14 Systém slotů a signálu je implementován pomocí maker a předzpracování kódu programem qmake, o kterém bude zmínka později Podpora projektů Psát Makefile ručně není příliš pohodlné zvláště u větších projektů. Qt disponuje programem, který generuje Makefile podle projektového souboru s příponou pro. Generování Makefile na základě projektového souboru má na starost program qmake, který je vlastně interpretem programu projektového souboru. Program očekává naplnění určitých proměnných jako například SOURCES obsahující seznam zdrojových souborů. Je možno použít i podmínky například při přizpůsobování projektu operačnímu systému, na kterém je kompilován. Hlavní očekávané proměnné jsou tyto: HEADERS seznam hlavičkových souborů SOURCES seznam zdrojových souborů LIBS použité knihovny QT použité moduly Qt CONFIG konfigurace Qt TARGET název výsledného spustitelného programu či knihovny DESTDIR cílový adresář TEMPLATE určuje typ výsledku (např. spustitelná aplikace, statická knihovna atd.) Příklad projektového souboru - soubor hello.pro : CONFIG += qt debug HEADERS += hello.h SOURCES += hello.cpp SOURCES += main.cpp win32 { SOURCES += hellowin.cpp } unix { SOURCES += hellounix.cpp }!exists( main.cpp ) { error( "Not found") } #přidání konfigurace pro #generování ladící verze programu #přidání hlavičkových souborů a #souborů a zdrojů #výběr přidávaného zdroje podle #operačního systému #zahlášení chyby, jesltiže není #nalezen soubor main.cpp Makefile je vygenerován příkazem qmake -o Makefile hello.pro. Kromě toho jsou generovány i soubory s příponou moc, které zajišťují fungování systému signálů a slotů. Také dále popsaný systém zásuvných modulů a dynamicky linkovaných knihoven funguje pouze s podporou programu qmake. Vygenerovaný Makefile se liší podle operačního systému na kterém je generován. Pomocí parametrů programu qmake je možné vygenerovat různé výstupy pro podporované operační systémy a ty porovnat. Qmake je tedy součástí prostředků, které zajišťují přenositelnost Qt. Je možné použít jej i bez použití ostatních součástí Qt. Strana 8.

15 3.1.5 Systém zásuvných modulů a dynamických knihoven Umožňuje jednoduchou tvorbu programů s podporou modulů a dynamicky linkované knihovny. Pomoci tohoto je možné rozšiřovat či upravovat aplikace bez nutnosti kompilace celého programu. Moduly a knihovny jsou implementovány jako dynamicky linkované knihovny daného operačního systému. Qt nabízí vývojáři vysokoúrovňové a nízkoúrovňové rozhraní. Vysokoúrovňové rozhraní nabízí rozhraní pouze pro rozšíření možností toolkitu Qt. Lze je rozšířit o: Podporované formáty obrázků Vlastní vzhled oken a ovládacích prvků Podporované znakové sady Ovladače klávesnic, myší a grafiky u vestavěných systémů Ovladač SQL pro přístup ke specifickým databázím Pomocí nízkoúrovňových prostředků je možné vytvářet přenositelné moduly programu a knihovny. Rozšiřování programu. Rozšířit program je možné o zásuvný modul nebo o funkce dynamicky linkované knihovny. V jiných aplikacích to může být jedno a totéž, ovšem v Qt se jedná o dva odlišné přístupy. Zásuvný modul obsahuje definici jediné třídy s možností vytvořit jediný objekt, který je primárně určen k rozšíření jediné aplikace. Soubor tohoto modulu bude nejspíš umístěn v adresáři oné aplikace. Knihovna poskytuje spíše obecnou funkcionalitu, kterou můžou využívat libovolné aplikace. Její umístění bude tedy v místě určeném operačním systémem pro dynamicky linkované knihovny. Z programu máme přístup k libovolnému exportovanému symbolu knihovny, viz dále. Tvorba zásuvného modulu. Aplikace i zásuvný modul musí znát rozhraní třídy jejíž objekt bude rozšiřovat funkcionalitu aplikace. Jedná se vlastně o abstraktní třídu odvozenou od QObject, která musí být opatřena makrem Q_OBJECT. Na konci souboru misí být dalším makrem Q_DECLARE_INTERFACE zadáno, že se jedná o rozhraní. Příklad: soubor rozhrani.h : class Rozhrani: public QObject { Q_OBJECT public: virtual void delej_neco() = 0; }; Q_DECLARE_INTERFACE(Rozhrani, "popis rozhrani..."); Moduly jsou samostatné projekty s vlastním projektovým souborem. Obsahují definici třídy, která je potomkem třídy rozhraní. Opět je opatřen makrem Q_OBJECT a také makrem Q_INTERFACES s názvem rozhraní, ze kterého je odvozen. Příklad: soubor novy_modul.h : #include <rozhrani.h> class NovyModul: public Rozhrani { Q_OBJECT Q_INTERFACES(Rozhrani) public: void delej_neco(); }; Strana 9.

16 Dále ve zdrojovém souboru který musí obsahovat těla původně abstraktních metod rozhraní je na konci uvedeno makro Q_EXPORT_PLUGIN informující o exportovaní třídy jako modulu. Příklad: Soubor novy_modul.cpp : void NovyModul::delej_neco() { // kód metody s novou funkčností } EXPORT_PLGIN(NovyModul) Projektový soubor modulu musí mít nasteveno TEMPLATE na lib a proměnná CONFIG musí obsahovat položku plugin Příklad: soubor novy_modul.pro : TEMPLATE = lib CONFIG += plugin HEADERS = rozhrani.h \ novy_nodul.h SOURCES = novy_modul.cpp Z projektového souboru se vygeneruje Makefile. Přeložením Makefile vznikne dynamicky linkovaná knihovna daného operačního systému, která je modulem. V programu pak můžeme získat ukazatel na jedinou instanci třídy definované v modulu a to pomocí třídy QPluginLoader, které zadáme cestu k souboru s modulem. Příklad: QpluginLoader loader(cesta k soubru); instance = loader.instance(); Tvorba dynamicky linkované knihovny. Dynamicky linkovaná knihovna může být používána více programy i když je v paměti pouze jednou. Programy mají přístup ke všem exportovaným symbolům knihovny. Pro exportování symbolu, tak aby byla zajištěna přenositelnost, můžeme použít makro: #ifdef Q_WS_WIN #define MY_EXPORT declspec(dllexport) #else #define MY_EXPORT #endif Příklad vytvoření exportované funkce se zmíněným makrem: extern "C" MY_EXPORT int sum(int a, int b) { return (a + b); } Projektový soubor knihovny musí obsahovat stejné položky jako u zásuvného modulu. K exportovanému symbolu knihovny se v programu dostaneme prostřednictvím objektu QLibrary, která obsahuje statickou metodu resolve. Té je zadáno jméno knihovny a exportovaného symbolu a návratová hodnota obsahuje ukazatel na tento symbol. Např.: typedef int (*typ_fce)(int, int); typ_fce suma = (typ_fce) Qlibrary::resolve("jmeno knihovny", "sum"); int s = suma(1, 2); Strana 10.

17 3.2 Knihovna OpenGL Jak bylo specifikováno, program by měl využívat výkonu, který poskytují dnešní grafické karty akcelerovanou grafikou. Pro přístup k pokročilým funkcím grafické karty jako je například podpora trojrozměrného vykreslování je nezbytné využití určitého rozhraní, ktré to umožňuje. V dnešní době se v oblasti osobních počítačů uplatňují prakticky pouze dvě rozhraní. OpenGL a DirectDraw/Direct3D, které je součástí rozhraní DirectX. Rozhraní DirectX je použitelné pouze v operačních systémech Windows od společnosti Microsoft, čímž se stává pro tento projekt nevhodné, protože odporuje specifikované přenositelnosti programu. Proto bude použito OpenGL. OpenGL na rozdíl od DirectX poskytuje pouze nízkoúrovňové rozhraní ke grafické kartě. To ovšem není na závadu, protože tento projekt by stejně těžko hledal uplatnění pro vysokoúrovňové funkce DirectX, které usnadňují hlavně vykreslování složitých trojrozměrných scén. Výhodou OpenGL je jednoduché a přehledné rozhraní. Dále je výhodou zmíněná podpora v toolkitu Qt. Aplikace, která chce využívat OpenGL musí nejprve vytvořit tzv. kontext, což je jakési napojení okenního systému na knihovnu. Každý kontext má vlastní konfiguraci. K vytvoření kontextu bude využito právě Qt, které umožňuje také sdílení jediného kontextu mnoha prvky uživatelského rozhraní. To umožní vypočítat scénu jedinkrát a následně ji pouze zobrazit jak v okně náhledu, tak v okně výstupu. Je třeba objasnit určité pojmy použité v následujícím textu: Framebuffer Jakési plátno v grafické kartě na které je vykreslován obraz. Obrazová data z framebufferu je možno také přesouvat z a do operační paměti počítače. Je třeba určit v jakém formátu budou uloženy pixely ve framebufferu. Pro tento program, kde vstupy mohou používat různé palety či barevné hloubky je nejlepší použít formát, který pro každou složku (červená, zelená, modrá) používá jeden byte nazývaný, tedy true color. Textura Rastr uložený prostřednictvím v OpenGL použitelný jako povrch vykreslovaných elementů. Pro zachování přijatelného výkonu musí být umístěn v paměti grafické karty. Rozměry v pixelech musí být mocninou dvou. Existují jedno-, dvou- a třírozměrné textury. V tomto projektu naleznou uplatnění pouze 2D textury. Při složitějších úpravách obrazu se může stát, že potřebujeme vypočíst několik obrazů, ze kterých se bude tvořit další. Je třeba zvážit kde budou tyto obrazy odkládány, protože framebuffer je pouze jeden. Jednou možností je zkopírovat obraz z framebufferu do textury, která může být použita následně. Dalším možností pro uložení obrazu je použití tzv. pixel-bufferů. Jejich nevýhodu je, že jsou podporovány pouze u novějších grafických karet. Výhodou je, že rozměry mohou být libovolné od 1 do určité maximální hodnoty, např V tomto programu budou k tomuto účelu použity textury. Vstup obrazových dat do OpenGL. Pro nahrání obrazu do OpenGL je možno: Vytvořit novou texturu z obrazových dat v paměti. Vytvoření nové textury je výkonově příliš náročné. Tento způsob lze použít pouze u obrazu, který se nemění v čase tj. u statických obrázků. Kopírovat obrazová data do existující textury. Kopírovat data z operační paměti přímo do framebufferu. Poslední dvě varianty umožňují kopírovat pouze vybrané obdélníkové oblasti obrazu. Jsou vhodné i pro případy, kdy je nutné přenášet data často, například 25 snímků za sekundu u kamery či videa. Zpracování obrazu v OpenGL. Základní funkcí grafických akcelerátorů je vykreslování trojúhelníků, čar a bodů do framebufferu. Body kterými jsou tyto primitiva definovány se nazývají vertexy. Protože OpenGL umožňuje vykreslování 3D grafiky, jsou vertexy definovány pomocí své polohy v trojrozměrném prostoru, tedy třemi čísly. Z tohoto trojrozměrného prostoru probíhá projekce vertexů do plochy framebufferu, kde je následně jednoduchý objekt vykreslen. Promítání může být perspektivní nebo pravoúhlé. Viz obrázek č 3.2. Strana 11.

18 perspektivní promítání vykreslovaný objekt pravoúhlé promítání plocha framebufferu vykreslovaný objekt Obrázek 3.2 Jak vidno, je pravoúhlé promítání vhodné tam, kde pracujeme pouze ve dvou rozměrech a chceme například kombinovat obrazy skládáním vrstev, jak to známe z programů pro práci s rastrovým obrazem (Gimp, Adobe Photoshop, atd.). Viz. Obrázek 3.3. Perspektivní promítání by bylo použitelné u složitějších efektů s 3D grafikou. skládání vrstev obrazu plocha framebufferu použité vrstvy Obrázek 3.3 Strana 12.

19 Další použitelnou technikou OpenGL je tzv. blending. Jedná se o jednoduchý způsob kombinování podkladu, který se již nachází ve framebufferu a právě vykreslovaného objektu. Aplikuje se postupně na všechny barevné složky(červená, zelená, modrá, průhlednost) všech vykreslovaných pixelů. Dále v textu se hodnotou pixelu myslí hodnoty všech jeho složek. Hodnota výsledného pixelu je rovna součtu hodnoty podkladu a vykreslovaného pixelu, které se násobí konstantami. Konstanty jsou uvedeny v následující tabulce 3.4 včetně použitelnosti na podkladový pixel(cíl) nebo vykreslovaný pixel(zdroj). Popis Použitelnost Nula = černá barva Zdroj i cíl Jedna = beze změny Zdroj i cíl Barva cíle Zdroj Barva zdroje Cíl Jedna mínus barva cíle Zdroj Jedna mínus barva zdroje Cíl Hodnota průhlednosti zdroje Zdroj i cíl 1 - Hodnota průhlednosti zdroje Zdroj i cíl Hodnota průhlednosti cíle Zdroj i cíl 1 - Hodnota průhlednosti cíle Zdroj i cíl Menší z průhledností zdroje a cíle Zdroj Tabulka 3.4 Kombinacemi těchto použití těchto konstant lze dosáhnout efektů jako průhlednost, maskování, sčítání a odečítání jasů obrazu a další. Rotace, posun, zvětšování a zmenšování obrazu je možné provádět jednoduše vykreslením obrazu s použitím potřebné transformace, které OpenGL podporuje. Složitější deformace obrazu lze realizovat rozdělením obrazu na mnoho obdélníků, tedy do mřížky, na kterou se provedou potřebné deformace. Viz obrázek 3.5. Mřížka č. 1 je původní, na dalších jsou provedeny zmíněné deformace. Obrázek 3.5 Dále je použitelný tzv. Opengl Imaging Subset. Je to sada pokročilých funkcí OpenGL pro práci s rastrovým obrazem. Ty jsou realizovány na pixelech ve framebufferu, nebo při přenosu pixelů z nebo Strana 13.

20 do framebufferu. Nutno dodat, že ne všechny implementace OpenGL tuto sadu funkcí podporují. Před použitím je třeba zjistit, zda karta podporuje dané rozšíření. OpenGL rozšířené o tyto funkce umožňuje provádět složitější úpravy rastrového obrazu přímo na grafické kartě bez nutnosti přenášet data do operační paměti počítače, následně je upravovat v procesoru počítače a přenášet zpět do grafické karty. To znamená, že umožňují jednodušeji a rychleji provádět zmíněné úpravy. Při přenosu true-color pixelů se mohou na každé složce provést úpravy v pořadí, jak jsou uvedeny: Přičtení konstanty. Vynásobení konstantou. Ořezání hodnoty do intrvalu <0,1>. Transformace hodnoty pomocí tzv. lookup tabulky. Hodnota složky se vynásobí délkou příslušné tabulky a v tabulce je nalezena hodnota s takto vypočteným indexem. Nalezená hodnota je opět ořezána do rozsahu <0,1> a stává se novou hodnotou dané složky. Viz obrázek 3.4. Aplikace konvolučního filtru. Vynásobení konstantou. Přičtení konstanty. Dále je během přenosu možno zjistit histogram, minimální a maximální hodnotu všech barevných složek. Strana 14.

21 3.4 Knihovna FFMPEG Je open-source knihovna slouží pro práci se zvukem a videem na počítači. Umožňuje kódovat, dekódovat a vysílat na internetu. Pro tento projekt je důležité pouze dekódování videa. Použita bude verze pre1. Je šířena pod licencí LGPL verze 2.1, což ji činí použitelnou v tomto projektu. Výhodou je požadovaná přenositelnost a množství podporovaných formátů pro kódování a dekódování (např. MPEG v. 1, 2 a 4; WMV v. 1, 2; MJPEG) Nevýhodou je absence jakékoli dokumentace minimum příkladů na internetu. Skládá se ze dvou hlavních částí: avformat čte nebo generuje obsah podporovaných formátů. avcodec kodéry a dekodéry podporovaných formátů. 3.5 Knihovana OpenCV Slouží hlavně k pokročilým analýzám obrazu pro počítačové vidění, jako je např. detekce pohybu atd. (název je odvozen od Computer Vision). Použita bude pouze část pro přístup k obrazu z kamer připojených k počítači cvcam. Použití části cvcam je jednoduché. Nabízí funkce pro zjištění názvů připojených kamer, podle kterých si může uživatel vybrat žádané zařízení. Vybrané kamery jsou nastaveny jako aktivní a je nastavena callback-funkce pro příjem obrázků. Po aktivaci začne příjem obrazů callback-funkcí. Příchozí obrazy jsou opatřeny identifikačním číslem, rozměry, barevnou hloubkou a počtem barevných kanálů. Nyní je možní použít je v programu. OpenCV taktéž o open-source přenositelnou knihovnu, jejíž šíření se řídí vlastními licenčními podmínkami. Hlavní podmínkou použití ať v binární nebo zdrojové podobě je přiložení těchto licenčních podmínek k dokumentaci či zdrojovým kódům. 3.6 Knihovna FMOD Slouží k nahrávání a záznamu zvuku a hudby. Ve verzi xxx, která bude použita obsahuje i některé další funkce jako zjišťování aktuální amplitudy a spektra přehrávaného zvuku. V tomto programu bude sloužit pro vstup externího audiosignálu ze zvukové karty pro generování a modulaci obrazu. Pro šíření používá podobný licenční model jako knihovna Qt. Pro použití v nekomerčních programech jako je tento je zdarma. Komerční použití je zpoplatněno. Je dostupná ve verzích pro Windows i Linux. Strana 15.

22 4 Návrh programu 4.1 Uživatelské rozhraní Jak bylo zmíněno dříve, je cílem vytvořit takové uživatelské rozhraní, které nebude omezovat tvůrce svým jednostranným zaměřením a umožní kreativně kombinovat obrazové efekty. Častou koncepcí používanou v podobných programech je tzv. video-sampler. Ten pracuje nejčastěji s krátkými videosekvencemi, které se umístí do výstupu po stisknutí klávesy. Na každou video-sekvenci je možno aplikovat jeden filtr a zvolit způsob překrytí podkladu. Tím možnosti končí. Nutno dodat, že to často stačí, ale má-li autor představu o zajímavém výsledku, který by se dal vytvořit kombinací mnoha vstupů s použitím několika filtrů, má zkrátka smůlu. Systém virtuálních zařízení. V tomto programu bude použit jiný způsob práce s videosignálem a to pomocí tzv. virtuálních zařízení pro práci s videosignálem. Tento způsob je inspirován programy pro tvorbu hudby jako je například Reason - viz obrázek 4.1. V tom nacházíme kopie skutečných elektronických zařízení, která je možno propojovat a to vše pouze virtuálně v paměti počítači. Výstup na zvukové kartě odpovídá výstupu virtuálního obvodu. Obrázek 4.1 Zde bude využit analogický přístup ovšem s použitím přístrojů na zpracování videa propojených kabely, které budou přenášet videosignál. Nebudou použity virtuální kopie skutečných zařízení, ale zařízení smyšlené. Virtuální zařízení obsahují: Vstupy, kterými do zařízení přichází signál, který může být v zařízení zpracován. Budou vždy na horní straně zařízení. Výstupy zpracovaného signálu. Budou vždy na dolní straně zařízení. Uživatelské rozhraní, které obsahuje ovládací prvky zařízení. Mělo by obsahovat popisek s názvem zařízení. Vstupy Popisek Rozhraní virtuálního zařírení obsahující nejrůznější tlačítka, popisky atd. Pomocí tohoto se zařízení ovládá Výstup Obrázek 4.2 Strana 16.

23 Zařízení se budou umisťovat na k tomu určenou plochu v programu, kde se propojí kabely a výsledkem bude obvod zpracovávající video. Zařízení mohou být: Vstupní, tj. ty, kterými videosignál vstupuje do obvodu. Vstupní zařízení budou reprezentovat reálnou kameru, video-soubor, či obrázek uložený v počítači. Do této skupiny patří i zařízení generující obraz například podle externího audio-signálu. Výstupní. Z těch videosignál z obvodu vystupuje. Reprezentují výstupní okno programu, které bude promítáno na projektor nebo náhled v programu. Zpracovávající signál. Tyto přijímají videosignály na vstupech, nějak je transformují či slučují a výsledek je k dispozici na výstupu. Uveden příklad obvodu který umožní vytvořit prolínání mezi obrazem z kamery a přehrávaným video-souborem z počítače. Viz obrázek 4.3 Obrázek 4.3 Kamera v obvodu reprezentuje reálnou kameru připojenou k počítači a pomyslný signál vycházející z tohoto virtuálního zařízení odpovídá reálnému signálu z kamery. Soubor produkuje signál přehráváním video-souboru uloženého v počítači. Prolínač zpracovává signály ze vstupů. K těm jsou připojeny připojené zařízení kamera a soubor pomocí virtuálních kabelů. Výstupem je signál obsahující vstupní signály v určitém poměru, který je zadán, pomocí ovládacího prvku na tomto zařízení. Viz obrázek 4.4 Výstup reprezentuje výstup programu, tedy nejspíš určité okno s výstupním obrazem. prolínání Obrázek 4.4 příklad vstupních obrazů a výsledku prolínání Strana 17.

24 Tímto způsobem bude božné konstruovat libovolně komplikované obvody. Kreativita tvůrce tak nebude limitována. Propojování zařízení bude realizováno jednoduchým kliknutím na výstup zařízení a přetažením na zvolený vstup s okamžitým náhledem kabelu. Již umístěné kabely bude možné přepojovat. Prvotní verze bude obsahovat několik základních zařízení, které budou demonstrovat možnosti programu. Rozložení prvků uživatelského rozhraní. Uživatelské rozhraní bude obsahovat dvě okna. Hlavní okno programu a výstupní okno. Hlavní okno programu slouží hlavně k editaci virtuálního obvodu. Mělo by obsahovat také náhledový panel zobrazující zmenšenou verzi výstupu. Vždy totiž nemusí být vhodné ani pohodlné, aby tvůrce vizualizace sledoval výsledek přímo na projekční ploše. Dále by zde měl být panel umožňující výběr virtuálního zařízení spolu s náhledem a popisem vlastností tohoto zařízení, které bude možno umístit do obvodu jednoduchým přetažením. Rozvržení prvků hlavního okna: nadpis okna hlavní menu hlavní plocha pro virtuální obvod seznam dostupných zařízení náhled vybraného zařízení popisek vybraného zařízení náhled výstupu obvodu Obrázek 4.5 Obsahem okna výstupu by měl být pouze výstupní obraz s možností roztažení na celou obrazovku, pro finální výstup na projektor. Strana 18.

25 4.2 Návrh programu Z důvodu zachování jednoduchosti bude program běžet v jediném vlákně. To se může nepříjemně projevit. Programová tvorba vizualizace musí mít častý přístup k výkonu procesoru a to v intervalu vytváření jednotlivých snímků obrazu. Jestliže na straně uživatelského rozhraní dojde k operaci, která zaměstná procesor na delší dobu, nebude možné obraz periodicky obnovovat, což se může projevit záseky ve výsledné vizualizaci. Na vyřešení tohoto problému by se mohla zaměřit další verze programu. Kritická bude hlavně operace překreslování virtuálního obvodu. Pokud bude mít tvůrce předem připravené virtuální obvody tzn. Nebude třeba překreslovat celou obrazovku během tvorby obvodu, nemusí se tato nedokonalost vůbec projevit. Program bude zhotoven objektově orientovaným přístupem, čemuž musí odpovídat i návrh. Budou popsány základní třídy a jejich rozhraní. Mohou být použity i prvky a terminologie z oblasti návrhových vzorů. Hlavní objekty v programu. Mnoho tříd je navrženo tak, že mají v programu pouze jednu instanci. Na nejvyšší úrovni budou dva objekty přístupné globálně z celého programu. Objekt reprezentující systém pro zpracování obrazu(dále jen Systém) a objekt reprezentující uživatelské rozhraní(dále jen Gui). Tyto dva jsou spolu ve vztahu model/view (viz. Obrázek č.4.6). Model zajišťuje funkcionalitu, view umožňuje stav modelu zobrazit a měnit. Systém je instancí třídy VisSystem, gui je instancí třídy VisGui. Model Systém View Gui Obrázek 4.6 Tento přístup pomáhá zamezit vytvoření nepřehledné spleti vztahů v programu. Další výhoda se týká možnosti dalších úprav architektury v budoucnu. Objekty by bylo možno oddělit mostem tak, aby každý mohl běžet ve vlastním vlákně. Oba objekty v obsahují další pod-objekty. Gui obsahuje jednotlivá okna programu, která zase obsahují ovládací prvky. Systém obsahuje objekty tématicky postihující určitou oblast. Jsou to: Oblast zpracování a vykreslování videa v OpenGL Správce modulů programu Správa virtuálního obvodu Přístup k multimédiím obrázkům, videím, obrazu z kamery a externímu audiosignálu. Oblast zpracování a vykreslování obrazu v OpenGL třída VisRenderer. Úkolem této třídy je především inicializace a konfigurace OpenGL a zapouzdření některých rutinních operací souvisejících s vykreslováním v OpenGL(nastavení viewportu, projekce, vytváření textur atd.). Dále řídí časování a vykreslování výsledného obrazu do výstupních oken. Správce modulů programu třída VisDevFactories. Modularita programu je zajištěna možností přidávat další virtuální zařízení použitelná v obvodech. Každý modul je továrnou na tvorbu virtuálních zařízení, která je schopna tvořit instance tříd jednotlivých typů zařízení. Rozhraní modulu by mělo poskytovat: Informaci o jméně modulu Seznam jmen zařízení, která obsahuje Možnost vytvořit zařízení podle jména. Moduly budou realizovány jako zásuvné moduly Qt. Třídy modulů budou vycházet z jediného předka abstraktní třídy VisAbstractDevFactory, která definuje rozhraní. Způsob implementace potřebných metod už záleží pouze na volbě tvůrce modulu. Základní moduly budou děleny podle typu zařízení například na: vstupní, filtry atd. Strana 19.

26 Moduly a jejich zařízení budou realizována v oddělených projektech Qt a proto je třeba zajistit jim rozhraní přístup k funkcím Systému. Rozhraní bude definováno abstraktní třídou s potřebnými metodami, na kterou bude mít odkaz každý objekt virtuálního zařízení. Při tvorbě objektu dostane každé zařízení odkaz na objekt realizující dané rozhraní. Dynamické propojení za běhu programu Správce modulů Modul vstupních zařízení Modul filtrů obrazu Obrázek 4.7 Správa virtuálního obvodu třída VisCurcuit. Instance této třídy udržuje informace o virtuálním obvodu, tedy o zařízeních a jejich propojeních. Virtuální zařízení jsou realizována objekty, které zajišťují jak funkčnost tedy operace s obrazem, tak uživatelské rozhraní, kterým se zařízení ovládá. Nutno dodat, že toto odporuje rozdělení architektury programu podle vzoru model/view. Z důvodu zachování přiměřené jednoduchosti programu bude toto tolerováno. Virtuální obvod vlastně tvoří strukturu strom. Kořenem je výstupní zařízení, listy jsou vstupní zařízení. Propojení není definováno přímo pomocí odkazů v uzlech ale pomocí prvků, které reprezentují propojení, tedy kabely ve virtuálním obvodě. Propojení jsou realizována strukturou VisConnection. Ta obsahuje indexy propojených zařízení a indexy použitého vstupu a výstupu. Viz obrázek. Zařízení kamera video filtr kombinátor obrazů výstup propojení Obrázek 4.8 Autor vizualizace by měl mít představu, že signál jaksi postupuje shora dolů od vstupních zařízení k výstupu. Při tvorbě obrazu v programu se ovšem postupuje od kořene stromu, tedy zdola Strana 20.

27 nahoru. Vykreslení každého snímku zahrnuje průchod celým stromem. Aby se průchod urychlil, bude index propojení určen jako: index zařízení do kterého signál vstupuje + index vstupu. Aby to bylo možné, budou zařízení indexována čísly zvyšujícími se o 10 a maximální počet vstupů bude 9. Viz obrázek: video index=10 kamera index=20 propojení 1 index=30(30+0) ze zařízení s indexem 10, výstup 0 do zařízení s indexem 30, vstup 0 kombinátor index=30 Obrázek 4.9 propojení 1 index=31 (30+1) ze zařízení s indexem 20, výstup 0 do zařízení s indexem 30, vstup 1 Tímto přístupem se dosáhne vysoké rychlosti při průchodu stromem od kořene k listům. Opačný postup je pomalejší, protože je potřeba projít všechna propojení, ale to není na závadu, protože to nastane snad v jediném případě a to když bude rušeno určité zařízení a bude třeba zrušit i všechny propojení ve kterých účinkuje. Dále bude mít tento objekt v režii ukládání a načítání obvodu ze souboru. Specifické vlastnosti si budou jednotlivá zařízení ukládat a načítat sama. Přístup k multimédiím třída VisMedia. Dává zařízením jednoduché rozhraní pro přístup k obrázkům videím, obrazu z kamer a externímu audiosignálu. Objekt této třídy v sobě obsahuje instance objektů pro práce s jednotlivými typy vstupů. V definici třídy jsou použita pouze abstraktní rozhraní. Konkrétní implementace jsou závislé na použité technologii pro danou oblast. Například přístup k video-souboru je definován v abstraktní třídě VisAbstractVideostream. Konkrétní implementaci je realizována pomocí knihovny FFMPEG. Tento způsob dává možnost zvolit v budoucnu jinou implementaci, či volit implementaci podle operačního systému, na kterém se projekt kompiluje. Použité Abstraktní třídy jsou: VisAbstractVideostream VisAbstractCamera VisAbstractSoundIn Obrázky jsou načítány přímo pomocí knihovny Qt. Třídy poskytující obraz musí umožnit vytvoření náhledu obrazu a přesun obrazu do grafické karty pomocí rozhraní OpenGL. Strana 21.

28 5 Výsledný program Program byl zatím implementován pouze na operační systém Windows, ale teoreticky nic nebrání tomu, aby byl přenesen i na Linux. 5.1 Struktura adresářů, spuštění, kompilace Struktura adresářů programu v podobě v jaké bude šířen: source filters_plugin generators_plugin input_plugin program release devhelp images plugins sample_project - adresář zdrojových kódů - zdrojový kód modulu s video-filtry a kombinátory - z. k. modulu, který obsahuje zařízení generující obraz - z. k. modulu vstupních zařízení - zdrojový kód samotného programu - adresář spustitelného programu modulů a potřebných knihoven - nápověda k dostupným zařízením - obrázky potřebné při běhu programu - adresář se zásuvnými moduly - demonstrační projekty i s potřebnými daty Pro spuštění programu je třeba pouze zkopírovat jej na harddisk a spustit soubor whizzualizer.exe z adresáře release. Pokud by se vyskytly problémy s připojením kamery, spusťte soubor _setup_camera.bat v adresáři release. Kompilace programu i modulů probíhají stejným způsobem a to spuštěním příkazů qmake, který vygeneruje Makefile na základě projektového souboru a make f Makefile.Release pro kompilaci. To vše v adresáři se zdrojovými kódy kompilované součásti. Pro úspěšné zkompilování musí být v systému nainstalován sada programů Mingw s kompilátorem gcc verze 3.4.2, u jiných verzí nejsou vyloučeny komplikace. Dále musí byt nainstalováno a nakonfigurováno Qt open-source verze 4.1. Hlavičkové statické knihovny použitých knihoven musí být přítomny v adresářích kde je hledá kompilátor. Hlavičkové soubory knihoven jsou hledány v podadresářích: OpenGL v GL, OpenCV v CV, FMOD verze v FMMOD a FFMPEG verze pre v FFMPEG. Strana 22.

29 5.2 Uživatelské rozhraní, ovládání Hlavní okno programu je na obrázku 5.1. Na hlavní plochu se umísťují virtuální zařízení, která se dále propojují kabely. Výsledný obraz - tvořený v reálném čase virtuálním obvodem - je možno sledovat v okně náhledu. Výstupní okna s finálním výstupem se přidávají pomocí hlavního menu. Hlavní menu také nabízí možnost ukládat a načítat virtuální obvody ze souboru. Obrázek 5.1 Hlavní menu programu. Struktura hlavního menu a význam jednotlivých položek. File New Vytvoří nový virtuální obvod, který neobsahuje žádná zařízení Open Načte virtuální obvod ze souboru Save Uloží virt. obvod do souboru Save as - Uloží virt. obvod do souboru pod novým jménem View Preview Zobrazení/skrytí náhledu výstupu v hlavním okně Add output window - Přidání dalšího výstupního okna Help About Zobrazení krátké informace o verzi, autorovi atd. Strana 23.

30 Panel zařízení. Nachází se ve spodní části hlavního okna. Obsahuje seznam dostupných virtuálních zařízení. Jméno zařízení je ve formátu <jméno modulu> :: <jméno zařízení>. Jméno modulu udává modul, ve kterém je zařízení implementováno. Po označení určitého zařízení se napravo od seznamu zobrazí náhled daného zařízení a krátký popis funkce. Virtuální zařízení. Popis zařízení viz. Obrázek č 5.1. vstupy popisek se jménem zařízení tlačítko pro zrušení zařízení uživatelské rozhraní s ovládacími prvky výstup Obrázek 5.2 Editace virtuálního obvodu. Začíná umístěním virtuálních zařízení na hlavní plochu programu. To se provede jednoduchým přetažením náhledu z panelu zařízení na hlavní plochu. Zařízení lze na plochu umístit, pokud se během přetahování zobrazuje jeho obrys zeleně. Červená znamená, že se kryje s jiným zařízením. Posun všech zařízení se provede stiskem pravého tlačítka myši a tažením. Obvod musí obsahovat minimálně jedno vstupní zařízení a jedno výstupní zařízení, aby měl smysl. Propojovat lze samozřejmě jen výstupy s vstupy zařízení. Propojování začne stisknutím levého tlačítka myši na požadovaném vstupu nebo výstupu či v jeho blízkém okolí. Tím začne tažení kabelu, které se projevuje zobrazením kabelu od označeného vstupu nebo výstupu vedoucího ke kurzoru myši (viz obrázek 5.3). Tažení je ukončeno uvolněním tlačítka myši. Pokud je tlačítko uvolněno na vstupu nebo výstupu, je uskutečněno propojení. Jinak se nestane nic, tažení končí, náhled kabelu mizí. Pokud je levé tlačítko myši stisknuto na vstupu nebo výstupu, do kterému už nějaký kabel vede, tak se tento kabel uvolní do fáze tažení a je možno jej přetáhnout do jiného vstupu nebo výstupu. Obrázek 5.3 Obvod může obsahovat více výstupních zařízení. Proto je nutné vybrat aktivní výstup tlačítkem vybrat daného zařízení. Pokud není označen výstup, nebo v obvodu chybí vyžadované propojení, nezobrazí se žádný výstup. Strana 24.

31 Výstupní okno programu. Slouží k finálnímu výstupu obrazu na projektor, Výstupních oken může být v programu více. Přidávají se pomocí hlavního menu (View Add output window). Ruší se prostým zavřením. Může pracovat ve dvou módech a to jako normální okno (viz obrázek 5.4) nebo jako okno roztažené přes celou obrazovku. Mód je možno zvolit stiskem pravého tlačítka nad oknem a výběrem módu. Ve Windows se obraz na výstup, na který je připojený projektor přesměruje následovně: V nastavení zobrazení rozšíříme pracovní plochu o obraz dalšího výstupu. Poté výstupní okno přetáhneme na druhou plochu a roztáhneme jej přes celou obrazovku. Obrázek 5.4 Strana 25.

32 5.3 Implementovaná virtuální zařízení Modul STANDART. Je zabudován v přímo v hlavním programu. OUTPUT Jediné výstupní zařízení. Svůj vstup do okna náhledu a výstupních oken Obrázek 5.5 Modul INPUT. Obsahuje vstupní zařízení. VIDEO Přehrává videosoubor na výstup. Stiskem tlačítka load se zobrazí dialog pro výběr souboru k přehrávání. První ovládací tlačítko (>) slouží ke spuštění a pozastavení přehrávání. Tlačítko (O) zastaví přehrávání. Zařízení disponuje náhledem na první snímek souboru. Obrázek 5.6 IMAGE Načte obrázek a zobrazí jej na výstup. Načítání probíhá obdobně jako u předchozího. Taktéž je zobrazen náhled obrázku. Obrázek 5.7 CAMERA Na výstup posílá signál z vybrané kamery připojené k počítači. Tlačítkem refresh se aktualizuje seznam dostupných kamer.... any... v seznamu znamená že není označena žádná z kamer. Náhled je pořizován v době označení kamery a není aktualizován. Obrázek 5.8 Modul GENERATORS. Obsahuje zařízení generující obraz: WAVE Tvoří obraz vycházející z frekvenčního spektra externího audiosignálu Obrázek 5.9 Modul FILTERS. Obsahuje zařízení upravující a slučující obraz: Strana 26.

33 FADER Tvoří prolínání mezi vstupními signály. Je možné měnit způsob prolínímí ( type ) a fázi ( phase ) Obrázek 5.10 CUBE Na výstup obrazí rotující kostku. Na pozadí je jeden vstupní signál, kostka má obraz druhého vstupu na svých stěnách. Měnit se dá velikost ( size ) a rychlost ( speed ) kostky. Obrázek 5.11 LIGHTNESS Umožní měnit jas obrazu ( brightness ) a přidat efekt vypálení ( burn out ) Obrázek 5.12 COLORIZER Mění poměry složek červené ( red ) zelené ( green ) a modré ( blue ) v obraze. Obrázek 5.13 Strana 27.