}w!"#$%&'()+,-./012345<ya

Transkript

1 MASARYKOVA UNIVERZITA }w!"#$%&'()+,-./012345<ya FAKULTA INFORMATIKY Návrh a implementace systému pro video podporu rozhodování rozhodčích v hokeji DIPLOMOVÁ PRÁCE Bc. Pavel Kohoutek Brno, podzim 2013

2 Prohlášení Prohlašuji, že tato diplomová práce je mým původním autorským dílem, které jsem vypracoval samostatně. Všechny zdroje, prameny a literaturu, které jsem při vypracování používal nebo z nich čerpal, v práci řádně cituji s uvedením úplného odkazu na příslušný zdroj. Vedoucí práce: RNDr. Petr Holub, Ph. D. ii

3 Poděkování Chci poděkovat především RNDr. Petru Holubovi, Ph.D. za vedení této práce, za podnětné připomínky a za čas, který mi byl ochoten věnovat. Děkuji také kolegům z laboratoře SITOLA, kteří byli ochotni konzultovat technické potíže zejména v začátku vývoje systému. Mé díky patří také mojí ženě Veronice, přátelům a blízkým za podporu a trpělivost. iii

4 Shrnutí Cílem této práce je navrhnout a implementovat video systém pro podporu rozhodování sporných situací v ledním hokeji. Systém zaznamenává video z více kamer současně a umožňuje rychlé opakování nahraných záznamů. Nabízí zpomalené přehrávání tak, aby bylo rozhodčímu umožněno správně posoudit spornou situaci při hře. Součástí práce je analýza dostupných technologií a výkonnostních požadavků pro zpracování videa v počítači. K systému je vytvořeno přehledné uživatelské rozhraní s dotykovým ovládáním. Oproti zadání byl systém rozšířen o výstup na další zobrazovací systémy. Systém je nasazen v reálném provozu. iv

5 Abstract Goal of this thesis is to design and implement a video system to support decisions of disputable situations in ice hockey. The system records videos concurrently from multiple cameras and it allows quick replay of the recordings. To correctly decide about disputable situations during the game, the system features slow-motion functionality. Another part of this thesis is analysis of available technologies and performance requirements for video processing in a computer. A well-arranged touch enabled user interface is created as a part of the system. The system has been deployed on one stadium successfully as of finalizing this thesis. v

6 Klíčová slova Lední hokej, HD video, záznam videa, komprese, GPU, JPEG vi

7 Obsah 1 Požadavky pro rozhodování Rozměry hřiště Brankové kamery Počet a umístění kamer Rozlišení Snímkovací frekvence Dostupné technologie Video rozhraní HDMI SDI CoaXPress Výběr video rozhraní Komprese Požadavky Dostupné nástroje Výběr komprese Použité technologie Architektura systému Analýza požadavků na propustnost Vstupní video Ukládání Přehrávání Zobrazení a SDI výstup Vyhodnocení propustnosti Grafické uživatelské rozhraní Rozložení ovládacích prvků Schéma systému Záznam Přehrávání

8 3.3.3 Výstup Minimální požadavky Implementace vybraných částí OpenGL display Příprava scény Nahrávání textur Zobrazení YUV dat Přehrávač Výběr snímků k přehrání Režimy přehrávání SDI výstup Klíčování přes video Dotykové ovládání Literatura A Obsah CD

9 Úvod Lední hokej velice rychlá týmová hra, ve které jsou kladeny stále větší nároky na přesnost posuzování pravidel a přestupků vůči nim. Ve hře je povoleno, a v některých soutěžích dokonce vyžadováno, použití video záznamů k posuzování sporných herních situací. V současné době jsou na video zaznamenávány pouze situace v blízkosti brány, do budoucna se ale pravděpodobně záznam rozšíří na celé hřiště. Existuje dnes celá řada systémů, které dnešní požadavky splňují a na stadionech se používají. Jsou to ale často velice komplexní, na ovládání složité a nákladné systémy, které si menší hokejové kluby nemůžou dovolit. Ve spolupráci s firmou Daite s.r.o. proto vznikla tato práce, která si klade za cíl navrhnout a vytvořit ucelený systém pro zpracování videa z hokejových zápasů pro potřeby posuzování sporných herních situací videorozhodčími. Systém má umožňovat záznam zajímavých momentů zápasu z více kamer současně a rychle nabízet přístup k těmto záznamům k přehrání, při kterém je možné měnit rychlost a směr přehrávání. Přitom má být systém postaven na běžně dostupném hardware, aby jeho pořizovací cena byla přijatelná i pro menší hokejové kluby. V menších klubech bývá zvykem, že obsluha na stadionu není složena z profesionálů v oblasti video produkce, ale často z dobrovolníků. V tomto systému je proto kladen důraz na jednoduché a intuitivní ovládání, aby jej byli schopni ovládat i jen krátce proškolení uživatelé. Z tohoto důvodu má být systém ovladatelný i dotykovým rozhraním a zobrazovat v uživatelském rozhraní náhledy všech vstupních videí. V průběhu řešení byly do projektu zařazeny další dodatečné požadavky firmy Daite. Do systému byl přidán jeden video výstup pro zobrazování živého i opakovaného video záznamu na velkoplošných obrazovkách na stadionu. Požadována byla také možnost zobrazovat přes video další průhledný obsah jako jsou textové informace pro diváky, střihové efekty videa, gólové animace a další uživatelsky definovaný obsah. Systém pro videorozhodčí tím byl rozšířen i pro použití jako video režie pro promítání na obrazovkách v rámci stadionu v menších hokejových klubech. Systém byl také v průběhu rozšířen o možnost exportu uživatelem vybraných video klipů do zvoleného externího úložiště pro použití hokejovým klubem k postprodukci. 3

10 V první kapitole práce rozebírám, jaké jsou požadavky rozhodčích na zamýšlený systém, co od systému očekávají. Rozebírám také, jaké základní parametry videa má smysl pro tento účel uvažovat při daných rozměrech hřiště a puku a při rychlostech, s jakými se puk může pohybovat. V následující kapitole nabízím přehled dostupných technologií pro přenos a kompresi videa a vybírám, která se do prostředí hokejových stadionů pro daný účel nejlépe hodí. Třetí kapitolu věnuji rozboru datové náročnosti zpracování videa a stanovení maximálního počtu vstupů a jejich parametrů tak, aby bylo možné systém postavit na jednom počítači sestaveném z komoditních komponent. Na základě toho dále navrhuji schéma systému, popisuji principy a propojení jeho jednotlivých zamýšlených součástí. Implementace vybraných problémů je podrobněji popsána ve čtvrté kapitole. Předpokládá se komerční nasazení celého systému, proto není součástí práce kompletní popis implementace a zdrojový kód systému jako celku, ale jsou zahrnuty jen vybrané problémy, které jsou z pohledu této práce zajímavé. Poslední kapitolu věnuji měření výkonu implementovaného systému. 4

11 Kapitola 1 Požadavky pro rozhodování Lední hokej je velice rychlá týmová hra, která se řídí přesnými pravidly. S tím, jak se lední hokej od svého vzniku stále zrychluje, rostou také požadavky na přesnost posuzování pravidel. V určitých případech se již dostáváme za hranici možností lidského vnímání, například když již nelze pouhým okem přesně posoudit dráhu rychle letícího puku. Z tohoto důvodu byl do pravidel hokeje zaveden takzvaný videorozhodčí, který s pomocí videotechniky posuzuje sporné situace zpomaleným přehráváním záznamu. Videorozhodčí patří podle v současné době platných pravidel Českého svazu ledního hokeje (ČSLH) [1] do skupiny pomocných rozhodčích, tedy takových, kteří nejsou během hry na ledové ploše. Kompetence videorozhodčího spočívá v posouzení herní situace z dostupných videozáznamů, pokud je hlavním rozhodčím požádán o přezkoumání dané situace. V současné době se takto zkoumají sporné situace pouze před bránou, do budoucna se však uvažuje o sledování celého hřiště. V České republice je používání systému videorozhodčího vyžadováno pouze v nejvyšší hokejové soutěži, v Tipsport Extralize, jejím herním řádem. Uvažuje se ale o zařazení videorozhodčích i do nižších soutěží, například do 1. ligy ledního hokeje. Herní řád Tipsport Extraligy ledního hokeje (TELH) uvádí že kluby hrající danou soutěž "zajistí technické zabezpečení nezbytné k určení branek a asistencí videorozhodčím (tj. záznamové zařízení s možností opakování záběru z průběhu utkání)"[2]. Nemusí být tedy nutně zaznamenáváno celé utkání, ale pouze části zápasu, které jsou pro určení branek a asistencí nezbytné. Nevyžaduje se také záznam v herních přestávkách a při přerušení hry. 1.1 Rozměry hřiště Hřiště pro lední hokej je ledová plocha tvaru obdélníku se zakřivenými rohy s poloměrem zakřivení 7 až 8,5 metrů a je obehnaná ze všech stran mantinely. Rozměry hřiště jsou stanoveny pravidly ledního hokeje [1] v rozmezí 26 až 30 metrů na šířku, 56 až 61 5

12 1. POŽADAVKY PRO ROZHODOVÁNÍ Brankovišt Branková ára, ervená, 5 cm široká ára vymezující brankovišt, ervená, 5 cm široká, polom r 180 cm Obrázek 1.1: Půdorys brankoviště. Všechny míry jsou v cm. Převzato z [1]. metrů na délku. Na obou koncích delší strany hřiště jsou osazeny brány a vyznačené brankoviště. Brankoviště má tvar půlkruhu o poloměru 180 cm směřující od brankové čáry do středu hřiště. Půdorys brankoviště a brány je znázorněn na obrázku 1.1. Cílem hry je vstřelit puk do brány soupeře. Puk je válcovitý předmět vyrobený z vulkanizované gumy černé barvy o rozměrech 3 palce v průměru (přibližně 7,62 cm), 1 palec na výšku (přibližně 2,54 cm). Rychlost puku při střelách může dosahovat až 160 km/h [3]. 1.2 Brankové kamery Správná volba parametrů kamer, jejich počet a umístění na hřišti jsou předpoklady pro dobrou použitelnost systému pro podporu videorozhodčích Počet a umístění kamer Pro správné posouzení herních situací před bránou ČSLH vyžaduje alespoň dvě kamery u každé z branek na hřišti. Jedna nabízí pohled na bránu a brankoviště shora pod úhlem přibližně 2 od kolmice k ledu tak, aby kostrukce branky nezakrývala brankovou čáru. Druhá kamera zabírá bránu šikmo z boku. Tento počet kamer však nemusí být dostačující pro posouzení všech možných situací. V okolí brány bývá zejména při šancích a sporných momentech větší počet hráčů, 6

13 1. POŽADAVKY PRO ROZHODOVÁNÍ kteří zakrývají pohled kamery na puk. V tomto případě by bylo vhodné umístit další boční kameru na opačnou stranu hřiště, čímž zvýšíme pravděpodobnost, že bude puk alespoň z jedné strany viditelný. Setkáváme se dnes i s instalacemi kamer dovnitř brány. Výhoda takového pohledu je v tom, že puk v případě přechodu přes brankovou čáru již nikdo nezakryje, nanejvýš brankář. Je však třeba počítat s vyšší fyzickou odolností kamery, protože může být zasažena pukem. Alternativně lze instalovat kameru za bránu za hranici hřiště, je však nutno počítat s tím, že ideální výhled na puk je překryt sítí a konstrukcí brány, případně i hráči stojícími za bránou. Celkem by tedy pro ideální pokrytí prostoru před bránami bylo nutné používat systém s osmi až deseti kamerami, pro každou bránu horní pohled, šikmé boční pohledy z obou stran, pohled zevnitř brány a případně i zadní pohled. Tento počet kamer by dle mého názoru již dostatečně pokrýval prostor v okolí branek. ČSLH pro tyto systémy však v současné době používá běžně čtyři kamery, avšak rozšíření jejich počtu je možné v budoucnu očekávat Rozlišení Hokejový puk je poměrně malý předmět. Jak uvádím výše, jeho rozměry jsou 7,62 cm v průměru a 2,54 cm na výšku. V této části se zabývám tím, jaké nejnižší rozlišení kamer už je v systému použitelné, aby bylo možné puk dostatečně přesně v obraze najít. Tabulka 1.1 vyjadřuje, kolika obrazovými body (pixely) je při daném rozlišení puk v obraze reprezentován. Při výpočtu vycházím z velikosti záběru horní kamery, jehož rozměry lze nejlépe odvodit z rozměrů brankoviště. Zbylé kamery pokrývají svým záběrem přibližně stejnou plochu, případně menší, tedy s větším detailem. Uvedené hodnoty jsou tedy nejhorším odhadem velikosti puku v obraze. Záběr horní kamery je schematicky zachycen na obrázku 1.2. Záběr byl umístěn tak, aby se do něj vešla celá konstrukce brány, brankoviště a prostor před brankovištěm alespoň stejné délky jako samotné brankoviště. Hráči, vyjma brankáře, nemohou do brankoviště vstupovat. Nejvíce hráčů se tak soustředí v okolí brankoviště, proto není v záběru jen brankoviště, ale i prostor v jeho okolí, avšak se stále dostatečně detailním pohledem na bránu. V součtu má tedy záběr výšku 4,8 metru a šířku 6,4 metru v případě videa s poměrem stran 4:3, respektive 8,5 metru v případě použití kamer s poměrem stran 16:9. V tabulce 1.1 také uvádím velikost bodové reprezentace puku v obraze při záběru celé hrací plochy. Uvažuji záběr jedné kamery s poměrem stran 16:9, nebot poměr stran hřiště je přibližně 2:1, což jsou poměrně blízké hodnoty a kamera takto zabere téměř 7

14 1. POŽADAVKY PRO ROZHODOVÁNÍ Obrázek 1.2: Pozice a velikost záběru horní kamery nad bránou. Všechny míry v cm. PAL HD 720 Full HD K 2160 záběr na ležící puk 9,1 x 9,1 11,4 x 11,4 17,1 x 17,1 34,3 x 34,3 brankoviště puk na hraně 3 x 9,1 3,8 x 11,4 5,7 x 17,1 11,4 x 34,3 záběr na ležící puk 1,2 x 1,2 1,8 x 1,8 2,7 x 2,7 5,4 x 5,4 celé hřiště puk na hraně 0,4 x 1,2 0,6 x 1,8 0,9 x 2,7 1,8 x 5,4 Tabulka 1.1: Velikost puku v obraze (v pixelech) při daných standardech videa (v závorce uvedeno vertikální rozlišení pro daný standard). výlučně jen plochu hřiště. Horní pohled by byl při hře využíván zejména pro kontrolu ofsajdových pozic hřáčů (situace, kdy útočící hráč vjede do útočného pásma dříve než puk [1]) a podobných, kdy pohled shora nabízí nejlepší přehled. Případné doplnění o celkový pohled z boku tak v tomto případě není pro posuzování pravidel hokeje zajímavé. Výsledky z tabulky 1.1 ukazují, že v případě detailního pohledu na brankoviště jsou z pohledu rozlišení obrazu dostačující standardy Full HD i HD. Při celkovém pohledu na hřiště je nejnižší použitelné rozlišení 4K (při poměru stran 16:9 je rozlišení obrazu ). V případě všech uvedených menších rozlišení se dostáváme při pohledu na puk stojící na hraně pod hranici jednoho pixelu. Při 4K rozlišení je puk v obraze 1. Poměr stran PAL videa je 4:3. 8

15 1. POŽADAVKY PRO ROZHODOVÁNÍ reprezentován přibližně 2x5 pixely, což je úplné minimum. Má smysl uvažovat využití nadcházejícího standardu 8K se čtyřikrát vyšším rozlišením oproti 4K [4] Snímkovací frekvence Jak bylo zmíněno v začátku kapitoly, hokej je velice rychlá hra. Hráči na bruslích dosahují vysokých rychlostí a vystřelený puk se může pohybovat rychlostí až 160 km/h. V této části práce se zabývám požadavky hokejových rozhodčích na temporální rozlišení kamerového záznamu. Na modelové situaci demonstruji minimální snímkovací frekvenci, kterou má smysl v systému používat. Videorozhodčí potřebuje ke správnému rozhodnutí o posouzení situace vidět na videu puk v pozici, která je pro posouzení situace rozhodující, například puk za brankovou čárou, puk odrážející se od zadní konstrukce brány apod. Určovat, zda puk byl v inkriminovaném místě na základě snímku, kdy puk v daném místě ještě není a na následujícím snímku v daném místě už není, je značně problematické, zejména když není zřejmé, od jakého předmětu se mohl puk mezi snímky odrazit. Uvažujme tedy modelovou situaci, kdy střela směřuje do brány pod horní tyč, projde přes brankovou čáru, odrazí se od zadní konstrukce brány a vrátí se opět přes brankovou čáru ven. Takový gól je platný. Budeme nyní zkoumat jaká je nejnižší hodnota snímkové frekvence (angl. frames per second FPS), abychom puk uvnitř brány zaznamenali alespoň jedenkrát. Z obrázku 1.1 víme, že horní část zadní konstrukce brány je umístěna 60 cm za úrovní brankové čáry. Puk tedy urazí uvnitř brány celkově dráhu nejméně 120 cm. Snížení rychlosti puku vlivem odrazu v tomto případě zanedbávám. Nejnižší snímkovací frekvenci v tomto případě snadno určíme vztahem FPS = 1 t = 1 s v = v s = ,2 =37 kde v je rychlost puku km/h, s je dráha, kterou má urazit a t je doba mezi jednotlivými snímky videa. Snímkovací frekvence se rovná převrácené hodnotě času mezi snímky. Vypočtenou hodnotu 37 FPS je třeba brát jako minimální hodnotu pouze pro uvedenou modelovou situaci. Mohou při hře pochopitelně nastat situace, kdy je rozhodující mnohem kratší vzdálenost, kterou puk urazí, než zmiňovaných 120 cm. Tabulka 1.2 uvádí potřebnou rychlost snímkování pokud chceme puk zaznamenat alespoň každých n metrů při různých rychlostech puku. 9

16 1. POŽADAVKY PRO ROZHODOVÁNÍ 2 m 1,2 m 60 cm 30 cm 80 km/h 11,1 18, ,1 120 km/h 16,7 27,8 55,6 111,1 160 km/h 22, ,1 148,1 180 km/h 25 41,7 83,2 166,7 Tabulka 1.2: Potřebná snímkovací frekvence (v jednotkách FPS) pro zachycení puku alespoň po n metrech při různých rychlostech. 10

17 Kapitola 2 Dostupné technologie Existuje dnes řada technologií určených pro přenos videa různých standardů a parametrů. Některé se pro využití v systému pro hokejové videorozhodčí hodí více a některé méně. Cílem této kapitoly je vytvořit přehled současných technologií a zvolit takové, které budou pro daný systém nejvhodnější. Zaměřovat se budu především na podporovaná rozlišení obrazu a podporované snímkovací frekvence. Důležitými aspekty jsou ale také maximální délky kabelů, dostupnost a cena kamer a přídavného hardware pro zachytávání videa v počítači. V druhé části kapitoly se věnuji volbě vhodné metody komprese. Určujícími faktory jsou přitom zejména zpoždění (latence) komprese, závislost jednotlivých snímků videa, podpora různých rozlišení, snadná integrovatelnost do systému, licence, pod jakou je daný kompresní nástroj šířen a případné patentové poplatky spojené s využíváním komprese do daného formátu. 2.1 Video rozhraní Rozlišení video formátů se běžně označuje počtem řádků obrazu, tedy označuje vertikální rozlišení obrazu. Šířka obrazu se může měnit v závislosti na použitém poměru stran videa. Číslo, udávající počet řádků obrazu, bývá doplněno písmenem p nebo i. Písmeno p znamená progressive a označuje, že každý snímek videa nese všechny informace. Naproti tomu písmeno i znamená interlaced, tedy že snímky jsou prokládané. Každý snímek videa nese polovinu obrazových dat. Využívá se řádkový proklad, kdy jeden snímek obsahuje liché řádky a následující sudé řádky výsledného obrazu. Tímto způsobem můžeme přenést obraz pořízený s dvojnásobnou snímkovací frekvencí při stejném datovém toku a opticky tak vytvořit dojem vyšší snímkovací frekvence při sledování videa. Jak již bylo zmíněno, každý takový snímek má poloviční vertikální rozlišení, v případě formátu 1080i je rozlišení snímku pouze 540 řádků. K získání celého snímku na neprokládaných zobrazovacích zařízeních je potřeba jej složit ze dvou po 11

18 2. DOSTUPNÉ TECHNOLOGIE sobě jdoucích snímků pořízených v různých časových okamžicích. Při skládání snímků navíc v obraze vznikají problémy s výskytem artefaktů a jejich odstraňováním HDMI HDMI (High-Definition Multimedia interface) je digitální rozhraní určené k přenosu nekomprimovaného multimediálního obsahu, obrazu i zvuku. Aktuálně nejrozšířenější je rozhraní ve verzi 1.4 [5]. V této verzi umožňuje přenášet video s rozlišením 720p až s 60 snímky za vteřinu, 1080p až s 30 FPS nebo 1080i s dvojnásobmou frekvencí, tedy 60 FPS. Podporuje také přenos videa formátu 4K V září 2013 vyšla nová verze tohoto rozhraní označená HDMI 2.0 [6]. Propustnost rozhraní byla zvýšena až na 18 Gbps a jsou nyní podporovány i formáty 1080p se snímkovací frekvencí až 60 FPS a 4K 2160p, taktéž při 50 i 60 FPS. Rozhraní zachovává zpětnou kompatibilitu se staršími verzemi, nezměnily se ani používané konektory. Podle soukromé komunikace s výrobci se očekávají první karty pro zachytávání videa s rozhraním HDMI 2.0 na jaře Specifikace rozhraní neurčuje maximální povolenou délku kabelu. Standardizující instituce na svých stránkách uvádí že s běžnými certifikovanými kabely lze dosáhnout přenosu na 30 metrů [7]. Existují však i možnosti přenosu po jiných médiích. Výrobce uvádí HDMI přes Cat5/Cat6 kabeláž s dosahem až 50 metrů, HDMI přes koaxiální kabel s dosahem až 300 stop (přibližně 91 metrů) nebo HDMI přenášené optickým kabelem, kde uvádí dosah až 100 metrů nebo více. [7] Kamer s rozhraním HDMI je na trhu velký výběr, často se jedná spíše o komerční než průmyslové kamery. Aktuálně dostupné karty pro záchyt videa (neboli méně formálně grabovací karty ) podporují zatím pouze HDMI 1.4. Na trhu je řada výrobců těchto karet, například zde zmíním Intensity Pro karty společnosti Blackmagic Design, ke kterým výrobce dodává i SDK pro Windows, Mac i Linux. Karta podporuje videoformáty standardu HDMI 1.4 kromě 4K rozlišení SDI SDI (Serial Digital Interface) je skupina rozhraní k přenosu digitálního obrazu a zvuku. Obsažené standardy jsou vydávány a spravovány asociací Society of Motion Picture and Television Engineers (SMPTE). Tato rozhraní jsou využívána zejména v profesionálním televizním průmyslu. Pro účely zpracování videa pro hokej jsou zajímavá rozhraní HD-SDI, dual link HD- SDI a 3G-SDI. První jmenované rozhraní HD-SDI (high-definition serial digital inter- 12

19 2. DOSTUPNÉ TECHNOLOGIE face), řídící se standardem SMPTE 292 [8], umožňuje při propustnosti 1,5 Gbit/s přenášet video s rozlišením 720p, 1080p a 1080i. Snímkovací frekvence podporované při těchto rozlišeních jsou uvedeny v tabulce 2.1. Rozhraní Dual Link HD-SDI je rozšířením předchozího uvedeného rozhraní, řídí se standardem SMPTE 372 [9]. Používá pro jeden video signál dvojici kabelů předchozího zmíněného standardu SMPTE 292, čímž dosahuje dvojité přenosové rychlosti oproti HD-SDI, umožní tak přenést i rozlišení 1080p při 60 FPS, případně videosignál s plným vzorkováním 4:4:4 při 30 FPS. Dalším uvedeným rozhraním je 3G-SDI, které předepisuje standard SMPTE 424 [10]. Má stejnou propustnost jako dual link SDI, avšak s použitím jen jednoho kabelu pro přenos. Přehled uvádí tabulka 2.1. Posledním rozhraním je 6G-SDI, které má umožňovat přenos jedním kabelem, dvojicí i čtveřicí kabelů k dosažení přenosových rychlostí 6 GB/s, 12 GB/s a 24 GB/s. Bude tím možné dosáhnout přenosu například i 4K videa při snímkovací frekvenci 120 FPS. Toto rozhraní však zatím nebylo standardizováno, organizace SMPTE uvádí odhadovaný termín dokončení standardu v červnu 2015 [11]. Přesto jsou už na trhu dostupné karty pro zachytávání videa s podporou 6G-SDI rozhraní, například Blackmagic Decklink 4K Extreme s podporou dual link 6G-SDI. 720p 1080i 1080p 4K HD-SDI 50, 59.94, 60 50, 59.94, 60 24, 25, 29.97, 30 - dual link HD-SDI , 59.94, 60-3G-SDI , 59.94, 60 24, 25, 29.97, 30 Tabulka 2.1: Přehled video formátů rozhraní SDI, počet snímků za vteřinu při daném rozlišení Rozhraní SDI využívá k přenosu signálu standardně koaxiální kabel. Některé zdroje uvádí možnou délku kabelu pro přenos HD-SDI signálu až 300 metrů, není to ale garantovaná hodnota a je třeba otestovat přenos v daném prostředí, protože může v místě vznikat řada jevů způsobujících rušení. Větších vzdáleností lze dosáhnout při přenosu optickým kabelem použitím konvertorů. Výrobce konvertoru Blackmagic Mini Converter Optical Fiber na svých stránkách uvádí dosah přesahující deset kilometrů 1. S použitím opakovačů na optických kabelech je vzdálenost prakticky nelimitovaná. Přídavné karty pro záchyt videa z HD-SDI rozhraní jsou dobře dostupné v různých modelech od řady výrobců, například karty rodiny Decklink od společnosti Blackma [ ] 13

20 2. DOSTUPNÉ TECHNOLOGIE gic, karty Osprey od ViewCastu, karty výrobce Matrox a dalších. Ve většině případů výrobce dodává ovladače a SDK (Software Development Kit) pro použití hardware v programu, často ale jen pro vybrané operační systémy. Například karty Blackmagic Decklink jsou však podporovány na všech nejběžnějších platformách, na Windows, Mac i Linux. V Případě 3G-SDI karet je výběr užší, jmenujme například kartu BlackMagic Decklink 4K Extreme, Deltacast DELTA-3G-elp nebo NVIDIA Quadro SDI Capture CoaXPress CoaXPress (CPX) je standard pro asymetrickou vysokorychlostní komunikaci pro přenos obrázků a videa, rozšiřitelný přes jeden nebo více koaxiálních kabelů [12]. Nabízí vysokorychlostní downlink pro přenos videa, obrázků a dat s rychlostí až 6,25 Gb/s na jednom kabelu (až 25 Gb/s s využizím čtyř koaxiálních kabelů) a pomalejší 20 Mb/s uplink pro komunikaci se zařízeními a jejich ovládání. Napájení zařízení je možné datovým koaxiálním kabelem (technologie Power-over-Coax). Výrobce uvádí možnou délku kabelů delší než 100 metrů. [12] Kamery s tímto rozhraním se podstatně liší od kamer s rozhraním HDMI či SDI. Jejich rozlišení a snímkovací frekvence se vymykají standardům známým z oblasti digitální televize. Umožňují snímat obraz s vysokým rozlišením i při snímkovacích frekvencích několikanásobně vyšších než u běžných televizních kamer. I proto nacházejí uplatnění zejména v průmyslu v oblasti strojového vidění, robotiky apod. Uvádím zde základní parametry vybraných kamer: Adimec QUARTZ-series Q-4A180 rozlišení 4MPix snímkovací frekvence 180 FPS Optronis CP80-4-C-500 rozlišení x bodů při 500 FPS až FPS při sníženém rozlišení a černobílém snímání Mikrotron EoSens 4CXP rozlišení x při 560 FPS téměř FPS při horizontálním rozlišení 100 pixelů 14

21 2. DOSTUPNÉ TECHNOLOGIE Při výběru hardware pro zachytávání videa v tomto rozhraní můžeme vybírat mezi přídavnými kartami firem Active Silicon, BitFlow, Matrox, Silicon Software a několika málo dalších. Karty se liší zejména podporou vstupních datových toků (6,25-25 Gb/s) a podporou dalších funkcí CPX rozhraní jako je ovládání kamer a odesílání dat přes stejný kabel, případně i napájení kamer tímto kabelem Výběr video rozhraní Jako kritéria pro volbu vhodného rozhraní pro přenos videa v zamýšleném systém jsem zvolil maximální podporovanou délku kabelů, podporované snímkovací frekvence a rozlišení, dostupnost a cena kamer a zachytávacího hardware pro dané rozhraní. V prostředí hokejových stadionů je třeba uvažovat poměrně velké vzdálenosti od kamer k uvažovanému systému. V závislosti na umístění tohoto systému a velikosti stadionu dosahují vzdálenosti nejméně 100 metrů, ale i několikanásobně více v případě rozlehlých sportovních hal. Rozhraní HDMI je v tomto ohledu nedostačující, s použitím běžné kabeláže je udávaný dosah 30 metrů. Je sice možné využít technologie pro přenos HDMI po optickém kabelu k dosažení větších vzdáleností, ale takové řešení by bylo v případě HDMI rozhraní poměrně komplikované a drahé. CoaXPress nabízí standardně dosah nejméně 100 metrů po běžném koaxiálním kabelu, SDI na stejném typu kabelu až 300 metrů. V případě potřeby lze s SDI navíc dosáhnout mnohem větších vzdáleností přenosem po optické kabeláži. Data jsou přes SDI rozhraní přenášena sériově, díky tomu mohou být konvertory na optickou kabeláž poměrně jednoduchá a tedy i levná zařízení, protože nemusí data v konvertoru serializovat. Uvažujeme tedy dále rozhraní skupiny SDI a rozhraní CoaXPress. Po SDI rozhraní lze přenášet standardní formáty videa používané v televizním průmyslu, jejich přehled je v tabulce 2.1 na straně 13. Naproti tomu CoaXPress umožňuje přenášet téměř libovolný formát videa, zejména pak formáty s vyšší snímkovací frekvencí než 60 FPS, což je nejvyšší hodnota, kterou současná rozhraní SDI podporují. Tato univerzálnost a orientace na průmyslové využití se však odráží v ceně a dostupnosti kamer, karet pro zachytávání videa a dalšího vybavení pro rozhraní CoaXPress. Zvýšila by se tím podstatně nejen pořizovací cena systému jako celku, ale také údržba a případné rozšíření či upgrade video vybavení. V kapitole na straně 9 jsem stanovil na základě reálné situace v ledním hokeji minimální snímkovací frekvenci 37 FPS. Maximální snímkovací frekvenci SDI rozhraní 60 FPS je tak možné považovat za dostatečnou. Má samozřejmě smysl použít v sys- 15

22 2. DOSTUPNÉ TECHNOLOGIE tému vyšší snímkovací frekvenci, která by umožnila ještě přesnější posouzení situace. V současné době by to několikanásobně zvýšilo náklady systému, což je s ohledem na cílovou skupinu zákazníků, jimiž jsou menší hokejové kluby, nepřijatelné. Současně je však vhodné ve zbytku systému počítat s možným budoucím rozšířením tímto směrem. V kapitole na straně 7 uvádím požadovaná rozlišení brankových kamer vzhledem k velikosti puku. Dostatečná rozlišení jsou Full HD i HD formáty, tedy vertikální rozlišení 1080 i 720. Při snímkové frekvenci 60 FPS a formátu 720p potřebujeme vybavení podporující rozhraní HD-SDI. Pro vyšší rozlišení v HD-SDI při stejné snímkové frekvenci bychom museli použít prokládaný formát 1080i. V úvodu této podkapitoly uvádím důvody proč není prokládaný formát příliš vhodný pro zamýšlený systém. Pro použití formátu 1080p při 60 snímcích za vteřinu už bychom museli přejít na novější rozhraní 3G-SDI. Karty k zachytávání HD-SDI videa jsou dostupné v modelech s vysokou hustotou vstupních konektorů na jedné kartě a v přijatelné cenové hladině. Například karta Blackmagic Decklink Quad se čtyřmi vstupy/výstupy HD-SDI za necelý tisíc amerických dolarů, případně model Deltacast DELTA-hd-elp-d s osmi HD-SDI vstupy, jehož cena však není výrobcem zveřejněna. K zachytávání videa z 3G-SDI rozhraní jsou dostupné karty zpravidla s poloviční hustotou vstupů na jedné kartě, obvykle se dvěma vstupy (například model Blackmagic Decklink 4K Extreme), případně čtyřmi vstupy (model Deltacast DELTA-3G-elp 40). Přepočtená cena jednoho 3G-SDI vystupu v případě Blackmagic Decklink karet je přesně dvojnásobkem ceny jednoho vstupu HD-SDI. Z výše uvedených skutečností jsem tedy pro uvažovaný systém zvolil vstupní rozhraní HD-SDI s použitím zachytávacích karet Blackmagic Decklink Quad a vstupní video ve formátu 720p při 60 snímcích za vteřinu. 2.2 Komprese Video v nekomprimovaném formátu představuje poměrně velké množství dat v závislosti na použitém video standardu. Například video ve formátu HD 720p při 60 snímcích za vteřinu má datový tok přibližně 106 MB/s, hodina záznamu zabere přibližně 370 GB místa na disku. To by v zamýšleném systému s více vstupy videa znamenalo velmi velké nároky na propustnost a kapacitu úložiště. Bude tedy zřejmě nutné zvolit vhodný způsob komprese. V této podkapitole uvádím přehled dostupných nástrojů ke kompresi videa. 16

23 2. DOSTUPNÉ TECHNOLOGIE Požadavky Při výběru nástrojů se zaměřuji zejména na zpoždění při kompresi, aby bylo možné video komprimovat v reálném čase. Použití pomalejšího kompresního nástroje by znamenalo nutnost ukládat video nekomprimované a komprimovat jej v průběhu nahrávání nebo až po dokončení nahrávání. Vzhledem k povaze uvažovaného systému, který má umožňovat rychlé opakování předchozích záběrů v průběhu nahrávání, by taková komprese videa měla smysl zřejmě jen pro archivační účely, interně by ale systém musel pracovat s nekomprimovaným videem, tedy s velkými objemy dat jak je zmiňováno výše. Dalším z požadavků na kompresní algoritmus je nezávislost jednotlivých snímků videa. Významné množství kompresních nástrojů pro zpracování videa využívá princip rozdílových snímků, kdy je uložen vždy jeden klíčový snímek (key-frame nebo také I-frame, intra-coded) a několik dalších snímků obsahuje jen změny vůči předchozímu snímku (P-frames, predicted) nebo vůči předchozímu i následujícímu snímku (B-frames, bi-directional). Je to obecný princip, pro který existuje řada modifikací. Lze tímto dosáhnout lepšího kompresního poměru, avšak při přehrávání je potřeba napřed najít a dekódovat klíčový snímek, dekódovat rozdílový snímek a z nich vytvořit složením výsledný snímek videa. Je zřejmé, že uvedený postup dekomprese není příliš vhodný pro náhodný přístup doprostřed video streamu. Obdobný postup se využívá i při kompresi, což bývá často příčinou vyšší latence kodéru, zejména při použití B-snímků. V úvodu zmiňuji, že systém bude firmou Daite nabízen komerčně. Použité kompresní nástroje tedy musí být šířeny pod licencí, která umožňuje jejich použití v komerčním software bez nutnosti zveřejnit zdrojové kódy, jako jsou BSD licence, MIT licence, LGPL a další. Některé formáty videa mohou být navíc zatíženy patentovými poplatky při jejich používání. I toto hledisko budu při výběru zohledňovat. Neméně důležitými vlastnostmi kompresních nástrojů je jednoduchost jejich použití a snadná integrovatelnost do zbytku systému. Výhodné je také zvolit kompresní formát s širokou škálou podporovaných rozlišení, a to i různých nestandardních, pro případ rozšíření systému o nestandardní vstupní video formáty například použitím vysokofrekvenčních kamer s rozhraním CoaXPress a další Dostupné nástroje Typickými představiteli mezi snímkových (inter-frame) kompresních formátů jsou MPEG-4 a H.263, dále jejich nástupce, dnes hojně využívaný formát H.264 nebo no- 17

24 2. DOSTUPNÉ TECHNOLOGIE vější H.265 standardizovaný v roce Formát MPEG-4 (MPEG-4 Part 1 a MPEG-4 Part 14) byl navržen primárně pro distribuci audio video (AV) dat televizním vysíláním, uložení dat na DVD a podobně. Byl tedy kladen důraz více na kvalitu komprese než na nízkou latenci. Začala tak vznikat řada rozšíření standardu H.263 právě pro využití v systémech s nízkou latencí. Jejich nástupcem se stal formát H.264 (MPEG-4 Part 10). Formát H.264 nabízí profily optimalizované na kvalitu výsledného videa i na nízkou latenci kodéru. Je tedy možné použít jej i v aplikacích pro záznam videa v reálném čase. Profily s nízkou latencí nevyužívají všechny možnosti formátu, nízké latence a konstantního datového toku výstupního videa dosahují různými pokročilými technikami jako například rozložení klíčového snímku po sloupcích přes více snímků (Periodic Intra Refresh) [13]. Toto platí pro volně dostupnou implementaci (de)kodéru H.264 s názvem x264 [15]. Je šířena pod licencí GNU GPL a komerční licencí spravovanou x264 LLC a CoreCodec. Na použití komprese do formátu H.264 se také vztahují patentové poplatky za každou instalovanou realizaci [14]. Další skupinou video formátů jsou takzvané intra-frame formáty. Pro porovnání s předchozí skupinou formátů můžeme označit všechny snímky těchto formátů za klíčové, jinými slovy každý snímek videa je uložen jako kompletní statický obrázek. Jednotlivé snímky videa jsou na sobě plně nezávislé, což maximálně zjednodušuje a zrychluje náhodný přístup ke snímku uprostřed video streamu k přehrání. Formáty využívající tento přístup jsou například Motion JPEG a Motion JPEG2000. Ke kompresi snímků využívají kompresi JPEG v baseline formátu, respektive formát JPEG2000-Part 1. Na použití těchto formátů se nevztahují žádné patentové poplatky. Existují implementace (de)kodérů těchto formátů, které využívají akceleraci na grafických procesorech (GPU). V případě JPEG formátu je to volně dostupná knihovna GPUJPEG distribuovaná pod BSD licencí. Tato knihovna nabízí nízko latenční JPEG kompresi. Nízká latence komprese je v tomto případě dosažena omezenou náročností výpočtu, kdy není nutné vypočítávat rozdílové snímky, a naproti tomu vysokou výpočetní kapacitou na GPU. Implementace využívá technologii CUDA, je tedy nutné použít grafický čip výrobce NVIDIA Výběr komprese Při výběru komprese pro použití v uvažovaném systému byl kladen největší důraz na nezávislost snímků daného video formátu. Možnost pracovat se snímky uvnitř systému nezávisle vnáší do systému jednoduchost a také minimalizuje latenci při práci 18

25 2. DOSTUPNÉ TECHNOLOGIE s již zkomprimovanými snímky, zejména umožňuje snadno a rychle přistoupit ke kompletnímu snímku videa v určeném místě záznamu, což je pro zamýšlený systém, ve kterém bude ve videu často vyhledáváno a přeskakováno, dle mého názoru klíčovou vlastností. Z uvedených formátů toto splňují formáty Motion JPEG a Motion JPEG2000. Rozhodl jsem se použít první jmenovaný formát Motion JPEG a jako kompresní nástroj použít GPUJPEG. Oproti JPEG2000 má JPEG nižší výpočetní nároky a je šířen volně pod BSD licencí, díky čemuž je nástroj možné použít i v projektu s nezveřejněným zdrojovým kódem. Oproti ostatním zmíněných formátům, jako jsou MPEG-4, H.264 a další, nabízí Motion JPEG kromě nezávislých snímků a z principu nižší latence ještě další výhody. Na formát JPEG baseline se nevztahují žádná patentová omezení a poplatky, což zjednodušuje distribuci systému jako celku a také pochopitelně snižuje jeho cenu. Tento formát podporuje všechna rozlišení obrazu, i ty, které jsou v oblasti zpracování videa nestandardní a nebrání tak případnému budoucímu rozšíření systému o video vstupy s nestandardním nebo velmi vysokým rozlišením (4K, 5K, 6K, 8K). Nevýhodou formátu Motion JPEG může být jeho horší kompresní poměr v porovnání s H.264 a tedy větší potřebná kapacita pro uložení zkomprimovaných video dat. Vzhledem k tomu, že systém využívá video záznam pouze interně, větší velikost záznamu nepředstavuje velký problém a spíše upřednostníme nezávislost snímků a latenci. Naopak formát H.264 můžeme s výhodou použít pro funkci exportu uživatelem vybraných klipů k postprodukci. Možnost exportu byla do systému přidána v průběhu jeho řešení jako rozšíření, které uživateli umožní ze systému po skončení zápasu získat vybrané klipy na zvolené externí úložiště. Zde již má smysl použít formát s obecně vyšším kompresním poměrem, jakým je například formát H.264. Při exportu již zaznamenaného videa není nutné zkomprimovat záznam v určitém čase, může být tedy použit profil kodéru, který je optimalizován na kvalitu a velikost výstupního videa místo použití nízko latenčního profilu, kde musí být řada optimalizací kodéru vypnutá. Samozřejmě je potom nutné počítat s patentovými a licenčními poplatky za používání H.264 formátu při exportu záznamů ze systému. 19

26 2. DOSTUPNÉ TECHNOLOGIE 2.3 Použité technologie V této části nabízím stručný přehled technologií a nástrojů, které budou v systému použity. Vstupní video bude zachytáváno na kartách Blackmagic Decklink. Výrobce k ovládání těchto karet dodává Decklink SDK pro programovací jazyk C++ a ovladače pro operační systémy Windows, Mac OS i Linux [17]. Zejména podpora na Linuxu založených operačních systémů nebývá všemi výrobci karet pro zachytávání videa nabízena. Karty Blackmagic Decklink jsou však na Linuxu podporovány v plném rozsahu. Kromě zachytávání videa umožňují používané karty také přehrávání na SDI výstup s možností klíčování průhlednosti, tzv. alfa kanálu. Pro video výstup ze systému na velkoplošné obrazovky lze tedy využít stejnou technologii jako pro zachytávání snímků. Jako interní kompresní formát videa jsem zvolil Motion JPEG. Ke kompresi a dekompresi bude systém využívat knihovnu GPUJPEG [18]. Tato knihovna je napsána v jazyce C s využitím technologie CUDA pro akceleraci výpočtu na grafické kartě. V systému je tedy nutné mít nainstalovánu grafickou kartu, která podporuje technologii CUDA. S ohledem na výše uvedené nástroje jsem pro implementaci systému zvolil programovací jazyk C/C++. Upřednostňovaný operační systém pro zamýšlenou aplikaci je Linux. Jelikož jsou Decklink karty, CUDA i GPUJPEG dobře podporované na Linuxu, byl tento systém zvolen pro implementaci i následné nasazení. Pro tvorbu grafického uživatelského rozhraní (GUI) jsem zvolil knihovnu Qt [22] ve verzi 5.0, která používá programovací jazyk C++ a nabízí platformně nezávislý přístup nejen k tvorbě GUI, ale i k dalším funkcím jako je správa vláken, zámků, přístup k souborům a podobně. Použití této multi platformní knihovny usnadní případné budoucí rozšíření systému další operační systémy. 20

27 Kapitola 3 Architektura systému Při návrhu architektury systému, který zpracovává velké množství dat, což bezesporu systém pro ukládání a přehrávání videa z více kamer současně je, je nutné provést analýzu propustnosti jednotlivých klíčových částí systému. Jako klíčové části jsem stanovil příjem a kompresi videa, dále pak ukládání na disk a konečně přehrávání videa ze záznamu. Protože má výsledný systém zvládnout všechny jmenované úkoly, v dalším kroku zhodnotím propustnost systému jako celku a stanovím maximální objem vstupních dat. Potom bude možné vytvořit schéma systému a stanovit jeho minimální požadavky. 3.1 Analýza požadavků na propustnost Při cestě zpracování dat mohou vznikat úzká místa limitující výkon systému jako celku. Cílem této podkapitoly je tato úzká místa najít, navrhnout, jak je eliminovat nebo stanovit limit systému, pokud už je více eliminovat nelze Vstupní video Nekomprimované snímky z karty pro zachytávání videa je nutné přenést po systémové sběrnici PCI Express (PCIe) do operační paměti a následně po téže sběrnici do paměti grafické karty ke kompresi. Po dokončení komprese ještě musíme přenést zkomprimovaná data zpět do operační paměti po PCIe sběrnici. Maximální přenosová rychlost po PCIe sběrnici je 250 MB/s pro jeden lane v jednom směru v případě PCIe v.1, dvojnásobná v případě PCIe v.2. Třetí generace PCIe sběrnice nabízí oproti předchozí generaci opět zdvojnásobení rychlosti přenosu až na přibližně 1 GB/s [23]. Při použitém video formátu HD 720p@60 FPS a kódování obrazových dat YUV s podvzorkováním 4:2:2 s barevnou hloubkou 8 bitů dosahuje datový tok ze zachytávací karty přibližně 106 MB/s obrazových dat. Formát pixelů YUV 4:2:2 kóduje 2 pixely na 4byty, tedy 2B na každý obrazový bod při barevné hloubce 8 bitů. Při 21

28 3. ARCHITEKTURA SYSTÉMU použití dalšího formátu pixelů, který karta pro zachytávání videa nabízí, formát pixelů RGBA bez podvzorkování (RGBA 4:4:4), je při osmibitové barevné hloubce datový tok dvojnásobný, tedy přibližně 211 MB/s na jeden vstup. Při 10 bitové barevné hloubce zůstává datový tok stejný stejný jako v případě RGBA 4:4:4, není ale přenášen kanál alfa [17]. V následujícím kroku dochází k přenosu nekomprimovaného snímku na grafickou kartu ke kompresi. Potřebná šířka pásma sběrnice je stejná jako v předchozím případě při přenosu ze zachytávací karty, tedy přibližně 106 MB/s pro jeden video vstup YUV 4:2:2, respektive 211 MB/s pro vstup RGBA 4:4:4. Výstupní datový tok zkomprimovaných dat z grafické karty při použití kompresního nástroje GPUJPEG literatura uvádí v rozmezí 3,4 MB/s až 62 MB/s v závislosti na nastavení kvality komprese [19]. Rozdíl velikosti zkomprimovaného snímku při kvalitě Q = 90 a nejvyšší kvalitě Q = 100 je dle dostupných měření [18][19] více než dvojnásobný. Při kvalitě Q = 90 můžeme tedy počítat s datovým tokem přibližně 31 MB/s. Uvedené hodnoty platí pro podvzorkované video s rozlišením 1080p při 30 FPS. Množství zpracovaných obrazových bodů takového videa je prakticky stejné jako v případě videa s rozlišením 720p při 60 FPS, je tedy možné uvažovat přibližně stejné hodnoty. Dále v práci uvažuji datový tok videa v plné kvalitě 62 MB/s jako nejhorší případ. Doba potřebná pro kompresi 1080p snímku akcelerovaná na GPU s použitím knihovny GPUJPEG se udává 2,91 ms až 4,45 ms v závislosti na nastavené kvalitě komprese, formátu pixelů vstupních dat a modelu grafického čipu, testováno na NVIDIA GTX 580 [19]. Uvedené hodnoty zahrnují dobu kopírování dat do paměti GPU, samotný výpočet a kopírování dat zpět do operační paměti. Pro snímky s rozlišením 720p je možné počítat s kratší dobou komprese, přesné hodnoty však nelze určit přímou úměrou k velikosti obrazu. Počítám tedy s pesimistickým odhadem trvání komprese přibližně 4 ms na snímek RGB 4:4:4, 3,6 ms na snímek YUV 4:2:2. Hodnoty jsou odečteny z grafů měření výkonu GPUJPEG komprese [19]. Celkově tedy dosahuje datový tok přes PCIe sběrnici při příjmu a kompresi jednoho video vstupu s formátem pixelů YUV 4:2:2 hodnotu přibližně 274 MB/s. Datový tok je rozdělen do tří přenosů, z karty pro záchyt videa (106 MB/s), na grafickou kartu (106 MB/s) a z grafické karty (62 MB/s) Ukládání Pro ukládání zkomprimovaného videa v nejvyšší kvalitě je třeba uvažovat rychlost zápisu na disk alespoň velikosti 62 MB/s, což je nejvyšší uvažovaný datový tok z grafické 22

29 3. ARCHITEKTURA SYSTÉMU karty provádějící kompresi snímků při nejvyšší kvalitě komprese. Vysokorychlostní pevné disky (například Seagate Cheetah 15K.7 s otáčkami) dosahují rychlosti zápisu až 204 MB/s. Už pro čtyři video vstupy by ale tato rychlost nedostačovala ani pro samotné ukládání záznamu. U rotačních disků je navíc nutné uvažovat jisté zpoždění způsobení čekáním na vystavení hlaviček disku a otočení ploten při souběžném ukládání více video streamů. Je také nutné rezervovat stejně velkou šířku pásma pro načítání videa k přehrání jako při ukládání záznamu, uvažujeme-li souběžné ukládání a načítání video záznamů, protože rotační disky neumožňují zapisovat a číst z různých míst na disku současně a obě operace musí být prováděny postupně. Při souběžném záznamu na disk a přehrávání z jiné části disku bychom mohli spolehlivě pracovat jen s jedním video vstupem. Použitím SSD disku (například Intel SSD 530 series) můžeme počítat s rychlostí zápisu až 490 MB/s a čtením až 540 MB/s. Odpadá také čekání na vystavování hlaviček disku a je možné souběžné čtení a zápis. Teoreticky by tak bylo možné dosáhnout zápisu a současného čtení až sedmi video streamů na jeden disk v maximální kvalitě. Kapacita 480 GB na disku by při sedmi vstupech stačila na záznam přibližně 19 minut videa v plné kvalitě. Hokejový zápas běžně trvá dvě až tři hodiny, ani takto bychom se tedy nevyhnuli stavbě jistě velice nákladného diskového pole s vysokou propustností a kapacitou. Jak uvádím v první kapitole, není nutné ukládat záznam celého zápasu. Postačující je záznam těch situací, které jsou z pohledu rozhodčích zajímavé a rozhodující pro posouzení gólů a asistencí. Takových situací bývá jednotky až desítky za zápas. Navrhl jsem tedy proto kruhový buffer v operační paměti, který ukládá jen určitý potřebný počet vteřin záznamu, nejnovější snímky přepisují nejstarší snímky v bufferu. Uživatel, videorozhodčí, potom může při významné události při hře uložit aktuální obsah bufferu na disk a získat tak dlouhodobý záznam události, která se právě stala. Tímto je možné ušetřit místo na disku uložením pouze zajímavých úseků zápasu. Požadavky na rychlost disku zůstávají stejné jako v případě ukládání celého záznamu. Obsah kruhového bufferu totiž musí být uložen alespoň tak rychle, jako je jeho délka. Pokud by byl zápis na disk pomalejší než záznam všech video vstupů, muselo by se při záznamu nových snímků čekat na dokončení zápisu na disk a systém by musel začít zahazovat snímky. Možným řešením při nedostatečné rychlosti zápisu na disk by mohl být postup, kdy při požadavku na uložení obsahu bufferu je jeho obsah napřed zkopírován na jiné místo v operační paměti a odtud potom ukládán na pomalé diskové úložiště aniž by tím byl ovlivněn zápis nových snímků do kruhového bufferu. Datový tok nově přícho- 23

30 3. ARCHITEKTURA SYSTÉMU zích snímků, respektive počet vstupů systému, by potom byl omezen rychlostí kopie dat uvnitř operační paměti. Například v současné době nejrychlejší pamět ové moduly DDR dosahují propustnosti 12,5 GB/s [25], což je dostatečně vysoká hodnota. Ukládání na disk by potom mohlo trvat obecně libovolně dlouho. Toto řešení by však také nebylo ideální. Při každém dalším požadavku na uložení obsahu bufferu v průběhu probíhajícího dlouhého zápisu na disk předchozího klipu by musela být vytvořena další kopie obsahu bufferu v operační paměti. Nabízí se v tomto případě také řešení alokovat nový kruhový buffer, do kterého by se nově příchozí snímky zapisovaly a původní buffer po dokončení zápisu na disk uvolnit z paměti. V obou případech by však mohlo dojít k vyčerpání volné operační paměti a systém by již nemohl nově příchozí snímky ukládat. Je tedy nutné uvažovat i s použitím bufferu dostatečnou propustnost disku pro ukládání všech vstupů jako v případě ukládání celého video záznamu. Požadavky na uložení obsahu bufferu, které přijdou za kratší dobu než je délka videa v bufferu, znamenají zbytečné redundantní uložení části videa. Příchozí požadavky v průběhu ukládání předchozího klipu tedy můžeme vykonat až po dokončení předchozí operace, čímž tuto redundanci snížíme. Uložení video klipu o chvíli později tolik nevadí, pokud je předchozí video klip uložen za kratší dobu než je délka jeho video záznamu. V tabulce 3.1 uvádím, jaký nejvyšší počet vstupů videa je vzhledem k propustnosti daného úložiště možný a jak dlouhý záznam kapacita daného úložiště umožňuje. Uvažuji souběžné nahrávání i přehrávání video klipů. V případě zápisu do kruhového bufferu v operační paměti zohledňuji všechny přenosy z a do operační paměti, které musí systém vykonávat Přehrávání Systém musí mít dostatečný výkon na přehrávání záznamů ze všech kamer na monitoru počítače současně a přehrávání jednoho z těchto záznamů také na výstupním SDI rozhraní. Při přehrávání videa ze záznamu musí být zkomprimované JPEG snímky videa načteny z disku, nahrány na grafickou kartu k dekompresi a již jako nekomprimované snímky nahrány zpět do operační paměti k dalšímu zpracování, tedy k zobrazení na monitoru počítače v OpenGL a případně i k odeslání na výstupní SDI kartu. Nahrávání záznamu z disku není časově kritickou operací pro správnou funkci systému. S rostoucím počtem vstupů videa roste pouze čas potřebný k načtení záznamů 1. V závorce jsou uvedeny maximální hodnoty při použití kruhového bufferu a ukládáním na uvedený SSD disk v tabulce. 24