Infrastruktura pro zpracování záznamů přednášek Eva Hladká, Miloš Liška Fakulta informatiky, Masarykova univerzita v Brně, 602 00 Brno, Česká republika eva@ics.muni.cz, xliska@fi.muni.cz Abstrakt V příspěvku je popsán návrh, realizace a zkušenosti s provozem infrastruktury pro záznamy přednášek od akvizice primárních dat a jejich zpracování až po začlenění zpracovaného záznamu do informačního systému jako řádného studijního materiálu. Na příkladě systému budovaného na Fakultě informatiky MU ukážeme, které části systému jsou lokálního charakteru a které části systému je třeba budovat jako centralizovaný univerzitní prostředek s ohledem na efektivitu vynaložených prostředků. 1 Úvod Videozáznamy přednášek se během své čtyřleté historie staly ověřeným studijním materiálem, který využívají studenti i pedagogové. Po počátečních rozpacích hlavně ze strany pedagogů se setkáváme s opačnou reakcí a požadavkem dělat záznam přednášek i v prostorách, které pro to nejsou vybaveny. Přibývá i jednorázových akcí, ze kterých jsou záznamy pořizovány a vystavovány. Jedná se o speciální semináře, zvané přednášky a záznamy z konferencí. Rovněž roste zájem o vystavení jiných speciálních materiálů- záznamy z lékařských operací, sportovních a kulturních akcí konaných na MU. Vzhledem k dosahované kvalitě záznamů tyto materiály mohou sloužit k výukovým účelům stejně tak jako záznamy přednášek a vhodně je doplňovat. Základní pedagogické a technické principy byly popsány v[1][2]. I když se systém stále vyvíjí a mění, principy zůstávají stále stejné. Návrh provedený na začátku vývoje systému lze dále rozšiřovat a rozvíjet dle rostoucích potřeb. V obou citovaných příspěvcích se zkušenosti i informace o infrastruktuře potřebné k automatickému provozu týkaly především Fakulty informatiky. Vzhledem k zájmu o vytváření videozáznamů i z jiných fakult byly započaty práce na vytvoření univerzitní infrastruktury pro zpracování a využití videozáznamů s požadavkem dobré škálovatelnosti(rozšiřitelnosti) kódovacích kapacit a bezobslužnosti. Bezobslužností rozumíme to, že systém může být provozován automaticky, bez nároků na další pracovní sílu. S využitím dosavadních zkušeností z FI vznikl základní návrh systému, posléze jeho rozšíření a byla započta jeho realizace.
2 Hladká E., Liška M. 2 Přehled technických prostředků Proces, který na začátku sejme videozáznam přednášky a na konci vytvoří odkaz na zakódované uložené video v patřičné části Informačního systému MU(IS), má řadufází.všechnyfázezpracováníjsouukázánynaobrázku1alzejevymezit jako: akvizici obrazu a zvuku, transport dat ke zpracování, zpracování(kódování) dat a jejich případná úprava(střih), transport dat na streaming server, zapracováníodkazunadatavisu. Obrázek 1. Infrastruktura pro zpracování záznamů přednášek Ne všechny položky tohoto výčtu jsou stejně náročné na hardwarové prostředkyačas.navíccelýprůběhčinnostínutnýchktomu,abyseznatočeného videa stal záznam přístupný prostřednictvím ISu, nemusí nutně probíhat na jednom místě. Akvizice obrazu a zvuku nutně musí probíhat v reálném čase, tj. jedna hodina získaných dat se rovná jedné hodině přednášky. Transport dat, tj.12gbzahodinu,sekekódovacíkapacitěpřeneseza10minutzapředpokladu gigabitového síťového připojeni. V případě dostatečně výkonných akvizičních počítačů lze přenos dat provádět paralelně současně se záznamem dat další přednášky. Kódování videa probíhá rychleji než v reálném čase a je podrobněji popsáno v kapitole 4.
3 Lokální prostředí Infrastruktura pro zpracování záznamů přednášek 3 Přednášky probíhají v posluchárnách a tam je také třeba získávat data. Nemá smysl budovat speciální místnosti nebo nutit pedagogy přednášet pouze na kameru pro potřeby záznamu. Čím je prostředí pro přednášení přirozenější a autentičtější, tím věrohodnější je i výsledný záznam. Proto je nutné akviziční techniku umístit přímo do poslucháren. Může jít o rozsáhlou škálu zařízení od obyčejné ruční kamery a zásoby pásek až po pohyblivé(trackovací) kamery a zvukový systém. Čím kvalitnější je tato technika, tím lepší jsou i záznamy. Na MU už byly vybudovány a vybaveny posluchárny s ohledem na pořizování záznamů a z těchto poslucháren získáváme záznamy s dobrou kvalitou obrazu i zvuku prakticky bezobslužně. Pokud posluchárna není vybavena a techniku je nutno před přednáškou připravit a často i improvizovat, je nutná dodatečná pracovní síla. Navíc je zde třeba upozornit, že pro kvalitu záznamu důležitá především kvalita zvuku. Dosud nepoužíváme žádné prostředky na dodatečné zlepšení kvality zvuku a proto jsou-li primární zvuková data nekvalitní, nemůže vzniknou kvalitní záznam. Jeden z možných budoucích kroků v rozvoji systému je právě úprava kvality zvuku během zpracování primárních dat. Nutnou funkci lokálního prostředí je ukládání dat přímo v posluchárně. Data z kamer umístěných v posluchárnách jsou již během přednášky ukládána ve formátudigitalvideo(dv)nalokálnímpočítači.tímmůžebýtběžnépcsdostatečně rychlým diskem(sata nebo SCSI) a gigabitovou přípojkou k síti. Odtud se primární záznamy průběžně přenášejí na velkokapacitní datové úložiště a poté se dále zpracovávají. 4 Centrálně budovaná infrastruktura Síť Masarykovy univerzity, která se pro transport dat využívá, je nosným prvkem centrálně budované infrastruktury. Vzhledem k objemům dat ve formátu DV je doporučená průchodnost sítě 1 Gb/s. Některé posluchárny takovými přípojkami nemusí být vybaveny, obvykle je to pouze problém dovedení přípojky v rámci budovy. Vlastní páteřní síť MU má dostatečnou kapacitu, takže transport dat lze považovat za vyřešený. Důležitou částí centrálně budované infrastruktury je již zmíněné datové úložiště.vrámciprojektudidas[7]řešenéhonafimubylovhlavníchuzlech akademické sítě CESNET2 vybudováno distribuované datové úložiště s celkovou kapacitou16tb.úložištětvoříosmpcserverůsprocesorypentium4,1gb operačnípamětiadiskovoukapacitouod512gbpo2gbumístěnýchvbrně, Praze, Plzni, Českých Budějovicích, Liberci a Ostravě. Všechny servery tvořící datové úložiště jsou připojeny k akademické páteřní síti linkami s kapacitou 1 GB/s. Ačkoliv jsou primární data fyzicky uložena na různých místech republiky, nemá to díky rychlosti a přenosovým kapacitám páteřní sítě vliv na rychlost jejich dalšího zpracování. DiDaS tvoří kapacity pro ukládání primárních záznamů ve formátu DV a pro ukládání dočasných dat vznikajících v průběhu jejich zpracování. Primární data
4 Hladká E., Liška M. jsou v DiDaSu uložena tak, že k nim má prostřednictvím metadat, vytvořených při jejich přenosu na úložiště, přistup pouze jejich autor. V tomto případě je to administrátor systému, případně další vybraní uživatelé(vývojáři systému). Tím je zajištěna bezpečnost dat proti zcizení a zneužití. Do budoucna bude nutné upřesnit a rozšířit systém přístupu k datům i pro další uživatele. Zaznamenaná a uložená data z přednášek je dále nutné zpracovat. Za tímto účelem byl v rámci infrastruktury Metacentra[6] vybudovaný výkonný PC cluster s 10 procesory. Cluster se skládá z pěti uzlů vybavených dvěma procesory Pentium4staktovacífrekvencí3GHza2GBoperačnípaměti.Typuzlůclusteru odpovídá ostatním uzlům používaným v rámci Metacentrum. Uzly jsou navzájem propojeny gigabitovou sítí a konektivita každého uzlu k úložišti DiDaSu je rovněž gigabitová. To zajišťuje dostatečnou průchodnost jak mezi uzly clusteru navzájem tak i k vzdáleně dostupným úložištím. Pořízené záznamy jsou zpracovány v systému Distributed Encoding Environment(DEE)[3][4], který pro svou práci využívá jak kapacity úložiště projektu DiDas tak i výpočetní výkon zmiňovaného PC clusteru Metacentra. Záznamy přednášek jsou ukládány jednak ve formátu DivX s rozlišením 512 384 obrazovýchbodůadatovýmtokem512kb/sadáleveformáturealmedia9surestream srozlišením384 288obrazovýchbodůadatovýmitoky768kb/s,512kb/srespektive 256 kb/s. V současné době kvůli spolupráci se zahraničními partnery zvažujeme i použití formátu Quicktime. Díky použití popsaného clusteru a systému DEE je možné zpracovat dvouhodinový záznam přednášky do obou formátů(celkem tedy 4 hodiny videa) za devadesát minut. Pro srovnání, na samostatném výkonném PC by takové zpracování proběhlo přibližně v reálném čase, tj. čtyři hodiny. Distribuované zpracování záznamů je dobře škálovatelné, což znamená, že přidáním dalšího výpočetního uzludoclusterusezkrátíčaszpracováníanebopokudsebudekódovatdo dalšího formátu, čas zpracování se neprodlouží. Poslední část budované infrastruktury představuje streaming server sloužící k poskytování zpracovaných přednášek. Streaming server tvoří výkonné PC se dvěmaprocesorypentium4a4gboperačnípaměti.kserverujepřipojené diskové pole o celkové kapacitě 4 TB, které slouží k ukládání již zpracovaných přednášek. Záznamy v obou poskytovaných formátech jsou dostupné ke stažení prostřednictvím webového rozhraní, poskytovaného serverem Apache. Tento způsob poskytování záznamů je u studentů velmi oblíbený, protože jim umožňuje záznam stáhnout, archivovat na vlastní média(cd, DVD) a sledovat i pokud nemají dostatečné síťové připojení. Díky zakoupenému HelixServeru společnosti RealMedia je také možné streamování záznamu ve formátu RealMedia. Pro uživatele to znamená, že nemusí stahovat záznam na disk svého počítače. Streamovací server navíc poskytuje záznam s nejlepšími možnými parametry podle kvality uživatelova připojení a v případě kolísání jeho kvality dokáže reagovat a posílat záznam s parametry odpovídajícími aktuálnímu stavu sítě. Další výhodou použití streaming serveru
Infrastruktura pro zpracování záznamů přednášek 5 je možnost autentizovaného přístupu k zaznamenaným přednáškám a možnost pořizování a vyhodnocování statistik o využívání záznamů přednášek. 5 Začlenění záznamů k studijním materiálům v ISu Záznamy přednášek byly dosud pro studenty přístupné přes rozhraní portálu video.fi.muni.cz. To znamená, že záznamy přednášek nejsou s ostatními materiály nijak provázané a uživatel vyhledávající materiály k studovanému předmětu musí musí navštívit nejméně dvě místa. Aby se tato dvojkolejnost odstranila, právě probíhá integrace odkazů na záznamy přímo k ostatním materiálům visu. Navrhli jsme systém komunikace mezi IS a streaming serverem na základě výměny textových zpráv. Streaming server periodicky generuje seznam uložených záznamů v následujícím tvaru: jaro 2005:1433:PV004:20050324:url:velikost:poznamka IS opět periodicky čte tento seznam a podle informací v něm uložených generuje v LMS odkazy na záznamy. Bezpečnost komunikace je zajištěna autentizací. Začlenění záznamů do LMS ISu přinese silnější autentizaci při přístupu k přednáškám a také umožní autorizaci jednotlivých záznamů přímo vyučujícím. Vyučující navíc bude moci získat zpětnou vazbu od studentů, kteří budou mít možnostzáznamyhodnotitavyjadřovatseknimvdiskusích.dobudoucnasetaké počítá s automatickým indexováním záznamů a s možností v nich vyhledávat. 6 Závěr Efektivnost, bezobslužnost a jednoduché použití se stalo hlavním motivem budované infrastruktury. Zprovoznili jsme veškerý popsaný hardware a uvedli ho do produkčního stavu. I softwarová část projektu je prakticky již hotova. Jedinou dosud nerealizovanou z navržených částí je integrace záznamů do LMS ISu. Systém tedy již plní svoje základní funkce. V letním semestru 2005 se zpracovává 62 hodin záznamů pro Fakultu informatiky a 16 hodin záznamů pro Právnickou fakultu pravidelně každý týden. To už jsou objemy, které prověří systém zapracování a umožňují dobrý odhad jeho škálovatelnosti. Předpokládáme, že navržený systém dokáže výše popsaným způsobem zpracovat až 224 hodin přednášek týdně. Při posílení výpočetního clusteru se toto číslo zvýší a náklady budou tvořeny pouze prostředku na zakoupení nového uzlu. Zbytek popsané infrastruktury není třeba posilovat. Budovaná infrastruktura založená na současných znalostech distribuovaných algoritmů, výpočetních gridech a vysokorychlostních sítích je dostatečně flexibilní, dobře škáluje a poskytuje maximálně bezobslužné prostředí pro vytváření studijních materiálů zmíněného typu. Další práce na systému záznamů přímo navazují na výzkumnou činnost Laboratoře pokročilých síťových technologií. Jedná se výzkum zpracování videa
6 Hladká E., Liška M. s vyšším rozlišením(formáty High Definition videa), které umožní zaznamenat vysokou míru detailů např. při záznamu unikátních operací pro potřeby výuky mediků. Další vývoj povede i novému indexačnímu systému, který bude založen na rozpoznávání řeči. V neposlední řadě je třeba zmínit i práci s předtočeným videem a výzkum lepší výpovědní síly záznamů. Reference 1. E. Hladká, M. Liška. Asynchronní výuka založená na použití multimediálních záznamů. SCO2004:E-learningpřichází.2004.s.61 64. 2. E. Hladká, M. Liška, L. Matyska. Multimedia Support for Individualized Learning. ProceedingsoftheFifthInternationalConferenceonInformationTechnology Based Higher Education and Training. 2004. s. 4 9. 3. P.Holub. Distribuovanékódovánívidea. PiXEL.2004s.46 47. 4. P. Holub, L. Hejtmánek. Distributed Encoding Environment Based on Grids and IBPInfrastructure. ProceedingsofTERENANetworkingConference2004,2004. 10s. 5. P.Holub. Distribuovanéprostředíprokódovánímultimédií. ZpravodajÚVTMU. 2004,roč.14,č.5,s.6 9. 6. PortálMetacentra http://meta.cesnet.cz/ 7. L.Hejtmánek,L.Matyska. DistribuovanéDatovéSklady. ZpravodajÚVTMU. 2004,roč.15,č.2,s.1 5.