ARCHIV ÈESKÉHO WEBU V ROCE 3

Transkript

1 ARCHIV ÈESKÉHO WEBU V ROCE 3 Petr Žabièka Moravská zemská knihovna, Brno Projekt Webarchiv (webarchiv.nkp.cz) se letos dostává do tøetího roku své existence. Na konci loòského roku byla odevzdána závìreèná zpráva projektu výzkumu a vývoje Registrace, ochrana a zpøístupnìní domácích elektronických zdrojù v síti Internet [1], která struènì shrnuje výsledky dosažené v prvních dvou letech øešení projektu. Díky úzké spolupráci Národní knihovny ÈR (dále též NK) s Ústavem výpoèetní techniky Masarykovy univerzity v Brnì se však vývoj nezastavil a práce nastoupeným smìrem pokraèují v rámci øešení výzkumného zámìru ÚVT MU Digitální knihovny a novì jsou podpoøeny i grantem, který NK získala pro rok 2002 v programu VISK3. V tomto èlánku se blíže podíváme na problematiku, kterou se projekt zabývá. Cílem projektu Webarchiv je, jak již jeho název napovídá, zajištìní trvalého uchování domácích elektronických, online publikovaných informaèních zdrojù jako souèásti národního kulturního dìdictví. V èlánku [2] rozebírá L. Celbová jednotlivé okruhy problémù, které je v této souvislosti nutno øešit. Aèkoli se v tomto textu budeme zabývat spíše technickými aspekty celé problematiky, pokusíme se zmínìné rozdìlení do jednotlivých okruhù co nejvíce dodržet. Budeme se tedy zabývat následujícími tématy: l Legislativní problematika l Kritéria výbìru zdrojù a strategie jejich archivace l Bibliografická správa a zpøístupnìní zdrojù l Návaznost na obdobné projekty na mezinárodní úrovni V jejich rámci pak budou popsány jak zatím dosažené výsledky projektu, tak i nyní øešené problémy a plány dalšího výzkumu a vývoje. Samotná technická infrastruktura byla již popsána v nìkolika èláncích, naposledy pak pøehledným zpùsobem v pøíspìvku Infrastruktura Webarchivu v roce 2002 [3] na konferenci Inforum Tam byli také posluchaèi seznámeni s prvními informacemi o letos probíhající úplné sklizni domény.cz, která bìží již od a která by mìla dát øešitelskému týmu odpovìï na mnoho otázek souvisejících s dalším vývojem projektu. Legislativa V souèasné dobì existuje nìkolik kritických míst, která mohou, a už v pozitivním nebo negativním smyslu, ovlivnit další øešení projektu. V této kapitole si ukážeme, jaký vliv mohou mít rùzné výklady zákona na další vývoj projektu. Prvním místem, kde dochází ke støetu obecného zájmu na zachování kulturního dìdictví budoucím generacím s u nás platnou legislativou, je problematika povinného výtisku. Zákon u nás totiž nezakotvuje jednoznaènì povinnost vydavatele odevzdávat povinný výtisk elektronicky publikovaných dokumentù. Zkušenost ze Švédska ukazuje dùležitost takového právního zakotvení: automatická archivace (sklízení) online publikovaných elektronických zdrojù národní knihovnou, která je jedním ze zpùsobù, jak získat povinný výtisk tohoto typu dokumentù, zde musela být na mnoho mìsícù pøerušena právì proto, že úøady se nedokázaly shodnout na tom, zda je taková èinnost legální, a patovou situaci vyøešilo až pøijetí pøíslušného zákona [4]. Naopak v Dánsku, kde je podobný zákon v platnosti již delší dobu, nemá vìtšina vydavatelù o jeho existenci ani tušení a jediným efektivním øešením problému je tak opìt jedinì automatická archivace všech publikovaných dokumentù. Nedotaženost zákona o povinném výtisku u nás v tomto smìru otevírá cestu rùzným výkladùm omezení daných zákonem o autorském právu. Automatickou identifikaci a archivaci online publikovaných dokumentù lze srovnávat s bìžnì používanou technologií indexování webu, jak ji provádìjí prohledávaèe Internetu. Pøesto ale není jisté, zda bude bez opory v zákonì možné využívat stávající strategii. Existující infrastruktura je však nastavitelná tak, že bude možné zachovat alespoò omezený rozsah sklízení i v pøípadì, že by bylo nutné podøídit se urèitým zákonným omezením. Jediným dùsledkem takových omezení by pak bylo velmi výrazné zmenšení rozsahu sbírky, tvoøené pak víceménì na základì dobrovolnì dodávaných dokumentù. Na druhou stranu by se díky takovému zásahu výraznì zmenšila i finanèní nároènost hardwaru pro uložení takového archivu. Mnohem problematiètìjší je však oblast zpøístupnìní takto vytvoøeného archivu. Dokud totiž nebude jasnì stanoveno kdy, komu, v jakém rozsahu a za jakých podmínek mùže být takový archiv zpøístupòován, není možné vyvinout optimální nástroj pro daný úèel. Pokud bychom totiž zpøístupòovali jen archiv omezeného rozsahu, tvoøený z dobrovolných pøíspìvkù, bylo by možné bez velkých investic využít stávající infrastruktury digitální knihovny NK. Pokud by naopak bylo umožnìno bez omezení zpøístupòovat archiv celého èeského webu, vyžádá si vybudování a provoz potøebné infrastruktury pomìrnì vysoké náklady. Ty by byly dány jednak rozsahem samotného archivu a tedy i rozsahem pøístupových souborù a jednak tím, že by o tuto službu byl pravdìpodobnì mezi uživateli èeského Internetu velký zájem a to by zase kladlo vysoké nároky na hardware. Dalším kritickým momentem jsou pøípadná omezení, daná nìjakým budoucím zákonem nebo soudním rozhodnutím. Taková rozhodnutí nelze ale i pøi nejlepší vùli pøedjímat a je pravdìpodobné, že každé takové rozhodnutí bude znamenat buï další finanèní zátìž, nebo naopak zmaøení èásti již investovaných prostøedkù. Je možné prohlásit, že právo obèana na informace by mìlo být naplnìno i existencí digitální knihovny, obsahující elektronicky publikované dokumenty v nezmìnìné podobì. Zajištìní integrity takové knihovny musí být proto jedním z prioritních úkolù jejího provozovatele. V pøípadì Webarchivu je tato kontrola zajištìna použitým systémem jednoznaèných identifikátorù dokumentù na bázi kontrolního souètu MD5 [5], což je v souèasné dobì pro tento úèel nejdostupnìjší mechanismus, který však musí být 168 NÁRODNÍ KNIHOVNA, 13, 2002, è. 3

2 podpoøen dalšími opatøeními jak na úrovni technické, tak organizaèní. V pøípadì podcenìní tohoto aspektu se totiž mùžeme dostat do témìø orwellovské situace, ve které nebude možné nijak ovìøit autenticitu v minulosti publikovaných informací a dokumentù a už proto, že z veøejného prostoru zcela zmizí, nebo proto, že budou z rùzných dùvodù pozmìnìny nebo zcela nahrazeny jiným obsahem. Že nejde o plané hrozby, dosvìdèuje i nedávný pøípad serveru underground.cz, který stáhnul ze svých stránek všechny texty zabývající se drogovou problematikou v souladu s paragrafem 188a trestního zákona. Ve svém dùsledku to znamená, že veøejnost je možná doèasnì, možná trvale, pøipravena o døíve publikované informace. Pokud by ale na druhé stranì byly stejné informace zpøístupnìny prostøednictvím archivu Národní knihovny, nebyla by to Národní knihovna, kdo by podstupoval riziko trestního stíhání? Kritéria výbìru zdrojù a strategie jejich archivace Stanovení podmínek, které musí splòovat elektronické zdroje kandidující na vèlenìní do budovaného digitálního archivu, je jedním z nejkritiètìjších okamžikù každého podobného projektu. Pøi stanovování tìchto podmínek je nutno brát v úvahu jak objem finanèních prostøedkù, které jsou pro tuto èinnost k dispozici, tak i aktuální stav rozvoje celé oblasti informaèních a komunikaèních technologií. V následujících odstavcích si ukážeme, jak tyto okolnosti ovlivnily øešení projektu. Protokoly, formáty Pokud padla v úvodu tohoto èlánku zmínka o online publikovaných zdrojích, je nutné upozornit na to, že tento pojem je hyperonymem pojmu na Internetu (aèkoli se s rostoucí dominancí Internetu stávají tyto pojmy postupnì synonymickými podobnì jako pojem web zaèíná splývat s pojmem Internet ). Z toho mimo jiné vyplývá, že již rozhodnutím zamìøit se na webové zdroje pomíjíme jistou èást elektronických zdrojù. Z ne-internetových zdrojù lze zmínit napøíklad poèátkem 90. let i u nás pomìrnì rozšíøený a dnes již témìø zapomenutý FidoNet, ze zdrojù Internetových pak napøíklad mezi jinými napøíklad streamované audio a video, obsah rùzných sítí peerto-peer a mnohé další zdroje, dostupné výhradnì pøes nìkterý z ménì rozšíøených komunikaèních protokolù. Je zøejmé, že pokus archivovat online elektronické zdroje, dostupné jinak než prostøednictvím Internetu, by byl velmi nákladný a jeho pøínos by byl mizivý. Takové jednoznaèné tvrzení již však nelze pronést, máme-li na mysli newebové Internetové zdroje. Vìtšinou totiž dopøedu nelze urèit, která technologie zaène mít v budoucnosti význam a která je jen drobnou epizodou v dìjinách Internetu (tak skonèily v propadlišti dìjin technologie typu push, kterým byla kdysi prorokována velká budoucnost, tak se naopak objevuje pøes aktivní odpor zábavního prùmyslu stále vìtší množství rùzných typù sítí peer-to-peer). Pøesto lze zatím stále obhájit názor, že vìtšinì populace je reálnì pøístupná jen ta èást zdrojù, ke kterým se dostanou prostøednictvím bìžného prohlížeèe. Pokud tedy pomineme relativnì velkou množinu mailových a newsových diskusních skupin, zùstává pøed námi dvojice protokolù http a ftp (protokol gopher lze již považovat za mrtvý, protokol https pak díky tomu, že je urèen pro šifrovaný pøenos dat, za protokol urèený k pøenosu neveøejných a dùvìrných informací, tedy informací, dostupných sice elektronicky, ale ne nutnì veøejnì). Pominuli-li jsme v pøedchozím odstavci diskusní skupiny, bylo to pøedevším proto, že archivy mnoha z nich jsou zároveò pøístupné na webu. Pokud by se ukázalo, že je dùležité vytváøet jejich archiv, nabízí se k tomu standardní prostøedek instalace news serveru, který bude zrcadlit èeské diskusní skupiny a bude si udržovat celou jejich historii. Podobnì jako v pøípadì protokolù bychom mohli jednotlivé dokumenty hodnotit i co do použitého formátu. Tabulka 1 a z ní odvozené grafy 1 a 2 ukazují, jak jsou v archivu zastoupeny jednotlivé formáty souborù. Je vidìt, že trojice formátù html, jpg a gif tvoøí dohromady 96,8 % všech archivovaných souborù, aèkoli co do velikosti zaujímají jen polovinu celkového objemu uložených dat. Pokud tedy dokážeme odpovìdnì urèit, které ze vzácnì se vyskytujících formátù nemá smysl z rùzných dùvodù archivovat, mùžeme snadno ušetøit až tøetinu objemu ukládacího prostoru, což mùže snadno pøedstavovat úsporu statisícových èástek. Prostorový a èasový rozsah Dosavadní zkušenosti ukazují, že z hlediska dlouhodobé konzervace nejvýznamnìjší èást dokumentù je dostupná pøes protokoly http a ftp a je uložena pøedevším v souborech formátù html, jpg a gif. Pøes protokol ftp je však mimo jiné zpøístupnìno i obrovské množství zrcad- Tabulka 1: Zastoupení souborù v archivu podle formátù poèet poèet prùmìrná celková celková souborù souborù velikost velikost velikost souboru souborù [tis.] [%] [kb] [GB] [%] html dokumenty ,15 16,75 65,39 28,40 obrázky jpg ,43 27,09 44,42 19,29 obrázky gif ,24 7,60 7,26 3,15 jiné textové dokumenty 96 1,36 318,79 29,08 12,63 aplikace a data aplikací 78 1,11 599,18 44,74 19,43 jiné obrazové formáty 25 0,35 114,46 2,70 1,17 zvukové soubory 21 0, ,90 21,94 9,53 video soubory 4 0, ,34 14,70 6,38 celkem ,00 34,31 230,23 100,00 NÁRODNÍ KNIHOVNA, 13, 2002, è

3 Graf 1: Relativní èetnost souborù v archivu podle typù lených zahranièních archivù. Proto je vhodné sklízení v pøípadì protokolu ftp zamìøit jen na relevantní dokumenty, tedy dokumenty pøímo odkazované ze stránek pøístupných pøes protokol http. Dalším kritériem, které mùže velmi významnì ovlivnit objem a kvalitu archivu, je pak stanovení rozsahu archivace. Jak již bylo uvedeno, je pøedmìtem zájmu projektu Webarchiv archivace online publikované èásti národního kulturního bohatství, tedy, zjednodušenì øeèeno, èeský web (a už je definován jakkoli). V ideálním pøípadì by mìl být výsledkem projektu archiv obsahující vše, co kdy bylo v rámci èeského webu publikováno. Je ale zøejmé, že takový archiv by byl prakticky nerealizovatelný. Je proto nutné stanovit taková kritéria, která by umožnila zachytit v daném èasovém úseku to nejvýznamnìjší, co èeský web nabízí. Na jedné stranì je možné pokusit se s delším èasovým odstupem vytváøet co nejúplnìjší a rozsahem co nejpodrobnìjší èasové snímky celého èeského webu, na stranì druhé pak budovat pravidelnì (v pøípadì potøeby i každý den) doplòovaný archiv zrcadlící vybranou skupinu zdrojù. Místo hledání kompromisu mezi tìmito dvìma pøístupy jde øešitelský tým zároveò jak cestou extenzivní, tak i intenzivní. Z uvedeného seznamu je patrné, že již na poèátku stanovená velká zájmová oblast by se tímto zpùsobem dala zvìtšovat témìø neomezenì. Je také vidìt, že se stoupajícím poøadím podmínek stoupá jak nároènost nalezení všech dokumentù podmínku splòujících, tak i nároènost prokázání, že nalezený dokument danou podmínku splòuje. Už získání údajù o rozsahu domény.cz (pøípad 1) není triviální. Správce domény nejvyšší úrovnì.cz, sdružení CZNIC ( sice na svých stránkách zveøejòuje pøehledové statistiky (z tìch plyne, že celkový poèet registrovaných domén druhé úrovnì se nyní pohybuje okolo ) a zpøístupòuje detaily o jednotlivých doménách, ale kompletní seznam domén druhé úrovnì nezveøejòuje. Naštìstí je zatím možné tento seznam standardní cestou získávat z jednoho ze zahranièních sekundárních jmenných serverù pro doménu.cz a bude tak možné zkoumat, nakolik úèinná je druhá cesta vedoucí k získání tìchto údajù, používaná všemi webovými roboty, tedy i Nedlib Harvesterem. Tato metoda je založena na extrakci odkazù vedoucích k dalším dokumentùm bìhem postupného procházení všech webových stránek, splòujících zadaná kritéria. Celkový poèet tímto zpùsobem nalezených domén druhé úrovnì již pøekroèil hranici Ve 2. pøípadì je situace ještì složitìjší: v ideálním pøípadì by bylo nutné získat a analyzovat kompletní seznamy domén nejvyšší úrovnì a pak postupovat stejným zpùsobem jako finský tým, který analyzoval adresy a telefonní èísla vlastníkù jednotlivých domén a automaticky rozšíøil databázi adres pro sklízení o adresy, patøící finským vlastníkùm. Aby bylo možno tyto postupy realizovat, je nutno nejprve stanovit, jaký je vlastnì rozsah èeského webu. Aèkoli jej mùžeme zjednodušenì definovat jako 1) všechny dokumenty, publikované v doménì.cz, je zøejmé, že toto kritérium nemùže pokrýt celou èeskou online produkci. Proto by bylo vhodné tento rozsah rozšíøit o mnoho dalších, vzájemnì se prolínajících kategorií: 2) dokumenty v doménách druhé úrovnì, registrovaných na subjekt se sídlem v Èeské republice 3) dokumenty publikované na serverech fyzicky umístìných v ÈR 4) dokumenty v èeském jazyce 5) dokumenty èeských autorù 6) dokumenty se vztahem k Èesku. Graf 2: Zastoupení hlavních typù souborù a archivù podle velikosti 170 NÁRODNÍ KNIHOVNA, 13, 2002, è. 3

4 Obdobnì ve 3. pøípadì je možné se pokusit zjistit co nejpøesnìji rozsahy IP adres používaných našimi primárními poskytovateli pøipojení (tj. èleny sdružení Neutral Internet exchange, O tyto adresy pak bude obohacena databáze povolených adres. Tím zajistíme, že pøi sklizni nebudou vynechány ty servery, na které není odkazováno jménem, ale jen IP adresou. Teoreticky bychom sice mohli i aktivnì skenovat tyto rozsahy IP adres a hledat tak spuštìné www servery, není ale pravdìpodobné, že by takto nalezené neregistrované servery obsahovaly hodnotné informace. Ve 4. pøípadì je situace složitìjší: procházení celosvìtového webu s cílem najít stránky v èeském jazyce je sice technicky realizovatelné, zároveò však neefektivní. Je ale možné, že v budoucnu pùjde tento problém alespoò èásteènì vyøešit ve spolupráci s dalšími institucemi zabývajícími se touto problematikou tak, že všechny dokumenty stažené danou národní institucí budou podrobeny automatické analýze pro rozpoznání jazyka a odkazy na nalezené stránky v cizím jazyce by byly pøedány pøíslušné národní instituci. Na rozdíl od výše uvedených bodù by v pøípadech 5 a 6 bylo velmi obtížné, ne-li nemožné, automaticky rozhodnout, zda daný dokument spadá do zájmové oblasti. Zde bude záležet pøedevším na knihovnících nebo na vydavatelích samotných, zda takový server nebo dokument zaregistrují. Prostøedky pro takovou registraci budou pøipraveny ještì bìhem letošního léta. Pøedpokládáme proto, že rozšiøování oblasti zájmu mimo doménu.cz bude probíhat pomalu, spíše po jednotlivých serverech, nebo pouze jednotlivých dokumentech. Urèitým usnadnìním a urychlením tohoto procesu by snad mohla být analýza tìch dokumentù uložených mimo doménu.cz, na které vedou odkazy z této domény. Zde by se mohlo efektivnì uplatnit i automatické rozpoznání jazyka dokumentu. Stanovili-li jsme si tedy alespoò pøibližnì rozsah èeského webu, mùžeme v jeho rámci zaèít hledat takovou podmnožinu zdrojù, kterou by bylo vhodné archivovat v co nejvìtší úplnosti, a tedy i co nejèastìji. Zde už nevystaèíme s èistì technickým øešením, tuto podmnožinu, která bude zároveò kandidátem na zaøazení do národní bibliografie, budou muset vytipovávat lidé k tomu urèení. V souèasné dobì se nabízí nìkolik zpùsobù, jak tuto èinnost zajiš ovat; nejperspektivnìjším z nich by mohlo být využití potenciálu projektu Jednotné informaèní brány CASLIN (octopus.ruk.cuni.cz). Jedním z výstupù tohoto projektu totiž je prùbìžnì aktualizovaný pøedmìtovì èlenìný informaèní portál online elektronických zdrojù. Správa jednotlivých oborù tohoto portálu bude svìøena vždy té knihovnì, která má v daném oboru nejvìtší zkušenosti. Díky tomu lze oèekávat, že každý obor bude v portálu reprezentován nejvýznamnìjšími informaèními zdroji, které se tak zároveò stanou, pokud splní další kritéria, souèástí národní bibliografie. Je zøejmé, že takto pojatý systém mùže mnoho serverù z národní bibliografie vylouèit, na druhou stranu je nutno mít na zøeteli to, že každý zdroj zahrnutý do skupiny pro intenzivní sklízení s sebou nese nemalý díl kvalifikované lidské práce spojené s jeho zpracováním a pøípadnì analytickým popisem. Finanèní nároènost mùže být v takovém pøípadì samozøejmì snížena, dojde-li k nìjaké formì dohody s pøíslušným vydavatelem. Vliv technického øešení na rozsah a prùbìh skliznì Volbou nejvhodnìjšího nástroje pro plošnou archivaci webu se v souèasné dobì zabývá nìkolik projektù v rùzných evropských zemích, za všechny lze zmínit testování v Rakousku nebo v Dánsku ( U nás používaný produkt, NEDLIB Harvester [6], v tìchto srovnávacích testech rozhodnì nezaostává a potvrzuje se tak, že byl v pilotní fázi projektu zvolen pro archivaci èeského webu zcela oprávnìnì. Jako každý správný program, i Harvester je samozøejmì do znaèné míry konfigurovatelný. Vedle seznamu výchozích webových stránek a omezení rozsahu skliznì pomocí URL nebo jejich èástí lze nastavit i øadu dalších parametrù. Mezi nì patøí pøedevším povolení nebo zakázání podpory protokolu ftp, logování zamítnutých URL, akceptování omezení pro roboty na jednotlivých serverech (robots.txt), podpora URL s parametrem, nebo maximální hloubka zanoøení v rámci jednoho serveru. Zvláštì poslední dva parametry mohou velmi významnì ovlivnit rozsah a kvalitu skliznì. Podpora URL s parametry umožòuje omezit sklízení jen na ta URL, která neobsahují znak?, jenž v URL uvozuje seznam parametrù. Díky tomu lze sice do znaèné míry zabránit problémùm spojeným s nekoneènými smyèkami pøi procházení serverù, na druhé stranì se tak ale nepøíjemnì omezuje rozsah skliznì. Jako typický pøíklad lze uvést server root.cz, jehož jedinou stránkou, na kterou se dá dostat pomocí URL bez parametru, je jeho hlavní stránka. Protože podobnì funguje vìtšina elektronických periodik, vyøadili bychom ignorováním URL s parametry právì ty zdroje, které jsou z hlediska našeho kulturního dìdictví nejcennìjší. K zabránìní vzniku nekoneèných smyèek, kdy harvester donekoneèna prochází automaticky generované stránky na nìjakém serveru jen proto, že naráží na stále další dynamicky generovaná URL ukazující ve skuteènosti na stále stejný cíl, slouží právì parametr maximální hloubka zanoøení. Ten je nyní nastaven na 50 krokù a umožòuje tak sklízet bez problémù velkou vìtšinu toho, co èeský web nabízí. Je ale pravdìpodobné, že mnohé dynamicky generované stránky se v archivu vyskytnou nìkolikrát jen proto, že se navzájem nepatrnì liší. Typickým pøíkladem jsou zde opìt webové stránky knihovního systému Aleph, které obsahují ve svém URL i ve všech dalších odkazech dynamicky generovaný identifikátor sezení (session-id), takže URL mùže vypadat napøíklad takto: SEA4VNNM1KV97Q5T78FFN22M3ENFSHSUDS 66S /file/start-0. Pokud se harvester na takovouto stránku vrátí s èasovým odstupem delším než nìkolik minut, pùvodní sezení je už na stranì Alephu uzavøeno a je vygenerován nový identifikátor ve formì nového URL. To je pak opìt navštíveno s delším èasovým odstupem a opakovanì archivo- NÁRODNÍ KNIHOVNA, 13, 2002, è

5 váno. Tento cyklus se opakuje tak dlouho, dokud není vyèerpán povolený poèet zanoøení. Až podrobnou analýzou výsledkù skliznì ale bude možné rozhodnout, jak èasté takové pøípady jsou a jak se pøed nimi bránit nejen v tomto, ale i v dalších podobných pøípadech. Zde je však nutno poznamenat, že k podobným problémùm dochází pouze v pøípadì, že správce daného serveru ve vlastním zájmu v souboru robots.txt nezakáže všem robotùm pøístup na inkriminovaná URL. Web Národní knihovny je jedním z tìch, na kterých bude možné po skonèení skliznì ovìøit kvalitu algoritmù harvesteru. Tento web je totiž dostateènì rozmanitý na to, aby se na nìm vyskytovala vìtšina dnes bìžnì používaných webových technologií, zároveò je ale tak malý, že bude snadné porovnat jeho skuteèný rozsah s tím, co sklidil harvester. Již nyní je ale zøejmé, že pøi sklízení webu Národní knihovny harvester mnoho dùležitých informací vùbec nenašel, protože byly skryty za rùznými druhy prohledávacích rozhraní jako pøíklad mùžeme jmenovat naskenované lístkové katalogy, obsah databází Alephu a další. Je samozøejmé, že a už je pro archivaci zvolen jakýkoli produkt, je jím vytvoøený archiv poplatný jeho limitùm. Ani NEDLIB Harvester není v tomto smìru samozøejmì výjimkou, a tak existuje nìkolik prozatím nepøekroèitelných omezení. Tím nejvýraznìjším omezením Harvesteru je absence podpory javascriptu. Dùsledkem tohoto stavu je to, že v archivu zcela chybìjí ty stránky, na nìž vedou jen odkazy generované javascriptem až v prohlížeèi (typickým pøíkladem takových odkazù jsou odkazy do archivu Neviditelného psa). Zatím ménì bolestivým nedostatkem stejného charakteru je absence podpory prezentací ve formátu flash. Tabulka 2: Nejrozsáhlejší domény v archivu název domény poèet celková prùmìrná poøadí poøadí 2. úrovnì souborù velikost velikost podle podle zamìøení domény souborù souboru poètu celkové [MB] [kb] souborù velikosti 3web , Nixnet - webhosting aktualne , Webzdarma - webhosting atlas , Atlas - portál, webhosting borec , Webzdarma - webhosting cas , akademie vìd compaqplus , firemní stránky cpress , vydavatelství, portál cuni , vysoká škola cvut ,2 7 1 vysová škola d , Nixnet - webhosting datasys , firemní stránky euweb , Webzdarma - webhosting fbi , S4U - webhosting freemusic , hudba gamesweb ,4 6 3 Zoner - hry gamez , NetCentrum hry. ISSN gamezone , Quick - hry hyperlink ,5 3 6 Cpress - webhosting hyperlinx , Cpress - webhosting idnes , Dnes - zpravodajství ihned , HN - zpravodajství. ISSN jrc , firemní stránky - hry kgb , S4U - webhosting linux , linux misto , Reflektor - webhosting mp3records , hudba mp3shop , hudba 172 NÁRODNÍ KNIHOVNA, 13, 2002, è. 3

6 Dlouhodobé uchování zdrojù Velikost Harvesterem tvoøeného archivu mùže snadno dosáhnout obrovských rozmìrù: jedno kolo stahování pøedstavuje v našich podmínkách stovky GB a mùže pøekroèit i hranici 1TB. Archiv s tak velkým potenciálem rùstu není samozøejmì snadné ani levné provozovat. Aèmuni , vysoká škola mysteria , Webzdarma - webhosting nhlpro , sport quick , Quick - webhosting senat , státní instituce sumanet , firemní stránky techno , hudba. ISSN tiscali , Tiscali - portál, webhosting unas , Webzdarma - webhosting vfu , vysoká škola volny , Volny - portál, webhosting vse , vysoká škola vutbr , vysoká škola web , Nixnet - webhosting webpark ,3 2 4 NetCentrum - webhosting webz , Webzdarma - webhosting webzdarma ,4 4 7 Webzdarma - webhosting worldonline , Tiscali - webhosting wz ,5 1 2 Webzdarma - webhosting xko , diskusní fóra xpoint , Cpress - diskusní fóra zpravodaj , Aliaweb - webhosting výbìr celkem ,3 Další nepøíjemné omezení není dáno ani tak vlastnostmi softwaru, jako výkonem nyní používaného hardwaru. Aèkoli je nyní Harvester pøipojen k Internetu rychlostí 100 Mbit/s a mohl by tedy teoreticky za den stáhnout øádovì stovky GB dat, server, na kterém je nyní provozován, dovoluje stahovat jen asi 6 GB dat dennì. Tento problém bude možné odstranit až poøízením nového serveru v prùbìhu druhého pololetí letošního roku. Protože zde pøichází v úvahu nìkolik hardwarových platforem (pøedevším PC server/linux a Sun/Solaris), probìhnou bìhem léta zátìžové testy uvažovaných serverù, které by mìly bìhem nìkolikadenního sklízení ukázat jejich silné i slabé stránky. Jakmile bude vybraný server napevno nainstalován, bude na nìj pøenesen provoz harvesteru provádìjícího aktuální sklizeò a pùvodní server tak bude uvolnìn pro vývoj a testování. Výsledky dosavadního sklízení V úvodu zmínìná a v dobì psaní tohoto èlánku (èervenec 2002) již tøetí mìsíc bìžící sklizeò celé domény.cz by mìla ukázat mimo jiné i to, jaký je skuteèný rozsah èeského viditelného webu. Výchozími body pro tuto sklizeò byly pøedevším hlavní stránky internetových portálù seznam.cz a quick.cz. Pøes výše zmínìné problémy se do konce èervence 2002 podaøilo stáhnout souborù o celkové velikosti pøes 241 GB. Tabulka 2 pak ukazuje 50 domén druhé úrovnì, které byly k na prvních 35 místech buï podle celkového poètu z nich stažených souborù, nebo podle jejich celkové velikosti. Tato necelá 2 promile poètu doposud alespoò jednou navštívených domén 2. úrovnì tak nyní pøedstavují pøibližnì ètvrtinu objemu dosavadní skliznì. Tato tabulka také naznaèuje, jaké informaèní bohatství èeský web skrývá: mezi tìmito padesáti nejvìtšími doménami, zastupujícími z velké èásti webhostingové firmy, najdeme 3 servery, kterým bylo pøidìleno ISSN, 6 univerzit, 1 univerzitou provozovaný specializovaný server (linux.cz), Èeskou akademii vìd a nìkolik zpravodajských a vydavatelských serverù. Pro zajímavost: doména nkp.cz je nyní s 5680 soubory a 130 MB na 92. místì podle poètu souborù, resp. na 234. místì podle jejich objemu, a proto je z tohoto hlediska škoda, že se nìkteré aktivity NK prezentují mimo tuto doménu. NÁRODNÍ KNIHOVNA, 13, 2002, è

7 koli v souèasné dobì již jsou na trhu za nízkou cenu pevné disky o kapacitách více než 100 GB, infrastruktura archivu se musí opírat o robustní a dlouhodobì perspektivní øešení. Toto øešení musí brát v potaz nejen problémy technické, ale i finanèní a personální a musí být z provozního hlediska i dlouhodobì únosné. Nejde tedy jen o to, uložit nìkam jednorázovì 1TB dat, ale o to, aby byla tato data trvale online pøístupná, aby byla zajištìna prùbìžná rozšiøitelnost archivu, zálohování dat a v neposlední øadì i jeho správa a údržba. V pilotní fázi projektu bylo s výhodou využito toho, že takové zaøízení již v NK existuje a je jím páskový robot, který hostí i data z mnoha dalších, pøedevším digitalizaèních projektù. Výhodou páskového robota v pilotní fázi projektu byla pøedevším jeho rozšiøitelnost dokoupením relativnì levných pásek bylo možné rozšíøit jeho kapacitu tak, aby robot pojmul všechna data získaná Harvesterem. V letošním roce již nebude další rozšiøování jeho kapacity tak levné, protože již byla vyèerpána licencí pokrytá kapacita robota a mimo další pásky bude nutné zaplatit i rozšíøení licence. Zde se však ukazuje výhoda využívání jednoho zaøízení více projekty a aktivitami v rámci NK, protože sdružením finanèních prostøedkù se daøí dosáhnout celkovì výhodnìjších cen od dodavatelù. Další výhodou páskového robota je bezpeènost na nìm uložených dat, která je zajištìna vysokou mírou redundance každý dokument je uložen na tøech rùzných páskách. Relativnì rychlou dostupnost jak pro zápis, tak pro ètení pak zajiš uje pøedøazené diskové pole, které funguje jako cache pamì pro souborový systém robota. Vzhledem k velkému objemu ukládaných dat nejsou archivované dokumenty ukládány do žádné databáze, ale pøímo do souborového systému robota. Dalším dùvodem podporujícím toto øešení je i usnadnìní budoucí migrace archivu na nové platformy je nutné si uvìdomit, že budovaný archiv by mìl být trvale dostupný i ve vzdálené budoucnosti, kdy už souèasný hardware beznadìjnì zastará. Protože se žádný souborový systém nedokáže rozumnì vypoøádat s velkým množstvím malých dokumentù, jsou novì získané dokumenty pøed uložením do archivu spojovány programem tar do balíkù po dvou tisících a poté jsou ještì komprimovány programem gzip. Spolu s každým dokumentem jsou do balíku uložena v samostatném souboru i metadata popisující jeho vlastnosti, okolnosti jeho stažení a v pøípadì html dokumentu i všechna metadata, která v nìm byla obsažena. Prùmìrná velikost jednoho takového balíku dat je 56 MB, díky kompresi se ušetøí pøibližnì 15 % prostoru relativnì nízká úroveò komprese je dána pøevahou komprimovaných formátù souborù uložených v archivu. Velký poèet souborù v balíku sice mùže pùsobit problémy pøi zpøístupnìní archivu, na druhou stranu se s takto vybudovaným archivem lépe manipuluje. Lze pøedpokládat, že po hardwarové stránce nebude dlouhodobé uchování archivu obtížné. Rùst kapacity pamì ových médií pøi souèasném poklesu cen dává nadìji, že celková cena provozu archivu se nebude zvyšovat. Díky již zmínìnému ukládání dat do souborového systému by nemìl být problém ani s migrací dat, která bude provádìna prostým zkopírováním na nové médium. Formáty tar a gzip jsou dostateènì zdokumentované a programy pro práci s nimi dostupné vèetnì zdrojového kódu pro každý existující operaèní systém, není tedy pochyb o tom, že archivované dokumenty zùstanou trvale pøístupné. Vìtším oøíškem samozøejmì budou samotné archivované soubory. Je sice pravdìpodobné, že nejrozšíøenìjšími formáty zùstanou formáty dlouhodobì interpretovatelné (html, txt, gif, jpg), lze ale mít oprávnìné pochybnosti o všech proprietárních formátech, pøedevším tìch, které nejsou tak rozšíøeny jako napøíklad formáty firem Adobe nebo Microsoft. I u formátù Microsoftu je však zárukou jejich interpretovatelnosti spíše dostupnost alternativních programù s otevøeným kódem, které umìjí s tìmito formáty pracovat (OpenOffice), než podpora ze strany Microsoftu. Otázka, zda v budoucnosti takové formáty konvertovat, nebo zda jít cestou emulace [7], však zatím zùstává otevøená. A už bude v budoucnosti vývoj tohoto archivu jakýkoli, lze øíci, že využitím NEDLIB Harvesteru získala Národní knihovna vhodný nástroj pro tvorbu konzervaèního archivu èeského webu. Bibliografická správa a zpøístupnìní zdrojù Vytvoøení takového archivu je sice dùležitým, ale zároveò jen prvním krokem na cestì k naplnìní jeho smyslu, tedy ke zpøístupnìní jeho obsahu. Prvním krokem pøi zpøístupòování archivu musí samozøejmì být alespoò rámcové stanovení použitých postupù, s nimi spojených pracovních procesù a jejich rozsahu. Je zøejmé, že ani spoleèným úsilím všech èeských knihoven nebude nikdy možné zkatalogizovat celý archiv èeského webu tento úkol bude nutné pøenechat strojùm. Pøes znaèný pokrok v oblasti poèítaèového porozumìní pøirozenému jazyku v posledních letech bude pravdìpodobnì ještì øadu let trvat, než bude možné zaèít uvažovat o nasazení plnì automatizovaného nástroje pro bibliografický popis archivovaných dokumentù. Fulltext Pro zpøístupnìní archivu nám tak zùstávají technologie fulltextového indexování a automatizované extrakce autorem vytvoøených metadat. Koncem roku 2001 byl na MFF UK vypsán roèníkový týmový vývojový projekt na vytvoøení indexaèní a vyhledávací aplikace pro Webarchiv. Tato aplikace by mìla zpøístupnit stažené dokumenty v jejich kontextu, tedy s vloženou grafikou ze stejné doby a s odkazy vedoucími primárnì opìt do archivu. Vyhledávání v archivu by mìlo být umožnìno nejen na základì URL nebo kontrolního souètu dokumentu, ale i na základì z dokumentu extrahovaných metadat nebo fulltextového vyhledávání. Tato aplikace by mìla být navržena tak, aby bylo možné k ní kdykoli pøipojit moduly pro indexování jiných, než textových typù souborù. Jakkoli se to mùže zdát na první pohled nereálné, nástroje tohoto typu již existují a jeden z nich, Convera Retrievalware, je dokonce v NK zkušebnì provozován. Jedním z dalších cílù 174 NÁRODNÍ KNIHOVNA, 13, 2002, è. 3

8 projektu bude proto pokus o jeho využití pro indexování nìkterých typù souborù obsažených v archivu. Zda bude nìkterá z tìchto technologií nasazena v reálném provozu, bude samozøejmì záviset i na døíve zmínìných legislativních otázkách. Je totiž zøejmé, že stávající hardwarová platforma je pro ostrý provoz takového nástroje nevyhovující. To je dáno jednak nemožností soubìhu harvestingu a indexace na jednom serveru, kapacitní problémy se ovšem týkají celé nyní používané hardwarové infrastruktury. Pokud bychom se totiž napøíklad rozhodli využít pro fulltextové indexování nástroj Retrievalware, bude nutné pro každých 100 GB textových souborù mít k dispozici 150GB diskového prostoru pro tvorbu indexù, resp. 70 GB pro jejich uložení. Pokud navíc bude potøeba zpøístupnit archiv více než jednomu souèasnému uživateli, bude pravdìpodobnì nutné výraznì zmìnit dosavadní systém uložení dat. Páskový robot by pak bylo možné využívat jen jako zálohovací zaøízení, protože by nebyl schopen rychlé odezvy na vìtší poèet paralelnì pøicházejících požadavkù. Dalším problémem by se pak mohlo stát samo uložení souborù do velkých komprimovaných balíkù. Pokud se pak takový desítky megabajtù velký balík musí dekomprimovat kvùli získání nìkolikabajtového obrázku, zaène být i zde rychlost odezvy na pováženou, i když balík je již uložen na disku. Je proto možné, že v budoucnosti bude nutné hledat kompromisní øešení cestou snížení poètu souborù v balíku pøinejmenším na desetinu, nebo bude nutné zcela oddìlit podobu archivu na páskovém robotu od podoby na rychlejším médiu, ke které by mìly pøístup programy zpøístupòující archiv uživatelùm. Je vidìt, že požadavek na zpøístupnìní celého archivu s sebou pøináší nutnost investovat každým rokem èástku v øádu nejménì statisícù do hardwarového vybavení a další velké èástky do softwaru a lidských zdrojù (vývoj, správa apod.). Do doby, než budou takové finanèní èástky dostupné, bude nutné se snažit najít ménì nákladná øešení, která by zpøístupnila alespoò to nejdùležitìjší, co archiv nabízí. Metadata Jedním z takových øešení je využití faktu, že nìkteøí autoøi a vydavatelé mají zájem nebo jsou ochotni vkládat do publikovaných dokumentù metadata daný dokument popisující. Nejrozšíøenìjším standardem na tomto poli, pomineme-li obecná klíèová slova, jsou metadata standardu Dublin Core ( Proto byla již v rámci pilotního projektu vybudována infrastruktura zamìøená na podporu využívání metadat DC u nás. Tato infrastruktura by mìla usnadnit zapojení autorù a vydavatelù do procesu tvorby a zveøejòování metadat již v okamžiku publikování dokumentu. Nejdùležitìjší èástí této intrastruktury je Dublin Core Metadata Generator. Tento nástroj, veøejnì pøístupný na serveru projektu ( umožòuje autorùm webových stránek poloautomaticky nebo ruènì vytvoøit, editovat, konvertovat a ve zvolené syntaxi uložit metadata respektující pravidla kvalifikovaného Dublin Core (ta byla v rámci pilotního projektu pøeložena do èeštiny a zveøejnìna na èeských stránkách iniciativy Dublin Core). Dublin Core Metadata Generator byl pùvodnì spoleènì s dalšími nástroji pøevzat s minimálními úpravami od Helsinské univerzitní knihovny, která jej vyvinula v rámci projektù Nordic Metadata I a II ( meta/). Na základì výsledkù zkušebního provozu byl program postupnì upravován až do dnešní podoby. Významným pokrokem zde bylo napøíklad zavedení podpory extrakce externì uložených metadat ve formátu RDF/XML. Výstupní formát HTML byl upraven tak, aby vygenerovaná metadata byla kompatibilní s XHTML 1.0, zatímco výstup generovaný ve formátu XML/RDF byl zpøehlednìn a byla aktualizována použitá syntaxe. I samotný formuláø pro vkládání metadat doznal urèitých zmìn, z nichž nejvýznamnìjší je volba kvalifikátorù prvku Subject tak, aby odpovídaly u nás používaným systémùm vìcného tøídìní, a také doplnìní funkce automatického vložení jedineèného èísla národní bibliografie ve formátu URN pøímo do pole Identifier, pokud bylo toto pole pøedtím prázdné. To zajiš uje uživateli vìtší pohodlí a výraznì zmenšuje riziko chyb hrozících jinak pøi kopírování nebo pøepisu identifikátoru. Doufáme, že právì cesta získávání URN autory dokumentù bìhem tvorby metadat popisujících tyto dokumenty v budoucnosti uèiní používání samostatného formuláøe pro pøidìlování URN zbyteèným. Zmínìné pøidìlení jednoznaèného identifikátoru je umožnìno propojením Dublin Core generátoru s generátorem URN. Ten byl nejprve jen lokalizován, ale právì kvùli propojení s DC generátorem musel být pozdìji mírnì upraven. Již nyní se ale chystá úprava systému pøidìlování URN tak, aby program pøidìlující URN fungoval jako samostatný URN server, pøièemž budou zveøejnìny funkce pro získání URN v èasto používaných programovacích jazycích, což umožní snadnou integraci této funkce pøímo do publikaèních systémù vydavatelù online zdrojù. Díky tomu by se pøidìlování URN mìlo stát zcela automatickým procesem. Øadu pomùcek dostupných na serveru Webarchivu doplnil i kalkulátor MD5. Ten umožòuje spoèítat kontrolní souèet MD5 zadaného textového øetìzce. Pokud je tímto øetìzcem platné URL nìjakého dokumentu, mùže kalkulátor tento dokument stáhnout a spoèítat jeho kontrolní souèet. Protože jsou tyto kontrolní souèty používány pro identifikaci dokumentù archivovaných Harvesterem, je jedna z možností využití Kalkulátoru zøejmá: mùže sloužit jako pomùcka pøi analýze práce Harvesteru i pøi zkoumání archivu samotného. Národní bibliografie Pokud bychom z archivu vydìlili ty dokumenty, ke kterým existuje metadatový popis podle standardu Dublin Core, mohli bychom na jejich základì vybudovat menší bibliografickou databázi obsahující pøípadnì i plné texty dokumentù. Ani zde by nebylo nutné provádìt vývoj na zelené louce, protože pøesnì taková databáze je již v NK NÁRODNÍ KNIHOVNA, 13, 2002, è

9 v oddìlení analytického popisu provozována (full.nkp.cz) a aplikace, která za touto databází stojí, by se urèitì dala upravit tak, aby byla schopna pøijímat dokumenty pøedávané automaticky z WebArchivu. Ani takto získané záznamy se však nemohou bez vyhodnocení obsahu primárního dokumentu a podrobnìjšího zpracování stát souèástí Èeské národní bibliografie. Právì takovou skupinou dokumentù by ale mohly být dokumenty získané cestou intenzivního sklízení. Jak jsme si již øekli, jde o dokumenty ze zdrojù vytipovaných samotnými knihovníky pøi tvorbì pøedmìtového portálu Jednotné informaèní brány CASLIN. Tyto zdroje, kterých by mìly být øádovì desítky, nejvýše pak stovky, by mohly být øádnì zkatalogizovány ve formátu MARC, na což by pøípadnì mohlo navázat kooperativní analytické zpracování vybraných èlánkù, opìt standardním zpùsobem v tomtéž formátu. Pomocí od vydavatele by zde samozøejmì mohlo opìt být vložení metadat pøímo do zdrojového textu èlánku. Závìr Aèkoli je díky vytvoøené infrastruktuøe již nyní možné udìlat mnohé pro zachování dnešních informaèních zdrojù pro budoucí generace, vývoj této infrastruktury, stejnì jako vývoj v podstatì všech softwarových produktù, nemùže být nikdy zcela ukonèen. Zde nejde jen o hledisko potøeb uživatele nebo provozovatele, ale i o hledisko technického vývoje, mezinárodní spolupráce nebo problematiku legislativní. S tím, jak bude stoupat podíl èistì elektronické produkce, bude rùst i význam její dlouhodobé archivace z hlediska ochrany národního kulturního dìdictví. Mezinárodní spolupráce Je patrné, že práce na poli zpøístupnìní archivu budou dlouhodobou záležitostí, která si vyžádá nemalé prostøedky. Jednou z cest, jak tyto prostøedky získat, je spolupráce na mezinárodní úrovni, která se velmi osvìdèila již bìhem øešení pilotního projektu. Spolupráce s Helsinskou univerzitní knihovnou, která zapoèala pøevzetím nástrojù vyvinutých jejími pracovníky (NEDLIB Harvester, Dublin Core Metadata Generator, URN Generator), pokraèovala dále spoluprací na jejich dalším vývoji všechny opravy a úpravy, které byly v prùbìhu øešení projektu na pøevzatých programech provedeny, byly poskytnuty i finskému týmu, který se zamìøil pøedevším na další vývoj Harvesteru. Dalším souvisejícím krokem na poli mezinárodní spolupráce bylo pak navázání kontaktù s týmem Technické univerzity ve Vídni, øešícím problematiku archivace rakouského webu ve spolupráci s Rakouskou národní knihovnou. Díky navázání tìchto kontaktù se pak NK spoleènì s Masarykovou univerzitou a dalšími dvìma èeskými firmami mohla stát èlenem skupiny národních knihoven a dalších organizací z tøinácti evropských zemí, které spoleènì podaly Vyjádøení zájmu (Expression of Interest) o vypsání projektu s názvem Archiv evropského webu v rámci 6. rámcového programu Evropské unie. Cílem tohoto projektového zámìru je sjednotit roztøíštìné národní iniciativy jednotlivých evropských zemí a podpoøit tak vytvoøení distribuovaného archivu evropského webu, založeného na síti národních archivù jednotlivých zemí. Zámìr projektu je však mnohem ambicióznìjší než to, co bylo zatím možno dosáhnout v rámci ÈR. Jeho cílem je vytvoøit spoleèné postupy, doporuèení a položit základ jednotné infrastruktury v této oblasti. Bude-li tento zámìr akceptován, je pravdìpodobné, že již v pøíštím roce dojde v oblasti dlouhodobého uchování elektronických zdrojù k výraznému posunu jak v praktické, tak i v teoretické rovinì. Literatura: [1] Registrace, ochrana a zpøístupnìní domácích elektronických zdrojù v síti Internet : závìreèná zpráva za léta [online]. Praha : Národní knihovna ÈR, leden 2002, [cit ]. Dostupný na WWW: < zprava2001.pdf>. [2] CELBOVÁ, Ludmila. Stanou se online dostupné elektronické zdroje integrovanou souèástí digitálních knihoven? Národní knihovna, 2001, roè. 12, è. 2, s Dostupný též na WWW: < nk2_2001.pdf>. [3] ŽABIÈKA, Petr. Infrastruktura Webarchivu v roce In Inforum Praha : Albertina icome Praha, s.r.o., Dostupný na WWW: < [4] LIDMAN, Thomas. New Decree for Kulturarw3 [online]. Stockholm : The Royal Library, June 10, 2002, [cit ]. Dostupný na WWW: < _eng.htm>. [5] ŽABIÈKA, Petr. Nástroje pro tvorbu metadat Dublin Core. In Automatizace knihovnických procesù - 8. Praha : ÈVUT - Výpoèetní a informaèní centrum, 2001, s Dostupný též na WWW: < platan.vc.cvut.cz/akp/clanky/09.pdf>. ISBN [6] ŽABIÈKA, Petr. NEDLIB Harvester - technika skliznì informací. Ikaros. [online]. 2000, roè. 4, è. 10 [cit ]. Dostupný na WWW: < 2000/c10/harvest.htm>. ISSN [7] ROTHENBERG, Jeff. Using emulation to preserve digital documents. Hague : Koninklijke Bibliotheek, July s. Dostupné též na WWW: < konbib.nl/kb/pr/fonds/emulation/usingemulation. pdf>. ISBN NÁRODNÍ KNIHOVNA, 13, 2002, è. 3