historických dokumentů

Transkript

1 MASARYKOVA UNIVERZITA FAKULTA INFORMATIKY } w!"#$%&'()+,-./012345<y A Zpracování a zpřístupnění historických dokumentů Diplomová práce Petr Přidal Verze diplomové práce s opravami zanesenými po obhajobě Brno, 2007

2 Prohlášení Prohlašuji, že tato práce je mým původním autorským dílem, které jsem vypracoval samostatně. Všechny zdroje, prameny a literaturu, které jsem při vypracování používal nebo z nich čerpal, v práci řádně cituji s uvedením úplného odkazu na příslušný zdroj. Poděkování Petru Žabičkovi, vedoucímu diplomové práce, za dostatečnou volnost a zároveň upomínání, za odpovědi na četné otázky a za úžasný rozhled v knihovních technologiích. Velké díky náleží za pomoc se sazbou v systému TEX Ondřeji Koalovi Váchovi. Poděkování také zaslouží Gjermund Gusland Thorsen, můj obchodní partner z Norska, za tolerování upřednostnění této práce před zahraničními projekty. Rodině a přátelům za úžasnou podporu, bez nich by tato práce nemohla vzniknout.

3 Abstrakt Práce shrnuje oblast digitálního zpracování a zpřístupnění historických dokumentů (především starých map a vedut) z pohledu knihoven a archivů. Pro uvedené instituce je sestavena kolekce volně dostupného software (přiložena na DVD), která umožní digitalizované kopie historických dokumentů konvertovat, editovat, indexovat i zpřístupňovat. Dále jsou popsány standardy a datové formáty využívané během celého procesu digitalizace, katalogizace i zpřístupnění. Práce se věnuje i editaci a publikování opravdu rozměrných rastrových obrazů na PC. K publikování je využito především struktury programu Zoomify, která je v práci analyzována. Zvláštní důraz je kladen na možnosti prohledávání databáze historických dokumentů pomocí záznamů s georeferencí, především s využitím volně dostupného projektu Time- Map. Uvedeny jsou i nástroje pro georeferencování starých map, tisků a vedut a také možnosti uložení georeference v metadatech, především v knihovním bibliografickém záznamu. Pro publikování výsledků této práce byl zřízen web kde byly také vystaveny první staré mapy našeho území pro Google Earth. Klíčová slova Historické dokumenty, staré mapy, historické mapy, veduty, staré tisky, rukopisy, archivy, knihovny, digitální knihovny, Manuscriptorium, rozměrné bitmapy, color management, ICC, imageserver, mapserver, georeference, Zoomify, TimeMap, Nip2, VIPS, DjVu, MrSID, ArcGIS, ESRI, Shape Files, World Files, Python, JavaScript, AJAX, XML, Google Maps, Google Earth, KML, OpenGIS, GML, WMS, WFS, S-JTSK, S-42, WGS84

4 Obsah Úvod Digitalizace Účel digitalizace Parametry při digitalizaci Digitalizace externí firmou Digitalizace s vlastním zařízením Editace a formát uložení Běžné datové formáty Rozměrné předlohy a datové formáty Lepení digitalizovaných částí Metadata Metadata dokumentu v knihovním systému MASTER MASTER MARC DublinCore METS FGDC Georeference Jak georeferencovat? Nástroje pro georeferencování Georeference a metadata MASTER METS MARC DublinCore Kartografická projekce, geodetické systémy našeho území Datové formáty a standardy v GIS Nástroje pro editaci a konverzi geodat Zpřístupnění dokumentů Vystavení dokumentů on-line Zpřístupnění rozměrných rastrových obrazů v

5 5.1.4 Zpřístupnění georeferencovaných dokumentů Vyhledávání dokumentů s georeferencí Projekt TimeMap Google Maps a algoritmus s hodnocením Projekt TimeMap a historické fondy Moravské zemské knihovny Česká sídla pro TimeMap Česká sídla v databázi GeoNames.org Struktura dlaždic použitá v Zoomify ZoomifyJS JavaScript prohlížeč pro zoomify data ZoomifyKML Georeference zoomify dlaždic pro Google Earth a Google Maps Zoomify Downloader Slepení mapy pomocí Hugin a NIP Staré mapy ČR poprvé na Google Earth! Projekt DVD-Video s kolekcí software a dokumentace Závěr Literatura

6 Úvod Úvodní slovo Od nepaměti má člověk touhu zachycovat věci kolem sebe. Velcí mistři vytvářeli nádherná umělecká díla, kterým se obdivují celé generace ještě staletí po jejich vzniku, nachází v nich krásu a něco magického, zklidňujícího nebo i pobuřujícího. Je fascinující nechat se oslovit takovým příběhem umění a umu [1]. Tento příběh začíná někde v pravěku s dřevěným uhlíkem a pokračuje spolu s vývojem lidstva dál a dál. S úctou proto uchováváme výtvory našich předků a pečujeme o ně, abychom mohli i generacím po nás nabídnout tyto střípky minulosti ve stejné kráse, jako byly nabídnuty nám. Proto zřizujeme knihovny, archivy, muzea a další pamět ové instituce, aby vědění a krása historických děl nezmizela v kolotoči času. S příchodem celosvětové sítě Internet a výkonných počítačů máme najednou možnosti, o kterých se nám ještě před nedávnem ani nesnilo. V okamžiku můžeme vidět data uložená na druhé straně světa, prohledávat a porovnávat dokumenty dnešních dnů s dokumenty z minulosti, a to včetně jejich vzhledu, až do nejmenších detailů. Díky této, dnes již samozřejmé technologii se můžeme pokusit začít z těchto rozsypaných střípků minulosti rozházených po celém světě skládat libovolné mozaiky. Tato práce se snaží nabídnout nástroje a postupy pro počítačové zpracování a zpřístupnění historických dokumentů, tedy ukázat možnosti jak zpřístupnit veřejnosti dokumenty uložené v regálech a trezorech institucí a to efektivně a s pomocí moderních technologií. Zaměření práce Práce se především zaměřuje na fyzicky rozměrné historické dokumenty, jakými jsou staré mapy 1), veduty nebo nákresy. Primárním cílem je najít softwarové nástroje pro zpřístupnění Mollovy mapové sbírky, uved me zde citaci [2]: Sběratelskou činností Paula Bernarda Molla ( ), brunšvického vyslance u vídeňského dvora, vznikla do r jedinečná sbírka asi map (a archeologických kreseb, zčásti podvržených). Je rozdělena na dvě části, tzv. Atlas Austriacus (44 svazků) a Atlas Germanicus (24 svazků). Od r je pod názvem Mollova sbírka map uložena v Brně v Moravské Zemské knihovně. 1) Pro staré mapy se někdy používá označení historické mapy, což je ale kartografický termín pro současné mapy zobrazující stav v historii (příkladem historické mapy je mapa znázorňující hranice států za Habsburské monarchie vytištěná v současném školním atlase). 2

7 Úvod Rukopisy a staré tisky jsou v této diplomové práci zmíněné spíše okrajově. Liší se především tím, že mají charakter vícestránkových dokumentů a obvykle menší fyzický rozměr než mapy. Primárním cílem bylo najít zdarma dostupné softwarové nástroje (nejlépe nabízené i se zdrojovým kódem pod svobodnou licencí) a ukázat jak pomocí těchto nástrojů připravit zmíněné dokumenty až do podoby vhodné pro vystavení na síti Internet. Uvedené nástroje by také mělo být možné použít automatizovaně, tedy bez zásahu člověka, aby případné zpracování větší kolekce map a historických dokumentů nebylo příliš pracné a šlo využít skriptů a dávkového zpracování běžně dostupného na počítači. Softwarové nástroje, které používám, nejsou většinou nijak vázány na charakter dokumentu, mohou tedy být aplikovány i při digitálním zpracování a zpřístupnění jiných typů dat. Například software VIPS byl původně navržen pro editaci digitalizovaných obrazů v galeriích, jiné nástroje zase souvisejí s tvorbou panoramatických fotografií, další jsou použity při vystavení rozměrných snímků z mikroskopu, CT či dalších lékařských přístrojů 2). Obecně se tedy zabývám zpracováním rozměrných rastrových obrazů, zohledňuji ale také jejich geografický a historický charakter. Výsledky práce jsou také využity v rámci výzkumného záměru Historické fondy Moravské zemské knihovny v Brně, MK Navržené postupy a nástroje by ale měly být snadno použitelné i jinými institucemi. Projekty digitalizace v ČR Hlavními projekty digitalizace v České republice jsou programy VISK (veřejné informační služby knihoven) Ministerstva kultury a to především VISK 6 a VISK 7, do kterých je nemalou měrou zapojena Národní knihovna ČR. VISK 4 řeší kvalitní systém uložení a zpřístupnění digitálních dokumentů pro projekt Národní digitální knihovny viz Podrobnější informace o programech VISK viz Digitalizací dokumentů se zabývá Akademie věd, především v nově zřízeném středisku, kde proběhla záchrana fondů poškozených povodněmi, dále například Národní knihovna, která v prosinci loňského roku získala grant z finančních mechanismů EHP/Norska na digitalizaci bohemikálních monografíí 19. století, nebo také Městská knihovna v Praze, která obdobný projekt chystá. 2) Například Hypertextové atlasy dermatologie a patologie, Masarykova univerzita, 3

8 Úvod VISK 6 Memoriae Mundi Series Bohemica Projekt pod záštitou organizace UNESCO a jejího programu Memory of the World (Pamět světa) VISK 6 je hlavním zdrojem financí i pokroku digitalizace historických dokumentů (v současné době především středověkých rukopisů) na našem území. Hlavní částí tohoto projektu je digitální knihovna Manuscriptorium dostupná na adrese která je i souborným katalogem historických fondů, tj. rukopisů, prvotisků (tisky vydané do roku 1500), starých tisků i starých map vydaných do roku 1800 včetně. Manuscriptorium zpřístupňuje veřejnosti digitální kopie významných českých historických dokumentů, jako jsou např. Dalimilova kronika, Kosmova kronika, Rukopis královédvorský a zelenohorský, Jistebnický kancionál, spisy Jana Husa, Jana Ámose Komenského, Petra Chelčického a mnoho dalších dokumentů. Z informatického pohledu je systém bohužel uzavřený, není k němu k dispozici zdrojový kód, vytvářen je firmou AiP Beroun s.r.o. Digitalizovaná verze dokumentu obsahuje vodotisk a není dostupná na Internetu všem, ale jen partnerským a spolupracujícím institucím. Náhledy dokumentů jsou dostupné pro každého. Cena za plný přístup do systému naštěstí není závratná, pohybuje se pro instituce v řádu tisícikorun za rok. Pro školy všech stupňů koupilo MŠMT plošnou licenci více informací naleznete na adrese Postupně jsou zařazovány do systému Manuscriptorium také dokumenty z historických fondů Moravské zemské knihovny. VISK 7 Kramerius Národní program mikrofilmování a digitálního zpřístupňování dokumentů ohrožených degradací kyselého papíru. Digitalizovány jsou především periodika a monografie z 19. a 1. pol. 20. století. V rámci projektu je dostupná digitální knihovna Kramerius na adrese Kramerius byl vytvářen na zakázku Národní knihovny brněnskou firmou QBizm, komerční podporu pro něj nyní nabízí firma UniData. Zdrojový kód je dostupný pod svobodnou licencí. Systém této digitální knihovny je napsán v jazyce Java, využívá technologie Apache Tomcat a serveru PostgreSQL. Dokumenty jsou publikovány pomocí standardizovaného formátu DjVu. Veřejně dostupné jsou jen dokumenty nepodléhající ochranné lhůtě Autorského zákona. Všechny dokumenty jsou přístupné pouze v Národní knihovně ČR. Systém Kramerius je použit i v Digitální knihovně Akademie věd ČR ( 4

9 Úvod Digitalizované staré mapy českých zemí Z jiných zdrojů byly digitalizovány staré mapy prezentované na stránkách Laboratoře geoinformatiky Univerzity J. E. Purkyně, Zajímavý je také digitální mapový archiv České geologické služby dostupný na adrese Velkou sbírku starých map zpřístupňuje on-line i Digitální knihovna map Vědecké knihovny v Olomouci na Existuje i mnoho dalších menších sbírek různých institucí i jednotlivců. Více on-line zdrojů starých map je uvedeno na stránkách které byly vytvořeny v rámci této diplomové práce. Digitalizace samozřejmě probíhá i v dalších projektech a je financována z grantu a zdrojů, které zde nejsou uvedeny. Zde uvedený výčet tedy není ani zdaleka úplný. 5

10 Kapitola 1 Digitalizace V této kapitole si ukážeme, jaké máme možnosti pro převod fyzického dokumentu na papíře do podoby uložené v počítači, s jakými obtížemi se u tohoto převodu můžeme setkat a jak se s nimi vypořádat. O procesu digitalizace bylo napsáno již hodně, takže většinou bude v příslušných pasážích uvedena vhodná literatura. 1.1 Účel digitalizace Výhodnost digitalizace je nesporná. Převodem dokumentu do počítačové formy ochráníme originální dokument, čtenářům a badatelům může být přitom zpřístupněna digitální kopie a vlastní fyzický dokument nebude tolik zatěžován častými výpůjčkami, sníží se tedy riziko jeho poškození. Distribuce digitálních kopií je také technicky mnohem jednodušší než zapůjčování originálu. Dokument může být navíc k dispozici 24 hodin denně a zájemci jej mohou prohlížet i z pohodlí vlastního domova díky síti Internet. Otevírají se nám také možnosti dalšího zpracování takového dokumentu, například u starých map mohou kartografové provádět na digitálních kopiích různé studie, porovnávat současný stav krajiny se stavem v minulosti, dívat se na vývoj prvků v krajině v kontextu historie (viz granty například GA ČR 205/04/0888: Georeferencování a kartografická analýza historických mapování Čech, Moravy a Slezka; GA 205/07/0385: Kartometrická a semiotická analýza a vizualizace starých map českých zemí z období ). S digitalizací bohužel přichází nové problémy, které je potřeba řešit. Digitální data jsou vysoce zranitelná, musí být provedeno správné zálohování digitálních dokumentů. Vývoj v informačních technologiích běží dopředu obrovským tempem a formáty pro uložení dat mohou velmi rychle morálně stárnout. Pokud nezvolíme datový formát s patřičnou péčí, může se nám jednoduše stát, že např. za 10 let nebude možné digitální data zobrazit, protože příslušné softwarové vybavení již nebude existovat. V této oblasti je proto velmi výhodné držet se doporučovaných standardů a využívat svobodný software, protože ten není vázán na jednu konkrétní společnost a máme tedy jistotu, že bude dostupný i v dalších letech. Dostupnost zdrojového kódu nám také zaručuje, že bude i v budoucnu možné data zpracovávat. Dlouhodobé nebo trvalé uchovávání digitálních dokumentů či digitálního obsahu se snaží řešit pamět ové instituce v celé řadě zemí. Vývoj v této oblasti je v podstatě na začátku. U nás se tento problém řeší především v Národní Knihovně (projekt Národní digitální 6

11 Kapitola 1 Digitalizace knihovny, viz. nebo v Národním archivu (na základě usnasení vlády z ledna 2004, nyní ve fázi výběru firmy pro zpracování zadávací dokumentace). 1.2 Parametry při digitalizaci Během procesu digitalizace se setkáme s mnoha faktory, které významně ovlivní výslednou kvalitu digitálního dokumentu. Proces digitalizace je vždy ztrátový, tedy nikdy nejsme schopni do počítače uložit dokonalou kopii originálního dokumentu. Proto musíme určit, jakým způsobem se rozhodneme vstupní data omezit, jsme také limitování schopnostmi digitalizačního zařízení, které máme k dispozici. Výběr správných parametrů při digitalizaci je vždy kompromisem, kvalita digitálního dokumentu totiž přímo souvisí i s jeho velikostí při uložení velkých digitalizovaných sbírek často narážíme i na limity kapacity dostupných úložných systémů. Kvalita digitalizace dokumentů se přímo odvíjí od cíle použití digitální kopie. Jiné parametry jsou nutné pro zobrazení náhledu dokumentu na monitoru, jiné pro distribuci obrazu na CD-ROM, jiné pro tisk digitální kopie a zase jiné pro bádání a výzkum nad digitálním dokumentem. U historických dokumentů se ale většinou snažíme provést digitalizaci co nejkvalitněji, protože každá manipulace s takovým dokumentem jej poškozuje a je tedy vhodné se vyvarovat opakované digitalizace. Základním problémem při digitalizaci je správná volba kvantování (podrobnost při digitalizaci barev, tedy volba barevné palety) a vzorkování (velikost rastru, tedy volba rozlišení při digitalizaci, počet bodů které bude obraz mít). Kvalita digitalizace samozřejmě souvisí i s kvalitou optiky a snímacích prvků digitalizačního zařízení. Obrázek č. 1 Ukázka ztráty informace při nevhodném kvantování (nedostatek barev) a vzorkování (nedostatek pixelů) Nevhodným vzorkováním (sampling) ztrácíme na historickém dokumentu detaily, může se nám například stát, že nebude možné přečíst nějaký nápis, protože pro jeho reprezentaci v počítači nebude použit dostatečný počet bodů (pixelů). Obdobně pro jiné drobné detaily, které se objeví například až při přiblížení dokumentu během zobrazení nebo při tisku dokumentu na papír. Míra vzorkování se většinou udává v počtech bodů na palec (DPI Dots Pet Inch). Pro zobrazení na monitoru je vhodné mít alespoň 100 DPI, pro kvalitní tisk 400 DPI, záleží ale na konkrétních podmínkách. Pro staré mapy se výběru vhodného DPI věnuje dostatečně diplomová práce Filipa Antoše [6]. 7

12 Kapitola 1 Digitalizace Nevhodným kvantováním, tedy při využití nedostatečného množství barev, se objeví na souvislých barevným plochách přechody, které na originálním dokumentu nejsou. Běžně se barvy v počítači ukládají pomocí tří složek: červené (Red), zelené (Green) a modré (Blue), pak mluvíme o barevném prostoru RGB. U každé z těchto složek zachytí digitalizační zařízení míru jejího zastoupení pro každý snímaný bod. Složením těchto záznamů je na počítači opětovně sestavena konkrétní barva z barevného spektra. Kromě RGB se používají i jiné barevné prostory, například vhodné pro tisk (CMYK), zohledňující princip vnímání jasu a barev lidským okem (YUV, YC B C R ), přirozeného míchání barev (HSV, HLS), nebo princip fyzikálně měřitelného zastoupení složek v barevném spektru (CIE 1931 XYZ a CIE 1976 L*a*b*). Podrobněji v knize Moderní počítačová grafika [7]. Zůstaňme zatím ale u RGB. Každé z barevných složek můžeme přiřadit číslo z nějakého intervalu většinou od 0 do 255. Tuto informaci zachytíme v počítači pomocí 8 bitů (tedy jednoho byte) a je to nejčastější typ uložení používaný dnes na počítači. Pro většinu aplikací je tato podrobnost vyhovující. Máme tak k dispozici barevnou paletu s 16 miliony barev (256*256*256). Při opravdu kvalitní digitalizaci se ale ukládá i více bitů na kanál, nejčastěji 16 bitů, nebo i 32 bitů. Pak mluvíme o HDR (High Dynamic Range) obrazu. Podrobněji se tomu věnuje například diplomová práce Michala Havleny [8]. Obrázek č. 2 Chromatický diagram CIE 1931 xy s měřitelným barevným spektrem, na druhém diagramu je zobrazena podmnožina barev zobrazitelných na běžném monitoru (tzn. gamut) standardu srgb V počítači a během práce s digitálními předlohami je velkým problémem korektní zachycení barev. Není samozřejmé, aby barva digitalizovaná na fyzickém dokumentu, byla poté totožně zobrazena na monitoru a následně i vytištěna. Každé ze zobrazovacích (nebo digitalizačních) zařízení má jinou schopnost reprodukce barev, umí tedy zobrazit (nebo snímat) jinou podmnožinu barev, tuto podmnožinu barev nazýváme gamut tohoto 8

13 Kapitola 1 Digitalizace zařízení. Například nemůžeme na normální barevné tiskárně vytisknout zlatou barvu, nebo na monitoru zobrazit nejčernější černou. Abychom byli schopni provádět konverzi barev mezi jednotlivými gamuty, aby vždy byla zobrazena co nejvěrnější barva, potřebujeme mít na počítači podporu pro Color Management [3]. Ten ke každému zařízení (jako je skener, monitor, nebo tiskárna) přiřadí tzv. ICC profil, který přesně popíše gamut tohoto zařízení. Při korektní digitalizaci by k výslednému souboru měl být přiložen i ICC profil zařízení, na kterém proběhla digitalizace. Díky tomu je pak možné provést barevně věrné zobrazení případně tisk takové digitální kopie. Podrobněji se barevné kalibraci při digitalizaci historických dokumentů věnuje např. stejnojmenný článek Stanislava Psohlavce [9]. Výsledkem digitalizace by měl být tzv. primární dokument (někdy označovaný jako master, nebo primární data), který je kvalitně uchováván a zálohován. Od něj se pak mohou odvozovat například verze určené pro zpřístupnění nebo další zpracování. Pro projekt Manuscriptorium byla vytvořena sada pravidel a doporučení pro digitalizaci dokumentů, aby byla zaručena kvalita a věrohodné uchování dat i pro budoucnost. Digitální data, která odpovídají těmto doporučením pak obdrží známku Manuscriptorium Quality. Přesný popis viz příslušná dokumentace [10]. 1.3 Digitalizace externí firmou Pokud chceme získat profesionální digitalizované kopie historických dokumentů, asi nejjednodušší je využít služeb jednoho z českých digitalizačních center: AIP Beroun Digitalizační centrum Knihovny Akademie věd ČR Liší se nabízeným sortimentem služeb, mají různá digitalizační zařízení, rozdílná je i cena pořízení digitální kopie. Podrobnější informace najdete na příslušných webových stránkách. Pro podporu při digitalizaci vzácných historických dokumentů knihoven a dalších sbírek lze získat finance prostřednictvím programu VISK 6 (Národní program digitálního zpřístupnění vzácných dokumentů Memoriae Mundi Series Bohemica). VISK 7 je pak určen především pro podporu skenování a mikrofilmování starých novin, které jsou ohrožené rozpadem kyselého papíru. 1.4 Digitalizace s vlastním zařízením Jednou z cest jak provádět digitalizaci je i pořídit si vlastní zařízení pro digitalizaci. 9

14 Kapitola 1 Digitalizace Digitalizační pracoviště s digitální stěnou Velmi drahá profesionální pracoviště s obrovským rozlišením jsou určena pro bezdotykové snímání. Vlastní je výše uvedená digitalizační centra. Příkladem jsou výrobky firmy Zeutschel. Digitalizační pracoviště s kvalitním digitálním fotoaparátem (DSLR) Příkladem je digitalizační pracoviště ATLAS, které vyvinula a prodává firma Elsyst Engineering. V kombinaci s digitálním fotoaparátem, jako je například Canon EOS 20D, umožňuje pořízení relativně kvalitních digitálních kopií bezdotykově. Specializované digitální kopírky a automatizované digitalizační stroje Výkonné automatizované stroje, které například i otáčí stránky knih. Hrozí ale poškození vazby. Používají se pro projekty hromadné digitalizace běžných knih. Velkoformátový planografický skener Skener používaný pro digitalizaci technických výkresů. Mimochodem, cena takové služby v se nyní pohybuje již od 25 Kč za scan při 400dpi do velikost A0 (např. CopyCentrum Kobližná, Brno, Nevýhoda je, že mapy jsou při skenování protahovány štěrbinou. Proto se příliš nehodí pro skenování historických dokumentů, protože hrozí jejich poškození nebo riziko prokluzu mapy při skenování a následná deformace výsledného obrazu. Běžný stolní skener a jeho varianty Tyto přístroje nabízí zajímavou alternativu pro levnou digitalizaci. Zajímavý pro zpracování starých map je zejména skener ScanJet HP 4670 v ceně kolem 5ti tisíc korun. Lze jej položit shora na skenovaný dokument a skrze jeho tělo vidět skenovanou oblast. Nevýhodou však je průnik vnějšího světla na digitalizovanou plochu, což znemožňuje barevné kalibrace. Dalším zajímavým digitalizačním nástrojem v této oblasti je stolní skener Mustek ScanExpress A3, jehož předností je především nízká cena. S cenou kolem 4000 Kč jde totiž o bezkonkurenčně nejlevnější plochý A3 skener na trhu a je tak vhodný pro rozjezd menších projektů. Výčet dalších zařízení a také popis zařízení použitých v MZK můžete najít ve výzkumné zprávě projektu Historické fondy Moravské zemské knihovny v Brně za rok 2005 [4] a 2006 [5]. 10

15 Kapitola 2 Editace a formát uložení Výsledkem digitalizace z předchozí kapitoly je primární (master) dokument, ve kterém je uložena nejkvalitnější verze rastrových dat, kterou máme k dispozici. Ideálně se jedná přímo o data produkovaná digitalizačním zařízením nebo skenerem. K jejich uložení by měl být zvolen některý ze standardizovaných formátů, nejlépe s dostupnými open-source nástroji pro zobrazení a konverze, aby byla zaručena možnost zobrazení a konverze dat i v budoucnu. Grafická data tohoto souboru by rozhodně neměla být dále měněna. Primární dokument je v tomto ohledu nedotknutelný a měl by být uložen na kvalitním zálohovaném médiu. Nyní si uvedeme stručný výčet formátů používaných v oblasti zpracování digitalizovaných dokumentů. Zvláštní kapitola je věnována formátům určeným pro ukládání opravdu rozměrných dokumentů, jakými jsou například mapy. 2.1 Běžné datové formáty Pokud bychom grafická data produkovaná digitalizačním zařízením přímo ukládali, brzy bychom narazili na problém s jejich nadměrnou velikostí. Proto se při uchovávání používá (i pro primární dokumenty) některá z forem datové komprese. Pro primární dokumenty je nejvhodnější bezztrátová komprese, jejíž užitím nedojde ke ztrátě žádné informace z komprimovaných dat je možné rekonstuovat původní vstupní data. Velikost ale může být zmenšena až na polovinu oproti původní. Pokud je potřeba získat lepšího kompresního poměru, může být řešením využití ztrátové komprese. Ta se na základě principů lidského vnímání snaží z obrazu vypustit informace, jejichž nepřítomnost nejsme většinou schopni ani zpozorovat. Díky tomuto typu komprese dochází ke značnému zmenšení nároků na prostor potřebný pro uložení výsledného grafického souboru. Kromě primárního grafického souboru je často nezbytné vytvářet za účelem prezentace nebo dalšího zpracování i odvozené verze, u kterých se používá jiných datových formátů. Často se také bokem udržují zmenšené náhledy digitalizovaných dokumentů, někdy opatřené vodotiskem, které nejsou tolik náročné na pamět ové kapacity. TIFF Tento standardizovaný formát (ISO ) bývá velmi často zvolen pro uložení primárních dokumentů. Standard TIFF je velmi variabilní. V hlavičce tohoto formátu mohou být uložena metadata (typ a výrobce digitalizačního zařízení, čas digitalizace, barevný 11

16 Kapitola 2 Editace a formát uložení profil ICC a další). Při ukládání do TIFF si můžete zvolit formu uložení grafických dat: nekomprimovaně, s využitím bezztrátové komprese ZIP (Deflate), LZW (Lempel-Ziv-Welch) a také ztrátové komprese JPEG. Standard obsahuje i podporu pro ukládání velkorozměrných bitmap (pomocí systému dlaždic). Do jednoho souboru dokáže vložit i více grafických vrstev. JPEG Velmi rozšířený a standardizovaný grafický formát, který se masově používá na Internetu (nejčastěji pro publikování fotografií). Využívá ztrátové komprese postavené na algoritmu DCT (Diskrétní Kosinová Transformace), který je odvozen z Furiérovy transformace, princip je popsán například v knize Moderní počítačová grafika [7]. Tento formát není příliš vhodný pro uložení primárních grafických dat v dokumentu díky své ztrátové povaze. Míra degradace grafických souborů je minimální především při volbě vysoké kvality během komprimace JPEG. Často bývá použit pro distribuci kopií digitalizovaných dokumentů na CD-ROM. PNG Je dalším z formátů s bezztrátovou kompresí. Postupně vytlačuje velmi rozšířený formát GIF. V některých případech může být použit i pro uložení digitalizovaných dokumentů. RAW formáty digitálních fotoaparátů Jedná se o rodinu grafických formátu, které jsou přímým výstupem digitalizačních čipů na fotoaparátech. Data jsou uložena bezztrátově, většinou se 16 bity na kanál. Každý výrobce má nyní vlastní datový formát, ale pracuje se na standardu OpenRAW, který má za cíl tyto formáty sjednotit. S RAW se můžeme setkat při digitalizaci historických dokumentů především u digitalizačního pracoviště s DSLR. Výhody focení na RAW jsou popsány na webu a také v nové knize stejného autora, která se velmi podrobně věnuje principům digitálního focení. [35] OpenEXR Standardizovaný formát navržený firmou Industrial Light & Magic pro ukládání HDR (High Dynamic Range) obrazů, což je termín označující obrázky, které mají barevné kanály reprezentované pomocí čísel s plovoucí desetinnou čárkou. Na každý kanál je využito 16 nebo 32 bitů. Tento datový formát je často používán ve filmovém průmyslu a nachází své uplatnění také v oblasti 3D grafiky. 12

17 Kapitola 2 Editace a formát uložení Obsahuje kompresi založenou na WaveLet, podobně jako JPEG2000, a je implementován i v programech pro profesionální práci s grafickými daty. JPEG2000 Standardizovaný formát (ISO :2000) s podporou komprese umožňující bezztrátové i ztrátové uložení dat. Komprese je založena na teorii waveletů dosahuje velmi dobrého kompresního poměru. Podrobnosti o této kompresi najdete v diplomové práci Lukáše Rychnovského na toto téma [36]. Podle původního plánu měl nahradit formát JPEG, stále ale není implementován v internetových prohlížečích a dalších programech, což brání jeho většímu nasazení. Pro jeho zpracování existuje několik programátorských knihoven. V open-source projektech se používá projekt JasPer ( Komerční knihovnou je například Kakadu ( DjVu Datový formát, který byl navržen přímo pro uchovávání digitalizovaných dokumentů, především knih a novin. Využívá jej například projekt Kramerius. Každá stránka dokumentu může obsahovat: černobílou vrstvu s daty popředí, barevnou reprezentaci pozadí uloženou jako JPEG2000, a také textovou vrstvu (využitelnou pro plnotextové hledání). Tento formát dosahuje velmi kvalitního kompresního poměru. Jsou k němu dostupné nástroje pro prohlížení i konverze včetně zdrojového kódu. PDF Obecně používaný formát pro šíření digitálních dokumentů, především nativně digitálních. Umožnuje zaznamenávat popis stránky pomocí vektorů, může obsahovat vložené fonty. Je používán i jako formát pro uložení digitalizovaných dokumentů. I zde je podporována indexace pro plnotextové prohledávání. Nástroje pro editaci a konverzi V této kapitole si ukážeme nástroje používané pro automatizovanou konverzi mezi dostupnými formáty a nástroje pro provádění základních dávkovych operací jako je změna velikosti apod. Gimp, CinePaint Alternativa PhotoShopu, jinak např. Paint Shop Pro, nebo český Zoner PhotoStudio a mnoho dalších. CinePaint je odnož Gimp, určená pro zpracování a má podporu pro HDRI, tedy barevný kanál s více než 8-mi bity. 13

18 Kapitola 2 Editace a formát uložení IrfanView a XnView Nástoj používaný pod Windows s grafickým rozhraním pro automatizované operace. Možnost spouštění některých operací z příkazové řádky. ImageMagic Tento open source program nabízí automatizované operace pro velké množství grafických formátů (mimo jiné i JPEG2000). Běží na příkazové řádce a zvládá i hromadné grafické operace, například ořez, zaostření, rozmazání. Umí také kombinovat dva obrazy (tedy například opatření grafického souboru vodotiskem). Ukázka, konverze z jpeg do png a zmenšení velikosti na 50% $ convert rose.jpg -resize 50% rose.png Konverze z tifu do JPEG2000: $ convert image.tif image.jp2 Konverze do pyramidového tifu: $ convert input_image.tif ptif:output_image.tif[64x64] Podrobněji viz dokumentace programu ImageMagic DCRaw Konverze z RAW formátu Nikon, Canon, a mnoha dalších do formátu TIFF. Umožňuje dodatečné vyvážení bílé, či záznam barevného profilu ICC. Využívá se pro zpracování v tzv. digitální černé komoře. 2.3 Rozměrné předlohy a datové formáty Zpracování obrovských rastrových obrazů na běžném PC vyžaduje užití speciálního software. Programy běžně používané pro práci s grafikou načítají obsah bitmapy do operační paměti počítače, což u rozměrných předloh není možné. Pro zpracování a ukládání takových typů souborů je nutné využití speciálních datových formátů. Ty využívají pyramidového principu uložení dat. Předpočítaný grafický soubor je uložen v několika rozdílných velikostech, využívá systém dlaždic pro přímý přístup ke grafickým datům na dané pozici. Díky tomu je možné zobrazit, případně zpracovávat vždy jen část bitmapy. 14

19 Kapitola 2 Editace a formát uložení Obrázek č. 3 Pyramidová struktura s dlaždicemi použitá při zpracování rozměrných rastrových obrazů TIFF Má přímou podporu pro pyramidovou strukturu, kde jsou jednotlivá patra pyramidy uložena jako vrstvy uvnitř jednoho souboru. Zoomify Většinou využívá dlaždice ve formátu JPEG o velikosti 256 x 256 pixelů, které jsou rozmístěny v adresářové struktuře. Jeden rozměrný obraz je tak reprezentován adresáři s velkým množstvím malých souborů. Podrobněji strukturu těchto dlaždic rozebírám v kapitole Projekt. JPEG2000 Je možné jej využít jako formát pro rozměrné bitmapy. Typ komprese přímo podporuje uložení tohoto typu dat. MrSID Pyramidový datový formát využívající stejné komprese jako formát JPEG2000. Pro jeho editaci je nutné zakoupit potřebnou licenci. ECW Principiálně totožný s formátem MrSID. 15

20 Kapitola 2 Editace a formát uložení Nástroje pro editaci a konverzi rozměrných předloh NIP2 Je profesionální software vytvořen Národní Galerií v Londýně v rámci grantů EU, používá se pro digitalizaci map také například v Louvre v Paříži. Jedná se o grafické prostředí pro knihovnu VIPS. NIP2 je napsán pomocí funkcionálních paradigmat, to s sebou nese možnost využít všechny procesory připojené k počítači. Obecně totiž na počítači vyvstává problém, jak rozdělit úlohu, aby všechny procesory měly vytíženou svoji kapacitu. Lze jej navíc spustit na všech platformách (Windows, Mac, Linux). Mezi hlavní výhody můžeme zařadit postupné editování a možnost vrátit se ke kterémukoli kroku, tedy možnost změny kdekoliv ve workflow, dále operace s bitmapami většími než je velikost operační paměti, korektní práce s vícebitovými kanály i s reálnými bity, profesionální správa barev pomocí ICC profilů, skriptovatelnost či otevřenost celého systému. Obrázek č. 4 Pracovní plocha a ukázka workflow v programu NIP2 NIP2 užívá vlastní formát, mimoto je podporován i pyramidový dlaždicový TIFF se ztrátovou nebo bezztrátovou kompresí. Příklad konverze extrémně velkého souboru na příkazové řádce do pyramidového TIFFu (mimochodem, parametry uvedené za čárkou u jména souborů lze zapsat i do dialogu v grafickém prostrědí NIP2 se stejným efektem). $ vips im_tiff2vips hugefile.tif hugefile.v $ vips im_vips2tiff hugefile.v output_image.tif:jpeg:75,tile:64x64,pyramid $ rm hugefile.v 16