Vytvoření virtuálního badatelského prostředí pro zpřístupnění a ochranu digitálních dokumentů

Transkript

1 Výzkumný záměr Vytvoření virtuálního badatelského prostředí pro zpřístupnění a ochranu digitálních dokumentů Dílčí zpráva o řešení za rok 2007 Mgr. Adolf Knoll, řešitel PhDr. Zdeněk Uhlíř, PhDr. Jiří Polišenský, Mgr. Jindřich Marek, spoluřešitelé Národní knihovna ČR Klementinum Praha prosinec 2007

2 A. Konstatační část...3 B. Analytická část...9 Oblast digitalizace a zpřístupnění rukopisů a starých tisků...9 Příprava dokumentů...9 Vnitřní prostředí databáze Manuscriptoria...10 Komunikace Manuscriptoria s vnějšími aplikacemi...11 Další práce...13 Starý tisk z Národní knihovny Moldavské republiky v Kišiněvě...14 Oblast digitalizace a zpřístupnění novodobých fondů...14 Příprava dokumentů...14 Zápis CD ROM médií na centrální datové úložiště...17 Optimalizace pravidel tvorby metadat...17 DigTools pomocný pracovní nástroj pro tvorbu digitálních dokumentů...17 C. Návrhová část...19 D. Použití institucionální podpory...21 E. Stručné résumé...26 F. Přílohy...27

3 A. Konstatační část Na základě zprávy o řešení výzkumného záměru za r schválila oponentní komise další konkretizaci směrování jeho řešení takto: Vzhledem k tomu, že projekt výzkumného záměru byl napsán takřka před čtyřmi lety, byly přehodnoceny některé úkoly uvedené v časovém harmonogramu řešení. Důvodem je především vývoj technologií v těchto oblastech: masová digitalizace a archivace digitálních dokumentů. Cíle s nimi spojené se budou realizovat do budoucna především z finančních důvodů mimo tento výzkumný záměr takto: a) masová digitalizace jde o technologicky vyřešenou záležitost pomocí nasazení automatizovaných skenerů pro běžnější papírové dokumenty (automatizované obracení stran). Touto technologií pracují v Evropě společnosti Microsoft (British Library) a Google (Bodleian Library). Zavedení technologie představuje po několik let financování v objemu milionů Kč. Doporučení Evropské komise členským státům ze 24. srpna 2006 zavazuje státy, aby obdobná pracoviště vytvořily a provozovaly. Na doporučení pozitivně reagovala schůzka ministrů kultur členských zemí 13. listopadu V polovině r jsme jednali o masové digitalizaci se společností Google; ta si následně vyžádala rozbor fondů Národní knihovny ČR z let s tím, že zvažuje masovou digitalizaci obdobných fondů v Evropě, nicméně vzhledem k aktivitám Google mimo Evropu k pokroku v jednáních (zatím) nedošlo. b) ochrana digitálních dat bude provedena formou vybudování hromadného úložiště (datového skladu) pro národní projekty digitalizace a Web Archiv v první fázi za přispění grantu Ministerstva informatiky a dále cestou financování národní koncepce ochrany dokumentů. Jde opět o investice v řádech několika desítek milionů Kč. c) autorská práva otázky spojené s autorskými právy budou řešeny pro systém Kramerius a případně pro zpřístupnění produktů masové digitalizace v návaznosti na doporučení Evropské komise, viz výše uvedený dokument z 24. srpna 2006 a očekávaná doporučení High Level Expert Group on Digital Libraries. Zde půjde především o flexibilní vypořádávání práv v národních prostředích hlavně v oblasti tzv. orphan works. Oponentní řízení schválilo návrh, aby se řešení v dalším období zabývalo především rozvojem virtuálního badatelského prostředí, které se soustřeďuje na oblast rukopisů a částečně starých tisků, tj. tam, kde drží nositel výzkumného záměru evropský primát. Tato skutečnost je od r významnější zo toho důvodu, že dnem 1. prosince 2007 se skutečně rozbíhá evropský projekt ENRICH v programu econtentplus, jehož cílem je agregace dat o rukopisech v Evropě, a to jak popisných, tak i vlastních binárních dat. Jde o aplikační projekt financovaný Evropskou komisí z 50%; z tohoto důvodu a zcela v souladu s výsledky oponentního řízení se výzkumný záměr bude zabývat řešením těch úkolů, které mají charakter výzkumu a vývoje a vytvářejí předpoklady pro úspěšné zvládnutí virtuálního slučování dat různorodých evropských institucí. Dané směry jsou tyto: a) standardizace sdílených metadat konverze mezi TEI platformami TEI P4 a TEI P5 pro popis rukopisů

4 implementace OAI-PMH harvesteru do Manuscriptoria implementace METS kontejnerizace schématu Manuscriptoria optimalizace a zevšeobecnění práce s UNICODE v Manuscriptoriu b) personalizace prostředí Manuscriptoria pro uživatele analýza potřeb a tvorba tématických kolekcí umožnění tvorby virtuálních dokumentů uživateli Manuscriptoria použitím dekompozice a reformulace digitálních objektů typologizace bibliografického vyhledávání a zavedení hloubkového vyhledávání (metadat + fulltext) c) personalizace prostředí Manuscriptoria pro přispěvatele on-line verze nástrojů pro strukturování metadat a dat digitalizovaných rukopisů zavedení nástrojů pro užití velkých externích datových sad z produkce partnerů Manuscriptoria d) multilingvální a uživatelský přívětivý přístup k Manuscriptoriu V oblasti digitalizace novodobých dokumentů se rýsuje robustní a dlouhodobě pojaté řešení archivace digitálního obsahu, proto byla na oponentuře řešení za r schválena i podrobnější orientace výzkumného záměru v oblasti novodobých dokumentů, a to takto:: 1. Migrace obsahu fyzických médií CD-ROM a DVD na centrální datové úložiště. 2. Definice vstupních kvalitativních parametrů pro import digitálních obrazových souborů do Národní digitální knihovny. Bude třeba navrhnout postup vyhodnocování kvality obrazových souborů podle zadaných parametrů, příp. doporučit testovací obrazec pro diagnostiku procesu skenování. 3. Zabývat se automatizací vstupních operací na počátku digitalizace, tj. navrhnout způsob automatizace tvorby skenovacích dávek jako výstup z knihovního systému ALEPH a jejich evidence v průběhu přípravných fází reformátování (generování podkladů pro bibliografické zpracování, hlídání duplicit, evidence fází přípravných prací, generování předávacích protokolů atd.) formou rozšíření funkcionality stávajících systémů (Sírius, nebo aplikace pro evidenci a archivaci XML dokumentů). 4. Zvyšování efektivity hromadných operací s daty rozšiřováním funkcionality nástroje DigTools. V letech 2007 až 2009 se výrazně zvýší objem digitalizace díky realizaci projektu Záchrana neperiodických bohemikálních dokumentů 19. stol. ohrožených degradací papíru financovaného z Finančních mechanismů EHP a Norska. Do konce r bude mikrofilmováno a digitálně zpřístupněno 2,4 mil. stran dokumentů. Další zvýšení objemu digitalizace očekáváme díky vzniku nových digitalizačních pracovišť (Městská knihovna v Praze, Moravskoslezská vědecká knihovna v Ostravě ad.) a příp. díky implementaci technologie robotických skenerů. Tyto aktivity mohou výrazně obohatit badatelské prostředí dostupné prostřednictvím internetu. Velká část dokumentů, které jsou v současné době digitalizovány, se stanou součástí Národní digitální knihovny, která by se v blízké budoucnosti měla rozrůst o další desítky tisíc

5 dokumentů. Takový objem digitalizace klade nové požadavky na dlouhodobou archivaci digitálních dokumentů, standardizaci a kontrolu kvality obrazových souborů a automatizaci veškerých operací spojených s digitalizací. Koncem r bylo instalováno Centrální datové úložiště a v r probíhaly jeho konfigurace a byly zahájeny migrace dat. Tím NK ČR získala HW vrstvu datového skladu pro dlouhodobou archivaci digitálních dokumentů. V rámci dalších výzkumných aktivit NK ČR byl sledován stav ve vývoji programových aplikací pro tento účel. Získáním vhodné aplikace by měl vzniknout spolehlivý datový sklad (trusted repository) pro dlouhodobou archivaci. NK ČR formulovala koncept široce pojaté České digitální knihovny a v jejím rámci i Národní digitální knihovny, která by se měla stát nástrojem dlouhodobého uchování národního kulturního dědictví v digitální podobě. Vzhledem k rozhodnutí dále nevyvíjet vlastní systém archivace, učiněnému již v r. 2005, ale orientovat se na nákup robustního komerčního systému, jsme již nepokračovali v r v aktivitách tímto směrem (zpracování studie, výběr dodavatele). Místo toho jsme se soustředili na tři oblasti: automatizaci vstupních procesů předcházejících digitalizaci, stanovení a kontrolu kvalitativních parametrů obrazových souborů a migraci obsahu části povinného výtisku CD ROM na datové úložiště. Výsledky řešení dle RIV V r bylo uplatněno osm výsledků řešení výzkumného záměru, viz tabulka, jež je výpisem za databáze RIV: 1. RIV/ : /06:# Preservation and Access in Service of Researchers and Future Generations Druh výsledku: D - Článek ve sborníku, Obor: AF - Dokumentace, knihovnictví, práce s informacemi, Stav uplatnění výsledku: U - Výsledek již uplatněný, Rok uplatnění výsledku: 2006, Rok sběru dat: 2007, Dodavatel výsledku: MK0 - Ministerstvo kultury (MK), Předkladatel výsledku: Národní knihovna České republiky. 2. RIV/ : /06:# Doporučení pro pořizování datových souborů při digitalizaci analogových originálů Druh výsledku: A - Audiovizuální tvorba, elektronické dokumenty, Obor: AF - Dokumentace, knihovnictví, práce s informacemi, Stav uplatnění výsledku: U - Výsledek již uplatněný, Rok uplatnění výsledku: 2006, Rok sběru dat: 2007, Dodavatel výsledku: MK0 - Ministerstvo kultury (MK), Předkladatel výsledku: Národní knihovna České republiky. 3. RIV/ : /06:# Editor XML M-TOOL 1.2 pro strukturování digitalizovaných dokumentů Manuscriptorium kompatibilních Druh výsledku: S - Prototyp, metodika, vzorek, software, výsledky apl. výzkumu promítnuté do práv. předpisů a norem, užitný vzor, Obor: JC - Počítačový hardware a software, Stav uplatnění výsledku: U - Výsledek již uplatněný, Rok uplatnění výsledku: 2006, Rok sběru dat: 2007, Dodavatel výsledku: MK0 - Ministerstvo kultury (MK), Předkladatel výsledku: Národní knihovna České republiky. 4. RIV/ : /06:# Automatizovaná služba Manuscriptorium kandidátů Druh výsledku: Z - Poloprovoz, ověřená technologie, odrůda, plemeno, Obor: AF - Dokumentace, knihovnictví, práce s informacemi, Stav uplatnění výsledku: U - Výsledek již uplatněný, Rok uplatnění výsledku: 2006, Rok sběru dat: 2007, Dodavatel výsledku: MK0 -

6 Ministerstvo kultury (MK), Předkladatel výsledku: Národní knihovna České republiky. 5. RIV/ : /06:# Creating an International Environment for Research in Library Materials Druh výsledku: D - Článek ve sborníku, Obor: AF - Dokumentace, knihovnictví, práce s informacemi, Stav uplatnění výsledku: U - Výsledek již uplatněný, Rok uplatnění výsledku: 2006, Rok sběru dat: 2007, Dodavatel výsledku: MK0 - Ministerstvo kultury (MK), Předkladatel výsledku: Národní knihovna České republiky. 6. RIV/ : /06:# MANUSCRIPTORIUM: Integrace vzdálených poskytovatelů dat a distribuovaná digitální knihovna Druh výsledku: W - Uspořádání (zorganizování) workshopu, Obor: AF - Dokumentace, knihovnictví, práce s informacemi, Stav uplatnění výsledku: U - Výsledek již uplatněný, Rok uplatnění výsledku: 2006, Rok sběru dat: 2007, Dodavatel výsledku: MK0 - Ministerstvo kultury (MK), Předkladatel výsledku: Národní knihovna České republiky. 7. RIV/ : /06:# Mezinárodní projekty a praktické otázky prezentace kulturního dědictví Druh výsledku: D - Článek ve sborníku, Obor: AF - Dokumentace, knihovnictví, práce s informacemi, Stav uplatnění výsledku: U - Výsledek již uplatněný, Rok uplatnění výsledku: 2006, Rok sběru dat: 2007, Dodavatel výsledku: MK0 - Ministerstvo kultury (MK), Předkladatel výsledku: Národní knihovna České republiky. 8. RIV/ : /06:# MANUSCRIPTORIUM: Integration of Remote Data Contributors and Distributed Digital Library Druh výsledku: W - Uspořádání (zorganizování) workshopu, Obor: AF - Dokumentace, knihovnictví, práce s informacemi, Stav uplatnění výsledku: U - Výsledek již uplatněný, Rok uplatnění výsledku: 2006, Rok sběru dat: 2007, Dodavatel výsledku: MK0 - Ministerstvo kultury (MK), Předkladatel výsledku: Národní knihovna České republiky. Dosažené a uplatnitelné výsledky za r. 2007: a) Za rok 2007 se předpokládá uplatnění těchto aplikovaných výstupů: Databáze evidenčních záznamů digitální knihovny (poloprovoz) DTD pro strukturaci historického fulltextu ve verších mss-verse.dtd (ověřená technologie/software) DTD pro strukturaci historického fulltextu s tabulkami mss-fulltext-table.dtd (ověřená technologie/software) Implementace formátu METS ve formě Komplexního digitálního dokumentu jako interního formátu digitální knihovny Manuscriptorium (poloprovoz) b) Na základě výběrového řízení Call for Papers byl přednesen příspěvek o výsledcích řešení na mezinárodní konferenci v Brašově (Rumunsko) a na konferenci INFORUM v Praze oba příspěvky byly/budou publikovány jak v konferenčních publikacích, tak i v dalším odborném periodickém tisku v Rumunsku. Kromě toho byl zpracován odborný článek o výsledcích řešení pro portugalský odborný časopis, vydávaný Národní knihovnou v Lisabonu a zpracován referát (opět Call for Papers) pro mezinárodní odborný seminář v lotyšské Rize. Pokud dojde k publikaci, budou tyto

7 články nahlášeny jako výsledky řešení, neboť všechny prošly řízením resp. recenzováním a jako takové byly přijaty k přednesení resp. publikování. Kromě toho byly výsledky řešení zveřejněny na dalších fórech: speciální seminář o Evropské digitální knihovně při národních dnech informačních věd a knihovnictví v Santiago de Compostela (Španělsko), seminář Evropské knihovny TEL v Helsinkách, dvoustranný českočínský odborný seminář uspořádaný Národní knihovnou Číny v Pekingu, přednáška v Institutu matematiky Srbské Akademie věd v Bělehradě a seminář pro pracovníky Národní knihovny Srbska v Bělehradě, prezentace a poster na zasedání TEI konsorcia (Jindřich Marek) a prezentace na konferenci Digitálna knižnica v Jasné pod Chopkom (Zdeněk Uhlíř). Celá řada přednášek a prezentací též proběhla na místních akcích v ČR. Zájem je především o publikaci faktických poznatků typu state-of-the-art s tím, že pořadatelé konferencí většinou nechtějí přílišné podrobnosti; ty lze sdělit v psaných příspěvcích. Další výsledky a aktivity spojené s řešením Mezinárodní aktivity Hlavní řešitel Adolf Knoll se zapojil do celé řady iniciativ, které přispívají k nově vyhlášené prioritě Národní knihovny ČR, tj. rozšíření digitální knihovny Manuscriptorium za hranice České republiky, vytvoření mezinárodní digitální knihovny rukopisů. V r byl Adolf Knoll i nadále členem vysoké skupiny expertů na digitální knihovny (High Level Expert Group on Digital Libraries), která je poradním orgánem komisařky EU pro informační společnost a média, paní Viviane Reding. Stal se rovněž poradcem pro digitalizaci evropského projektu NUMERIC, řešeného na přímou objednávku evropské komise. Projekt, zahájený v polovině r má za úkol nastartovat sběr dat o digitalizaci ze všech možných aspektů v různých typech institucí pro potřeby Evropské komise. Hlavní řešitel se též účastnil přípravných prací na dalších projektech EU v programu econtentplus, a to EDLnet a TELplus, které mají napomoci vybudování příští Evropské digitální knihovny resp. rozšíření Evropské knihovny TEL. Národní knihovnu ČR zastupuje v projektu EDLnet Renáta Modráková, která je členkou řešitelského týmu tohoto výzkumného záměru od ledna V projektu TELplus bude zastupovat naši instituci Tomáš Foltýn, kterého navrhujeme začlenit do řešitelského týmu tohoto výzkumného záměru od ledna 2008 jako náhradu za Václava Piláta, který dnem z Národní knihovny ČR a tím i z řešitelského týmu odešel. TELplus se dotkne využití digitalizovaných dokumentů v programu Kramerius; umožní jejich rychlejší OCR a zhodnocení přečtených dat. 31. ledna 2007 skončilo úspěšnou obhajobou řešení evropského projektu TEL-ME-MOR, v němž byl řešitel výzkumného záměru řešitelem jedné ze čtyř hlavních etap. Jindřich Marek se zúčastnil prestižního zasedání TEI konsorcia v USA (Jindřich Marek je zástupcem NK v TEI konsorciu), Jiří Polišenský jednání LIBER ve Varšavě (Národní knihovnu zastupují v LIBER Adolf Knoll a Zdeněk Uhlíř), Zdeněk Uhlíř jednání CERL ve Švédsku (Zdeněk Uhlíř je zástupcem NK v CERL); v EROMM zastupuje Národní knihovnu ČR Františka Vrbenská. Adolf Knoll je od vstupu Národní knihovny do TEL (Evropská knihovna) členem její řídící rady (management board); zúčastnil se obou jednání rady na jaře a na podzim V r se též rozběhl naplno projekt digitalizace monografií 19. století financovaný z prostředků Finančních mechanismů EHP a Norska (řešitel Jiří Polišenský).

8 Adolf Knoll také zpracoval řadu podkladů pro digitalizaci pro vnitřní potřebu Ministerstva kultury ČR v návaznosti na dokumenty Evropské komise. Řešitelský tým Řešitelský tým opustil dnem ing. Václav Pilát; vzhledem k nezbytnosti dobrého kontaktu s potřebami programu Kramerius navrhujeme od nahradit ing. Piláta panem Tomášem Foltýnem z oddělení digitalizace odboru správy a ochrany fondů. Ve výzkumném záměru bude obsažen stejně jako V. Pilát, tj. 70% pracovního úvazku. Bude se věnovat obsahu digitální knihovny Kramerius (content manager), kontrole konsistence dat v průběhu migrací a po obnově. Bude třeba provést celkovou revizi z hlediska stavu obsahu (kontrola obrazových souborů, které dosud nebyly ořezány, kontrola OCR atd.). Druhou problematikou, kterou se bude zabývat, je uživatelské rozhraní a informace pro badatele. Chtěli bychom využít funkcionality WEB 2.0 pro interaktivní práci s uživateli (tak jak to máme v návrhové části). Zprovozněním datového úložiště již není kladen důraz na budování HW vrstvy, což byla specializace V. Piláta, ale spíše se budeme muset čím dál tím víc zabývat obsahem digitální knihovny.

9 B. Analytická část Oblast digitalizace a zpřístupnění rukopisů a starých tisků Příprava dokumentů Za využití nástroje M-Tool, vytvořeného v rámci výzkumného záměru, se postupně začínají do Manuscriptoria zapojovat další partneři (např. Moldavská národní knihovna nebo Szechényiho národní knihovna v Budapešti). V práci s partnery je též využíváno Manuscriptorium kandidátů, které tak jako digitální knihovna Manuscriptorium má nové rozhraní umožňující mj. lepší práci uživatele se strukturovaným historickým textem. Práce s paralelním strukturovaným textem Příprava plných textů se dostala na rutinní úroveň, a to jak ruční (nové přímé vytváření XML dokumentů za použití libovolného editoru. Pokračovala tvorba definic typu dokumentu pro zpřístupňování plných textů, nyní jsou dostupné tři (pro prozaické texty, pro veršované texty, pro prozaické texty s použitím tabulek), viz příloha a rovněž:

10 Všechny naše definice typu dokumentu (DTD) pro přepis plných textů (elektronické edice) jsou odvozeny z komplexního XML schématu konsorcia Text Encoding Initiative (TEI, ve vydání P4. První ze schémat, která jsme vytvořili (mss-fulltext) je pro naše potřeby základní sadou elementů, kterou lze použít pro přepis naprosté většiny středověkých, raně novověkých, ale i moderních textů. Úzký výběr elementů byl uskutečněn proto, aby se docílilo co možná nejjednodušší možné struktury dokumentu, který je validní podle této DTD. Důvodem jsou poměrně vysoké softwarové nároky na zpracování komplexnějších schémat. Později jsme vytvořili na stejné bázi další DTD (mss-fulltext-verse), jež umožňuje přepis textů, v nichž jsou obsaženy verše, resp. rýmovaný text. Z důvodů uvedených výše jsme se rozhodli nerozšiřovat již užívanou základní DTD, ale vytvořit pro specifické účely vždy novou. Posledním DTD, které jsme na této bázi vytvořili, bylo DTD pro přepis textů, v nichž jsou obsaženy tabulky (mss-fulltext-table). Do budoucna uvažujeme o migraci na standard TEI, vydání P5. Budeme muset experimentálně ověřit, zda při větší variabilitě jednotlivých komponent (modulů) vydání P5 a při jejich snadnější kombinaci, resp. při menším celkovém počtu povinných elementů nebude vhodnější tentokrát vytvořit jedinou DTD, jež by pokryla všechny dosavadní potřeby. Byla ověřena, testována a realizována možnost zpřístupnění plného textu s korelací k více než jedné sekvenci obrazů (k více než jednomu rukopisu). Byla ověřena, testována a realizována možnost zpřístupnění více vyjádření téhož plného textu (jak vzájemná korelace latinského originálu a českého překladu, tak korelace obojího s více než jednou sekvencí digitálních obrazů). Bylo zahájeno testování edic hudebních zápisů podle standardů MusicXML ( Příklady viz příloha. Byla identifikována další možnost vytváření edic hudebních zápisů podle standardu MEI (Music Encoding Initiative), jež bude testována v následujícím období. Vnitřní prostředí databáze Manuscriptoria Aplikace komplexního digitálního dokumentu (METS) Všechna metadata databáze Manuscriptoria byla převedena do aplikace formátu METS, nazývaného komplexní digitální dokument (KDD); k definici KDD došlo v tomto výzkumném záměru na podzim r. 2005, viz _2010/2005/ManuscriptoriumKDD.pdf (MANUSCRIPTORIUM V. 2.0 Komplexní digitální dokument, Draft, verze 1.0) Databáze evidenčních záznamů Ve smyslu analýzy Manuscriptoria 2.0 došlo k vývoji systému pro správu metadat, tj. administrátorského systému pro shromáždění a údržbu dat s ohledem na potřeby agregace, údržby a zpracování většího množství dat (získaných zejména v rámci ENRICH); tím došlo k

11 nahrazení stávajícího systému v reálném provozu Manuscriptoria; kromě toho byl zprovozněn speciální klon systému pro projekt ENRICH. Systém Manuscriptorium je uživatelům k dispozici již od roku Tento systém je po celou dobu provozu průběžně rozvíjen a zdokonalován. Dosavadní zkušenosti s provozem systému Manuscriptorium však ukázaly, že s narůstajícím množstvím dat, která do systému vstupují a která jsou jím zpřístupňována koncovému uživateli, je třeba se důkladně zaměřit na systém umožňující efektivní správu a údržbu zdrojových metadat, která tvoří základ pro srdce systému Manuscriptorium Otevřený katalog historických fondů. Rovněž zařazování plných textů historických dokumentů do Manuscriptoria vyžaduje jejich účinnou správu. Zařazování digitálních kopií dokumentů, jejich plných textů a dalších informací souvisejících s fyzickým dokumentem vedlo k formulování tzv. komplexního digitálního dokumentu, viz výše. S tím souvisí také přechod z původně použitého schématu MASTER+ pro popis dokumentu na standardizovaný a univerzálnější kontejner pro uchovávání metadat, schéma METS. Zavedení těchto nových technologií také vyžaduje použití automatizovaného správního systému. V Manuscriptoriu je v současné době umístěno poměrně velké množství duplicitních evidenčních záznamů. Jednou z příčin tohoto stavu je to, že pro jeden fyzický dokument bylo vloženo několik záznamů z různých zdrojů (popis badatele, popis vzniklý při digitalizaci, záznam převzatý z katalogu, záznam z knihopisu apod.). Další příčinou je to, že v evidenčních záznamech byly postupně prováděny úpravy a opravy. Opravené záznamy nenahradily záznamy původní, jak by se dalo očekávat, ale byly do katalogu přidány. Takto se mohou v Manuscriptoriu vyskytovat neplatné i zcela vadné záznamy. Doposud používané postupy při správě metadat nedokázaly tomuto stavu zabránit. Byl proto navržen a vytvořen testovací program, který odhalil, že Manuscriptorium v současné době obsahuje okolo dvou tisíc signatur, u kterých byly zjištěny duplicitní záznamy. Se zahájením realizace evropského projektu ENRICH se očekává velký nárůst objemu metadat, která poplynou do Manuscriptoria od několika desítek přispěvatelů z celé Evropy. Podle předběžných průzkumů se ukazuje, že metadata, pořizovaná na institucionálních či národních úrovních z různých zdrojů a od různých přispěvatelů, se budou lišit nejen co do informační kvality, ale především množstvím použitých formátů, ve kterých byla metadata pořizována a spravována, a také vlastní logikou této správy. Vzhledem k výše uvedeným skutečnostem je zřejmé, že doposud používané metody správy metadat nejsou již dostačující a je nezbytné vybudovat efektivní systém pro správu metadat. Přestože systém pro správu metadat Manuscriptoria je vlastně databází komplexních digitálních dokumentů vytvořených z původních evidenčních záznamů, podle již zavedené terminologie bude správní systém pro Manuscriptorium dále označován také zjednodušeně jako DataBáze Evidenčních Záznamů (DBEZ); příslušná analýza, která byla základem pro vybudování DBEZ, viz příloha této zprávy (MANUSCRIPTORIUM v Systém pro správu metadat. Analýza projektu, verze 1.0). Komunikace Manuscriptoria s vnějšími aplikacemi Manuscriptorium komunikuje protokoly Z39.50 a zejména OAI-PMH s několika portály s použitím různých profilů. Ideální agregace dat z vnějších digitálních knihoven by měla

12 probíhat pomocí OAI-PMH harvestingem záznamů s strukturální mapou dokumentu a příslušnými odkazy na datové soubory (především obrazy). Načtením sklizeného záznamu do Manuscriptoria (po případných nezbytných transformacích) pak bude možné bezešvým způsobem zpřístupňovat rukopisy ze vzdálených zdrojů. K tomu bylo však třeba implementovat do Manuscriptoria OAI harvester. Protokol OAI-PMH poskytuje aplikačně nezávislý rámec pro sdílení dat mezi různými systémy založený na tzv. sklízení metadat (metadata harvesting). V tomto rámci jsou definovány dvě základní skupiny účastníků: 1) Poskytovatelé dat (data providers) systémy, které poskytují svá data ostatním účastníkům 2) Poskytovatelé služeb (service providers) systémy, které využívají data poskytovatelů dat Ta od nich získávají metodou sklízení dat prostřednictvím protokolu OAI-PMH a dále je využívají jako základ pro poskytování dalších služeb. Nástroj pro sklízení metadat se nazývá OAI-PMH harvester. Je to klientská aplikace, která vydává požadavek (request) data providerovi a přijímá od něj odezvu (response) ve tvaru XML souboru. OAI-PMH požadavky jsou vyjádřeny pomocí http protokolu, službami GET nebo POST. Data provider poskytující harvesteru metadata musí podporovat obě metody. Pro všechny požadavky musí platit jedna bázová URL adresa (internet host, port a path) http serveru tvořícího repository. K tomu dotaz obsahuje ještě parametry (keyword arguments). Speciální znaky v dotazu (jako např. mezera,?, #, &.) musí být psány jako tzv. Escape Sequence (%20, %3F, %23, %26.). Odezva na OAI-PMH požadavek je formátována jako HTTP odezva s odpovídajícím HTTP záhlavím. Např. Content-Type pro všechny odezvy na OAI-PMH požadavky musí být text/xml. V souladu s moderními trendy v oblasti automatizovaného sdílení a výměny metadat mezi jejich vlastníky a v neposlední řadě také pro úspěšné splnění cílů projektu ENRICH byl vyvinut program pro sklízení metadat ze vzdálených zdrojů (repositories) prostřednictvím protokolu OAI.PMH, Harvester v Program umožňuje jak jednorázové sklizení (dále se též používá termínu vytěžování) metadat ze vzdáleného zdroje, tak také opakované sklízení z předem podle předem nastaveného časového schématu a smluvně zajištěných a ověřených zdrojů. Vytěžování dat je možné dvěma způsoby, a to buď jednorázově nebo automatizovaně, kdy program spouští jednotlivé naplánované úlohy dle jejich periody kontroly vzdáleného serveru. V případě, že je spuštěno automatické vytěžování, tedy program je v chodu a hlídá termíny spuštění úloh, úlohy, které jsou zaškrtnuty jako aktivní pro automatické vytěžování, nelze editovat, a nelze je ani ručně vytěžovat. V tomto režimu jsou úlohy řízeny výhradně automatickou částí programu. Úlohy, které nejsou zahrnuty do automatického vytěžování, lze editovat a ukládat, lze je taktéž ručně vytěžit. Aplikaci Harvester není nutno instalovat, spouští se přímo z adresáře. Při spuštění nezapisuje do registru operačního sytému, nevytváří si soubory jinde než ve svém vlastním adresáři, pouze zavedené/založené úlohy vytvářejí soubory a adresářovou strukturu dle svého nastavení. K ukládání nastavení a úloh využívá program konfigurační soubor JOB.XML v adresáři, kde se nachází soubor HARVESTER.EXE, a do tohoto souboru průběžně zapisuje při chodu programu. Jakákoli změna v nastavení programu, resp. v nastavení úlohy, se okamžitě zapisuje do tohoto

13 souboru. Pokud soubor JOB.XML neexistuje, je při spuštění automaticky založen nový. Nastavení programu a úloh lze přenést na jiný počítač zkopírováním souboru JOB.XML. Podrobněji viz v příloze MANUCRIPTORIUM v OAI-PMH Harvester. Dokumentace k programu. Další práce Byla dokončeny negociace pro evropský projekt ENRICH a byla zahájena práce na tomto projektu, jehož cílem je vybudování evropské digitální knihovny rukopisů. Jako příprava na projekt ENRICH probíhalo zpracovávání ontologických instancí pro multilingvální sémantické vyhledávání. Věnovala se intenzivní péče vyhledávání potenciálních partnerů (úspěšně v případě Szechényiho knihovny a Univerzitní knihovny v Budapešti, jakož i Arcibiskupského archivu v Lublani, pouze relativně úspěšně v případě SLUB Dresden a neúspěšně v případě UK Toruń). Byla získána řada asociovaných partnerů pro projekt ENRICH ze Švédska, Srbska, Rumunska, Moldávie, Makedonie, Maďarska, Slovinska, Kazachstánu a Turecka. Byly zahájeny první kontakty s partnery z Gruzie a Turkmenistánu.

14 Starý tisk z Národní knihovny Moldavské republiky v Kišiněvě Oblast digitalizace a zpřístupnění novodobých fondů Příprava dokumentů Systém Relief Těžištěm prací byl vývoj modulu pro přípravu dokumentů pro reformátování a pro evidenci a správu mikrofilmů, systému RELIEF. Jedná se o systém pro správu XML souborů, který byl vyvinut v r pro potřeby NK ČR a který nahradil řadu manuálních postupů, při kterých byly využívány většinou různé samostatné tabulky xls, ruční soupisy, příp. kartotéky. Manuální operace byly nejen pracné ale i zdrojem chyb. Základní aplikace umožňuje evidovat digitalizované dokumenty z různých hledisek a každé hledisko představuje pole s různými popisnými nebo identifikačními údaji: - Digitalizované periodikum - Digitalizovaná monografie - XML soubor - Zakázky - Osoby - Úkol

15 a umožňuje provádět následující operace: - Zápis dat o digitalizovaném periodiku - Zápis dat o digitalizované monografii - Zápis dat o zakázce - Import XML souboru - Offline editace XML Datová struktura aplikace je znázorněna na následujícím diagramu: Aplikace má následující programované funkce: Automatické doplnění popisných polí v agendě XML soubor a agendě Zakázky na základě analýzy XML Kontrola jedinečnosti rozsahu zakázek v rámci jednoho titulu. Export XML souboru Sledování stavu Úkolů a Zakázek. Řešení se v r soustředilo na vývoj modulu pro dvě nové agendy. Již při analýzách základní aplikace se ukázalo, že jsou shromažďována data, která by mohla být využita i pro řízení celého procesu digitalizace. Aby systém Reliéf mohl sloužit k tomuto účelu, bylo třeba vyvinout nový modul zahrnující přípravu dokumentů pro reformátování a evidenci a správu mikrofilmů. V rámci řešení byla základní aplikace doplněna o následující rozšíření: - Rozšíření obecných dat o záznamu - Rozšíření agendy Úkol - Rozšíření agendy Digitalizovaný dokument

16 a založeny nové agendy: - Založení nové vnořené agendy Exemplář - Založení nové agendy Mikrofilm - Založení nové agendy Dokument na mikrofilmu - Založení nové vnořené agendy Revize mikrofilmu Aplikace disponuje novými programovanými funkcemi: - Kontrola jedinečnosti - Import dat z Excelových souborů Aplikace umožňuje i nové tiskové výstupy. Podrobnější popis rozšíření aplikace je uveden v přiložené analýze. Standardizace kvalitativních parametrů obrazových souborů Potřeba vyhodnocení kvalitativních parametrů obrazových souborů souvisí se vznikem nových pracovišť, která budou poskytovat digitální dokumenty pro archivaci v rámci Národní digitální knihovny. Naplnění minimálních požadavků na kvalitu bude základním požadavkem pro akceptování obrazových souborů. Některé skenery neumožňují nastavení všech parametrů (např. mikrofilmový skener Wicks and Wilson, BookEye apod.), zatímco skenovací zařízení využívající současné digitální fotoaparáty se musí nastavovat velmi pečlivě. Základními požadavky stanovenými v r byly min. rozlišení 300 dpi (hardwarově), které je požadováno pro rozpoznávání textu technologií OCR, komprese obrazu ve formátu JPEG 85% a 256 úrovní šedé škály. V r jsme se kromě rozlišení věnovali geometrii obrazu a správnosti barevného podání. Pro kontrolu korektního nastavení skenovacích zařízení je nutné použít kontrolní obrazce, které odhalí odchylky od předepsaných parametrů. Kvalita obrazu může být ovlivněna řadou faktorů (ostrost, šum, dynamický rozsah, věrnost barev, kontrast, zkreslení dané objektivem, přesnost expozice apod.), které mohou být dány konstrukčními vlastnostmi, nastavením nebo následným zpracováním obrazu. V současné době se jedná o zavedení diagnostických nástrojů, které pomohou identifikovat chyby a nestandardnosti obrazu, příp. zjistit mezní vlastnosti daných skenovacích zařízení a umožnit diagnostikovat chyby v nastavení. V další fázi bude třeba se zaměřit na mapování možností následného zpracování obrazu, kterým by se mohly některé chyby napravit. Kontrola rozlišení Základní požadované rozlišení je 300 dpi dosažené hardwarově bez použití interpolace. Pro vizuální kontrolu rozlišení budou používány obrazce FSR1R, příp. FSR2R. Kontrola geometrie Pro kontrolu geometrie digitálního obrazu je možné použít pravítko nebo čtvercové objekty. Kontrolu lze provádět ve Photoshopu (měřením protilehlých bodů ve čtverci, nebo ověřením přesnosti pravítka). Pro kontrolu by bylo možné použít i předlohu s mřížkou po celé ploše obrázku, která může odhalit zkreslení v rozích, kde se typicky vyskytuje. Kontrolu

17 geometrického zkreslení je možné provádět pomocí speciální programové aplikace IMATEST. Kontrola barevného podání Pro kontrolu barevného podání doporučujeme využívat obrazec IT8.7/2 reflektivní předlohy 5 x 7, GretagMacbeth ColorChecker (BST11 nebo BST4) a DCR3 (ISO 12233) ( Pro šedou škálu budou používány obrazce ST13 a ST14 (pro dokumenty větších formátů). Limit tolerance bude možné stanovit až v průběhu r na základě získaných zkušeností. Používání kontrolních obrazců Kontrolní obrazce by měly být použity na začátku, uprostřed a na konci skenované dávky zahrnující kompletní publikaci (monografii) či ročník novin nebo časopisu. V případě změn nastavení by se měly snímkovat při každé změně, příp. je možné obrazce použít při změně charakteru předlohy (změna barevnosti papíru, celostránkové ilustrace, barevné přílohy, mapy apod.) Zápis CD ROM médií na centrální datové úložiště V r byla zahájena migrace dokumentů publikovaných na CD-ROM, které NK uchovává jako povinný výtisk, na centrální datové úložiště. Do konce roku bude archivováno cca 350 zvukových médií a 1600 až 2000 CD-ROM. Tento počet představuje cca 400 GB dat. Přepis byl zahájen nejstaršími médii, která mají vytvořeny údaje o exempláři v elektronickém záznamu. Jedná se o dokumenty z r Optimalizace pravidel tvorby metadat V souvislosti s růstem objemu digitalizace a rozšířením metadat o technická a administrativní metadata, rostou i požadavky na automatizaci tvorby metadat. Nová verze pravidel již obsahuje některá zjednodušení, která umožní hromadné zpracování metadat s využitím částečné automatizace tohoto procesu (převzetí záznamu z katalogu NK pomocí protokolu Z a jeho transformace do příslušného DTD). Do procesu tvorby mohou tak být zahrnuty některé logické kontroly a rozhodovací procesy redukovány a prováděny před zpracováním nebo následně. Aplikace pravidel při hromadné tvorbě metadat si však vyžádá interaktivní online komunikaci, nebo ový protokol s dedikovanou krátkou dobou odezvy zadavatele. Tím se ovšem neuzavírá možnost vytvářet podrobné popisy v rámci metadat v těch případech, kdy to bude užitečné. Došlo též k mírným úpravám (zavedení jednoznačných identifikátorů všech digitálních objektů a drobná úprava při indikování rozsahu analytické části, například článku) DTD pro digitalizovaná periodika a digitalizované monografie: DigTools pomocný pracovní nástroj pro tvorbu digitálních dokumentů V r byl nástroj GigTools rozšířen o nové funkce u následujících agend:

18 konverze adresářové struktury do formátu pro archivaci, adresářová struktura byla obohacena o AMD soubory (administrativní metadata), a soubory kontrolních součtů (MD5), program současně provádí kontrolu shodného počtu souborů ve všech adresářích a kontrolu výskytu souborů s nulovou hodnotou; funkce uživatelského přejmenování byla rozšířena o další metody, v názvech souborů je tak možné využívat pořadové číslo nebo písmeno; do programu byla doplněna nová funkce pro třídění souborů umožňující rozdělit složku s dávkou souborů získaných skenováním jednoho svitku mikrofilmu (identifikovaného číslem archivního negativu ČAN), obsahující několik monografií, na dílčí složky souborů přináležejících samostatnému dokumentu (s identifikačním označením MfE)

19 C. Návrhová část Obohacení uživatelského rozhraní Systému Kramerius Uživatelské rozhraní Systému Kramerius by mělo být doplněno o některé funkce a služby. Funkcionalita WEB 2.0 by mohla být využita pro interaktivní spolupráci s odbornými uživateli při vytváření tematických seznamů důležitých dokumentů formou odkazů na články v novinách, časopisech a monografiích. Součástí jejich spolupráce by mohly být i návrhy na digitalizaci dalších dokumentů. Další vývoj systému Reliéf Systém Reliéf by měl být doplněn o správu XML dokumentů obsahujících administrativní metadata. Ta jsou nezbytná pro dlouhodobou archivaci digitálních dokumentů prostřednictvím spolehlivého repozitáře. Protože s jeho vytvořením se počítá nejdříve v r. 2009, bude systém Reliéf dočasným nástrojem pro jejich správu. Automatizace procesu řízení kontroly kvality V r bude třeba na základě dlouhodobějších zkušeností se zavedenými diagnostickými obrazci stanovit hranice tolerance pro některé kvalitativní parametry (šedá škála, barevné podání apod.). Pro přesnější a efektivnější vyhodnocování kvality obrazových souborů bude třeba pořídit a zavést do praxe speciální SW nástroj IMATEST. Příp. bude možné doplnit systém kontroly kvality o některé jednodušší obrazce podle vlastního návrhu, usnadňující kontrolu některých parametrů obrazových souborů. V r bude třeba zpracovat příručku pro vyhodnocování kvality obrazových souborů. Přínosem by bylo zpracování studie mapující možnosti automatického vyhodnocení kvalitativních parametrů obrazových souborů podle zkušebních obrazců a vytvoření příslušného programového nástroje. Realizace a uvedení DBEZ do provozu Správní systém Manuscriptoria je navržen tak, aby ho bylo možno trvale rozvíjet vzhledem k měnícím se resp. rostoucím požadavkům na různorodost a množství spravovaných dat a metadat. Systém také proto bude budován postupně, jednotlivé části budou navrhovány, vytvářeny nebo upravovány podle aktuálních požadavků jak na systém Manuscriptorium, tak na data a metadata spravovaná správním systémem. Nejprve musí být vybudován funkční základ správního systému, který umožní základní manipulace a správu metadat. Postupně budou dobudovány další nástroje. Realizace celého správního systému Manuscriptoria bude probíhat v několika krocích: Instalace a implementace systému Safe na pracovním serveru Vytvoření nástrojů pro vstup metadat ve schématu MASTER+ a současný převod do KDD včetně identifikace duplicitních záznamů Současné vytvoření nástrojů pro tvorbu prezentační databáze a prostředí v podobě současného Manuscriptoria Vytvoření nástrojů pro základní manipulaci s komplexním digitálním dokumentem

20 Naplnění databáze správního systému a současný převod metadat MASTER+ na komplexní digitální dokument ve schématu METS Zkušební provoz správního systému ve smyslu předchozích bodů Implementace nástrojů pro vzdálenou správu systému Převedení zkušebního správního systému na server enrich a spuštění ostrého provozu Tvorba nástrojů hromadné úpravy metadat (pro zajištění úkolů projektu ENRICH) Tvorba nástrojů pro tvorbu prezentační databáze a prezentační podoby komplexního digitálního dokumentu ve smyslu dokumentu Návrh a realizace dalších nástrojů v souladu s plněním jednotlivých workpackages projektu ENRICH

21 D. Použití institucionální podpory Celková výše institucionální podpory pro rok 2007 byla původně 2650 tisíc Kč; v červnu byla tato částka posílena o 100 tisíc Kč s určením do položky Ostatní služby. Vzhledem k vývoji čerpání v položkách Cestovné a Jiné ostatní náklady, kde došlo k úsporám, došlo v listopadu 2007 k přesunu zbývajících finančních prostředků do položky Ostatní služby. Důvody úspor byly jednak zrušené nebo nerealizované cesty, jednak vstřícnost organizátorů konferencí, kteří v mnoha případech uhradili velkou část cestovních nákladů, zejména ubytování, v některých případech však i cenu letenek. Na druhé straně se projevil silný kurs české měny v položce Jiné ostatní náklady, ze které se hradí členské poplatky v EROMM a TEI Consortium, které se fakturují v EURO resp. v USD. V položce Jiné ostatní náklady byla část nákladů hrazena příjemcem dotace, který se v rámci spolufinancování podílel také na osobních nákladech a režijních. Přesné vyúčtování všech nákladů bude provedeno a doloženo jako každým rokem počátkem ledna na zvláštních formulářích Ministerstva kultury ČR.