Ukládání a archivace dat vzniklých digitalizací v Digitálním archivu SOA v Třeboni
Základní cíle projektu Vytvořit systém, který bude zaštiťovat postupy spojené s digitalizací archivních materiálů vytváření archivních databází a metadat kompletní správa datového úložiště import snímků z digitalizačních pracovišť zpracování snímků bezpečné uložení a archivace snímků export snímků pro vnější potřeby zpřístupnění materiálů uživatelům
Webová aplikace ÚLOŽIŠTĚ MHTF (prohlížecí formát) Datové úložiště ÚLOŽIŠTĚ TIFF (archivní formát) D A T A B Á Z E IMPORT přidávání nových materiálů EXPORT export uložených materiálů Přístup uživatelů přes Internet WWW rozhraní administrace EXPORT ARCHIV export uložených materiálů ve formě balíčků do vnějšího úložiště
Potřebné funkce digitálního archivu 1. Databáze metadat materiálů Digitalizace snímků digitalizační pracoviště Import snímků Zpracování snímků Datové úložiště Export snímků Archivace dat Databáze metadat Databáze Zpřístupňování
1. Databáze popisů materiálů
Potřebné funkce digitálního archivu 2. Import snímků 3. Zpracování snímků Digitalizace snímků digitalizační pracoviště Import snímků Zpracování snímků Datové úložiště Export snímků Archivace dat Databáze metadat Databáze Zpřístupňování
2. Import snímků webové rozhraní u
3. Zpracování snímků webové rozhraní u
Potřebné funkce digitálního archivu 4. Export snímků Digitalizace snímků digitalizační pracoviště Import snímků Zpracování snímků Datové úložiště Export snímků Archivace dat Databáze metadat Databáze Zpřístupňování
4. Export snímků webové rozhraní u
Potřebné funkce digitálního archivu 5. Zpřístupňování materiálů Digitalizace snímků digitalizační pracoviště Import snímků Zpracování snímků Datové úložiště Export snímků Archivace dat Databáze metadat Databáze Zpřístupňování
4. Zpřístupňování materiálů
Potřebné funkce digitálního archivu Správa datového úložiště Digitalizace snímků digitalizační pracoviště Import snímků Zpracování snímků Datové úložiště Export snímků Archivace dat Databáze metadat Databáze Zpřístupňování
Datové úložiště - Při vývoji u byly zohledněny především tyto požadavky nezávislost na speciálním hardware ( přistupuje k úložišti přes standardní systém souborů) automatická správa více úložišť (obejití maximální velikosti 2TB volume v operačním systému) nulové zásahy ze strany administrátora do systému souborů (práce s originálními snímky bez nutnosti znalosti jejich umístění v datovém úložišti) žádný blackbox (data v úložištích ve standardních formátech jsou v případě potřeby dostupná jiným způsobem) dodržování standardů (snímky TIFF, popis Dublin Core atd.)
Datové úložiště - Hardware disková pole Petastore Alnico připojená přes optické rozhraní k serveru konfigurace RAID6 rozdělená na volume po 2 TB
Datové úložiště - Princip ukládání originálních snímků plná úložiště prázdná úložiště Data 1 Data 2 Data 3 Data 4 Data 5 Data 6........ server Export / Import vnější archiv Složka pro import Složka pro export Administrátor
Datové úložiště - On-line zjištění stavu úložišť
Datové úložiště - Základní funkce u spojené s ukládáním materiálů hledání volného úložiště konverze snímků a vytváření standardních metadatových souborů řešení přesunů dat mezi úložišti řešení oprav snímků (mazání, přidávání, přečíslování) řešení kontrol snímků (kontrola obsahu na sha1 hash) administrátor pracuje pouze se složkami import/export, potřebné vnitřní přesuny realizuje automaticky
Potřebné funkce digitálního archivu Archivace dat Digitalizace snímků digitalizační pracoviště Import snímků Zpracování snímků Datové úložiště Export snímků Archivace dat Databáze metadat Databáze Zpřístupňování
Archivace dat Při řešení archivace byly zohledněny především tyto požadavky co největší integrace s em automatická, pokud možno bezzásahová archivace na páskovou knihovnu automatická správa záloh (hlídání změn) aplikace mechanizmů kontroly dat na páskách 2 sady pásek v geograficky oddělených lokalitách možnost automaticky plánovaných kontrol pásek
Archivace dat Hardware pásková knihovna Quantum Scalar i500 připojená přes optické rozhraní k serveru 96 slotů, 2 páskové jednotky, robotické podávání pásky LTO4 (800GB nekomprimovaně) použitý software Netvault Backup (Quest)
Archivace dat Princip původní archivace Admin Netvault Pásková knihovna Data 1 Data 2 Data 3 Data 4 Data 5 Data 6........ server Export / Import vnější archiv Složka pro import Složka pro export Admin
Archivace dat Původní způsob archivace pouze přes software Netvault nevyhovuje nutnost přístupu ke všem úložištím úložiště jsou dynamicky přidělována em, pozice materiálu se může změnit => nutno ručně měnit zálohovací joby problém s obnovou (pozice materiálu se může změnit) nelze kontrolovat obsah pásky (dá se pouze obnovit) problém s velkými zálohami nutnost odzálohovat celý jeden typ materiálu (např. 18 pásek pro matriky)
Archivace dat Nový princip archivace Pásková knihovna Data 1 Data 2 Data 3 Data 4 Data 5 Netvault server Backup složka Export / Import vnější archiv Složka pro import Složka pro export Admin
Archivace dat Nový způsob archivace přístup Netvaultu pouze k jediné složce Backup vytváří zálohovací balíčky, ukládá jejich hash do databáze pro kontrolu, automaticky ovládá archivaci do knihovny / obnovu z knihovny řešení nezávislé na uložení materiálů v úložištích možnost automatické kontroly obsahu pásek správa archivace přes webové rozhraní
Archivace dat Správa záloh z webového rozhraní
Potřebné funkce digitálního archivu Digitalizace snímků digitalizační pracoviště Import snímků Zpracování snímků Datové úložiště Export snímků Archivace dat Databáze metadat Databáze Zpřístupňování
Závěr Podařilo se vytvořit systém, který zahrnuje všechny potřebné funkce pro digitalizaci od ukládání digitalizovaných materiálů a vznik databází metadat po zpřístupnění materiálů badatelům.
Děkuji za pozornost Martin Hankovec