Dlouhodobá ochrana digitálních informací : Ex Libris Rosetta v Národním archivu Nového Zélandu

Podobné dokumenty
Dlouhodobá ochrana digitálních dokumentů a projekt NDK

Dlouhodobá ochrana digitálních dat: co může vaše instituce udělat již dnes?

Rosetta nástroj pro dlouhodobé uložení digitálních objektů

Koncepce Národní digitální knihovny a dlouhodobé ochrany digitálních dokumentů

Archivace digitálních dokumentů. Elektronická spisovna

Certifikace Národní digitální knihovny podle ISO normy Jan Mottl AiP Safe s.r.o.

Koncepce rozvoje knihoven ČR na léta Priorita 2: Trvalé uchování digitálních dokumentů

Zpráva ze služební cesty

Sluţba Karlovarského kraje pro ukládání dokumentů a dat na území kraje

Každý písemný, obrazový, zvukový, elektronický nebo jiný záznam, ať již v podobě analogové či digitální, který vznikl z činnosti původce.

NÁRODNÍ DIGITÁLNÍ ARCHIV

Dlouhodobé a důvěryhodné uchovávání elektronických dokumentů

ARBES Technologies, s.r.o. Enterprise Content Management Konference ISSS 2013

ICZ DESA střednědobé a dlouhodobé ukládání dokumentů

NDK a LTP naše požadavky a skutečnost. Jan Hutař

Národní digitální knihovna

Tzv. životní cyklus dokumentů u původce (Tematický blok č. 4) 1. Správa podnikového obsahu 2. Spisová služba

Řešení pro střednědobé a dlouhodobé ukládání dokumentů ve veřejné správě

DMS - řízená dokumentace, archiv a co dále? ICT ve zdravotnictví 2014

IBM Tivoli Storage Manager 6.2 a IBM Tivoli Storage Manager FastBack 6.1.1

Formáty a dlouhodobé uložení: Identifikace, extrakce a validace

Přístupy k řešení a zavádění spisové služby

DŮVĚRYHODNÁ ELEKTRONICKÁ SPISOVNA

Národní digitální archiv

Archivace Elektronických Dokumentů

Reporting a Monitoring

RDF DSPS ROZVOJ PORTÁLU

Petr Pavlinec, Kraj Vysočina Roman Kratochvíl, ICZ a. s. 2. dubna 2012 Konference ISSS 2012

ARBES ECM MODERNÍ SYSTÉM. určený k digitalizaci, tvorbě, správě, sdílení a archivaci dokumentů a obsahu.


EIDAS, DIGITÁLNÍ DŮVĚRA A MODERNÍ PAPERLESS. Jan Tejchman Business Consultant

Cloud. Nebo zatím jen mlha? Workshop Day 2011 WG06 Jaromír Šlesinger, CA Technologies Bratislava, 13. október 2011

Systémy pro tvorbu digitálních knihoven

Implementace egovernment do měst a obcí. Josef Beneš. Úspěšné řízení úspěšných projektů

1.1. Správa a provozní podpora APV ROS, HW ROS a základního SW

Karel Koucký. Státní oblastní archiv v Praze Národní archiv AKM 2013,

praktické zkušenosti z Kraje Vysočina

Využití ADONIS a APP v podmínkách banky

Technologická centra krajů Digitalizace a ukládání

Technologická centra krajů a ORP

Business Intelligence

RD.CZ EVIDENCE DIGITALIZOVANÝCH DOKUMENTŮ A SLEDOVÁNÍ PROCESU ZPRACOVÁNÍ

DATOVÁ ARCHIVACE. Principy datové archivace a její výhody při migraci na SAP HANA. Štěpán Bouda Business Consultant

KRAJSKÉ DIGITÁLNÍ ÚLOŽIŠTĚ

Z papíru na web a ke čtenáři aneb Digitalizace není jen skenování. Mgr. Monika Oravová Moravskoslezská vědecká knihovna v Ostravě

Příloha č. 1 Servisní smlouvy. Katalog služeb. S2_P1_Katalog služeb

Národní digitální archiv a egovernment

NOVÉ MOŽNOSTI PŘÍSTUPU K DIGITÁLNÍ ARCHIV NLK PLNOTEXTOVÝM INFORMACÍM : Filip Kříž, Lenka Maixnerová, Ondřej Horsák, Helena Bouzková

Možnosti využití cloudových služeb pro provoz IT

JAK NA PAPERLESS. Petr Dolejší Senior Solution Consultant

Šedá literatura case study v ČR

DOBRÉ PRAKTIKY ŘÍZENÍ INFORMATIKY APLIKOVATELNÉ VE VEŘEJNÉ SPRÁVĚ

Projekt digitalizace a ukládání v regionech. Petr Pavlinec, KrÚ kraje Vysočina Březen 2010

Jak efektivně řídit životní cyklus dokumentů

Obsah Úvod 11 Jak být úspěšný Základy IT

Ukládání a archivace dat

EIDAS, DIGITÁLNÍ DŮVĚRA A MODERNÍ PAPERLESS. Jan Tejchman Business Consultant

Konsolidace v datacentru. Miroslav Kotrle, Ph.D. CONVENIO CONSULTING

Zpráva ze zahraniční služební cesty

Otevřená data veřejné správy

Cloud Slovník pojmů. J. Vrzal, verze 0.9

Chytrá systémová architektura jako základ Smart Administration

19. pracovní skupina zástupců univerzit a ústavů AV ČR. Praha, 23. března 2016

Model nákladů na digitální archiv. Verse XI.07

Řešení ochrany databázových dat

Elektronické dokumenty - jak efektivně na jejich správu a bezpečnost?

Svalová dystrofie. Prezentace technologických řešení registru Petr Brabec

Národní digitální archiv

Technologická centra obcí ZKUŠENOSTI HOSTOVÁNÍ ŘEŠENÍ SPISOVÉ SLUŽBY

Datové centrum a Regionální SAN kraje Vysočina. Projekt digitalizace a. Petr Pavlinec, KrÚ kraje Vysočina. Září 2009

Novell Identity Management. Jaromír Látal Datron, a.s.

MEZINÁRODNÍ NORMY A DIGITÁLNÍ KONTINUITA. Tomáš Bezouška Praha,

Petr Vlk KPCS CZ. WUG Days října 2016

Aplikační software SWORM : Vyspělý nástroj pro měření a řízení operačního rizika Mgr. Tomáš Němeček Advanced Risk Management, s.r.o.

Případová studie.

Lotus Quickr - ECM Integrace s LD/LN aplikacemi. Ing. Josef Homolka VUMS Legend

Jak na jakost v podnikovém IT Evropský týden kvality Praha

Zhodnocení průběžného plnění Informační strategie hl. m. Prahy do roku 2010 (Cesta k e-praze) Duben 2009

<Insert Picture Here> Jak garantovat bezpečnost systémů ve státní správě

Využití nástrojů z projektu Česká digitální knihovna při digitalizaci a zpřístupnění digitálních dokumentů

Dlouhodobá ochrana digitální dokumentů. Mgr. Jaroslav Kvasnica

Národní úložiště šedé literatury

Zpráva ze zahraniční služební cesty

programátor vs. vývojář

Enterprise Mobility Management AirWatch & ios v businessu

Audit důvěryhodnosti digitálního repozitáře NUŠL. Petra Pejšová Národní technická knihovna Praha

Outsourcing v podmínkách Statutárního města Ostravy

Projekt Digitalizace a ukládání ve Zlínském kraji zkušenosti, postřehy

Standard pro předávání dokumentů. Bohumil Chalupa Národní archiv

e-pv_kalkulace nákladů pro NK - osobní náklady

Případové studie a kulatý stůl. Dalibor Kačmář, Microsoft

Jednotný NIS Prezentace k zahájení projektu pro Radu kraje Vysočina. Projektový manažer - Ing. Ivan Sokolov, Ph.D.

Spisová služba jako součást IBM ECM řešení

Důvěryhodná dlouhodobá a garantovaná archivace (požadavky z pohledu legislativy).

Budování a využívání cloudových služeb ve veřejné správě. leden 2015

Zkušenosti z nasazení a provozu systémů SIEM

Výzvy využívání otevřených dat v ČR

Ředitel odboru archivní správy a spisové služby PhDr. Jiří ÚLOVEC v. r.

Transkript:

Dlouhodobá ochrana digitálních informací : Ex Libris Rosetta v Národním archivu Nového Zélandu Jan Hutař Digital Preservation Analyst Archives New Zealand Praha, 21.2.2013 1

Obsah úvod o Archivu Nového Zélandu GDA program Digitální archiv, aplikace a LTP Rosetta Digitální transfery Praha, 21.2.2013 2

Archives New Zealand 125 zaměstnanců 4 regionální pobočky 45TB dat 296 digitální km papírových repozitáře archiválií 1 LTP systém (Rosetta, ExLibris) rozpočet 25 mil. NZD (380 mil. Kč) na rok 2.4 milionu fotografií a negativů 552.000 map a plánů 21.500 filmových kotoučů 1.000 video pásek atd. Praha, 21.2.2013 3

Praha, 21.2.2013 4 http://upload.wikimedia.org/wikipedia/commons/8/80/archives_new_zealand_building_in_wellington.jpg

Struktura Department of Internal Affairs Praha, 21.2.2013 5

Public Record Act 2005 zahrnuty i dokumenty v digitální podobě nutnost je získávat, uchovat, zpřístupňovat agentury musí posílat dokumenty starší 25 let do archivu (skartační řízení atd.) Informace z vládního sektoru identifikované jako archiválie musí být bezpečně dlouhodobě chráněny tak, aby se neztratily, nebyly pozměněny nebo neoprávněně užívány. Musejí zůstat vyhledatelné a čitelné, procesy a systémy toto zajišťující musejí být nenáročné na náklady a údržbu a musejí vyhovovat uživatelům. informace musí být autentické audit událostí Praha, 21.2.2013 6

Spolupráce NL NZ, Government Technology Services Rosetta, infrastructure, IT services Archives New Zealand Digital Archive Programme Agencies Reference group, Digital Continuity Action Plan, transfer process design, tools and support, pilot transfers, medium / long term transfer planning Researchers / Public Reference groups, search pilot trial, feedback Peers International research community, other archives, peer review, universities Praha, 21.2.2013 7

Government Digital Archive Programme - GDAP projekt na implementaci digitálního archivu + transformaci ANZ instituce veřejného i soukromého sektoru přecházejí na digitální dokumenty ANZ nebylo schopno digitální dokumenty organizovaně přijmout, zpracovat, zpřístupnit dlouhodobé uchování samostatný problém tj. celková neschopnost dostát povinnostem z Public Record Act 2005 vnímáno velmi negativně veřejností i institucemi (otevřená vláda, omezený přístup k veřejným informacím atd.) Praha, 21.2.2013 8

Government Digital Archive Programme projekt na 3 roky (2010-2013); náklady 12,6 mil. NZD (200 milionů Kč) na 4 roky (přechod na běžný provoz) financování po 2014 je plánovanou součástí rozpočtu vlády návaznost na vládní koncepce o přístupu k informacím a dlouhodobé ochraně dokumentů v digit. podobě od počátku byla cílem aktivní dlouhodobá ochrana (vs. pasivní ochrana bit-streamu IDA) cílem co nejrychlejší implementace existujícího a funkčního LTP systému + transformace instituce + změnit myšlení lidí i původců samotné instituce začaly na Archives NZ tlačit (problémy s daty, ztráty atp.) Praha, 21.2.2013 9

3 fáze GDAP 1. Fáze online zpřístupnění digitalizovaného obsahu (září 2012) najít, stáhnout zdigitalizované volné dokumenty přes Internet data uložena v Rosettě (migrace a SW Ingestor) Ingestor v1.0 jednotliviny, pouze TIFF/PDF/XML 2. Fáze transfery digitálních dat (březen 2013) Ingestor v2.0 bulk ingest, různé reprezentace, více formátů synchronizace DB Archway, Rosetty a Ingest service (Ingest via Archway) 3. Fáze zabezpečený online přístup a procesy dlouhodobé ochrany (červen 2013) zpřístupnění k archiváliím s omezením přístupu (veřejnost i původce) omezení lze upravovat, udělovat/odebírat (70let + možnost prodloužení) lze žádat o přístup i přes omezení rutinní provádění procesů DP Praha, 21.2.2013 10

GDAP a proměna Archivu NZ maxim. míra integrace digi procesů do procesů stávajících GDAP = přerod celé organizace jejích procesů a způsobu řízení změna technického zajištění ANZ musí být schopen fungovat novým způsobem výsledek a nová podoba Archivu NZ se dotkne všech také nedotčení pracovníci musejí být ztotožněni s cíli a významem této změny; musejí chápat přínos a jak se změní jejich denní činnosti zaměstnanci jsou průběžně seznamováni s postupem GDAP několikastupňové školení pro interní pracovníky a kolegy z regionů podstata DP, využití archivu, nové procesy, transfery digitálních dat, jednání s původci aj. Praha, 21.2.2013 11

Co předcházelo GDAP? GDAP vznikl na základě starších přípravných aktivit (koncepce, legislativa, získávání znalostí atd.) cíl získat/vychovat odborníky pro digitální archiválie, ERDM systémy apod. nepřidávat tuto problematiku stávajícím archivářům 2006 vzniklo oddělení Digital Continuity, 2007 schváleno financování tohoto oddělení v rámci vládní podpory uchování digitálních informací první hlavní výstup akční plán (Digital Continuity Action Plan, DCAP) Praha, 21.2.2013 12

Digital Continuity Action Plan schválen vládou v roce 2009 - Archiv NZ připravil veškeré podklady cíl poskytnutí metodiky, standardů, návodů, sdílení znalostí a další podpory vládním a jiným veřejným institucím vedoucí úlohu v provádění akčního plánu má Archiv NZ ve spolupráci s regiony GDAP je jedním z výsledků akčního plánu, s hlavním cílem vybudovat digitální archiv s funkcionalitou dlouhodobé ochrany digitálních dokumentů Praha, 21.2.2013 13

IDA (Interim Digital Archive) IDA dočasné řešení pro data z digitalizace, 2008-2012, 45TB Fedora SW na správu dat žádné procesy dlouhodobé ochrany (identifikace formátů etc.) ochrana bit-streamu, kontrola přístupů, kontr. součty apod. propojení do systému na popis archiválií, vyhledávání a zpřístupnění (Archway Staff a Public) migrace dat do LTP systému Rosetta Praha, 21.2.2013 14

Government Digital Archive technické systémy AGENCIES selected digital information Agency tools standard transfer format file Archives transfer / ingest processes selected digitised copies AGENCIES or ARCHIVES intellectual metadata digital content & technical metadata ARCHWAY Digital Repository Preservation processes Data storage & server infrastructure Search & display tools shared with NDHA (National Library), supported by GTS unrestricted items secure logon; agency links to their records Identity/ Access restricted items WEB APPS CONTENT AGGREGATORS AGENCIES PUBLIC USERS

Appraisal policy and processes Transfer and ingest processes Access policies and processes Government Digital Archive policies Digital AGENCIES RK processes, advice Agency tools Archives transfer / ingest processes Digitisation strategy & processes AGENCIES or ARCHIVES Archives control / description ARCHWAY standards and processes Digital Repository Digital preservation Preservati policies and processes on processes data storage & server infrastructure Search & display tools Identity/ Access WEB Online APPS services strategy public CONTENT users AGGREGATORS PUBLIC USERS Online services strategy - agencies AGENCIES

Zdroje dat pro digitální archiv LTP systém Rosetta digitalizace on site + externě (NZ micrographics) + on demand do 2h TIFF > JPG + PDF; přechod na JPEG2000 i regiony (Dunedin, Christchurch, Auckland) ingest přes ingestor dlouhodobá ochrana není plánována pro všechna data transfery born-digital dokumentů dlouhodobá ochrana pro všechna data různé formáty snaha omezit ingest via Archway Staff a ingestor service pilotní transfery viz dále migrace z repozitáře IDA 45TB převážně digitalizovaná data, TIFF data extrahována z IDA skriptem, další skript vytvoří SIP (METS) pro Ingestor service Praha, 21.2.2013 17

Personální obsazení provoz LTP systému 2 PÚ admin nastavení, migrace dat z IDA; skripty na hromadné opravy dat z migrace co se chytí do TAW; správa/analýzy DB, architektury etc. 2 PÚ DP analytik nastavení LTP systému, koncepce ochrany, policies, procesy, komunikuje s archiváři co chtějí, řeší TA problémy, plány rozvoje funkcionality LTP, organizuje updaty, spolupráce s ExL, analýzy formátů 0,5 PÚ sys admin - DB, servery, storage, restarty, updaty apod. (NK NZ) 3 PÚ archivář (recordkeeping) - domluva transferů s původci, analýzy archivního popisu, mapování metadat, archivní standardy, omezená manipulace s daty (vymazaní do odpadkového koše např.) v LTP 0,2 PÚ vývojář stará se o aplikaci pro ingest (vývoj, opravy atd.) Praha, 21.2.2013 18

Personální obsazení další úvazky v GDAP v GDAP vznikly úvazky Business Analyst a Business Change Manager klíčoví pro GDAP a přeměnu Archivu NZ most mezi běžnými procesy a programem pracují s archiváři na identifikaci potřebných změn tyto změny pak vedou k jejich naplnění. vývojáři (3-4) převádějí potřeby odborných archivářů do podoby funkčních aplikací nebo vylepšení stávajících případové studie (use case) pro desítky jednotlivých procesů a funkcionalit testeři (3-4) - systematicky testují práci vývojářů podle use casů po ukončení GDAP tito lidé nebudou v Archives NZ pokračovat již nyní se intenzivně pracuje na budoucí podobě práce a procesů bez těchto pracovníků zůstává kompletní oddělení Digital Continuity Praha, 21.2.2013 19

Jak ovlivní digitální archiv jednotlivé role (výběr)? klasický archivář popis, archivní zpracování, skartační řízení postupy stejné, ale nové technologie SW, papír vs. digi nové znalosti pro skartační řízení transfer je diametrálně odlišný, ne proces, ale způsob může ovlivnit samotné LTP bulk delete původce nový typ transferu nové nároky na dokumenty určité formáty ERDMS oddělení digitalizace ovlivněno velmi nutná spolupráce s dig. archiváři výběr formátů, kontrola výstupů ext. i inhouse digitalizace (JHOVE) uživatel/občan stát vědomí, že po papíru nepřišla potopa transparentnost > spokojený občan znovu využití informací Praha, 21.2.2013 20

Aplikace pro implementaci GDA - Ingestor na vkládání dat do archivu (LTP systému) vývoj začal v rámci GDAP web klient + ingestor service jednotliviny nebo větší balíky dat 1 jednotlivost = 1 SIP - záměrně různé formáty, pouze PM nebo i MM a AC (kde nutno video apod.) web klient je pro archiváře; ingestor service vytváří SIP (METS), včetně multipage PDF pokud nutno normální ingest vs. urgentní ingest propojeno s DB Archway pro popisná metadata (4 pole) a ingest via Archway; s Rosettou pro autentikaci a deposit API (reporty o ingestu) vytváří administrativní metadata systém validace formátů před odesláním kontrola množství dat ve frontě na ingest (noc, den) reporty přehled ingestů uživatele, jejich status apod. Praha, 21.2.2013 21

Aplikace pro implementaci GDA Archway Staff Archway Staff i Public existovaly před GDAP v GDAP je nutno je změnit v rámci GDAP je pouze změna Archway Staff model popisu archiválií interní aplikace pro archiváře, funkční od 2002 archivní management systém používaný k popisu kontextových entit (organizace, jurisdikce, funkce, původce, série) a samotných archiválií (dokumentů a jednotlivostí) workflow ke sledování schvalovacího procesu, zaznamenává jednotlivé kroky a změny archiváři jej také využívají k vyhledávání v metadatech archiválií nedostupných přes Archway Public mnoho variant rolí a oprávnění pro různé pracovníky omezení přístupu spravováno přes Archway, ne přes LTP Praha, 21.2.2013 22

Aplikace pro implementaci GDA Archway Public zpřístupněno 2005 relativně dost změn do současnosti aplikace na vyhledávání v metadatech za účelem nalezení fyzických, a nově i digitálních, archiválií (jednotlivostí), sbírek nebo sérií a jejich kontextu umožňuje navigovat mezi kontextovými entitami, tedy souvisejícími dokumenty, úrovněmi popisu apod. zpřístupňuje data a tech. MTD z LTP Rosetta (různé reprezentace jednotlivosti) otázka prohlížečů (Rosetta interní vs. externí) obsahuje pouze entity, které byly zkontrolovány a odsouhlaseny ke zveřejnění Archway báze - společná pro Archway Public i Staff - obsahuje elektronické záznamy o 4,6 milionech jednotlivostí každá má popisné údaje, údaje o dostupnosti apod. http://www.archway.archives.govt.nz/ Praha, 21.2.2013 23

Vývoj aplikací okolo Rosetty business analýza požadavky funkční nefunkční (business + BA) vznikne Use Case rozčleněn na karty pro vývojáře > vývoj funkcionalit testeři testují pak kompletní UC (ne dle karet) > reporty, issues, opravy > business acceptance testing > na konci všichni podepíší (další požadavky nelze začlenit) DIA testing agency (GTS) pro všechny vládní úřady profesionální testeři - vědí jak testovat test plans pro UC > varianty positivní, negativní, variantní; dopady, rizika atd. Praha, 21.2.2013 24

Records Management Appraisal Record creation & capture Standard setting & monitoring Record disposal X Other disposal Government Digital Archive Activities & Business Capabilities - Context Record maintenance Transfer (digital records) from agency Transfer Management Transfer negotiation Selection management Quality assurance SIP (Object) Ingest Automated staging Problem analysis & resolution Digital Repository Risk analysis Preservation planning Risk Profile management Plan execution Preservation Management existing holdings Digitisation Management Digitisation control Content digitisation digitised records Submission creation Item management Archive Control Arrangement and Description Description Common Services Access restriction management Repository Management Storage management Data management Repository administration Deaccession Delivery DIP Access Discovery Rendering Agency relationship Security management Identity & Authentication Change management Incident management Recovery (backup, restore) Database administration System configuration Exception handling Reporting Performance monitoring

Praha, 21.2.2013 26

LTP Rosetta programy DCAP a později GDAP vznikaly zároveň s projektem NK NZ National Digital Heritage Archive (NDHA) od roku 2005 vytvářely požadavky na digitální archiv a LTP systém pro logickou dlouhodobou ochranu dat vývoj probíhal ve spolupráci s ExLibris NK dodala funkční a nefunkční specifikace, ExLibris vývoj LTP Rosetta byl v NK NZ ve verzi 1 zprovozněn v roce 2008 a je komerčně nabízen jako Rosetta (nyní ve verzi 3.1) šlo o první instalaci systému na světě > dnes jej používá více než 15 institucí po celém světě Rosetta podporuje konsorciální využití pro více institucí (entit), které mají možnost spravovat pouze svá data a svoji část systému Praha, 21.2.2013 27

Varianty GDAP a cesta k LTP Rosetta SP GDAP 4 varianty řešení 1. rozšíření stávajícího řešení NK NZ (2008) = nákup další licence na systém Rosetta a rozšíření HW vybavení v kombinaci s tvorbou nových procesů, strategií a úprav stávajících systémů; 2. výběrové řízení na LTP systém a infrastrukturu; 3. rozšíření a rozvoj dočasného repozitáře IDA 4. nedělat nic v květnu 2010 vláda schválila variantu 1) varianta 2) vyhodnocena jako zbytečný výdaj nákladů na organizaci tendru, jehož nejlepším výsledkem by bylo stejné nebo velmi podobné řešení, jaké má již NK NZ Praha, 21.2.2013 28

Rosetta v Archivu NZ a NK NZ sdílení LTP systému Rosetta a vzájemná spolupráce vyžadovalo: rozšíření jádra softwaru Rosetta a hardwarové infrastruktury (servery, úložiště aj.); integraci systému Rosetta s aplikací Archway; + s novou aplikací na vkládání jednotlivostí do digitálního archivu - Ingestor; rozšíření funkcionality systému Rosetta o několik procesů požadovaných pro Archiv NZ (bulk delete externí; vytvořit set dat ze souboru) osvojení nových znalostí a nábor nových pracovníků v Archivu NZ; začlenění problematiky DP do aktivit, které Archiv NZ běžně provádí, zkoumá je a dále rozvíjí; spolupráci s NK na sdílených strategiích, procesech, administraci, vytvoření pravidel, dokumentace apod. Praha, 21.2.2013 29

Digital Repository Digital preservation processes Data management Continuous virus, fixity, checking; format updating Metadata / content synchronisation Bulk delete/ deaccession, access status change etc ARCHWAY

Klíčové technické výzvy první implementace Rosetty v archivu první implementace konsorciálního modelu Rosetty (nyní již více zákazníků) sdílení úložiště dat, systému, správy s NK NZ komplexní integrace se systémem Archway (duplicitní prohlížeče, provázání dat a MTD, synchronizace); Archway je výchozí systém pro popisná MTD vývoj pro aplikaci, která se stále vyvíjí (nové verze > testování), nové business nároky apod. migrace dat ze starého repozitáře (nakonec ne tak komplikovaná), problém jsou samotná data (chyby) přechod na IaaS 2012-2013 outsourcing serverů a storage do vládních datových center proměnné prostředí spojení ANZ a NK NZ; nová struktura ANZ; společný nákup HW a SW pro vládní úřady, sdílené služby atd. atd. Praha, 21.2.2013 31

Co od LTP Rosetta potřebujeme logická ochrana digitalizovaných dat logická ochrana digital-born dat (transfery) možnost konsorcia a flexibilního udělování rolí pracovníkům, dodavatelům flexibilita pro různé typy storage správa dat výběr, manipulace, mazání, tvorba reprezentací identifikace formátů validace formátů > jednotná množina konkrétních verzí FF extrakce metadat > nové extraktory > opakovaně extrakce rizik, možnost přidávání rizik Praha, 21.2.2013 32

Co od LTP Rosetta potřebujeme flexibilita pro větší množství dat; pluginy (extraktory, identifikace FF, prohlížeče, nástroje na migrace atd.) a způsoby využití LTP flexibilní workflow pro ingest otevřenost standardy dat i metadat bázi FF, rizik, aplikací (FF bez aplikace = riziko) prostředí na migrace (preservation planning modul) komunitu (velmi silná spolupráce nátlak na dodavatele, nové požadavky, sdílení znalostí) vstřícnost dodavatele roadmap, nové verze, respektování požadavků zákazníků Praha, 21.2.2013 33

Ingest Applications Format Library SHARED DIGITAL ARCHIVE Extract & Validation Tools transfer list & contents Check package format Check against transfer agreement Ingestor Tools ROSETTA DEPOSIT ingest processing Fixity (bit check) Virus check Form SIPs ROSETTA STAGING ROSETTA PERMANENT REPOSITORY metadata synchronisation ARCHWAY DATABASE SERVER Identify file formats from Format Library Fix or reject problems Extract technical file metadata Parse intellectual metadata & create Archway entries Write technical metadata, preservation masters, access derivatives to digital repository

Migration preconditions and planning have as much information about data as possible populate list of file formats, applications and risks + metadata significant properties proper environment for preservation planning and action Rosetta Preservation planning module Populate Libraries (format, applications and risks) Perform Risk Analysis Generate Risk Report (Risk for each Format) Create Preservation Set Create Preservation Plan Execute chosen Alternative of the Plan 18

Risks Applications Digital Archive (permanent Storage) Digital preservation processes e.g. Migration Format Library Operational (temp) Storage Formats Risk Report Evaluate alternatives Apply migration action Monitor, fix, complete

Applications Digital preservation processes e.g. Emulation Format Library Digital Archive Emulation software ARCHWAY

Transfery 5 pilotních transferů (Canterbury Earthquake Commission; Pike River Commission aj.) počítáme s vyjednáváním s každým původcem postupné osvojení zásad nelze nic nařizovat formáty apod. STF (Standard Transfer Format) XML pro přenos metadat mapování diskuze s australskými kolegy transfer musí být co nejjednodušší pro původce nechceme aby původce migroval data do preferovaných formátů Praha, 21.2.2013 38

Proměna práce s agenturami záleží na tom jaké mají EDRMS co z nich lze exportovat zákonná lhůta pro odevzdání archiválií je 25 let příliš dlouho pro digitální dokumenty čím je čas od vzniku dokumentu do transferu delší, tím je ochrana a celý proces náročnější a dražší migrování metadat do STF případ od případu z počátku, systém od systému snaha zachovat pořádání materiálu v EDRMS > nutno pochopit základní intelektuální model pořádání té instituce v EDRMS > pomůže s mapováním do STF a popisem použití stejných EDRMS různým způsobem (Lotus Notes, Summation) > problémy při popisu entit Praha, 21.2.2013 39

Jak probíhá transfer? data a metadata od původců přenášena v balících celistvost, integritu a strukturu dat kontroluje a obsahuje STF XML soubor STF schéma bylo v Archivu NZ vytvořeno za účelem přenosu dat a metadat od původců STF XML soubor > Archway Staff > automaticky vzniknou záznamy jednotlivostí > uložena do DB > archivář (kontrola, pořádání, vnitřní skartace) > ingest do systému Rosetta do Rosetty putují i technická a administrativní metadata, která byla součástí STF záznamu od původce data mezitím čekala na pracovním úložišti - v okamžiku ingestu vkládána do Rosetty spolu s metadaty zajištěno, že všechny jednotlivosti mají záznam v Archway bázi Praha, 21.2.2013 40

Formáty dat Rosetta je schopna uložit jakýkoliv soubor a formát analýza dat jednoho z pilotních transferů ukázala, že obsahuje 70 tisíc dokumentů (records), což představuje 355 tisíc souborů v několika desítkách formátů nejvíce běžné formáty kancelářských aplikací, ale také soubory vytvořené proprietárním přístrojem na měření úrovně metanu v dolech interní směrnice pro transfery - nelze převzít soubory poškozené, zavirované, s neznámým obsahem apod. otázka skartačního procesu směrnice neuvádí jaké datové formáty lze akceptovat Archiv NZ musí být schopen akceptovat soubor v jakémkoliv formátu, pokud je pro svůj obsah vybrán k archivaci pro původce bude publikován dokument o preferovaných formátech - nebude nařizovat, aby je původci vytvářeli Praha, 21.2.2013 41

Zdroje za málo peněz hodně muziky omezování výdajů i tak schopnost zaplatit odborníky ze soukromého sektoru i ze zahraničí marketing plánování risk management zdroje na ICT vláda je aktivní (centralizace HW, nákupů, sdílený desktop atd.) Praha, 21.2.2013 43

Organizace mandát, organizační rámec, business plan, řízení, reporting atd. pochopení proč máme LTP systém digitalizace - my si uložíme data jinam, protože je to levnější, LTP nás nezajímá digitalizace pro ochranu vs. digitalizace pro přístup - patří pro přístup do LTP? ano nebo ne? Rosetta není CMS, i když se to k tomu posouvá na žádost klientů - CMS vs LTP nepotřebujeme LTP, zdigitalizujeme znovu školení Praha, 21.2.2013 44

Technologie IT infrastruktura DP procesy udržitelnost a pokračování v budoucnu preservation metadata bezpečnost audit a standardy Praha, 21.2.2013 45

Problémy technické identifikace formátů, extrakce metadat problémem jsou data, ne LTP systém, ne jiné podpůrné systémy a aplikace nedostatek nástrojů na extrakci metadat obecně minimální znalost o formátech u původců nikdo nekontroluje jak kvalitní PDF, Word etc produkuje SW nevytváří soubory podle specifikací formátů > otázka co s tím bude to vadit dlouhodobé ochraně? debata o pre-condition ano nebo ne? co je a co není autentické? důraz na psané policies a popisy procesů, které odsouhlasí odpovědní pracovníci podpisem chceme ochraňovat vše nebo něco je méně důležité? Praha, 21.2.2013 46

Zpřístupnění hlavní cíl, politika NZ vlády zpřístupnit ideálně co nejvíce dat, využít novým způsobem co není omezeno, zpřístupnit okamžitě už teď víme, že původci budou opatrní nevíme co to udělá s lidmi > digi není papír, spousta možností využití a vytěžení dat, dávání do souvislostí automaticky co se stane až zpřístupníme maily instituce XY příští rok? např. Canterbury EQ commision český přístup jen ve studovně nepřipadá do úvahy, lidé mají na public record nárok Praha, 21.2.2013 47

Otázky do budoucna škálovatelnost procesů typu pre-conditioning, ingest, migrace Digital Preservation Centre of Excellence certifikované externí repozitáře u původců? Preservation-as-a-service použití vládních datových center a GDA pro středně-dobé uložení využití digitálního archivu pro neveřejné (tajné) dokumenty Praha, 21.2.2013 48

Shrnutí problémem není technologie (HW a SW), ale: organizace změna chápání lidí chápání DP a toho co je LTP se mění a bude měnit budování digitálního archivu a LTP je střelba na pohyblivý cíl proměny technologií, organizační změny, krize atd. spousta neznámých zpřístupnění digital-born je odlišné od zpřístupnění papírových dokumentů i přes podrobné plány stále nové a nové neznámé povědomí o FF je minimální původci nechápou proč chceme validní TIFF nutno mluvit s původci o digitálních archivu, LTP a jeho funkčnosti zatáhnout je do toho Praha, 21.2.2013 49

GDAP je první krok GDA program a jeho jednotlivé fáze vývoj v Archivu NZ nezakonzervují, právě naopak, položí základy k dalšímu rozvoji funkcionalit a služeb týkajících se digitálních dokumentů jak pro veřejnost, tak pro původce. Praha, 21.2.2013 50

Děkuji za pozornost www.archives.govt.nz/gdap Praha, 21.2.2013 51