Zpráva ze zahraniční služební cesty

Transkript

1 Zpráva ze zahraniční služební cesty Jméno a příjmení účastníka cesty Libor Coufal Pracoviště dle organizační struktury OAW Důvod cesty Valné shromáždění IIPC + doprovodné konference a workshopy Místo město Haag Místo země Nizozemí Datum (od do) Podrobný časový harmonogram 8.5. večer přílet 9.5. konference Out of the box: building and using web archives valné shromáždění IIPC jednání pracovních skupin IIPC jednání pracovních skupin IIPC workshop Web data mining & analysis; odlet Spolucestující z NK Zuzana Kratochvílová, Lukáš Gruber, Rudolf Kreibich Finanční zajištění VaV LiWA Cíle cesty účast a prezentace na konferenci účast na valném shromáždění IIPC účast na jednání pracovních skupin IIPC účast na workshopu Plnění cílů cesty (konkrétně) Všichni účastníci se zúčastnili konference Out of the box: building and using web archives a valného shromáždění IIPC; Z. Kratochvílová a L. Gruber prezentovali příspěvek na konferenci o projektu WebArchiv. L. Coufal se účastnil jednání pracovní skupiny Preservation; Z. Kratochvílová a L. Gruber se účastnili jednání pracovní skupiny Access; R. Kreibich se účastnil jednání pracovní skupiny Harvesting. R. Kreibich se zúčastnil workshopu Web data mining & analysis. Program a další podrobnější informace Podrobný program celého týdne je k dispozici na stránkách IIPC: Podrobná zpráva z konference Out of the box: building and using web archives a workshopu Web data mining & analysis bude v brzké době publikována formou článku v některém z odborných knihovnických periodik. Podrobnější informace z valného shromáždění IIPC a jednání pracovních skupin je v příloze této zprávy. Datum předložení zprávy Podpis předkladatele zprávy Podpis nadřízeného Datum: Podpis: Vloženo na Intranet Datum: Podpis: Přijato v mezinárodním oddělení Datum: Podpis:

2 , Úterý IIPC General Assembly Welcome and Steering Committee Update Sean Martin, British Library, Chair of the IIPC Steering Committee - v novém uspořádání podle nové smlouvy SC se snaží být o více demokratické o transparentní o strategická - více demokratické o model pro složení SC pravidelná částečná obměna SC, členové jsou voleni na určité období o 2 členové končí v 2011, a budou nové volby, výzva k nominaci členů bude zaslána letos - transparentní o zápis z jednání SC jsou publikovány a sdíleny pro všechny členy o nový formát higlight report stručný zápis, který zdůrazňuje priority a důležité body o snaha zachytit, co se děje v konsorciu, jaký je vývoj o SC má jednání čtvrtletně, většinou přes telefon (osobní setkání výjimečně, většinou při příležitosti GA) - strategická o cílem je posunout se dále ( moving the consortium forward ) o 2 task forces: strategic and outreach TF o mění se úloha SC dříve spíš dohled, nyní zaměřené více na leadership o během současného zasedání bude SC diskutovat strategii na příští 3 roky kde chceme být a jak se tam dostaneme Program Officer Report Aaron Binns, Internet Archive, Program Officer of the IIPC - témata: o rich media o QA o využití webových archivů pro výzkum o archivace socialního webu o web pro mobilní zařízení (Aaronův osobní zájem) - v IIPC se často řeší otázka archivace soocialního webu - mělo by IIPC mít vlasní Facebook? - jak získat pomoc od širší komunity? Dobrovolníci kurátoři, archiváři (v jiných institucích?) - reakce na aktuální celosvětové události předmětoví specialisté jak je zainteresovat? - monitorování ohrožených stránek upozornění, že určité stránky budou ukončeny - současné projekty

3 o zpráva o praxi při sklízení rakouská NK o nástroje pro formát WARC Hanzo - budoucí projekty (potenciální) o OH Londýn 2012 BL zaměření na zpřístupnění o WebAnalyzer NK České republiky o JHOVE2: podpora formátu WARC support CDL, BNF - programy o výměnné pobyty/stáže most valuable time is when we are meeting together in person, soliciting ideas and discussion Communications Office Report Abigail Potter, Library of Congress, IIPC Communications Office Membership report o nový člen Alexandrijská knihovna první africký člen o přišli jsme o jednoho člena Skotsko o v současnosti 38 členů - valné shromáždění (výroční zasedání) IIPC o 100 přihlášených účastníků rekord o rozložení kopíruje členy nejvíce z Evropy a Severní Ameriky o nejvíce uváděné pracovní zařazení strategic a administration, další mix a other 29, technical 23, curators 10, preservation specialist 5, legal and copyright specialist 2 - V 2010 propagace v IEEE Spectrum článek-rozhovory se členy, komiks ( - 2 IIPC Listservs (curators + members) hlavní nástroj pro interakci a komunikaci v IIPC (334 kurátorů, 227 členů více aktivní) - Návrh na předělání současných webových stránek o současné stránky HTML s databází v pozadí, stránky nejsou velmi využívané o nové stránky by měly usnadnit používání členy. Hledají se členové se zájmem o práci na tvorbě nových stránek. o chtějí tam prvky sociálního webu Treasury Report Gildas Illien, BnF, IIPC Treasurer - zpráva o výdajích za 2010 o plánováno EUR, utraceno EUR, EUR se převádí do 2011 o celá zpráva bude veřejně dostupná - plán na 2011 o plánované výdaje EUR - prostředky na nové projekty o zbývá z minulosti EUR o členské příspěvky z EUR o plán na EUR o na nové projekty EUR

4 - výzva na podání návrhů na projekty! - Gildas Illien na pozici IIPC Treasurer končí, vystřídá ho Clement Oury z Národní knihovny Francie Představení nového člena IIPC Bibliotheca Alexandrina - představení knihovny a datového centra - popis současného hardwarového a softwarové vybavení - první sklizeň v roce 2005; poté to zastavili a pokračovali až v roce v současné době provádějí dvě sklizně: o tématická sklizeň mapující porevoluční vývoj v Egyptě o weby arabské ligy Zprávy o činnosti pracovní skupin Harvesting Working Group Kristinn Siggurdson and Lewis Crawford - projekty z roku 2010 o harvest practices report hotovo o WebAnalyzer připravuje se žádost - v rámci HWG definovány žádné konkrétní pracovní úkoly snaží se definovat, co by mělo být předmětem a smyslem její práce - seznam členů NK ČR je členem - 4 možné pracovní úkoly o kontrola kvality (QA) velmi silný zájem společná sekce s AWG během zasedání automatizovaný přístup o multimédia v rámci HTML 5 velký zájem, momentálně prozkoumáváno pouze ze strany IA o dynamické webové stránky např. Facebook zájem, ale zatím žádný aktivní projekt o pokračující/průběžné sklízení stejně jako v předchozím případě - nedávno otevřené téma v rámci mailové skupiny - velikost národních domén včetně duplikátů/aliasů bude o tom hovořit Bjarne - Gordon Mohr podá zprávu a nedávných a plánovaných úpravách Heritrixu Preservation Working Group Clement Oury BnF, Gina Jones Library of Congress - rekapitulace cílů o existující nástroje pro digitální uchování SW, metadatová schémata, doporučené postupy a návody jsou užitečné pro webové archivy?, identifikace rozdílů, propagace specifických potřeb webových archivů - oblasti práce skupiny: o cíle a koncepty uchování webových zdrojů o metadata (zachycení, zpracování, využitelnost) o workflow, funkce a požadavky digitálních repozitářů o strategie uchování (migrace, emulace) o techická dokumentace (dokumentace technického prostředí webu)

5 o evaluace existujících nástrojů pro uchování a analýza mezer (gap analysis) o organizační otázky (náklady, dlouhodobá udržitelnsot, propagace, schopnosti/znalosti/vědomosti ) - plánované výstupy na o databáze pro hodnocení rizik vychází ze zprávy o rizicích, vytvořené NLA; obsahuje bibliografii literatury o jednotlivých rizicích, seznam strategií pro omezení rizika, databází a online rozhraní, pomocí kterých mohou instituce provádět hodnocení rizik o databáze mapujicíc prostředí webu dotazník o technologickém prostředí pro přístup v jednotlivých institucích (HW, SW prohlížeče, plug-iny, apod.), online databáze o průzkum informačních balíčků srovnání, identifikace shod a vytvoření doporučení - plán práce pro toto jednání o zhodnocení dosavadních výstupů o přehodnocení statutu jednotlivých pracovních úkolů o práce na veřejné části databáze Access Working Group Helen Hockx-Yu, British Library - přehled aktuální projektů o společný projekt Olympiáda 2012 v současnosti cílem vybrat semínka, do budoucna sklidit a poskytnout přístup o studie, jak jsou využívány webové archivy průzkum využití pro akademický výzkum, shromáždění trendů a požadavků na příštup a použití dat z webu (INA) o projekt multilingualizace NutchWAXu testování systémové integrace NutchWAX a multiligualizovaného Nutch 1.0 dokončeno, bude probíhat závěrečné testování o průzkum možností SOLR jako alternativy k NutchWAX je dostupná zpráva, další krok: zdokumentovat známá využití/požadavky na plnotextové vyhledávání - agenda: o zpráva o projektu Memento o projekt Olympiáda - 7. října 2011 další setkání Access WG v Londýně Memento Update Robert Anderson, Los Alamos National Lab - Co je Memento? o umožňuje prohlížet archivované verze z aktuální verze webu v prohlížeci o web jako obrovský content management systém z jedné časové verze webu na jinou - postup vývoje o bezproblémová navigace minulého webu o standardizace IETF and W3C

6 o na straně klienta funguje jako plugin do FireFoxu (v provozní verzi) a plugin do Internet Explorer (experimentální verze); aplikace pro Android a iphone/ipad o rozšíření WayBacku dostupné od verze 1.6 nebo jako stand-alone aplikace pro ostatní verze o Memento server validator reportuje úspěšné/chybné transakce a varování u volitelných aspektů o Podpora pro proxy - Memento z pohledu vyhledávání o Webové stránky neobsahují timegates o Je třeba vytvořit časové mapy (time maps) seznam všech archivovaných verzí o robots.txt přidat příkazy, které by umožnily crawlerům objevit časové brány (TimeGates) a rss kanály (feeds) časových map (TimeMaps) - Memento Branding o Memento je schopno simultánně využívat data z různých časových archivů jak je odlišit (branding) a označit, odkud data pocházejí? - Přehodnotit alternativní strategie budování webových archivů (crawling) o crawling vs. transakční archivování o nutno vyvinout SW pro transakční archivaci webu Memento - technický workshop - vyhledávání napříč webovými archivy - různé verze webových zdrojů sjednotit je o CMS o Webové archivy o transakční archivy o cache vyhledávačů - v Mementu jsou verze vnímány jako časové verze - Pozn.: TimeGate není jednotlivý archiv, ale několik různých archivů (agregátor) o Problém: jak udržet záznam o tom, kde se nacházíme v čase? (podobně jako u WB ) - Zvláštní případ původní zdroj už neexistuje o Původní zdroj může odkazovat na specifickou časovou bránu (např. pokud je známo, že určitá časová brána má nejúplnější verzi ) zobrazit zdroj a ten automaticky přesměruje do archivu o Pokud původní zdroj neodkazuje na konkrétní časovou bránu, přejde na generickou časovou bránu a ta se pokusí najít nejvhodnější archiv - Pozn.: mohla by se uzavřít dohoda se správci stránek (ministerstva apod.) o redirektu na stránky v archivu (404) OII Workshop (search, visualization and data analysis) - otázka: je možné přes google vyhledávat v katalogu webového archivu? - doporučení: otevřít archiv tak, aby jej google zaindexoval - z hlediska uživatele: o nejdůležitější je informace, co přesně je v archivu

7 o vedle podpory přesného vyhledávání je také vhodné uživatelům nabízet náhodné tituly v kolekci (např. funkcionalita amazonu nabídka obdobných titulů na základě objednaného titulu) - zpětná vazba pro provozovatele archivu: analýza vyhledávacích dotazů uživatelů - věnovat dostatek času klasifikaci materiálů (na základě lidského rozhodnutí) a vytváření tématických clusterů (automatizovaný proces) - propagovat archivované stránky na webových stránkách archivu např. pomocí náhodného zobrazování stránek WARC Tools Update Mark Williamson, Hanzo Archives - původní verze nástrojů nebyla kvalitní kompletní přepracování projektu - současná verze snaha o flexibilnější, přímočařejší produkt - mohou být používané ve skriptech a dávkovacích (batch) procesech Nová verze - v jazyku python - snadná instalace - produkční nasazení v Hanzo - odlehčená verze Další vývoj - podpora JHOVE - nástroje pro velkoobjemové migrace arc2warc!!! Vývojář/kontaktní osoba: thomas.figg@hanzoarchives.com Ukázka PWG Risks Assessment Andrea Goethals, Harvard University - databáze PWG risk assessment - pokračování předchozí práce NLA o 77 hrozeb/rizik o Pro každé riziko sestavena bibliografie o Procházení kategoríí, vyhledávání, zvýrazňování klíčových slov o Přidávání hodnocení rizik a hodnocení kontroly/omezení rizika (Středa) IIPC General Assembly Domain Survey Report Michaela Mayr, Austrian National Library - původně projekt podrobný/rozsáhlý dotazník o praktikách jednotlivých členů IIPC v oblasti celoplošných sklizní národních domén připraveno NLB Singapore - projekt byl převzat ANL, která zpracovala výsledky - závěrečná zpráva je k dispozici JHOVE2 Clément Oury, BnF - nástroj pro rozpoznání formátů objektů

8 - popis praxe, jak se nástroj používá v Národní knihovně Francie - v nové verzi bude vyvinuta podpora pro práci s ARC/WARC kontejtery De-Duplication project and Nutchway Multi-lingualization Masaki Shibata, Nationa Diet Library, Japonsko - velikost japonského webarchivu 55 TB - chtějí šetřit místem - mají v plánu spoustit de-duplikátor v roce Nutch Wax Multilingualzation o funguje jako extenze NutchWaxu, umí indexovat vzorek asijských jazyků o úkoly do budoucna: vyvinout extenzi pro asijské jazyky pro SOLR (fulltextový indexovač, který by měl do budoucna NutchWax nahradit) What is NetarchiveSuite Sara Aubry, BnF - představení NetArchiveSuite user friendly uživatelské rozhraní pro spouštění a monitorování sklizní a kontrolu kvality - v současné době používán zejména v Národní knihovně Francie a Rakouské národní knihovně - plány vývoje nástroje: o větší podpora pro kontrolu kvality vyhledávání v logech generovaných heritrixem při sklízení výzkum v oblasti vývoji nástrojů pro automatizovanou kontrolu kvality o vytvořit systém pro prioritizaci sklizní o optimalizovat deduplikace o vytvořit podporu pro WARC formát o vytvořit podporu pro Heritrix ve verzi 3.0 o Jednání Preservation Working Group - NLP stav pracovního úkolu Virus scanning z časových důvodů nemůže v současnosti pokračovat - Představení databáze PWG - Podrobné vysvětlení a diskuze databáze pracovní skupiny o Jak se bude jmenovat? o Jednotlivé sekce o Dokumentace softwaru a prostředí pokud máme, dodat o Statistiky statistika archivu MIME types udělat analýzu o Jak propojit s UDFR a PRONOM? Jednání Access Working Group - prezentace projektu Memento, jednání o tom, které webové archivy ke spolupráci přistoupí o domluveno vytvoření případových studií před plným zapojením do projektu - tématická sklizeň Olympijské hry 2012

9 o vytvořen webový formulář pro vkládání semínek: o semínka by měl sklízet Internet Archive Jednání Harvesting Working Group Představení projektu Memento - implementace jako plugin MementoFox do prohlížeče - implementace do Wayback age-summary.html - v současnosti zapojeno 6 institucí Nástroj Selenium - umožňuje automatizovanou kontrolu kvality - pokouší se simulovat lidskou interakci - IA šel by tento přístup využít při sklízení v Hertrixu? Nutná implementace prohlížeče v Java, ke které by přistupoval Heritrix - Testování stránek na různých konfiguracích prohlížečů a systému napříč škálovatelným clusterem servrů - Generátor obrázků pro porovnání sklizené stránky a živé stránky - nástroj na automatizované povornání živého a sklizeného webu - vytvoření referenční sklizně v požadované kvalitě, vůči které jsou pak porovnávány následné sklizně Nová verze Heritrix 3 - testování sklízení stránek z Facebooku funguje velmi dobře Joint Working Group Session Quality Assurance Internet Archive - automated QA before election - scope: house.gov, senate.gov - goal: to improve the quality of the collection - using Selenium RC (web application testing system) - QA output: - record HTTP requests and responses - generate list of broken things - generate list of outgoing links from the page - list of things that are missing it is not quality of website, it is quality of crawler Automated QA with WCT Rene Voorburg, KB - Automatizace/usnadneni QA automaticky generovane reporty/statistiky - Porovnání s předchozím crawlem pokud víme, že předchozí crawl byl bezvadný, nebo naopak měl určité problémy, můžeme se rozhodnout, jestli poslední crawl potřebuje QA (pokud se změnil nebo nezměnil)

10 - Ideálně statistiky by byly propojeny s WCT a byly by zobrazeny na jedné stránce - V současnosti pouze automaticky generovaný report ve formě textového souboru, který je automaticky uploadovaný do WCT a uložený tam - Porovnává procento změněných URL, nezměněných, nových, zmizelých, porovnání změněných stránek na základě hashe (Čtvrtek) IIPC General Assembly Zpráva o stavu ISO Standardu ISO draft technical report Gildas Illien, BnF - Webové archivy jsou považovány za součást kulturního dědictví - Ujasnění definic - Výstupem bude technical report (ale zásadní statistiky budou přidány ke knihovním standardům ISO) - Největší problém: jak nadefinovat, co je webový dokument - Statistiky o využití wa v rámci instituce a online - Indikátory kvality Recollection Demonstration Abbey Potter, Gina Jones Library of Congress - Recollection volně dostupný nástroj, který slouží k vizualici určitých informací v dokumentech v kolekci (např. mapa s geografický zobrazením států, kterých se týká určitá informace v kolekci (např. volby) o jednoduchý postup při vytváření vizualice o nahrání dat o vytvoření vizualice o vložení do webových stránek jako embedded objekt SCAPE = scalable preservation environments Barbara Sierman, KB - pes - projekt zaměřený na digiální uchování v následujících oblastech o infrastruktura a nástroje pro aktivní uchování dat o vytváření workflow pro automatizované, na kvalitu orientované uchování dat o integrace jednotlivých komponent do rozhodovacích procesů při plánování a kontrole digitálního uchování - výsledky projektu se promítnout i do koncepcí uchování webového obsahu - projekt je spjaty s bývalým projektem PLANETS - Access Working Group meeting - Aaron Binns prezentace: Language identificator - dostupné zde: - Tracy Seneca

11 - prezentace Online Archive of California - používají XTF extensible Text Framework ( - poskytuje přístup k digitálnímu obsahu, který může být kdekoli - současné projekty Access WG - Memento - Olympic games - SOLR