Implementace mechanismu protokolu OAI-PMH pro poskytování obsahu elektronického vědeckovýzkumného časopisu

Transkript

1 Implementace mechanismu protokolu OAI-PMH pro poskytování obsahu elektronického Pavel Šimek, Jan Jarolímek, Jiří Vaněk, Michal Stočes, Ivan Hrbek Česká zemědělská univerzita v Praze Provozně ekonomická fakulta Katedra informačních technologií Kamýcká 129, Praha 6 Suchdol {simek, jarolimek, vanek, stoces, hrbek}@pef.czu.cz Abstrakt: Smyslem platformy otevřených archivů je zpřístupnění na webu dostupných materiálů rostřednictvím vzájemného sdílení metadat mezi i, jejich publikování a archivace. Předložený článek pojednává o implementaci mechanismu protokolu OAI-PMH Open Archiv Initiative Protocol for Metadata Harvesting) pro poskytování metadat a obsahu volně přístupného. V případě uvedeného řešeného lokálního archívu je pro sklízení metadat použit právě protokol OAI-PMH verze 2.0, který definuje samotný mechanismus sklízení metadatových záznamů. Každý článek, publikovaný v Agris online Papers in Economics and Informatics, je popsán 13 z 15 elementů nekvalifikovaného DC (Dublin Core), tedy metadatovým formátem stanoveným na základě mezinárodní dohody pro účely jednoduchého popisu zdrojových objektů. Klíčová slova: Metadata, Dublin Core, OAI-MPH, volný přístup, open access,, archív, obsah, XML, protokol Abstract: The open archives platform aims at making accessible available materials on web pages, using mutual sharing of metadata among repositories, their publishing and archiving. Our paper treats the implementation of the mechanism of the OAI-PMH (Open Archive Initiative Protocol for Metadata Harvesting) protocol for the providing of a scientific open access journal s metadata and content. In the case of the above stated scientific and scholarly research journal s local archive version 2.0 of OAI-PMH (Open Archive Initiative Protocol for Metadata Harvesting) is used for metadata harvesting. This protocol defines the mechanism of the metadata s records harvesting. All the papers published in Agris on-line Papers of Economics and Informatics are described by 13 of 15 elements of unqualified DC (Dublin Core), e.g. by the metadata format based on an international agreement defining 15 elements for an easy description of the source objects. Key words: Metadata, Dublin Core, OAI-MPH, Open Access, repository, archive, content, XML, protocol 1. Úvod V posledních letech se značně rozšířila možnost publikování s otevřeným přístupem. Jedním z důvodů jsou rostoucí náklady na předplatné odborných časopisů a magazínů. Vzhledem k rostoucím cenám akademických časopisů je pro vědeckovýzkumné pracovníky obtížnější získávat informace, které potřebují pro svůj vlastní výzkum. Volný přístup k časopisům je důležitou alternativou vydávání odborných SYSTÉMOVÁ INTEGRACE 4/

2 Pavel Šimek, Jan Jarolímek, Jiří Vaněk, Michal Stočes, Ivan Hrbek článků, který řeší výše uvedené problémy (Stranack, 2006). Švédská univerzita zemědělských věd organizovala dvoudenní workshop na téma archivů s otevřeným přístupem a jejich význam. Jedním z nejdůležitějších výsledků tohoto workshopu bylo, že výsledků výzkumu by mohly být získávány z archivů s otevřeným přístupem a OA (Open Access) publikace jsou citovány více, než non-oa (Ericsson, 2010). Za posledních několik let byly digitální technologie, které poskytují lepší přístup k obsahu, převzaty do kultury organizací (Kounoudes, 2010). Zároveň také došlo ke vzniku několika možností publikování a komunikace s otevřeným přístupem v rámci vědecko-výzkumných komunit. Několik nedávných studií také ukázalo, jak velký rozsah má OA (Miguel, 2011). OA publikování podporuje dostupnost obsahu on-line, včetně tzv. šedé literatury, která je k dispozici prostřednictvím různých obchodních distribučních kanálů, ale významně přispívá k výzkumu a vývoji, zejména v oblasti zemědělství (Subirats, 2008). Platforma otevřených archivů je zaměřena na zpřístupnění dostupných materiálů na webových stránkách prostřednictvím vzájemného sdílení metadat. Tato metadata je možné použít pro popis všech objektů v elektronické podobě nebo sestav databází. Může to být kniha, obraz, hudba, SW, webová stránka nebo dokumenty výzkumné práce. Metadata by měla objekty příslušně charakterizovat (v řadě případů to však není zcela možné) (Ardo, 2010). Existuje velké množství formátů metadat popisujících různé typy objektů a to pomocí jednotlivých prvků vyvinutých v rámci výzkumných projektů, různých spolků nebo přímo standardizačními institucemi. Jedním ze základních norem jsou metadata ve formátu Dublin Core, který obsahuje 15 prvků na základní charakteristiky objektu (Dublin Core Metadata Initiative, 2010). Tento univerzální formát metadat je vhodný pro popis jednotlivých článků v odborných časopisech. 2. Cíl a metodika Moderní knihovní a archivační systémy disponují různými mechanismy pro automatické poskytování a sdílení obsahu. Těmito systémy jsou postupně vybavovány i lokální archívy oborových a vědeckovýzkumných časopisů. Agris on-line Papers in Economics and Informatics je volně přístupný, plně recenzovaný, interdisciplinární, vědeckovýzkumný, mezinárodní časopis, který je vydáván čtvrtletně Provozně ekonomickou fakultou České zemědělské univerzity v Praze. Agris on-line Papers in Economics and Informatics pokrývá všechny oblasti zemědělství a rozvoje venkova zemědělskou ekonomiku, management, zemědělství, agrární politiku, informační a komunikační technologie, informační systémy, e-business, sociální ekonomiku a sociologii venkova. Vědeckovýzkumný časopis poskytuje hlavní fórum pro interakci a výzkum pro výše uvedená témata, čímž se dostal do pozice cenného zdroje pro akademiky, politiky a manažery. V současné podobě tento vědeckovýzkumný časopis existuje od roku 2009, kdy volně navázal na původní vědecký časopis Agris on-line. Od roku 2009 již publikoval několik desítek hodnotných vědeckovýzkumných článků a studií. Každým rokem je v časopisu Agris on-line vydáváno cca nových, původních příspěvků. Veškeré publikované články jsou uloženy v lokálním archívu a jsou volně dostupné ve formátu.pdf. 56 SYSTÉMOVÁ INTEGRACE 4/2011

3 Implementace mechanismu protokolu OAI-PMH pro poskytování obsahu elektronického V roce 2010 byl přístup k lokálnímu repositáři pro běžné uživatele nedostatečný a bylo nutné tento obsah zpřístupnit v přehledné a snadno dostupné formě i dalším subjektům, např. knihovnám, citačním databázím, partnerům ČZU v Praze, apod. Tento přístup by měl být automatizován a strojově dostupný. Existuje mnoho nástrojů pro poskytování obsahu lokálních archívů, které byly podrobeny detailní analýze, na základě které byl vybrán jeden z nejuniverzálnějších způsobů poskytování obsahu, protokol OAI-PMH (Open Archiv Initiative Protocol for Metadata Harvesting). Sady takových nástrojů, které poskytují ucelenou prezentaci informací napříč různými standardy, jsou důležité pro jak pro vyhledávání dat tak i pro samotný přístup k datům (Devarakonda, 2011). OAI-PMH protokol definuje mechanismus pro sklízení metadatových záznamů z různých ů. OAI-PMH poskytuje jednoduchý technický prostředek poskytovatelům dat pro účely zpřístupnění svých metadat službám založeným na obecně rozšířených standardech v podobě HTTP (Hypertext Transport Protocol) a XML (Extensible Markup Language). OAI-PMH byl původně vyvinut jako prostředek pro sdružování přístupu k různým e-print archivům přes sklízení metadat a jejich agregaci. Protokol však prokázala svou užitečnost a potenciál pro širokou škálu využitelnosti a dva roky od vydání stabilní verze protokolu (2.0), je zde mnoho zajímavých vývoj v oblasti OAI Společenství (Shreeves, 2005). Metadata určená ke sběru mohou být nabízena v jakémkoliv formátu, na kterém se dohodne určitá komunita nebo libovolná skupina poskytovatelů dat a. Poskytovatel dat zahrnuje jeden nebo více ů (web serverů), které podporují OAI-PMH protokol pro účely poskytnutí metadat. Poskytovatel posílá požadavky ke sklízení poskytovatelům dat a využívá sklizená metadata k vybudování s přidanou hodnotou. Sklízení metadat (harvesting metadat) se týká specificky shromažďování metadat z různých ů do centrálního datového úložiště. Základní možnosti implementace OAI-PMH jsou: Více poskytovatelů může sklízet metadata od více poskytovatelů dat. Metadata od poskytovatelů dat mohou být sklízena tzv. agregátory, kteří mohou poskytovat služby nad těmito metadaty a zároveň matadata nabízet ke sklízení. Sklízení může být doplněno o vyhledávání. SYSTÉMOVÁ INTEGRACE 4/

4 Pavel Šimek, Jan Jarolímek, Jiří Vaněk, Michal Stočes, Ivan Hrbek Poskytovatel požadavek na metadata (http) Poskytovatel dat centrálního e centrální klientská zasílající požadavky OAI-PMH požadovaná metadata (xml) serverová zasílající odpovědi OAI-MPH žádosti lokální Aplikace lokálního e Obr. č. 1, princip OAI-PMH. 3. Implementace Před samotnou implentací OAI-PMH řešení, pro potřeby lokálního e vědeckého časopisu Agris on-line Papers in Economics and Informatics, popř. dalších lokálních ů České zemědělské university v Praze, byla provedena analýza volně dostupného SW (software), který OAI-PMH podporuje např. DSpace, Drupal, apod. Výsledek analýzy prokázal, že volně dostupný SW nelze z technického hlediska nainstalovat a provozovat v prostředí České zemědělské univerzity nebo analyzovaný SW požadované služby neposkytuje v dostatečném rozsahu. Jedním z nejzávažnějších aspektů nevhodnosti volně dostupného SW je, že může být provozovány na odlišných databázových platformách, než které jsou na ČZU k dispozici nebo které jsou podporovány. Veškeré archivy a e poskytující volně dostupný obsah na ČZU, jsou postaveny na databázích MS SQL Server 2008 nebo MySQL 5. DSpace podporuje databáze PostgreSQL nebo Oracle. Databázový server Oracle je sice v prostředí ČZU k dispozici, ale není v něm uložen žádný obsah, pro který je protokol OAI-PMH využitelný. V případě DSpace by se tedy jednalo o správu dalšího databázového serveru. Ostatní volně dostupné nedisponují korektními odpověďmi na všechny požadavky OAI-PMH nebo jejich integrace do stávajícího prostředí ČZU je časově a technicky náročná. Z tohoto důvodu bylo Informačním a poradenským centrem PEF ČZU v Praze vyvinuto vlastní univerzální řešení, které se skládá z nového e pro ukládání metadata, tzv. knihovny metadata, a pro obsluhu OAI-PMH žádostí a získávání dat z jednotlivých ů ČZU. SW pro obsluhu žádostí OAI-PMH je provozována v prostředí WWW serveru Apache s využitím výkonného PHP frameworku Nette a databázové vrstvy dibi. Nette Framework byl zvolen z důvodů požadované kvality výsledné a eliminace bezpečnostních rizik. Lokální metadat je vyvinut a provozován na databázovém serveru MySQL. Celé SW řešení na platformě World Wide Web je vytvořeno jako robustní moderní s možností dalšího rozšiřování a vývoje. 58 SYSTÉMOVÁ INTEGRACE 4/2011

5 Implementace mechanismu protokolu OAI-PMH pro poskytování obsahu elektronického Samotná SW pro obsluhu OAI-PMH je provozována odděleně od původního lokálního archive vědecko-výzkumného časopisu Agirs on-line Papers in Economics and Informatics. Hlavním důvodem tohoto řešení je možnost využití nového e metadat i jinými lokálními archívy, které jsou provozovány Provozně ekonomickou fakultou, popř. Českou zemědělskou univerzitou v Praze. Webová podporující sběr metadat může automaticky získávat data z lokálních archívů ČZU nebo poskytuje jednoduché rozhraní pro manuální pořízení příslušných metadat konkrétních objektů uložených v lokálních databázích a archívech. Poskytovatelé Lokální e PEF ČZU Knihovna v Praze metadat žádost (http) odpověď (xml) poskytovatele 1 poskytovatele 1 klientská zasílající požadavky OAI-PMH žádost (http) Archiv AOL x 1 Aplikace AOL odpověď (xml) poskytovatel e n poskytovatele n klientská zasíljaící požadavky OAI-PMH x 2 serverová x n zasílající odpovědi na 6 OAI-MPH žádostí Obr. 2, schéma implementace OAI-PMH v prostředí ČZU v Praze. WWW pro poskytování metadat je navržena tak, že bez problému a s velmi krátkou časovou náročností dokáže vrátit validní XML soubor na všech šest dotazů standardizovaných Open Archives Initiative včetně několika dodatečných parametrů, popř. chybových či výjimkových hlášení. Na požadavek typu Identify jsou vráceny obecné informace o i metadat (viz. obr. č. 3), jako je jeho název, základní URL (Uniform Resource Locator), podporovaná verze protokolu OAI-PMH, politika mazání záznamů, kontakt na administrátora atd. Popisovaný lokální metadat podporuje OAI-PMH verze 2.0, záznamy nejsou SYSTÉMOVÁ INTEGRACE 4/

6 Pavel Šimek, Jan Jarolímek, Jiří Vaněk, Michal Stočes, Ivan Hrbek mazány nebo upravovány a čas, tedy otisk časového razítka, je uváděn v UTC (Coordinated Universal Time). Jediné, co zatím lokálního e metadat nepodporuje je komprese metadat. Seznam dostupných metadatových formátů je k dispozici na žádost ListMetadataFormat (obr. č. 4). V současné době je podporován pouze metadatový formát Dublin Core, nicméně celá a lokální je vytvořen z pohledu podpory metadatových formátů obecně, čímž je zabezpečeno uchovávání nebo transformace metadat do různých formátů. Dotaz ListMetadataFormat může být doplněn o identifier pro zjištění formátu metadat jednoho konkrétního záznamu. Jakýkoli jiný není podporován, v případě jeho použití, nebo chybného použití u Identifier, vrátí XML soubor s chybovým hlášením. verb=listmetadata Formats verb=identi xml fy Identify Obr. 3, implementace žádosti Identify. žádný Identifier xml s dostupnými formáty metadat xml s dostupnými formáty metadat nometadataformats iddoesnotexist jiný Obr. 4, implementace žádosti ListMetadataFormat. Pro snadné třídění metadatových záznamů a možnost selektivního výběru (sběru) metadat, podporuje lokální tzv. sady (obr. č. 5). Výpis všech sad je dostupný na žádost ListSets. Záznamy Agris on-line Papers in Economics and Informatics jsou uloženy v sadě oai:aol. Tento akronym je samozřejmě doplněn o celý název sady a její popis. V případě enormního nárůstu sad v lokálním metadatovém i bude vygenerovaný soubor se 100 záznamy a po těchto 100 záznamech přerušen a doplněn hodnotou resumptiontoken, na jejíž základě lze získat zbývající části seznamu sad. V případě použití jiného u nebo chybné hodnoty u resumptiontoken je aplikací vrácen XML soubor s chybovou zprávou. Celá je vytvořena univerzálně, pokud by knihovna metadat nepodporovala žádné sady, by vrátila XML soubor s vyjímkou, že žádné sady metadat nejsou definovány. 60 SYSTÉMOVÁ INTEGRACE 4/2011

7 Implementace mechanismu protokolu OAI-PMH pro poskytování obsahu elektronického žádný xml s dostupnými sadami xml výjimka nosethierarchy verb=lists ets resumptiontoken jiný xml s dostupnými sadami badresumptiontoken Obr. 5, implementace žádosti ListSet. XML soubor s hlavičkami konkrétních metadatových záznamů je k dispozici po žádosti ListIdentifiers (obr. č. 6). Hlavička každého metadatového záznamu se skládá z jednoznačného identifikátoru záznamu, sad, do kterých metadatový záznam patří a časového údaje (v případě popisovaného se jedná o datum publikování článku). Žádost ListIdentifier však musí být doplněna o korektní hodnotu u metadatapreix. Výsledný XML soubor může být rovněž po 100 metadatových záznamech (hlavičkách) přerušen a doplněn o hodnotu resumptiontoken. V případě použití jiného u než u metadataprefix vrátí XML soubor s chybou. XML soubor s chybou je rovněž vracen v případě nesprávné hodnoty u metadataprefix nebo u resumptiontoken. Počet vrácených hlaviček metadatových záznamů selektovat časově pomocí atributů from, resp. until, popř. vybírat podle preferované sady atributem set. SYSTÉMOVÁ INTEGRACE 4/

8 Pavel Šimek, Jan Jarolímek, Jiří Vaněk, Michal Stočes, Ivan Hrbek verb=listid entifiers metadata Prefix t from t until t set resumptiontoken jiný cannotdisseminateformat jiný Obr. 6, implementace žádosti ListIdentifiers. xml s hlavičkami metadatových záznamů xml s hlavičkami metadatových záznamů xml s hlavičkami metadatových záznamů nosethierarchy xml s hlavičkami metadat. zázn. badresumptiontok en Na žádost ListRecords je vrácen XML soubor s plným výpisem metadatových záznamů (obr. č. 7). Princip vracení XML souborů je obdobný se žádostí ListIdentifiers. Objekty (články) jsou popsány třinácti ze základních patnácti elementů DC. Jsou to: title, creator, subject, description, publisher, date, type, format, identifier, source, language, coverage a rights. 62 SYSTÉMOVÁ INTEGRACE 4/2011

9 Implementace mechanismu protokolu OAI-PMH pro poskytování obsahu elektronického verb=listr ecords metadata Prefix t from t until t set resumptiontoken jiný cannotdisseminateformat jiný Obr. 7, implementace žádosti ListRecords. xml s metadaty xml s metadaty xml s metadaty nosethierarchy xml s metadaty badresumptiontok en Pro načtení jednotlivých záznamů metadat z lokálního e poskytne vytvořená WWW validní XML soubor na dotaz GetRecord (obr. č. 8). Tento dotaz však musí být doplněn o identifier, kterým se definuje konkrétní metadatový záznam a metadatapreix. V případě použití jiných ů nebo ů s nesprávnou hodnotou vrátí XML soubory s chybovými zprávami. verb=get Record metadataprefix jiný identifier jiný xml s metadaty 1 záznamu iddoesnotexist cannotdisseminateformat Obr. 8, implementace žádosti GetRecord. SYSTÉMOVÁ INTEGRACE 4/

10 Pavel Šimek, Jan Jarolímek, Jiří Vaněk, Michal Stočes, Ivan Hrbek V případě uvedení jiné hodnoty parametru verb v url žádosti je vrácen XML soubor s chybou informující o nesprávně uvedeném u (obr. č. 9). 4. Závěr verb= badverb else Obr. 9, implementace žádosti s nepovolenou hodnotou verb. Architektura otevřeného přístupu k obsahu výsledků vědeckého výzkumu a místních archivů časopisů sama určuje dvě logické role roli poskytovatele dat a roli poskytovatele. Česká zemědělská univerzita v Praze, je v roli poskytovatele dat. V lokálních archivech je uložen obsah vědeckovýzkumných časopisů, konferencí, seminářů, workshopů, diplomových prací apod. a v knihovně metadat, která poskytuje službu pro sklízení metadat, samotná metadata těchto objektů z lokálních ů. Protože nebylo možné použít volně dostupný software podporující protokol sklízení metadat OAI-PMH verze 2.0, byl Informačním a poradenským centrem ČZU v Praze navržen a vyvinut systém vlastní. Celá architektura pro podporu OAI-PMH byla navržena univerzálním a přímočarým způsobem. Jen na Provozně ekonomické fakultě České zemědělské univerzity v Praze existuje mnoho různých archivů a ů s různorodým obsahem a funkcemi. Bylo by tedy velmi časově náročné použít OAI-PMH řešení pro jednotlivé archivy. Z tohoto důvodu byla tedy vytvořen nezávislý metadata v podobě tzv. knihovny metadat. Metadatové záznamy popisující jednotlivé objekty lokálních archivů jsou uloženy v této knihovně. Softwarová knihovny metadat může samostatně získávat data a metadata z jednotlivých lokálních archivů a v případě, že tyto archivy data či metadata nemají ve strukturované formě, je možné příslušná metadata vytvořit manuálně. Realizovaná WWW knihovny metadat je schopna automaticky a pružně reagovat na všech šest typů požadavků OAI-PMH, tedy na žádosti Identify, ListMetadataFormat, ListSets, ListIdentifiers, ListRecords a GetRecord, včetně zpráv o chybách a vyjímkách. V případě lokálního archivu Agris on-line Papers in Economics and Informatics jsou metadata uložena ve formátu Duplic Core a každý objekt je popsán 13 elementy. Obsah tohoto je volně přístupný a jeden ze zahraničních partnerů ČZU v Praze, UAH (University of Alcalá), je z pohledu OAI-PMH v roli poskytovatele a využívá sklízení metadat pro své centrální úložiště. SW pro podporu automatického sklízení metadat na České zemědělské univerzitě v Praze byl realizován v první polovině roku 2011 a je nyní plně funkční. V současné době probíhá testování celého systému a integrace, popř. vytváření metadatových záznamů z dalších archivů ČZU v Praze. V rámci testování již někteří partneři ČZU (zejména University of Alcalá ze Španělska a GRNET z Řecka) uskutečnili úspěšné testy sklízení metadat z knihovny metadat a jsou připraveni naplnit (popř. již naplňují) své centrální e metadaty. Výsledky OAI-PMH řešení budou využity v rámci výzkumného záměru s názvem " Ekonomika zdrojů českého zemědělství a jejich efektivní využívání v rámci 64 SYSTÉMOVÁ INTEGRACE 4/2011

11 Implementace mechanismu protokolu OAI-PMH pro poskytování obsahu elektronického multifunkčních zemědělskopotravinářských systémů ", Ministerstvo školství, mládeže a tělovýchovy, číslo VZ MSM Poděkování Práce, která vedla k těmto výsledkům, byla financována Evropskou komisí na základě grantové dohody č , odpovídající projektu VOA3R (Virtual Open Access Agriculture & Aquaculture Repository: Sharing Scientific and Scholarly Research related to Agriculture, Food, and Environment), voa3r.eu. Literatura ARDÖ, A.: Can We Trust Web Page Metadata? Journal of Library Metadata Volume 10, Issue 1, 2010, pages ISSN DEVARAKONDA, R., PALANISAMY, G., GREEN, JM., WILSON, BE.: Data sharing and retrieval using OAI-PMH. Earth Science Informatics. Volume: 4, Issue: 1, March 2011, Pages: 1-5. ISSN The Dublin Core Metadata Initiative. Dublin Core Metadata Element Set [online]. Version 1.1, [cit ]. Available at ERICSSON, U.; ERICSSON, J.; WENNBOM, L. Å. Open Archives and Their Significance in the Communication of Science [online]. Swedish University of Agricultural Sciences, 2010 [cit ]. Available at KOUNOUDES, AD.; ARTEMI, P.; ZERVAS, M.: Ktisis: Building an Open Access Institutional and Cultural Repository. Digital Heritage. Lecture Notes in Computer Science, 6436, Published: 2010, Pages: ISBN MIGUEL, S., CHINCHILLA-RODRIGUEZ, Z., DE MOYA-ANEGON, F.: Open Access and Scopus: A New Approach to Scientific Visibility From the Standpoint of Access. Journal of the American Society for Information Science and Technology. Volume 62, Issue 6, June 2011, Pages ISSN Open Archive Initiative. The Open Archives Initiative Protocol for Metadata Harvesting [online]. Version T20:42:00Z [cit ]. Available at SHREEVES, SL., HABING, TG., HAGEDORN, K., YOUNG, JA.: Current developments and future trends for the OAI protocol for metadata harvesting. Library Trands. Volume: 53, Issue: 4, Published: September 2005, Pages: ISSN STRANACK, K.: Starting a New Scholarly Journal in Africa [online] [cit ]. Available at SUBIRATS, I., ONYANCHA, I., SALOKHE, G., KALOYANOVA, S., ANIBALDI, S., KEIZER, J.: Towards an architecture for open archive networks in agricultural sciences and technology. Online Information Review. Volume: 32, Issue: 4, Published: 2008, Pages: ISSN SYSTÉMOVÁ INTEGRACE 4/