Novinky v projektu OBÁLKYKNIH.cz

Transkript

1 Knihovny současnosti 2015 Novinky v projektu OBÁLKYKNIH.cz Jiří Nechvátal Jihočeská vědecká knihovna v Českých Budějovicích info@obalkyknih.cz

2 O projektu obalkyknih.cz Agreguje různé zdroje informací o dokumentech a poskytuje je knihovním a jiným systémům : Obálky knih a periodik - poskytnuté knihovnami pomocí skenovacího klienta, ale i obálky z jiných zdrojů například od vydavatelů, knihkupců či jiných agregátorů Obsahy knih a periodik - naskenované obsahy zpřístupňuje v podobě PDF Fulltexty obsahů - jedná se o převod naskenovaných obsahů na text pomocí OCR a zpřístupnění pro indexaci cílovým knihovním systémem Anotace, komentáře a hodnocení - možnost stažení existujících komentářů a zároveň i možnost exportu Vašich komentářů na obalkyknih.cz To všechno v podobě jedné snadno použitelné služby.

3 O projektu obalkyknih.cz databáze aktuálně obsahuje obálek obsahů anotací hodnocení komentářů českých a zahraničních publikací.

4 O projektu obalkyknih.cz hlavní servery jsou provozovány v Jihočeské vědecké knihovně v Českých Budějovicích, záložní server je v Moravské zemské knihovně v Brně měsíčně hlavní server odbaví průměrně 55 miliónů požadavků, cca. 2 milióny denně, průměrně 20 dotazů za vteřinu ve špičkách (9-15:00) odbavují servery požadavků za vteřinu denně do databáze je nově nahráno nebo upraveno průměrně 250 dokumentů denní přírůstek dat činí 3 GB, z nich se následně generují náhledy obálek v různých rozlišeních, PDF dokumenty s obsahy a rozpoznává se text pomocí OCR Mbit za vteřinu je datový tok ven ze serveru a na server což představuje cca. 85% všech dat, které projdou internetovým připojením JVK.

5 Novinky Anotace, komentáře a hodnocení Failover Obálky periodik a vícesvazkových děl Fulltextové prohledávání obsahů

6 Anotace, komentáře a hodnocení

7 Anotace, komentáře a hodnocení Stažení anotací, komentářů a hodnocení do knihovních katalogů Vytvoření, načtení, update a smazání pomocí API Tímto způsobem vkládají komentáře a hodnocení pouze registrované knihovny (neobsahuje roboty generované komentáře) Export komentářů a hodnocení z vašich knihovních systémů na server obalkyknih.cz

8 Anotace, komentáře a hodnocení Každá knihovna vlastní pravidla: poskytují jen přihlášení uživatelé 1 titul 1 uživatel 1 komentář komentář může uživatel změnit do konce dne, pak již nelze komentáře se ukládají lokálně a následně se každý den uploadují na jeden z frontend serverů postará se o distribuci mezi servery

9 Anotace, komentáře a hodnocení :" "}] rating_count Počet hodnocení díla čtenáři rating_sum Součet bodů hodnocení díla udělených čtenáři rating_avg5 Průměrné hodnocení přepočtené na stupnici 0-5 rating_avg100 Průměrné hodnocení přepočtené na stupnici rating_url URL adresa s obrázkem hvězdiček, odpovídající průměru hodnocení na stupnici 0-5. annotation Anotace ( source a html ) reviews Pole s komentáři created Datum vytvoření ve formátu ISO8601 html_text Celý text komentáře (ne HTML!!!) rating Udělené hodnocení na stupnici library_name Název knihovny, která komentář vytvořila sigla Sigla knihovny, která komentář vytvořila id Identifikátor záznamu ve zdrojovém informačním systému

10 Komentáře a hodnocení

11 Komentáře a hodnocení

12 Komentáře a hodnocení

13 Failover

14 Failover zajišťuje dostupnost služby obalkyknih.cz je řešen aplikačně - aplikace kontroluje dostupnost primárního serveru a v případě jeho výpadku přepne stahování ze záložního serveru API volání: JVK MZK v případě dostupnosti vrátí odpověď ALIVE v případě jiné odpovědi, nebo v případě nezodpovězení do 10 s lze považovat primární server za nedostupný a je potřeba kontaktovat záložní server (po 1 hodině testuje znovu)

15 Failover V případě KIS ALEPH, kde se výsledné HTML skládá až v prohlížeči na straně uživatele je vhodné spouštět na serveru daemon script, který bude periodicky zjišťovat dostupnost primárního frontend serveru. V případě výpadku daemon upraví, nebo nahradí HTML dokumenty přímo na webovém serveru, čím ve výsledku pozmění adresu dotazovaného frontend serveru za záložní adresu. Více ve specifikaci

16 Obálky periodik a vícesvazkových děl

17 Obálky periodik a vícesvazkových děl

18 Obálky periodik a vícesvazkových děl

19 Obálky periodik a vícesvazkových děl

20 Obálky periodik a vícesvazkových děl nově v API 3.1 je možné dotazování na části monografie/číslo periodika pomocí parametrů: part_no Číslo části v případě monografie (podpole 245n). Číslo vydání v případě periodika. Používá se u monografie i periodika. part_name Název části v případě monografie (podpole 245p). Nepoužívá se u periodika. part_year Rok vydání periodika. Nepoužívá se u monografie. part_volume Ročník vydání periodika. Nepoužívá se u monografie. part_note Textová identifikace části monografie, nebo periodika pro knihovní IS, které nemají výše uvedené informace oddělené.

21 Obálky periodik a vícesvazkových děl Na části monografie se dotazuje pomocí kombinace dodatečných parametrů part_no (číslo části MARC21 podpole 245n) + part_name (název části MARC21 podpole 245p). Je povinný pouze jeden z těchto parametrů. 6","nbn":"cnb ","oclc":"(OCoLC) ","part_no":"část 1"}] 1, sv. 1"}]

22 Obálky periodik a vícesvazkových děl Na číslo periodika se dotazujeme pomocí kombinace dodatečných parametrů part_no + part_year + part_volume. Je povinná kombinace buďto part_no + part_year, nebo part_no + part_volume, ale doporučuje se dotazovat pomocí všech dostupných identifikátorů "part_year":"2014","part_volume":"51","part_no": 15"}] "part_year":"2014","part_volume":"51","part_no": Nerozluštěné záhady 20. století"}]

23 Obálky periodik a vícesvazkových děl Pokud knihovní IS neobsahuje výše uvedené parametry odděleně, ale obsahuje je v textové podobě zapsané při katalogizaci, je možné uvádět i tento text/poznámku jako parametr part_note. "Roč. 51, č. 4, rok 2014" 51, č. 4, rok 2014 "} nebo "R. 2014, Roč. 51, číslo 4" , Roč. 51, číslo 4"} nebo " " "} nebo "[51] číslo 4." číslo 4."} nebo "číslo duben 2014" duben 2014"} nebo vyzkoušejte sami u sebe a pošlete připomínky

24 Obálky periodik a vícesvazkových děl Ročník 51, číslo 4

25 Obálky periodik a vícesvazkových děl Zvláštní číslo

26 Obálky periodik a vícesvazkových děl Souborný záznam Zvláštní číslo

27 Fulltextové prohledávání obsahů

28 Fulltextové prohledávání obsahů toc_full_text přepis naskenovaného díla do textu fulltext se stahuje z metadat OKCZ společně s obálkami, uloží se a dále indexuje v SOLR. k indexaci použit stemming - snaží se indexovat základní tvar slova - při zadání "tónovaná malba", "tónované malby", "tónovaní malby najde to samé.

29 Fulltextové prohledávání

30 Fulltextové prohledávání

31 Fulltextové prohledávání

32 Fulltextové prohledávání

33 Nezapomenou na povolení OCR!!!

34 Vývoj v roce 2015

35 Rozšíření projektu obálky knih o propojení s databází autorit smyslem úlohy je poskytnout knihovním katalogům obrazové a jiné materiály napojené na ID autority. Například fotografie osob, GPS souřadnice míst, www odkazy,... Projekt bude čerpat z databáze autorit NK Praha přes Z Zdroj materiálů budou volně dostupné zdroje.

36 Rozšíření projektu obálky knih o podporu obálek zvukových dokumentů a hudebnin návrh jednotné identifikace zvukových dokumentů a hudebnin, podle které bude následně upraveno API a skenovací klient projektu obálky knih. Předběžný návrh identifikátoru: urn:okcz:typ_dokumentu:nakladatel:vydavatelske_cislo. Pro typ dokumentu bude vytvořen číselník (MC, CD, LP, HUD,...) a dle analýzy stavu v knihovnách se předpokládá vytvoření číselníku nakladatelů pro snadnější propojení záznamů v katalozích knihoven. Součástí úlohy bude import cca obálek zvukových dokumentů získaných od vydavatelství Supraphon. Import bude obohacovat záznamy nejen o obálky, ale i o seznamy skladeb/stop, těles, případně jiných typů informací, které připravené XML obsahuje.

37 Převzetí anotací a komentářů z jiných systémů, nebo sklízení dalších zdrojů dat převod komentářů a hodnocení z jiných systémů - knihovních i komerčních Statický jednorázový export a převod dat do databáze obalkyknih.cz nebo naprogramování API rozhraní pro stahování komentářů a hodnocení ze spolupracujících serverů. Zdroje budou předběžně poskytovat data buďto ve formátu XML, nebo ve formě OAI setu. V případě sklízení OAI-PMH setu bude použita stávající instalace klienta, která je plánována v rámci jiné úlohy tohoto projektu. Úloha vznikla z důvodu snahy o prosazení projektu obalkyknih.cz jako agregátora komentářů a hodnocení mezi informačními systémy v oblasti paměťových institucí. Bez této snahy budou komentáře a hodnocení knihovními katalogy nadále potlačovány a pro čtenáře budou hlavním zdrojem nadále komerční servery namísto vytváření komunity v prostředí knihovních katalogů. Zboží.cz, Srovnáme.cz, Ereading.cz

38 Deduplikace záznamů podle identifikátorů z historických důvodů databáze obalkyknih.cz obsahuje duplicitní záznamy shodných dokumentů. Tento stav vznikl u dokumentů vkládaných přes různé zdroje, tj. webové rozhraní obalkyknih.cz, sklízecí proces nad daty poskytovanými vydavateli a knihovnami tzv. crawler a harvestery, kdy k záznamu nebyly přiřazeny všechny dostupné identifikátory (ISBN, č. ČNB, OCLC, vlastní identifikátor). Dnes v databázi existují shodné záznamy uložené každý pod jiným identifikátorem. Problém nastává s obsahy, komentáři, fulltexty, kdy je nutné jejich uložení pod správný - jedinečný dokument. Úloha bude využívat dříve shromážděné záznamy z NK Praha v rámci úlohy tohoto projektu obalkyknih.cz a jako deduplikační klíč bude brát identifikátory titulu. Tituly, které budou spadat pod proces deduplikace budou slučovány do jediného záznamu tak aby informační hodnota byla zachována, nebo zvýšena. Automatizovaný proces, který bude deduplikaci pravidelně provádět.

39 Vlastní skenování Skenovací klient

40

41 Statistiky skenovacího klienta v r (01-10) OLA001 Vědecká knihovna v Olomouci CBA001 Jihočeská vědecká knihovna ABA001 Národní knihovna XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX ABA004 Slovanská knihovna CBD005 Teologická fakulta JCU BOA001 Moravská zemská knihovna BOD001 Masarykova univerzita - Filozofická fakulta ABA007 Knihovna Akademie věd ČR CBD007 Jihočeská univerzita - Akademická knihovna ABA008 Národní lékařská knihovna LIA001 Krajská vědecká knihovna Liberec ABA006 Vysoká škola ekonomická 719 KLG001 Středočeská vědecká knihovna v Kladně 512 BOD018 Masarykova univerzita - Fakulta informatiky, Brno 438 TAG001 Městská knihovna Tábor 276 HBG001 Krajská knihovna Vysočiny, Havlíčkův Brod 266 ULD001 Univerzita J.E.Purkyně - Pedagogická fakulta, Ústí nad Labem MLP vlastní rozhraní, Fragment.cz

42 Statistiky skenovacího klienta v r CBA001 Jihočeská vědecká knihovna BOD001 Masarykova univerzita - Filozofická fakulta ABA001 Národní knihovna OLA001 Vědecká knihovna v Olomouci XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX ABA004 Slovanská knihovna BOA001 Moravská zemská knihovna CBD005 Teologická fakulta JCU ABA008 Národní lékařská knihovna ABA007 Knihovna Akademie věd ČR ABD001 Univerzita Karlova v Praze - Filozofická fakulta 877 ABD103 UK - Fakulta sociálních věd - Středisko vědeckých informací 829 HBG001 Krajská knihovna Vysočiny, Havlíčkův Brod 797 PTG001 Městská knihovna Prachatice 753 ULD001 Univerzita J.E.Purkyně - Pedagogická fakulta, Ústí nad Labem 730 KLG001 Středočeská vědecká knihovna v Kladně 674 LIA001 Krajská vědecká knihovna Liberec 571 CBD007 Jihočeská univerzita - Akademická knihovna 488 ZLG001 Krajská knihovna Františka Bartoše ve Zlíně 463 ABA006 Vysoká škola ekonomická 397 ULG001 Severočeská vědecká knihovna v Ústí nad Labem 289 BOD018 Masarykova univerzita - Fakulta informatiky, Brno 245 ABB503 Ústav anorganické chemie AV ČR 191 TAG001 Městská knihovna Tábor 143 PNA001 Studijní a vědecká knihovna Plzeňského kraje 62 OSA001 Moravskoslezská vědecká knihovna v Ostravě, MLP, Antikvariát Kodytek, 425, Fragment webové rozhraní obalkyknih.cz (723 SVK H.Králové )

43 Statistiky skenovacího klienta v r automatické stahování xml feed: Městská knihovna Praha Antikvariát Kodytek, 425 Fragment 31 Umelecko-duchovné združenie Fénix webové rozhraní obalkyknih.cz Knihovna města Ostravy 719 SVK Hradec Králové 302 Ústav zemědělské ekonomiky a informací 188 Gemerská knižnica Pavla Dobšinského, Rožňava 108 INFORMATORIUM, spol. s r. o....

44 Nové přírůstky: jiné zdroje VKOL červen 2014 importováno cca obálek MUNI září říjen 2014 importováno cca obálek SKAT červenec 2015 importováno cca komentářů MLP září 2015 importuje se cca anotací

45 Pomožme si sami!!! Výsledky práce využijí všichni!!!

46 Stránky projektu

47 Dotazy???

48 Děkuji za pozornost

49 Knihovny současnosti 2015 Novinky v projektu OBÁLKYKNIH.cz Jiří Nechvátal Jihočeská vědecká knihovna v Českých Budějovicích info@obalkyknih.cz