Automatizovatelná aktualizace Wikidata z veřejných databází. Jakub Klímek

Transkript

1 Automatizovatelná aktualizace Wikidata z veřejných databází Jakub Klímek

2 Veřejné databáze, Otevřená data 2

3 Veřejné databáze, Otevřená data - zajímavé zdroje Český úřad zeměměřický a katastrální Český statistický úřad Registr územní identifikace, adres a nemovitostí (RÚIAN) Kraje, obce, okresy, budovy, adresní místa Počty obyvatelstva Výsledky voleb Česká správa sociálního zabezpečení Statistiky o důchodech a důchodcích 3

4 Veřejné databáze, Otevřená data - různá kvalita 4

5 Odbočka: WWW ~ Web dokumentů - všichni známe Sdílený globální prostor dokumentů Webový prohlížeč Vybudován na pár jednoduchých principech: HTTP HTML HTML 4. HTML jako jazyk pro dokumenty URL jako unikátní globální identifikátory HTTP pro lokalizaci a přístup k dokumentům na základě jejich URL odkazy mezi dokumenty HTML HTML HTTP Vyhledávač Existují dva druhy aplikací pracujících v tomto prostoru dokumentů: webové prohlížeče (lokalizace a prohlížení stránek) vyhledávače (indexace a vyhledávání stránek) 5

6 Principy propojených dat Pro pojmenování věcí používejte IRI Používejte HTTP IRI, aby se o věcech dala dohledat data. Když někdo vyhledá IRI, poskytněte užitečné informace, a to pomocí standardů (RDF, SPARQL) V datech poskytněte odkazy na jiná IRI, aby uživatelé mohli objevovat další věci. 6

7 RDF - Resource Description Framework RDF Jakub Klímek studoval na grafový datový model množina trojic subjekt predikát MFF UK. objekt Trojice popisuje vztahy jako: subjekt predikát objekt 2004 & 2014 W3C Recommendations

8 Cloud propojených dat datových sad 8

9 Cloud propojených dat datových sad 9

10 Cloud propojených dat datových sad 10

11 Cloud propojených dat datových sad 11

12 Cloud propojených dat datových sad 12

13 Cloud propojených dat datových sad 13

14 Cloud propojených dat datových sad 14

15 LinkedPipes ETL - Extract Transform Load pro LOD komponenty v pipeline EXTRACT TRANSFORM LOAD 15

16 LinkedPipes ETL - Extract Transform Load pro LOD komponenty v pipeline 16

17 17

18 LP-ETL - přes 60 znovupoužitelných komponent - Extraktory - - Transformery - - HTTP GET, SPARQL endpoint (and variants), Text holder, Extract from FTP, Files from local SPARQL Construct, SPARQL Update Files to RDF, RDF to file XSLT, JSON to JSON-LD, Tabular, Excel to CSV Bing translator, Decode base64, File hasher, Compress, Decompress, Mustache Loadery - Files to SCP SPARQL Update, SPARQL Graph Store Protocol Files to local 18

19 LP-ETL - Pipeliny (někde též datovody ) 19

20 LP-ETL Tutoriály a návody 20

21 Wikidata Databáze Volně dostupná Kolaborativní Vícejazyčná Obsahuje Položky Tvrzení Vlastnosti Hodnoty Kvalifikátory 21

22 RDF vs. (zjednodušený) datový model Wikidata Jakub Klímek studoval na subjekt predikát MFF UK. objekt Q P69 Q

23 RDF a (zjednodušený) datový model Wikidata Jakub Klímek studoval na subjekt predikát MFF UK. objekt

24 Stávající problémy Wikidata s nahráváním dat v dávkách Převážně jednorázové skripty Jen někdy používají již existující knihovny Není počítáno s jejich pravidelným spouštěním Nejednotný přístup napříč autory Autoři si pak těžko mohou navzájem skripty udržovat Skripty se funkčně překrývají 24

25 Wikidata & ETL Projektový návrh k financování Wikimedia Foundation Úprava a aplikace LinkedPipes ETL pro práci s datovým modelem Wikidata Tvorba tutoriálu, jak na tvorbu pipeline pro Wikidata Úspěch záleží zejména na zájmu komunity Prosíme o podporu formou endorsementu Účet na Wikipedii Jít na Přidat endorsement uživatelské jméno důvod, proč si myslíte že to má smysl řešit