Seminář ČSSI: Otevřená a propojitelná data

Transkript

1 Otevřená a propojitelná data veřejné správy aktivity, postupy, návody, Seminář ČSSI: Otevřená a propojitelná data pojmy, témata, aktivity Dušan Chlapek Fakulta informatiky a statistiky, Vysoká škola ekonomická v Praze

2 Obsah 1. Otevřená data základní pojmy 2. Aktivity v oblasti otevřených a propojitelných dat 3. Výzvy pro veřejnou správu 4. Oblasti standardizace 5. Cíle semináře Seminář ČSSI Otevřená a propojitelná data veřejné správy 2

3 1. Co jsou otevřená data? Data zveřejněná na Internetu, která jsou úplná, snadno dostupná, strojově čitelná, používající standardy s volně dostupnou specifikací, zpřístupněna za jasně definovaných podmínek užití dat s minimem omezení, dostupná uživatelům při vynaložení minima možných nákladů. Požadavky na podmínky užití otevřených dat: Neomezují jejich uživatele ve způsobu použití dat. Opravňují uživatele k jejich dalšímu šíření. Musí být uveden autor dat (i při dalším šíření). Při dalším šíření musí i ostatní uživatelé mít stejná oprávnění s daty nakládat - během šíření dat nesmí dojít např. k omezení jejich využití pouze pro nekomerční účely. Seminář ČSSI Otevřená a propojitelná data veřejné správy 3

4 1. Otevřená data Stupně otevřenosti Zdroj: HAUSENBLAS, Michael. 5 star Open Data. Dostupné z: Seminář ČSSI Otevřená a propojitelná data veřejné správy 4

5 1. Otevřená data Stupně otevřenosti Stupeň: Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití Data poskytována v libovolném formátu Příklad formátu: PDF Výhody Jednoduchost a relativně nízká pracnost Data není třeba transformovat Zaměření pouze na právní otevřenost Uživatelé vědí, že mohou data dále zpracovávat Nevýhody Data může být obtížné využít např. potřeba vytěžování tabulkových dat z PDF dokumentů Příklad: tabulky s údaji v ročenkách a výročních zprávách Seminář ČSSI Otevřená a propojitelná data veřejné správy 5

6 1. Otevřená data Stupně otevřenosti Stupeň: Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití Data poskytována ve strojově čitelném formátu Příklad formátu: MS Excel Výhody Relativně jednoduché, pokud jsou podkladová data již dostupná ve formátu typu MS Excel, nebo pokud je lze takovéhoto formátu jednoduše uložit Data jsou ve formátu, který je snáze strojově zpracovatelný Nevýhody Pokud neexistují volně dostupné nástroje pro práci se zvolenými formáty, je uživatel nucen pořizovat odpovídající sw nástroje Seminář ČSSI Otevřená a propojitelná data veřejné správy 6

7 1. Otevřená data Stupně otevřenosti Stupeň: Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití Data poskytována ve strojově čitelném formátu Formát dat je otevřený Specifikace formátu je volně dostupná Lze využívat zdarma, další využití formátu není omezeno Formát nezávislý na platformě, resp. lze vytvořit nezávislé implementace pro různé platformy Příklad formátu: CSV Výhody Uživatelé nejsou nuceni používat aplikace určitého výrobce, aby s daty mohli pracovat Nevýhody Může být nutné data do otevřeného strojově čitelného formátu transformovat Seminář ČSSI Otevřená a propojitelná data veřejné správy 7

8 1. Otevřená data Stupně otevřenosti Stupeň: Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití Data poskytována ve strojově čitelném formátu Formát dat je otevřený Jako identifikátory objektů jsou použity URI (Unified Resource Identifier) Příklad formátu: RDF (Resource Description Framework) bez propojení Výhody Objekty jsou jednoznačně identifikovány způsobem, který umožňuje se na ně odkazovat obdobně jako na HTML stránky Lze kombinovat s jinými datovými sadami na stupních 4 a 5 hvězdiček Nevýhody Příprava dat vyžaduje více času a úsilí definice schémat pro tvorbu URI a přiřazení URI identifikátorů objektům Ne všichni v současné době disponují znalostmi pro publikaci a zpracování dat v této podobě Seminář ČSSI Otevřená a propojitelná data veřejné správy 8

9 1. Otevřená data Stupně otevřenosti Stupeň: Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití Data poskytována ve strojově čitelném formátu Formát dat je otevřený Jako identifikátory objektů jsou použity URI Data jsou pomocí odkazů propojena na jiná související data Příklad formátu: RDF s propojeními na další zdroje Výhody Data jsou propojena na další související zdroje Datům lze přiřadit bohatý kontext Místo opisování referenčních údajů se lze přímo odkázat na referenční datové zdroje Propojení umožňují uživateli získat další data, která by jinak poskytovatel musel zahrnou do datové sady Jednotlivé orgány VS zodpovídají a udržují své datové sady, je možné se mezi nimi odkazovat, není nutné je duplicitně publikovat na více místech Nevýhody Příprava dat vyžaduje více času a úsilí definice schémat pro tvorbu URI a přiřazení URI identifikátorů objektům Ne všichni v současné době disponují znalostmi pro publikaci a zpracování dat v této podobě Související datové zdroje musí být také k dispozici minimálně na stupni 4 hvězdičky Seminář ČSSI Otevřená a propojitelná data veřejné správy 9

10 Obsah 1. Otevřená data základní pojmy 2. Aktivity v oblasti otevřených a propojitelných dat 3. Výzvy pro veřejnou správu 4. Oblasti standardizace 5. Cíle semináře Seminář ČSSI Otevřená a propojitelná data veřejné správy 10

11 2. Otevřená data - aktivity v ČR Partnerství pro otevřené vládnutí v roce 2012 vytvořen Akční plán, který stanovil mimo jiné zefektivnění systému svobodného přístupu k informacím zpřístupnění dat a informací zajistit právní a technickou otevřenost dat veřejné správy vytvořit infrastrukturu otevřených dat ČR a jejich pravidel v oblasti veřejných zakázek publikovat vybranou kolekci 10 datových množin v otevřené podobě (množiny v gesci různých orgánů) zprovoznit a udržovat katalog otevřených dat, který umožní snadné vyhledávání datových množin různých orgánů VS ČR publikovaných v otevřené podobě výsledky Akčního plánu Koncepce katalogizace otevřených dat VS ČR Metodika publikace otevřených dat veřejné správy ČR Pozn.: Koncepce a Metodika jsou dostupné na portálu Korupce.cz První z úřadů, které začaly publikovat určená data byl Český statistický úřad (datové množiny s výsledky voleb, aktuálně i ze sčítání lidu, domů a bytů 2011). Postupně se přidávají další orgány veřejné správy i samosprávy Centrální katalog otevřených dat nebyl do dnešního dne zprovozněn. Zdroj: Seminář ČSSI Otevřená a propojitelná data veřejné správy 11

12 2. Otevřená data ve světe Významnou roli hrají USA a GB Portál Data.gov Open Data Policy (květen 2013) Definuje pojmy včetně otevřených dat Používání otevřených a strojově čitelných formátů, používání otevřených licencí atd. Brazílie National Open Data Infrastructure Součástí je i datový katalog Stanovuje datové standardy v rámci veřejné správy Podporuje orgány VS, které chtějí publikovat otevřená data Podporuje zapojení veřejnosti Open Data Index (Open Knowledge Foundation) Open Data Certificate (Open Data Institut) Zdroj USA: Zdroj Brazílie: Seminář ČSSI Otevřená a propojitelná data veřejné správy 12

13 2. Otevřená data - legislativa v EU a ČR Směrnice 2003/98/ES o opakovaném použití informací veřejného sektoru Novelizovaná směrnicí 2013/37/EU ze dne 26. června 2013 Členské státy do 18. července 2015 přijmou a zveřejní právní a správní předpisy nezbytné pro dosažení souladu s touto směrnicí Nejvýznamnější body novely Obecná zásada: dokumenty (data), na které se směrnice vztahuje, musí být v souladu s podmínkami směrnice opakovaně použitelné pro komerční nebo nekomerční účely Strojová čitelnost (článek 5, odst. 1): Subjekty veřejného sektoru poskytují své dokumenty v jakémkoliv již existujícím formátu nebo jazyce, a pokud je to možné a vhodné, v otevřeném a strojově čitelném formátu spolu s jejich metadaty. Formát i metadata by měly co nejvíce splňovat formální otevřené normy. V ČR bude zřejmě realizováno formou změny zákona č. 365/2000 Sb., o informačních systémech veřejné správy (část o otevřených datech připravuje MV ČR) a zákona č. 106/1999 Sb. Seminář ČSSI Otevřená a propojitelná data veřejné správy 13

14 2. Otevřená data - legislativa na Slovensku Zbierka zákonov č. 55/2014 Výnos Ministerstva financií Slovenskej republiky zo 4. marca 2014, o štandardoch pre informačné systémy verejnej správy Štandardy poskytovania údajov v elektronickom prostredí 51 Kvalita datasetu poskytovaného povinnou osobou 52 Otvorené údaje 53 Poskytovanie otvorených údajov Odkaz: Seminář ČSSI Otevřená a propojitelná data veřejné správy 14

15 2. Otevřená data - legislativa na Slovensku Zbierka zákonov č. 55/2014 Výnos Ministerstva financií Slovenskej republiky zo 4. marca 2014, o štandardoch pre informačné systémy verejnej správy 51 Kvalita datasetu poskytovaného povinnou osobou Dělení na 6 úrovní 0 bez elektronické formy, 1 datová sada je dostupná ve webovém prostředí 2 úroveň 1 + data strukturována tak, že umožňují strojové zpracování 3 úroveň 2 + otevřený formát nezávislý na proprietárním prostředí 4 úroveň 3 + k identifikaci údajů a jejich vazeb jsou použity referencovatelné identifikátory 5 úroveň 4 + dataset a jeho interní a externí vazby mají charakter identifikátory propojených údajů Pokud jsou datasety poskytovány pro automatizované zpracování musí být údaje publikovány minimálně na úrovni 3. Seminář ČSSI Otevřená a propojitelná data veřejné správy 15

16 2. Otevřená data - legislativa na Slovensku Zbierka zákonov č. 55/2014 Výnos Ministerstva financií Slovenskej republiky zo 4. marca 2014, o štandardoch pre informačné systémy verejnej správy Seminář ČSSI Otevřená a propojitelná data veřejné správy 16

17 2. Otevřená data - legislativa na Slovensku Zbierka zákonov č. 55/2014 Výnos Ministerstva financií Slovenskej republiky zo 4. marca 2014, o štandardoch pre informačné systémy verejnej správy 53 Poskytovanie otvorených údajov a) úrovně kvality datasetu dodržují pravidla dle 51, b) při používání formátů podle 13 písm. b) je u formátů CSV (Comma Separated Values) a JSON (JavaScript Object Notation) nejvyšší dosažitelná úroveň kvality = 3, a při použití ostatních formátů dle 13 písm. b) je nejvyšší dosažitelná úroveň kvality =5, c) schéma datasetu musí být poskytnuto ve formátu dle 13 písm. a) nebo formou textového popisu pro CSV nebo JSON datasety, d) pro identifikaci každého údaje v poskytovaném datasetu se použije 1. referencovatelný identifikátor, 2. kód podle příslušného číselníku nebo 3. hodnota představující tento údaj e) zpřístupnění datasetu prostřednictvím aplikačního rozhraní dle 13 písm. a) nebo v ucelené formě protokolem FTP nebo HTTP, f) zaevidování datasetu v centrálním katalogu otevřených dat na data.gov.sk g) poskytování datasetu tak, aby bylo možné 1. Zjistit okamžik nebo interval platnosti, 2. Zjistit po aktualizaci, které údaje byly změněny, 3. Zjistit, zda se jedná o aktualizaci v reálném čase nebo periodicitu aktualizace datasetu, 4. Odlišit chybné nebo nepřesné údaje od správných nebo přesných údajů, pokud to nelze na úrovni jednotlivých údajů tak alespoň odlišit na úrovni celého datasetu h) Poskytovat metadata pro otevřený dataset společně s daty nebo prostřednictvím katalogu otevřených dat Seminář ČSSI Otevřená a propojitelná data veřejné správy 17

18 2. Otevřená data - aktivity v ČR Příklady institucí publikujících otevřená data: Česká obchodní inspekce (ČOI) na svých webových stránkách publikuje data o provedených kontrolách, jejich výsledcích a udělených sankcích Český telekomunikační úřad (ČTÚ) zpracoval komplexní analýzu svých datových množin a rozhodl, že řadu z nich bude publikovat v otevřené podobě během let Ministerstvo financí provozuje aplikaci Monitor státní pokladny, která mimo jiné zpřístupňuje svá data ve strojově čitelné podobě Český statistický úřad publikuje data výsledcích voleb a výsledky sčítání lidu, domů a bytů Český úřad zeměměřický a katastrální zejména RUIAN a řada dalších dat Institut plánování a rozvoje hlavního města Prahy Kraj Vysočina Statutární město Děčín Další publikaci otevřených dat připravují, např.: Statutární město Opava Město Kuřim Městská část Praha 8 Seminář ČSSI Otevřená a propojitelná data veřejné správy 18

19 2. Otevřená data - aktivity v ČR - ČTÚ Zdroj: Seminář ČSSI Otevřená a propojitelná data veřejné správy 19

20 2. Otevřená data - aktivity v ČR - ČTÚ Zdroj: Seminář ČSSI Otevřená a propojitelná data veřejné správy 20

21 2. Otevřená data - aktivity v ČR - ČTÚ Zdroj: Seminář ČSSI Otevřená a propojitelná data veřejné správy 21

22 2. Aktivity týmu FIS VŠE a MFF UK Vysoká škola ekonomická v Praze, Fakulta informatiky a statistiky a Univerzita Karlova, Matematicko-fyzikální fakulta ve spolupráci s dalšími pracovišti realizoval a realizuje řadu projektů a aktivit v oblasti otevřených a propojitelných dat, např.: LOD2 (EU projekt) - vývoj nových metod a softwarových nástrojů pro práci s otevřenými propojitelnými daty (Linked Open Data = LOD) COMSODE (EU projekt) - vývoj a provoz softwarové platformy a metodik pro publikaci otevřených dat v co nejvyšší kvalitě Share-PSI 2.0 (EU projekt) - síť partnerů a odborníků, jejímž cílem je výměna zkušeností v oblasti implementace politik zaměřených na otevřená data veřejné správy Koncepce katalogizace otevřených dat (pro Úřad vlády ČR, MMR, MV ČR) Spolupráce s MV na propagaci, katalogizaci a legislativních úpravách otevřených dat veřejné správy v ČR (MV ČR) Analýza otevřenosti ČTÚ, publikace otevřených dat ČTÚ (ČTÚ) OpenData.cz propagace myšlenky otevřených a propojitelných dat Fórum pro otevřená data, Otevrenadata.cz (OSF Fond Otakara Motejla) soutěže o nejlepší aplikaci nad otevřenými daty, propagace myšlenky otevřených dat, podpora vybraných měst a úřadů při publikaci otevřených dat TAČR podpořené projekty Otevřená propojitelná data v oblasti veřejných rozpočtů (TAČR, OSF - Fond Otakara Motejla, MF ČR), Publikace dat statistických ročenek ve standardu otevřených dat (TAČR, KOMIX, ČSSZ) Spolupráce s MV ČR na přípravě a realizaci workshopu Opendata v rámci konference ISSS 2014 Seminář ČSSI Otevřená a propojitelná data veřejné správy 22

23 2. Příklady evropských výzkumných projektů LOD2 projekt 7.RP EU se zaměřuje na vývoj nových metod a softwarových nástrojů pro práci s otevřenými propojitelnými daty COMSODE cílem tohoto 7.RP EU projektu je vyvinout softwarový nástroj a metodiku usnadňující institucím publikaci dat v otevřené podobě; projekt si také klade za cíl pilotně nástroj provozovat podle vyvinuté metodiky u vybraných institucí v ČR i zahraničí. Projekt sbírá podněty na otevírání datových sad a nabízí spolupráci na jejich převodu a publikování. Na projektu mimo jiné spolupracuje Ministerstvo vnitra SR. SmartOpenData projekt 7.RP EU zaměřený na vývoj nástrojů pro otevřená propojitelná data v oblasti ochrany životního prostředí a prostorových dat Share-PSI 2.0 síť více než 40ti účastníků, jejímž cílem je výměna zkušeností v oblasti implementace politik zaměřených na otevřená data veřejné správy; podpořeno z Competitiveness and Innovation Framework Programme. LAPSI 2.0 cílem projektu je identifikovat bariery v přístupu a využití informací veřejného sektoru na evropském trhu a navrhnout nástroje a opatření pro stimulaci otevřených dat v Evropě; podpořeno z Competitiveness and Innovation Framework Programme. Seminář ČSSI Otevřená a propojitelná data veřejné správy 23

24 2. Nástroje vyvíjené v rámci EU projektů Seminář ČSSI Otevřená a propojitelná data veřejné správy 24

25 2. Nástroje vyvíjené v rámci EU projektů REST API / SPARQL Endpoint Vývojáři aplikací / datoví analytici Export do datových souborů Interní datový katalog metadata Konektory na datové katalogy Rozhraní otevřených dat Aktualizace Transformace Čištění Externí datové katalogy Obohacování ETL nástroj Propojování (propojitelná) data ODN Interní úložiště interní a/nebo externí (propojitelná) data Seminář ČSSI Otevřená a propojitelná data veřejné správy 25

26 2. Otevřená data - závěry vyplývající ze současných aktivit Otevřená data jsou současným trendem ve zpřístupňování informací veřejného sektoru k dalšímu využití Veřejná správa disponuje velkým množstvím dat Potřeba inventarizace datových množin a jejich prioritizace z hlediska otevírání Prioritizace vyžaduje sběr dat o poptávce po datech VS Na vývoj v oblasti otevřených dat reaguje evropská legislativa (novela směrnice 2003/98/ES) Některé orgány VS v ČR již publikují otevřená data, jiné se o otevřená data začínají intenzivně zajímat Fórum pro otevřená data sdružuje odborníky v oblasti otevřených dat Rozvoj postupů a nástrojů pro publikaci a práci s otevřenými a propojitelnými daty v rámci evropských i tuzemských výzkumných projektů Úroveň vznikajících nástrojů již vyvolává zájem i komerčních firem o testování možností jejich využití Seminář ČSSI Otevřená a propojitelná data veřejné správy 26

27 Obsah 1. Otevřená data základní pojmy 2. Aktivity v oblasti otevřených a propojitelných dat 3. Výzvy pro veřejnou správu 4. Oblasti standardizace 5. Cíle semináře Seminář ČSSI Otevřená a propojitelná data veřejné správy 27

28 3. Výzvy pro veřejnou správu ČR 1. Hledání úspor prostřednictvím otevřených dat 2. Implementace novely směrnice 2003/98/ES 3. Centrální katalog otevřených dat ČR 4. Publikace prioritních datových množin 5. Sjednocení způsobu publikace (metodika, standardy) 6. Analýzy potenciálu otevřených dat pro konkrétní orgány VS 7. Komunikační strategie a podpora publikujících orgánů Otevřená data veřejné správy 28

29 Obsah 1. Otevřená data základní pojmy 2. Aktivity v oblasti otevřených a propojitelných dat 3. Výzvy pro veřejnou správu 4. Oblasti standardizace 5. Cíle semináře Seminář ČSSI Otevřená a propojitelná data veřejné správy 29

30 4. Oblasti standardizace otevřených dat Procesy, odpovědnosti, pravidla Legislativa v přípravě, zák. č. 365/2000 Sb., zák. č. 106/1999 Sb. Koncepce katalogizace otevřených dat VS ČR podklad pro metodiku katalogizace dat Metodika 1. verze k dispozici, aktualizace v přípravě Doporučení úložišť, kde budou otevřená data ke stažení Formáty dat Minimálně formát CSV (***), lépe RDF (**** *) Dohodnuté standardy pro vybrané datové sady Ontologie Tvorba ontologií pro vybrané datové sady, které mají být publikovány ve formátu otevřených propojitelných dat, např. ontologie pro data o veřejných zakázkách (Public Contracts Ontology) Metadata DCAT doporučení konsorcia W3C DCAT Application Profile for data portals in Europe profil DCAT pro datové katalogy v Evropě Licence / podmínky užití Posoudit využití licence Creative Commons Uveďte autora 4.0 Český překlad této licence je připravován Otevřená data veřejné správy 30

31 Obsah 1. Otevřená data základní pojmy 2. Aktivity v oblasti otevřených a propojitelných dat 3. Výzvy pro veřejnou správu 4. Oblasti standardizace 5. Cíle semináře Seminář ČSSI Otevřená a propojitelná data veřejné správy 31

32 5. Cíle semináře Hlavními cíle semináře jsou 1. Představit koncept otevřených dat 2. Vymezit právní rámec pro otevřená data 3. Informovat o hlavních aktivitách v ČR, SR a ve světě 4. Představit přínosy a rizika otevřených a propojitelných dat 5. Seznámit účastníky s praktickou ukázkou postupu zpracování otevřených a propojitelných dat 6. Ukázat na příkladech možnosti nástrojů pro práci s LOD, tvorbu aplikací a vizualizaci LOD 7. Demonstrovat dobré příklady z praxe Seminář ČSSI Otevřená a propojitelná data veřejné správy 32

33 Program semináře 1/3 9:00-9:05 ÚVODNÍ SLOVO Z. MOLNÁR (ČSSI) 9:05 9:30 OTEVŘENÁ DATA, POJMY, TÉMATA, PŘEHLED AKTUÁLNÍCH AKTIVIT D.CHLAPEK (FAKULTA INFORMATIKY A STATISTIKY VŠE V PRAZE) 9:30 9:55 OPEN DATA A VEŘEJNÁ LICENCE M.MYŠKA (MASARYKOVA UNIVERZITA, PRÁVNICKÁ FAKULTA, ÚSTAV PRÁVA A TECHNOLOGIÍ) 9:55 10:20 OTEVŘENÁ DATA VEŘEJNÉ SPRÁVY Z POHLEDU ČESKÉ REPUBLIKY T. KROUPA (MINISTERSTVO VNITRA ČR) 10:20 10:45 OTEVŘENÁ DATA VEŘEJNÉ SPRÁVY Z POHLEDU SLOVENSKÉ REPUBLIKY J. GONDOĽ (MINISTERSTVO VNÚTRA SR) Seminář ČSSI Otevřená a propojitelná data veřejné správy 33

34 Program semináře 2/3 11:05 11:30 EFEKTY Z VYUŽITÍ OTEVŘENÝCH DAT V ZAHRANIČÍ A VYHLÁŠENÍ SOUTĚŽE O NEJLEPŠÍ APLIKACI NAD OTEVŘENÝMI DATY M.KUBÁŇ (FOND OTAKARA MOTEJLA) 11:30 13:00 TUTORIÁL OTEVÍRÁNÍ A PROPOJOVÁNÍ DAT - I. ČÁST PROPOJITELNÁ DATA ANALÝZA A VÝBĚR DAT, ONTOLOGIE M. NEČASKÝ (MFF UK), J. KUČERA (FIS VŠE), J. KLÍMEK (MFF UK) Seminář ČSSI Otevřená a propojitelná data veřejné správy 34

35 Program semináře 3/3 13:30 14:45 TUTORIÁL OTEVÍRÁNÍ A PROPOJOVÁNÍ DAT - II. ČÁST NÁVRH PŘÍSTUPU K DATŮM EXPORT DAT DO LOD FORMÁTU A JEJICH PUBLIKACE APLIKAČNÍ VYUŽITÍ DAT KATALOGIZACE DAT M. NEČASKÝ (MFF UK), J. KUČERA (FIS VŠE), J. KLÍMEK (MFF UK) 14:45 15:10 CESTA K OTEVŘENÝM GEOGRAFICKÝM DATŮM HL. M. PRAHY J. ČTYROKÝ (INSTITUT PLÁNOVÁNÍ A ROZVOJE HLAVNÍHO MĚSTA PRAHY) 15:10 15:30 ZKUŠENOSTI S OTEVÍRÁNÍM DAT A VYUŽITÍM NÁSTROJE OPEN DATA NODE M. TAJTL (ČESKÁ OBCHODNÍ INSPEKCE) 15:30 15: 50 OTEVŘENÍM ZAČÍNÁME! P. ŠPRUNGL (AQUASOFT) Seminář ČSSI Otevřená a propojitelná data veřejné správy 35