22.1. 23.1.2015, Praha Principy a technologie otevřených dat a jejich využití v managementu Dušan Chlapek 1 Jan Kučera 1 Martin Nečaský 2 1 Fakulta informatiky a statistiky, Vysoká škola ekonomická v Praze 2 Matematicko-fyzikální fakulta, Univerzita Karlova v Praze
1. Představení týmu FIS VŠE a MFF UK Výzkumné EU projekty LOD2, COMSODE, Share-PSI 2.0 Národní výzkumné projekty TAČR Otevřená propojitelná data v oblasti veřejných rozpočtů (pro MF ČR) Publikace dat statistických ročenek ve standardu otevřených dat (pro ČSSZ) Spolupráce s veřejnou správou koncepce katalogizace otevřených dat (pro Úřad vlády ČR, ve spolupráci s MV ČR) spolupráce s MV na propagaci, katalogizaci a legislativních úpravách otevřených dat spolupráce s úřady na otevírání jejich dat (ČTÚ, NKÚ, ČOI, MP SV) Fórum pro otevřená data Společná iniciativa Fakulty informatiky a statistiky VŠE, Matematicko-fyzikální fakulty UK a Fondu Otakara Motejla otevrenadata.cz (Fond Otakara Motejla) propagace myšlenky otevřených dat, soutěže o nejlepší aplikaci nad otevřenými daty, podpora vybraných měst a úřadů při publikaci otevřených dat OpenData.cz akademická iniciativa propagující myšlenky propojitelných dat (Linked Data) 2
1. Cíle prezentace Hlavními cíli prezentace jsou 1. Představit správu dat jako součást podnikové architektury 2. Seznámit s hlavními oblastmi správy dat a životním cyklem dat 3. Vysvětlit pojem otevřená a propojitelná 4. Ukázat výsledky z realizovaných projektů 5. Připomenout přínosy a rizika otevřených a propojitelných dat 3
Architektura v podnikové informatice Architektura (dle ISO/IEC 42010:2007) fundamentální uspořádání systému, které tvoří komponenty a vztahy mezi nimi, včetně vztahu k prostředí, a principy, které řídí jeho návrh a rozvoj (ISO/IEC, 2007) Architektura v podnikové informatice (Enterprise Architecture, EA) je přístup, koncept, prostředek a nástroj, kterým vyjadřujeme fundamentální uspořádání vztahu mezi byznysem a jeho informačním systémem, které vede k naplnění mise organizace, přičemž respektuje okolní prostředí a konzistentně dodržuje formulované principy návrhu a rozvoje systému (Voříšek a kol., 2008) Pozn.: dále bude také používán pojem Podniková architektura Datová architektura popisuje strukturu datové základny organizace. Datová architektura popisuje jednotlivé datové sady, datové zdroje, vazby mezi nimi a vazby na další relevantní prvky podnikové architektury (Enterprise Architecture) 4
Australian Government Architecture Zdroj: (Australian Government Information Management Office. Australian Government Architecture Reference Models. Version 3.0. In: Australian Government. [Online] August 2011 [Citace: 29. září 2014.] http://www.finance.gov.au/sites/default/files/aga-rm-final-v3.0-july-2013.pdf.) 5
Správa dat Jedna z domén řízení informatiky Anglicky Data Management, používají se i pojmy (Enterprise) Information Management, Enterprise Data Management, Information Asset/Resource Management apod. Data Management 2 představuje plánování a provádění politik, praktik a projektů pořízení, kontroly, ochrany, dodávky a zvyšování hodnoty dat a informačních aktiv Information management 1 představuje prostředky pomocí kterých organizace zajišťuje plánování, identifikaci, vytvoření, získání, sběr, organizování, řízení (governance), zabezpečení, použití, sledování, distribuci, výměnu, údržbu, uchování a vyřazení informací jakož i prostředky, kterými zajišťuje, že hodnota informací je rozpoznána a maximálně využita Otevřená data jsou nedílnou součástí datové architektury příslušného subjektu. Správa dat musí být vykonávána na uzavřených i otevřených datech. 6
Cíle správné a efektivní správy dat Hlavním cílem je zajistit, že data, resp. informace jsou k dispozici 1 tomu, kdo je potřebuje, v podobě či formátu, v jakém je potřebuje a v okamžiku, kdy je potřebuje. K naplnění cíle je třeba zejména realizovat následující dílčí cíle 2 1. Definovat informační potřeby organizace a jednotlivých zainteresovaných stran 2. Pořizovat, shromažďovat, ukládat, chránit a zajišťovat integritu datových zdrojů 3. Průběžně zajišťovat a zvyšovat kvalitu dat 4. Zajišťovat důvěrnost a ochranu datových zdrojů 5. Zajišťovat efektivní využívání dat a informací 6. Řídit náklady správy dat 7. Propagovat princip, že data představují pro organizaci cenné aktivum 8. Zajistit, že jsou data řízena konzistentně napříč celou organizací 9. Zajistit soulad mezi řízením dat, používanými technologiemi a potřebami organizace (byznysu) 1 Upraveno dle: (Queensland Government Information Management Policy Framework Definitions. In: Queenslad Government. [Online] December 2009 [Citace: 29. září 2014.] https://www.qgcio.qld.gov.au/images/documents/qgea_documents/qgea/information%20management%20policy%20framework.doc.) 2 Upraveno dle: (Mosley, Mark, a kol. 2010. The DAMA Guide to the Data Management Body of Knowledge. Technics Publications, LLC, 2010. str. 406. ISBN 978-1- 9355040-2-3) 7
Oblasti správy dat 1. Strategické řízení 2. Analýza a návrh datové architektury 3. Pořizování, provoz a údržba dat, poskytování dat, skartace dat 4. Řízení nákladů a přínosů dat 5. Řízení bezpečnosti dat 6. Řízení kvality dat 7. Řízení metadat 8. Řízení referenčních dat a master dat 8
Životní cyklus dat dle DAMA-DMBOK Plánování (Plan) Specifikace (Specify) Vytváření předpokladů (Enable) Tvorba a pořízení (Create & Acquire) Použití a údržba (Maintain & Use) Archivace a obnova (Archive & Retrieve) Skartace (Purge) Zdroj: (Mosley, Mark, a kol. 2010. The DAMA Guide to the Data Management Body of Knowledge. Technics Publications, LLC, 2010. str. 406. ISBN 978-1- 9355040-2-3) 9
2. Co jsou otevřená data? Data zveřejněná na Internetu, která jsou úplná, snadno dostupná, strojově čitelná, používající standardy s volně dostupnou specifikací, zpřístupněna za jasně definovaných podmínek užití dat s minimem omezení, dostupná uživatelům při vynaložení minima možných nákladů. Požadavky na podmínky užití otevřených dat: Neomezují jejich uživatele ve způsobu použití dat. Opravňují uživatele k jejich dalšímu šíření. Musí být uveden autor dat (i při dalším šíření). Při dalším šíření musí i ostatní uživatelé mít stejná oprávnění s daty nakládat - během šíření dat nesmí dojít např. k omezení jejich využití pouze pro nekomerční účely. 10
2. Otevřená data Stupně otevřenosti Zdroj: HAUSENBLAS, Michael. 5 star Open Data.Dostupné z: http://5stardata.info/ 11
Dostupnost dat na současném webu Regionální statistiky ČSÚ RÚIAN ARES Sbírka zákonů RPP http://www.czso.cz http://www.cuzk.cz http://www.mfcr.cz http://portal.gov.cz http://www.szrcr.cz Kontroly SŽPI http://www.potravinynapranyri.cz/ Kontroly ČOI Jak nalézt odpovědi na následující otázky? Kontroly provedené v okrese Semily u subjektů provozující obor činnosti Pronájem a půjčování věcí movitých Kontroly provedené v rámci agendy Odpadové hospodářství Počty kontrol a objemy pokut v okresech přepočtené na 1000 obyvatel Kontroly ČIZP http://www.cizp.cz Kontroly SVS http://www.coi.cz http://www.eagri.cz 12
Propojitelná data cíle Cílem propojitelných dat (angl. Linked Data) je vytvořit ekosystém webových služeb (aplikací), které publikují, obohacují a využívají data o entitách v jednom globálním sdíleném datovém prostoru (tzv. Web dat). Služba 3 Služba 4 Služba 1 Služba 4 Služba 2 Služba 5 Sdílený globální prostor dat na Webu (Web of Data) 13
Ukázka našich výstupů: Propojené datové sady RÚIAN katastr RÚIAN budovy RÚIAN adresy ČSÚ pol. strany ČSÚ volby MŽP Ovzduší RÚIAN regiony NUTS a LAU ČSÚ statistiky ČSSZ statistiky Veřejné zakázky Registr smluv Rejstříky ARES ČOI kontroly MFČR Číselníky Orgány veřejné moci MFČR Výkazy SDMX Úplná znění zákonů SÚKL léčiva MZČR Ceny léčiv Výzkumné projekty Výsledky VaVaI Agendy OVM Soudy ČR Soudní rozhodnutí 14
Ukázka výstupu z projektu COMSODE: Open Data Node REST API / SPARQL Endpoint Vývojáři aplikací / datoví analytici Export do datových souborů Interní datový katalog metadata Konektory na datové katalogy Rozhraní otevřených dat Aktualizace Transformace Čištění Externí datové katalogy Obohacování ETL nástroj Propojování (propojitelná) data ODN Interní úložiště interní a/nebo externí (propojitelná) data 15
Ukázka výstupu z projektu COMSODE: Methodology for publishing datasets as open data Dokumenty tvořící metodiku Hlavní dokument metodiky Dokumentace praktik Řídící tabulka Metodika popisuje Fáze publikace otevřených dat a jejich úlohy Průřezové aktivity a jejich úlohy Artefakty (vstupy a výstupy úloh) Role a jejich zodpovědnosti Praktiky pro jednotlivé úlohy 16
Ukázka výstupu z projektu TAČR Základní údaje a cíle projektu Projekt TD020121 Publikace dat statistických ročenek ve standardu otevřených dat Projekt financován Technologickou agenturou ČR (TAČR) Realizace projektu probíhá v období 01/2014 až 06/2015 Na projektu spolupracuje: Fakulta informatiky a statistiky Vysoké školy ekonomické v Praze, KOMIX s.r.o. Česká správa sociálního zabezpečení Hlavní cíle projektu: vytvořit metodiku a typovou architekturu pro publikaci statistických dat ve formátu otevřených propojitelných dat (Linked Open Data), tyto ověřit na pilotní publikaci dat Důchodové statistiky, a vybudovat nad těmito daty pilotní aplikaci pro zpřístupnění a prezentaci těchto dat. 17
Ukázka výstupu z projektu TAČR Zpřístupnění dat statistických ročenek ČSSZ 5* data ČSSZ jsou dostupná přes webovou službu s URL http://opendata.vse.cz:8890/sparql 5* data = data reprezentovaná v RDF napojená na další zdroje RDF dat v prostředí webu Webová služba umožňuje dotazování nad daty pomocí dotazovacího jazyka SPARQL Nad daty možno realizovat dotazy pomocí dotazovacího jazyka SPARQL. Současně je možné tato data propojovat s daty jiných organizací, např. převedenými daty ČSÚ. Pilotní webová prezentační aplikace je k dispozici na adrese https://opendata.vse.cz/duchodova-statistika/ Upozornění: Aplikace je spustitelná pouze v aktuálních verzích webových prohlížečů Firefox, Google Chrome, Internet Explorer (od verze 9). 18
Ukázka výstupu z projektu TAČR Úvodní obrazovka pilotní webové aplikace 19
Ukázka předpřipravené vizualizace dat ve webové prezentační aplikaci 20
Ukázka předpřipravené vizualizace dat ve webové prezentační aplikaci 21
Přínosy otevřených dat (P1) posílení transparentnosti, (P2) podpora ekonomického růstu, (P3) zlepšení služeb veřejné správy, (P4) podpora opětovného použití dat, (P5) zlepšení vnímání veřejné správy veřejností, (P6) zlepšení procesů a dat veřejné správy, (P7) zamezení chyb vzniklých při práci s daty (P8) snížení počtu dotazů dle zák. č. 106/1999 Sb. (P9) pořádek ve vlastních datech (P10) možnost transparentně informovat veřejnost o subjektech, které neplní své zákonné povinnosti (P11) zvýšení hodnoty dat (P12) budování dobrého jména 22
Rizika otevřených dat (R1) Zveřejnění dat v rozporu se zákonem (R2) Riziko porušení ochrany obchodního tajemství (R3) Riziko porušení ochrany osobních údajů (R4) Zveřejnění nevhodných dat či informací (R5) Dezinterpretace dat (R6) Absence konzumentů dat (R7) Překrývání dat 23