Důležité zásady pro vytváření korektních souborů pro import do databáze IWAM Přednášející: Luděk Habrda Ing. Libor Juriš, Ing. Tomáš Kocman Kocman Monitoring, Teyschlova 30, 635 00 Brno tel. +420602786247, www.asdm.cz, tkocman@asdm.cz ODBORNÝ KURZ TEORETICKÁ BALNEOTECHNICKÁ PRŮPRAVA 30. 31. 10. 2014, LÁZNĚ FRANTIŠKOVY LÁZNĚ A.S., JIRÁSKOVA 3/23, 351 01 FRANTIŠKOVY LÁZNĚ Pro bezproblémové strojové zpracování předávaných souborů je nutné dodržování předepsaných zásad pro jejich vytváření, ať již se jedná o přesné názvy nebo zápis konkrétních údajů do těchto souborů. Přehled nejdůležitějších pravidel shrnuje následující text. Poznámka : Příklady v textu platí bezezbytku pro výslednou textovou podobu CSV souborů, v případě vytváření souborů v Excelu se položky oddělené středníkem zapisují do samostatných buněk v tabulce, oddělovací středníky jsou automaticky vloženy během operace Uložit jako CSV soubor. 2
1. Správné názvy datových souborů Názvy datových souborů musí obsahovat označení lokality, objektu, časového období a verze souboru. Celý název souboru má následující tvar: Lokalita_Zdroj_Obsah_RRRRMMDD_Verze.csv (xls) Lokalita, Zdroj identifikátory přidělené Inspektorátem Obsah AMS nebo DRM podle obsahu souboru RRRRMMDD časový údaj ve tvaru rok měsíc den Verze pořadové číslo souboru v daném období. Jestliže je nutné poslat více souborů za stejné období (například oprava, doplnění analýzy apod.), slouží k jejich rozlišení. V naprosté většině je tedy na tomto místě řetězec 01. Příklad: hodonin_bvj1_ams_20140101_01.csv luhacovice_aloiska_drm_20140101_02.csv 2. Správné hlavičky v souborech V hlavičce se opakují údaje z názvu souboru. Shoda údajů má kontrolní funkci při importu. Hlavička obsahuje několik řádků ve složení klíčové slovo, dvojtečka, mezera a parametr. Poslední dva řádky hlavičky tvoří seznam veličin a odpovídajících jednotek (v případě DRM souborů je seznam zakončen slovem Pozn). Příklad LOKALITA: hodonin ZDROJ: BVJ1 OBSAH: DRM VERZE: 1 DATUM: 1.1.2014 Datum; Seznam veličin; Pozn 3
3. Správné datumové údaje v souborech Veškeré údaje typu datum je nutné z důvodu jednoznačné identifikace při importu uvádět v nezkráceném tvaru (čtyřmístný rok) a v běžném formátu pro české prostředí. Toto samozřejmě není nutné dodržovat uvnitř poznámek. Příklad 1.1.2014 (nikoliv 1.1.14 nebo dokonce 1.1.) popřípadě s časovým údajem 1.1.2014 13:30 4. Správné znaky Na místech číselných údajů v souborech jsou přípustné pouze následující znaky číslice 0 9 znaménka +, -, <, >, >=, <= oddělovač desetinných míst. (tečka) nebo, (čárka) V číselných údajích nesmí být používáno oddělování tisíců (mezera je vyhodnocena jako chyba údaje, tečka je interpretována jako desetinný oddělovač a způsobí řádovou chybu v uložených datech). Na místech číselných údajů se nesmí vyskytovat žádné slovní informace. 5. Správné označení veličin Je nutné dodržovat stanovené označení veličin a dbát jejich skutečného významu. Qmes tak musí být reprezentováno jednou měsíční hodnotou, uvedenou k poslednímu dni v měsíci, Hd musí být v m n. m. apod. Na druhou stranu není problém (nejlépe po dohodě s Inspektorátem) soubory rozšířit o libovolné sloupce s hodnotami dle vlastní potřeby (např. hladiny od odměrného bodu). Označení těchto sloupců nesmí kolidovat s názvy veličin z předpisu, přiděleného Inspektorátem. 4
6. Správné jednotky Je nutné věnovat pozornost shodě v záhlaví předepsaných jednotek a uváděných číselných hodnot. Problémy se vyskytují zejména u průtoků a konduktivity. V případě potřeby je nutné vyjednat úpravu záhlaví s Inspektorátem. 7. Správné poznámky Poznámka slouží k zapsání libovolných doprovodných informací k termínu měření, který přísluší řádku, na kterém je poznámka uvedena. Nemůže být využívána k upřesnění typu veličiny (způsob měření CO2), nebo dokonce pro zápis nějaké změřené veličiny - toto musí být vždy přesně určeno označením v hlavičce u příslušné veličiny. Poznámka nesmí obsahovat znak ; (středník). Většina poznámek svým charakterem odpovídá zápisům v provozním deníku a lze je volitelně importovat do databáze. 8. Správné provozní deníky Provozní deník slouží k záznamu událostí na lokalitě/zdroji, které jsou ve významném vztahu ke změřeným údajům (servisní zásahy, poruchy, odběry k analýzám apod.). V současné době jsou přípustné dvě varianty zápisu provozního deníku, lišící se především možností zápisu časového ohraničení jednotlivých událostí. Soubory musí mít jednoznačný název ve tvaru Lokalita_PD_RRRRMMDD_Verze.csv (xls) Uvnitř souboru je na začátku opět hlavička LOKALITA: hodonin SPRÁVCE: hodonin (nutné v případě záznamů bez specifikace zdroje) OBSAH: PD VERZE: 1 DATUM: 1.1.2014 Datum; Čas; Zápis; Zdroj; Autor Datum - datum začátku události Čas - čas začátku události ve tvaru HH:MM (např. 8:45, nelze uvádět rozmezí nebo jiné zápisy, např. dopoledne, to je v případě potřeby nutné uvést v textu zápisu) 5
Zápis - výstižný a stručný popis události, nesmí obsahovat středník Zdroj - kód zdroje (popř. seznam kódů oddělených čárkou) nebo prázdný řetězec (zápis se týká všech zdrojů příslušného správce) Autor - autor zápisu nebo Datum a čas začátku; Datum a čas ukončení; Událost; Zdroj; Autor; Kód Datum a čas začátku - umožňuje uvést přesný čas zahájení události 22.1.2014 9:15 Datum a ukončení: stejným způsobem lze uvést ukončení události (není nutné vyplňovat) Význam dalších polí je stejný, jako u předchozí varianty Kód - není využíváno, není nutné vyplňovat Následují ukázky konkrétních souborů, jak vypadají při otevření v tabulkovém procesoru Excel. (Poznámka: číselné údaje v souborech neodpovídají reálným hodnotám z uvedených objektů.) 1. Soubor AMS 6
Soubor DRM Poznámka Libovolný řádek, začínající znakem # je považován za komentář a při importu do databáze je automaticky vynechán. Tohoto lze využít k zapsání prakticky jakéhokoliv doprovodného textu do souboru. V uvedeném příkladu je tímto způsobem soubor rozšířen o pomocný řádek s uvedenými četnostmi měření, což může být užitečná pomocná informace při jeho vyplňování nebo kontrole. 7
Provozní deník 1. typ 1. Provozní deník - 2. typ Poznámka V uvedeném příkladu se vyskytuje záznam, kde není uveden žádný objekt. Hlavička musí být tedy rozšířena o kód příslušného správce. Toto pravidlo platí i pro deník předchozího typu. 8
Ing. Tomáš Kocman tel.: 607 786 247 tkocman@asdm.cz www.asdm.cz 9