Zpracování informací

Transkript

1 Ústav automatizace a informatiky Fakulta strojního inženýrství Vysoké učení technické v Brně Kapitola č. 5 z předmětu Zpracování informací Ing. Radek Poliščuk, Ph.D. Tato publikace vznikla jako součást projektu CZ / /0285 Inovace VŠ oborů strojního zaměření, který je spolufinancován evropským sociálním fondem a státním rozpočtem České republiky 1/26

2 Shrnutí přednášky K datům IS nepřistupují přímo, ale prostřednictvím databázových systémů (DBS) DBS zajišťují spolehlivost transakcí, škálovatelnost, vícenás. přístup a zabezpečení Pro práci s daty (DDL/DML) v DBS se obvykle používají neprocedurální logické jazyky Pro použití dat v uživatelských aplikacích se používá vhodné aplikační rozhraní (API). Teprve databázové aplikace uživatelům umožňují vykonávat požadavky na data (vytváření, zápis, aktualizace, čtení výsledků, tvorbu výstupních sestav). 2/26

3 Obsah přednášky Kapitola 5 Dotazovací jazyk SQL Co je a co umožňuje SQL, data ke kterým přistupujeme SQL jako DDL Create, Alter, Drop, Grant SQL jako DML Show, Use, Select, Insert a Update Principy práce s relacemi v SQL a implementace v Microsoft Access SQL konstrukce - tabulkové aliasy, slučovací dotazy a poddotazy, křížové dotazy Skriptování VBA, Import a export dat Realita DATA Informační systém Informace Příjemce 3/26

4 SQL Kolik jazyků znáš, tolikrát SELECT INSERT UPDATE DELETE...? Babylonská věž Evropský parlament, Štrasburk 4/26

5 SQL je: SQL = Structured Query Language, standardní textový počítačový jazyk pro přístup a manipulaci s databází. založeno na jazyku SQL, který vychází ze SEQUEL (Simplified English Query Language, později z copyrightových důvodů zkráceno na SQL), vyvinutého v 70. letech IBM na základě teorie rozsáhlých relačních modelů Edgara F.Codda (1970). První komerční implementace: Relational Software, Inc. (dnes Oracle Corporation) 1979, prakticky všechny komerční SQL jsou dnes jejími dialekty, Standardní (ANSI-1986 a ISO-1987) SQL nalezneme v mnoha DBS (MS Access, DB2, Informix, MS SQL Server, Oracle, Sybase,...) Všechna tato prostředí obsahují různě zpracované interpretery SQL, základní prvky stanovené ANSI (např. SELECT, UPDATE, DELETE, INSERT, klauzule WHERE, ) však obsahují všechny. Nejčastěji diskutované rozdíly v různých interpretacích SQL spočívají v proprietárních rozšířeních původního standardu. Další text bude obsahovat ukázky použitelné jak v Accessu, tak např. v MySQL... 5/26

6 SQL umožňuje: SQL umožňuje jednoduchým a čitelným způsobem: přistupovat k datům v databázi (Use, Select, Union...) vznášet dotazy na data (agregační funkce, poddotazy apod.), vyzvedávat data z databáze (dataset text, tabulka, XML,...), vkládat nové záznamy do databáze, selektivně aktualizovat záznamy v databázi, selektivně mazat záznamy z databáze, definovat strukturu databáze (struktura záznamů a tabulek, indexy, práva...) Tímto jsou zajištěny požadavky jak na schopnost manipulace(dml), tak definice dat(ddl). 6/26

7 Data ke kterým přistupujeme DBS může obsluhovat více datových projektů (~databází, ~schémat, ~katalogů...) Každá databáze bývá tvořena jednou nebo více tabulkami. Každá tabulka je jednoznačně identifikovaná svým jménem (např. Adresář, Objednávky...). Tabulky obsahují záznamy/struktury s daty, např. tabulka Adresář může obsahovat: ID Jméno: Příjmení: Adresa: Město: PSČ: 1 Alois Vocásek Severní 10 Brno Kryšpín Jelítko Jižní 11 Praha Felix Bůček Západní 3 Ostrava Tadeáš Jelítko Východní 8 Plzeň k identifikaci záznamů v tabulkách se používají indexová pole (nebo skupiny polí) pro jednoznačnou identifikaci je nutný unikátní (tj. neopakující se) klíč (~index); jeden z unikátních klíčů (typicky pořadové číslo) se prohlašuje za primární klíč. k identifikaci jednotlivých polí v rámci záznamů se používají unikátní jména sloupců. 7/26

8 DDL - Databáze Práci na úrovni databází řeší tyto SQL příkazy (MySQL): SHOW DATABASES; zobrazí jména dostupných databází CREATE DATABASE nazev_databaze; vytvoří DB se jménem "nazev_databaze" (max. 65 znaků) abychom mohli DB používat, musíme ji vybrat (USE) a vytvořit v ní tabulky (CREATE TABLE...) a přidělit k nim přístupová práva (příkaz GRANT viz manuál vašeho DBS, není jednotné) USE nazev_databaze; zvolená databáze "nazev_databaze" se nastaví jako aktivní (v Accessu ~ volbě souboru) SELECT DATABASE(); vrací název aktuální databáze SHOW TABLES; SHOW TABLES FROM nazev_databaze; zobrazí seznam tabulek aktuální / zvolené databáze DESCRIBE nazev_tabulky; nebo SHOW COLUMNS FROM nazev_tabulky; zobrazí strukturu vybraných tabulek SOURCE cesta/soubor; vykoná všechny příkazy uvedené v souboru zadaném parametrem DROP DATABASE nazev_databaze; - vymaže celou databázi se jménem "nazev_databaze", včetně všech tabulek a dat v nich. 8/26

9 DDL - Tabulky CREATE TEMPORARY TABLE název( NázevSloupce1 <typ> <výčet modifikátorů>, NázevSloupce2 <typ>,...) TYPE=typ_tabulky; Používané typy sloupců: integer(n), int(n), smallint(n), tinyint(n), bit, bool: Celočíselné, n je max. počet míst decimal(n,d) nebo numeric(n,d): Desetinná čísla, d je počet desetinných míst. double, float: binární formát reálných čísel char(délka): Řetězec s pevně danou délkou (max. 255 znaků). varchar(max_délka): Řetězec s danou maximální délkou (max. 255 znaků). date, datetime, timestamp, time, year: Datumové údaje, pozor na rozsahy! tinytext/tinyblob (<2 8 ), text/blob (<2 16 ), mediumtext/mediumblob (<2 24 ), longtext, longblob (<2 32 ) enum('možnost1', 'možnost2',..) : volba jedné ze seznamu možných hodnot set('hodnota1', 'hodnota2',..) : výčet ze seznamu až 64 možných hodnot Modifikátory typu: AUTO_INCREMENT, BINARY, INDEX PRIMARY KEY, Unique, Null not null, UNSIGNED, ZEROFILL Používané typy tabulek (Mysql): MYISAM: standard MySQL, soubory s příponami.myd (data) a.myi (indexy) MERGE: pro spojování MYISAM tabulek se stejně definovanými poli HEAP: tabulka je pouze v paměti (rychlé, řada omezení) INNODB: tabulky zamykané na úrovni řádků, podpora transakcí BEGIN;... ; COMMIT; (a další... po prostudování originální dokumentace.) 9/26

10 DDL mazání, indexy Smazání dat v tabulce, zachování struktury TRUNCATE TABLE table_name; Změna stávající struktury: ALTER TABLE table_name RENAME nový_název_tabulky ADD jméno_sloupce <typ> First After <sloupec> DROP COLUMN <jména rušených sloupců> CHANGE název_sloupce nový_název nový_typ; MODIFY název_sloupce nový_typ; Vytvoření indexu přes 1 nebo více zadaných sloupců: CREATE UNIQUE INDEX jméno_indexu ON table_name (<seznam sloupců zahrnutých v indexu>) Odstranění stávajících struktur: DROP INDEX table_name.index_name DROP TABLE table_name DROP DATABASE database_name...všechny tyto operace je dnes možné provádět v grafickém uživatelském prostředí servisních aplikací 10/26

11 DML - Data Modifikace dat v tabulkách je možná příkazy: Vkládání nových záznamů do existujících tabulek: INSERT INTO <tabulka> (<seznam naplňovaných sloupců>) VALUES (<seznam hodnot v daném pořadí>); Zrušení záznamů splňujících danou podmínku (o podmínkách více viz Select): DELETE FROM <tabulka> WHERE <podmínky pro výběr řádek> Úprava záznamů splňujících danou podmínku: UPDATE <tabulka> SET <sloupce> = <výrazy> WHERE <podmínky pro výběr řádek>; Výpis záznamů splňujících podmínky v zadaných klauzulích: SELECT sloupce FROM tabulky WHERE <filtrační podminky> GROUP BY <sloupce> Having <agregační podmínky> Order By <podminky> UNION <případný další dotaz>; 11/26

12 SQL SELECT Základní syntax příkazu SELECT: SELECT column_name(s) FROM table_name; Výběr všech sloupců zvolené tabulky - zástupný symbol * namísto sloupců: SELECT * FROM table_name; Příklad výběru zvolených sloupců: SELECT Příjmení, Jméno FROM Adresář; Příjmení: Jméno: Vocásek Alois Jelítko Kryšpín Bůček Felix Jelítko Tadeáš Adresář Výběr jen unikátních záznamů: Prefix DISTINCT SELECT DISTINCT Příjmení FROM Adresář; 12/26

13 SQL - Skalární funkce Skalární funkce = funkce aplikované na jednotlivé hodnoty výpisu: UCASE (c) : Převod výrazu c na velká písmena LCASE (c) : Převod výrazu c na malá písmena MID (c, první[,poslední]) : Výběr zvoleného počtu znaků z textového výrazu c LEN (c) : Délka textového výrazu c INSTR (c,s) : Numerická pozice substringu s ve výrazu c LEFT (c, n) : Výběr prvních n znaků v textovém výrazu c RIGHT (c, n): Výběr posledních n znaků v textovém výrazu c ROUND (c, místa): Zaokrouhlení na daný počet desetinných míst MOD (x, y) : Vrací výsledek x mod y (zbytek po dělení) NOW () : Vrací aktuální systémové datum (bez parametru!) FORMAT (c, format) : Změna formátu zobrazení pole DATEDIFF (datum1, datum2) : Rozdíl dvou dat ve dnech 13/26

14 SQL Select aliasy, řazení Klauzule alias: Aliasy mohou být využity pro tabulky i sloupce: SELECT column AS column_alias FROM table; (typicky pro vlastní pojmenování sloupců na výstupu) SELECT column FROM table AS table_alias; (typicky pro substituci jmen při definici relací uvnitř jedné tabulky) Klauzule OrderBy: Předpis pro třídění řádek výstupu, např.: SELECT Jméno, Příjmení FROM Adresář ORDER BY Příjmení, Jméno; Třídění v opačném pořadí: suffix DESC SELECT Distinct Příjmení FROM Adresář ORDER BY Příjmení DESC; 14/26

15 SQL Select Where Klauzule Where: Definice pravidel pro výběr záznamů: SELECT <sloupce> FROM <tabulky> Where <Podmínky>; (Jednotlivé podmínky je možné logicky spojovat pomocí And/Or) K definici vyhodnocovacích podmínek je možné použít: Porovnávání ordinárního obsahu polí: <, >, =, < > (nebo!=), > =, < = SELECT... WHERE PSČ < '600 00'; Test přítomnosti řetězce ve výrazu: <výraz> LIKE <řetězec> SELECT... WHERE Jméno Like '%x%'; (zástupné znaky: _ pro 1 libovolný znak, % pro 0 nebo víc libovolných znaků) Test zda hodnota výrazu leží mezi dvěma mezemi: Between.. And.. SELECT... WHERE Příjmení BETWEEN 'D' AND 'T'; Test zda výraz nabývá některé z hodnot: IN (hodnota1, hodnota2,..) SELECT... WHERE Příjmení IN ('Vocásek','Buřt'); 15/26

16 SQL Select - agregace Seskupování výstupních dat z dotazu: Group By: Seskupování (agregace) dat dle určitého kritéria: SELECT Partner, SUM(platba) FROM PenezniDenik GROUP BY Partner; Having: Dodatečné filtrování výstupních (typicky agregovaných) dat SELECT Partner, SUM(platba) FROM PenezniDenik GROUP BY Partner HAVING SUM(platba)> ; Agregační funkce (výběr): AVG(sloupec) : Aritmetický průměr agregovaných hodnot COUNT(sloupec) : Počet neprázdných řádek v daném sloupci COUNT(*) : Počet vybraných řádek FIRST(sloupec) : První nalezená hodnota v daném sloupci LAST(sloupec) : Poslední nalezená hodnota v daném sloupci MAX(sloupec) : Nejvyšší nalezená hodnota v daném sloupci MIN(sloupec) : Nejmenší nalezená hodnota v daném sloupci SUM(sloupec) : Součet nalezených hodnot v daném sloupci 16/26

17 Relace v SQL dotazech Relační propojování tabulek je v SQL realizováno pomocí klíčů a konstrukcí: WHERE: (výpis všech řádků na kterých je shoda v levé i pravé tabulce) SELECT Zam.Jmeno, Obj.Produkt FROM Zam, Obj WHERE Zam.ID=Obj.Vystavil_ID INNER JOIN: (dtto) SELECT Zam.Jmeno, Obj.Produkt FROM Zam INNER JOIN Obj ON Zam.ID=Obj.Vystavil_ID LEFT JOIN: (výpis všech záznamů levé tabulky, doplněných o data z Obj) SELECT Zam.Jmeno, Obj.Produkt FROM Zam LEFT JOIN Obj ON Zam.ID=Obj.Vystavil_ID RIGHT JOIN (výpis všech záznamů pravé tabulky, doplněných o data Zam) SELECT Zam.Name, Obj.Produkt FROM Zam RIGHT JOIN Obj ON Zam.ID=Obj.Vystavil_ID Definice vazeb samotných NENÍ součástí standardního SQL, řeší se na úrovni aplikací. 17/26

18 Relace v Microsoft Access pole s odkazy na hodnoty unikátních klíčů dynamicky naplňovaná vyhledávací pole vazby v okně Relace + vnořené tabulky formuláře s podformuláři (průvodce...) tiskové sestavy přes více tabulek FAKTURA-daňový doklad číslo/var. symbol Vystavil: Příjemce: Šroubkař, s.r.o. Josef Novák Prostřední 2, Brno Zadní 2, Kocourkov IČ: IČ: Způsob platby: Převodem Vystaveno: Číslo účtu: /5100 Splatnost: Položky: 1. Šroubek M6 1500ks á 0,80 Kč Celkem 1200,00 Kč +DPH 19% 2. Matka M10 800ks á 2,50 Kč Celkem 2000,00 Kč +DPH 19% Celkem: 3200,00 Kč Vystavil: Šroubkař DPH 19%: 608,00 Kč Podpis: K úhradě: 3808,00 Kč Razítko: :-) Kontakty ID Jméno Adresa IČ Telefon Faktury ID Vystaveno Splatnost Platba Partner_ID 1:N Položky ID Faktura_ID Popis KS Cena_KS 18/26

19 Tabulkové aliasy v relacích Aliasy mohou být využity pro náhled na více záznamů v rámci jednoho řádku. SELECT column FROM table AS table_alias; Typické použití jsou situace, kdy se pravoúhlou tabulkou snažíme popsat nějakou složitější geometrickou strukturu např. strom: V prostředí MS Access se aliasy v relačním schématu vytvářejí automaticky (přípona _1,...), v SQL se toto uspořádání definuje právě tabulkovým aliasem. 19/26

20 Slučovací dotazy V situacích, kdy se z důvodu chybného návrhu a nebo z geografických důvodů části dat nacházejí ve více tabulkách (mohou mít i rozdílná fyzická pořadí a názvy), lze k získání celkového přehledu použít více dotazů sloučených spojkou UNION V případě různě pojmenovaných sloupců v jednotlivých tabulkách lze při slučování s výhodou použít sloupcové aliasy: Select 'Kniha',Titul as Název FROM knihy where Název like '%maska%' UNION Select 'CD', Album as Název FROM CD where Název like '%maska%' UNION Select 'DVD', Název FROM DVD where Název like '%maska%' UNION... 20/26

21 Křížové dotazy v MS Access Pohled na data ve formě tabulky s pevným počtem sloupců nemusí vždy poskytnout optimální přehled o situaci => transformace datasetu křížovým dotazem: TRANSFORM Sum(Pivot.Ks) AS SumOfKs SELECT Produkt, Rok, Měsíc, Sum(Ks) AS Celkem FROM Ochody GROUP BY Produkt, Rok, Měsíc PIVOT Pobočka; V DBS je tvorba dynamických kontingenčních tabulek považována za nesystémovou, spolu s dalšími analytickými operacemi se proto provádí spíš v tabulkových editorech. 21/26

22 SQL poddotazy Při tvorbě výrazů v SQL dotazech můžeme místo odkazů na hodnoty ve fyzických sloupcích použít i odkazy na virtuální tabulky, vytvářené dynamicky pomocí tzv. vnořených SQL dotazů např.: SELECT jméno, příjmení FROM platy WHERE plat > (SELECT AVG(plat) FROM platy) V Accessu je SQL skryté za za vizuální editor: vždy je však možné přejít i do SQL pohledu a SQL dotaz dle potřeby upravit ručně. (některé typy dotazů ani nelze tvořit vizuálně) 22/26

23 Když SQL nestačí... Jazyk SQL je určen k vyjadřování požadavků na data logickou formou, zatímco tvorba GUI aplikací představuje spíš tvorbu procedurálního kódu => aplikace běžící nad DBS jsou buď psány v procedurálním jazyce a nebo jej uživateli k doplnění funkcí přímo poskytují (Microsoft Access Visual Basic for Applications): Tam kde v Accessu končí možnosti SQL a GUI, začíná VBA (tip pro začínající: od s.42) Podobně jako jazyk matlab umožňuje tvorbu uživatelských procedur, na rozdíl od něj však v principu neumožňuje vektorizaci; proměnné typu pole je navíc nutné deklarovat. Nejpoužívanějším prvkem VBA v Accessu je tzv. jmenný prostor DoCMD. RunSQL "SQL příkaz" OpenTable (jméno_tabulky [,acdataaccesspagebrowse acdataaccesspagedesign, DataMode]) OpenQuery (název_dotazu [,acdataaccesspagebrowse acdataaccesspagedesign, DataMode]) OpenForm (JmFormuláře, pohled, JmDotazu, RozšířeníWhere, DataMode, WindowMode, OpenArgs) OpenReport(JmSestavy, pohled, JmDotazu, RozšířeníWhere, DataMode, WindowMode, OpenArgs) OpenDataAccessPage (jméno [,acdataaccesspagebrowse acdataaccesspagedesign]) K manipulaci se záznamy tabulek a dotazů je ve VBA určena struktura Recordset rec=currentdb.openrecordset("tabulka") rec.edit operace(rec.sloupec) rec.update rec.movenext Rec.close...ukázky viz následující cvičení. 23/26

24 Import a export dat Přenos dat mezi DBS a dalšími aplikacemi může probíhat buď ve formě datasetů a nebo: binárních souborů (přímá kopie záznamů z tabulek, komprimované datasety, MDB,...) textových souborů pole v řádcích oddělená tabulátory (ASCII kód #09), řádky CR+LF (#13#10) comma separated values (pole dělená čárkami, texty v uvozovkách, řádky CRLF) formát XML XML hlavička <?...?> obsahuje informaci o způsobu kódování národních znaků soubor musí obsahovat kořenový element (např. <dataroot>), který obsahuje záznamy každý XML element může obsahovat Atributy (přiřazení v úvodním tagu) a svůj obsah a musí být ukončen buď už v úvodním tagu <xyz/> a nebo koncovým tagem </xyz> <?xml version="1.0" encoding="utf-8"?> <dataroot xmlns:od="urn:schemas-microsoft-com:officedata" generated=" t04:26:42"> <Faktura> <Fa_ID>1</Fa_ID> <Vystaveno> </Vystaveno> <Splatno> </Splatno> <Uhrada>Převodem</Uhrada> <Partner>1</Partner> <Položka> <Popis>pero</Popis> <JC>50</JC> <KS>1</KS> </Položka> </Faktura> </dataroot> 24/26

25 Import a export dat Cílem exportovaných dat pak nejčastěji bývají různé IS a aplikace pro analýzu dat: Tabulkové editory (Microsoft Excel, OpenOffice.org Sheet,...) přenos vybraných polí přes systémovou úschovnu import a export souborových dat (včetně MDB pozor na zamykání!!!) přímé napojení prostřednictvím ole-db (ODBC/JDBC, ADO...) a MS Query primární určení: interaktivní vzorce přes víc řádek, analýzy, jednoduché grafy (kontingenční tabulky, OLAP, malé soustavy rovnic, lineární regrese, úlohy co-když...) Výpočetní aplikace (Matlab, Octave, Mathcad, Maple, řešiče MKP, speciální aplikace) import a export souborových dat (Octave aktuálně umí jen CSV) přímé napojení prostřednictvím pluginů a knihoven primární určení: provádění složitých maticových analýz a grafických výstupů (rozsáhlé soustavy rovnic, filtrace a transformace dat, regresní/kovarianční analýzy, analýzy obrazu, aplikace výsledků do 3D modelů a jejich animace,...) 25/26

26 Shrnutí přednášky DBS umožňují uživatelům vykonávat jejich DML i DDL požadavky na data (vytváření, zápis, aktualizace, čtení výsledků, tvorbu výstupních sestav,...). Pro formulaci těchto požadavků na data se používá počítačový jazyk SQL. Výstupem funkce SELECT bývá zpravidla Dataset ve formě tabulky. Dataset může obsahovat vyfiltrovaná, agregovaná i skalárně upravená vstupní data. Teprve takto získané vysledky se používají jako zdroj dat pro následnou analýzu ve zvoleném informační systému. 26/26