Praktické ukázky použití SQL. Informační a znalostní systémy

Transkript

1 Praktické ukázky použití SQL Informační a znalostní systémy

2 Preambule Cílem tohoto studijního materálu je pomocí řešených příkladů seznámit čtenáře s problematikou dotazů v jazyce SQL, zejména se získáváním dat z databáze. Materiál rozšiřuje návrh systému na monitoring senzorové sítě budovy (ze cvičení) o vyhodnocování stavů budovu a spouštění akcí. Databázový systém bude na základě posledního uloženého stavu senzorů v budově spouštět různé akce(např. zapni odvětrávání), přičemž k aktivaci jedné akce může vést více pravidel(což v principu umožnuje aktivující stavy slučovat pomocí logického součtu). Zároveň požadujeme podporu akcí, které budou spuštěny na základě splění více podmínek, tedy řetězení podmínek pomocí logického součinu. Pro jednoduchost systém pracuje pouze s podmínkami, že naměřená hodnota je srovnávána(větší nebo menší) než definovaný práh. Příslušné rozšířené schéma použité v tomto materiálu je uvedeno níže:

3 Obsah 1 Jednoduché získávání dat Výpisměřenízaposlednítýden Stránkovánívýpisu Spojovánítabulek Agregace Průměrnéhodnotysenzorů Podmínkynaagregačnífunkce Vyhodnocenípodmínek-aktivaceakcí Vnořené dotazy Vnořený Seznampřetopenýchsenzorů Posledníměření Pohled Pohledproposledníměření

4 4 OBSAH

5 Kapitola 1 Jednoduché získávání dat Kapitola se věnuje nejjednodušším příkladů použití příkazu 1.1 Výpis měření za poslední týden Zadání Vypište všechny naměřené záznamy za poslední týden Postup Měření jsou uložena v tabulce mereni obsahující vedle hodnoty i čas měření a identifikaci veličiny a senzoru. Zadání přesně nespecifikuje, které atributy požadujeme, budeme uvažovat všechny, tedy namísto výčtu atributů uvedeme symbol Ze všech záznamů v tabulce vybereme pouze ty, které nejsou starší 7 dnů. Funkce now() vrací aktuální čas, podmínka v rámci klíčového slova WHERE odpovídající záznamy mladší jednoho týdne musí od aktuálního času odečíst 7 dní. SQL WHERE cas > now() - INTERVAL 7 days ; Stránkování výpisu Dotaz výše může vrátit poměrně velký počet záznamů, přenos takového množství záznamů bývá mnohdy z důvodu omezené(přenosové) kapacity 5

6 6 KAPITOLA 1. JEDNODUCHÉ ZÍSKÁVÁNÍ DAT nežádoucí, navíc uživatel typicky nepožaduje výpis všech relavatních dat (neb je sám není schopen najednou zpracovat). Z tohoto důvodu přistupujeme ke stránkování výstupu. Zadání Vypište posledních 100 naměřených záznamů za poslední týden Postup Požadavek na zobrazení 100 záznamů realizujeme přidáním klíčového slova LIMIT. Druhým rozdílem v zadání je, že chceme vybrat posledních 100 záznamů. Tento požadavek lze realizovat seřazením záznamů podle času pomocí použití klíčového slova ORDER BY SQL WHERE cas > now() - INTERVAL 7 days ORDER BY cas LIMIT 100; Poznámky Zadání lze modifikovat na zobrazení n-té stránky po z záznamech, tedy výběrzáznamůod(n z+1)-téhodo((n+1)z)-tého.toholzedocílit rozšířením klíčového slova LIMIT o sekci OFFSET, v tomto konkrétním případělimit zoffset(n z+1). Neboť pořadí záznamů uložených v databázi je náhodné, při praktických využití klíčového slova LIMIT je vždy nutné záznamy seřadit podle nějakého kritéria. Pokud záznamy nebudou seřazeny, může dojít ke změně pořadí záznamů uložených v databázi, v čehož důsledku při zobrazení další stránky mohou být některý ze záznamů zobrazen vícekrát a naopak, ikdyž projdeme všechny stránky, nemusí být některý ze záznamů vůbec zobrazen. Námět k zamyšlení Otázka 1 Mohou při uvedeném dotazu rozšířeném o klíčové slovo OFFSET nastat(ve smyslu druhé poznámky) nějaké problémy?

7 1.2. SPOJOVÁNÍ TABULEK Spojování tabulek V okamžiku návrhu databázového modelu dekomponujeme entity tak, aby model splňoval podmínku alespoň třetí normální formy, tj. aby data byla uložena korektně bez možnosti vzniků konfliktů, potažmo nekonzistencí. Tento pohled však nemůžeme očekávat od uživatele, ten samozřejmě vyžaduje svůj nedekomponovaný pohled na data. Nejen z tohoto důvodu SQL umožňuje pro potřeby vyhodnocení dotazu tabulky spojovat. Zadání Vypište zaznamenaná měření s uvedením názvu, značky a jednotky veličiny. Postup Ze zadání vyplývá, že k zobrazení požadovaného výstupu bude zapotřebí tabulek mereni a velicina. 1. První možností je uvést všechny použité tabulky za klíčové slovo FROM. Tento způsob vede na vytvoření kartézkého součinu mezi záznamy obou tabulek, ze kterého WHERE podmínkou stanovíme, že požadujeme pouze kombinace záznamů, u nihž hodnota cizího klíče odpovídá hodnotě primárního klíče(pokud se atribytou obou klíčů jmenují identicky, je potřeba jich rozlišit pomocí notace tabulka.atribut. V tomto případě zápis bude,velicina WHERE mereni.id_velicina = velicina.id_velicina AND cas > now() - INTERVAL 7 days ; 2. Zatímco u prvního přístupu dochází k míchání podmínek pro spojování tabulek(korenspondencí hodnot primárního a cizího klíče) s podmínkami na hodnoty atributů, což není z důvodu přehlednosti zápisu vhodné, SQL umožňuje zapsat podmínky přímo do sekce klíčového slova FROM v syntaxi tabulka JOIN tabulka následované vazební podmínkou. V našem konkrétním případě FROM mereni JOIN velicina ON (mereni.id_velicina = velicina.id_velicina) WHERE cas > now() - INTERVAL 7 days ;

8 8 KAPITOLA 1. JEDNODUCHÉ ZÍSKÁVÁNÍ DAT 3. Pokud navíc jména atributů cizího a primárního klíče jsou identická, je možné použít variantu s klíčovým slovem USING namísto ON JOIN velicina USING (id_velicina) WHERE cas > now() - INTERVAL 7 days ; Pokud jsou atributy primárního a cizího klíče stejnojmenné a mapování stejnojmených atributů vždy odpovídá mapování párů cizí- primární klíč, je možné použít tzv. přirozené spojení automaticky párující klíče. NATURAL JOIN velicina WHERE cas > now() - INTERVAL 7 days ; Nevýhodou tohoto přístupu je, že pokud do tabulky přidáme nový atribut, jehož jméno bude shodné s jiným již existujícím atributem, vyhodnotí se toto jako nový pár klíčů a původní dotaz přestane vracet očekávaný výsledek (např. přidání atributu čas do tabulky veličina odpovídající času přidání příslušné veličiny bude mít za následek, že předchozí dotaz zobrazí pouze ta měření, která odpovídají času přidání dané veličiny. V rámci jednoho dotazu je možné spojovat i více tabulek přidáním další podsekce JOIN Otázky Otázka 2 Zobrazte poslední naměřený záznam ve formě tabulky s označením senzoru, jménem a značkou veličiny a hodnotou s jednotkou veličiny. Otázka 3 Vyhodnoťte, které podmínky jsou pro dané měření splněny. Otázka 4 Vypište seznam senzorů, které se dosud nenaměřili nějakou veličinu, kterou jinak měřit umožňují. 1.3 Agregace SQL podporuje možnost použití agregačních funkcí. Agregační funkce vyhodnocují celou množinu hodnot(z více záznamů) uvedeného atributu a vracejí jedinou hodnotu. Množina záznamů, přes které se agreguje, označujeme agregační úrovní. Typické agregační funkce jsou počet COUNT, minimum MIN, maximum MAX,součetSUMaprůměrAVG.

9 1.3. AGREGACE Průměrné hodnoty senzorů Zadání Vypište průměrné naměřené hodnoty senzorů. Postup SQL 1. Nejprve připravíme vstupní tabulku pro agregační funkce. V tomto případě je to jednoduchý výpis záznamů z tabulky mereni 2. stanovíme agregační úroveň, tedy to, přes které atributy chceme agregovat. V tomto konkrétním případě je agregační úrovní kombinace id senzor, id velicina. Agregační úroveň nastavíme pomocí klíčového slova GROUP BY. 3. Ve výčtu atributů mohou být buďto atributy, přes které se agreguje, nebo agregační funkce, nic jiného. V našem případě id senzor, id velicina a agregační funkce AVG(hodnota). id_senzor, id_velicina, AVG(hodnota) as prumernahodnota GROUP BY id_senzor, id_velicina; Otázka 5 Rozšiřte uvedený dotaz o výpis počtu provedených měření a o maximální a minimální hodnotu. Proveďte výpis v člověkem srozumitelné podobě. Poznámky Pokud není agregační úroveň stanovena, je uvažována celá tabulka Podmínky na agregační funkce Stejně jako je vhodné definovat WHERE podmínky na samotné v tabulkách uložené záznamy, SQL přináší možnost definovat podmínky na hodnoty agregačních funkcí. Například, u předchozího případu můžeme požadovat, aby byly zobrazeny pouze teploty(předpokládejme id veličina=1) a zobrazovaly se pouze průměry počítané z více než 10 vzorků.

10 10 KAPITOLA 1. JEDNODUCHÉ ZÍSKÁVÁNÍ DAT Postup Zatímco první podmínka je podmínka svázaná se vstupními daty, jedná se o podmínku, která bude zadána v sekci WHERE. Naopak podmínka, aby byly zobrazeny pouze agregované záznamy, pokud zahrnují alespoň 10 záznamů, je podmínka na agregační funkci, která musí být zapsána do sekce HAVING. SQL id_senzor, id_velicina, AVG(hodnota) as prumernahodnota WHERE id_velicina = 1 GROUP BY id_senzor, id_velicina HAVING count()>10; Poznámka Všimnětesi,žemeziWHEREaHAVINGpodmínkamijezásadnírozdílanemohou být navzájem zaměněny. Zatímco WHERE podmínka říká, která data budou použita pro agregaci, HAVING počítá s již proběhlou evaluací hodnot agregačních funkcí(a tedy následuje za sekcí GROUP BY) Vyhodnocení podmínek- aktivace akcí Agregaci můžeme využít v mnohý aplikacích, které na první pohled s průměrováním a podobnými operacemi nemají nic společného. Zadání Na základě záznamů v tabulkách pravidlo,podminka a mereni stanovte, ktere akcemajíbýtvdanémčaseaktivní.akcejespuštěnazapodmínkysplnění všech dílčích podmínek. Pro jednoduchost uvažujte, že měření veličin je synchonní, tj. probíhá ve stejný čas. PostupaSQL Prvně je potřeba připravit vstupní data pro agregaci. Na jedné straně spojovaných tabulek je mereni, na druhé pak podmínka. Tabulka mereni musí být připojena pomocí OUTER JOIN. FROM pravidlo JOIN podminkapravidlo USING (id_pravidlo)

11 1.3. AGREGACE 11 JOIN pravidlo USING (id_pravidlo) JOIN mereni USING (id_senzor,id_velicina); Dále, pro aktivaci pravidla musejí být splněny všechny podmínky, CASE WHEN typ= < THEN hodnota < prahovahodnota WHEN typ= > THEN hodnota > prahovahodnota ELSE false END as platna a požadujeme, aby v daném čase byla splněny všechny podmínky, tedy budeme agregovat přes čas a id pravidla. Pro vyjádření podmínky na splnění všech dílčích podmínek aktivace použijeme faktu, že počet platně vyhodnocených podmínek(nasčítaných, nelze kombinovat různé agregační úrovně) je shodný s celkovým počtem podmínek, tedy SUM (CASE WHEN typ= < THEN 1 WHEN typ= > THEN 1 ELSE 0 END) = count() as aktivuj Celý dotaz tedy bude id_akce,id_pravidlo,cas, SUM (CASE WHEN typ= < THEN 1 WHEN typ= > THEN 1 ELSE 0 END) = count() as aktivuj FROM pravidlo JOIN podminkapravidlo USING (id_pravidlo) JOIN pravidlo USING (id_pravidlo) JOIN mereni USING (id_senzor,id_velicina) GROUP BY id_akce,id_pravidlo,cas; Otázka 6 Je dotaz funkční za všech okolností?

12 12 KAPITOLA 1. JEDNODUCHÉ ZÍSKÁVÁNÍ DAT

13 Kapitola 2 Vnořené dotazy Mnohdy se při práci dostaneme do situace, kdy je nutné získat mezivýsledek atendálepoužít.vsqlktomusložítzv.vnořenéy. 2.1 Vnořený Seznam přetopených senzorů Ukázku použití vnořeného u demonstujme na jednoduchém příkladu Zadání Vypište kompletní popis senzorů, u kterých byla naměřena teplota( id velicina =1)vyššínež40C. PostupaSQL Nejprve začneme s poddotazem- které senzory naměřily teplotu vyšší než 40 C, vraťme hodnotu cizího klíče. id_senzor WHERE id_velicina = 1 AND hodnota>40; Nyní připravme druhou část dotazu- bez podmínky FROM senzor; V rámci tohoto dotazu nyní potřebujeme zajistit, že budou zobrazeny pouze ty senzory, které odpovídají poddotazu. To lze zajistit pomocí konstukce vnořeného u pomocí notace 13

14 14 KAPITOLA 2. VNOŘENÉ DOTAZY IN ( x...) Celý dotaz: FROM senzor WHERE id_senzor IN ( id_senzor WHERE id_velicina = 1 AND hodnota>40 ); Poznámka V mnohých případech lze dotaz formulovat i bez vnořeného u. Lze toivtomtopřípadě? Poslední měření Vnořenýjemožnévkládatiuvýrazů.Vtakovémpřípadějenutno brát na zřetel, že se vyhodnotí tolikrát, kolik je záznamů. Zadání Pro každou kombinaci veličiny a senzoru vypište čas posledního měření a poslední naměřenou hodnotu. PostupaSQL První, jednodušší možností použitelnou při synchronizovaném měření je získat čas posledního měření cas ORDER BY cas DESC LIMIT 1; a následně vypsat pouze záznamy měření odpovídající tomuto času. Celý dotaz: WHERE cas = (

15 2.2. POHLED 15 cas ORDER BY cas DESC LIMIT 1); U asynchronního ukládání dat je problém složitější, neb nemůžeme výpis odvodit od jediného času(z tabulky mereni), ale je nutné jej odvozovat od přípustných kombinací z tabulky senzorvelicina. Úkol senzorvelicina., ( cas WHERE mereni.id_velicina = senzorvelicina.id_velicina AND mereni.id_senzor = senzorvelicina.id_senzor ORDER BY cas DESC LIMIT 1) as cas, ( hodnota WHERE mereni.id_velicina = senzorvelicina.id_velicina AND mereni.id_senzor = senzorvelicina.id_senzor ORDER BY cas DESC LIMIT 1) as hodnota FROM senzorvelicina; Porovnejte reálnou časovou náročnost zobrazení posledních hodnot u synchronního a asynchronního přenosu měření. Použite příkaz EXPLAIN Otázka 7 Je dotaz funkční za všech okolností? Poznámka Všimněte si, že vnořené y na pozici vyhodnocení výrazu bezpodmínečně musí vrátit jedinou hodnotu. Z toho důvodu je bežně používáno omezení LIMIT Pohled U složitých dotazů používaných jako subdotazy je vhodné použít tzv. pohledu. Pohled je nematerilizovaná náhrada za složitý. Pohled lze vytvořit pomocí příkazu CREATE VIEW Pohled pro poslední měření Zadání Vytvořte pohled odpovídající posledním nameřeným hodnotám, viz předchozí odstavec, a demonstujte použití pohledu.

16 16 KAPITOLA 2. VNOŘENÉ DOTAZY SQL CREATE VIEW poslednimereni AS senzorvelicina., ( cas WHERE mereni.id_velicina = senzorvelicina.id_velicina AND mereni.id_senzor = senzorvelicina.id_senzor ORDER BY cas DESC LIMIT 1) as cas, ( hodnota WHERE mereni.id_velicina = senzorvelicina.id_velicina AND mereni.id_senzor = senzorvelicina.id_senzor ORDER BY cas DESC LIMIT 1) as hodnota FROM senzorvelicina; Použití Kpohledusechovámestejnějakobytobylatabulka,tj.např. FROM poslednimereni;

17 Odpovědi na otázky Odpověď 1 Záznamy jsou v databázi uloženy v náhodném pořadí, přičemž uvedené kritérium nepokrývá celý primární klíč(jednoznačně definující záznam). Tedy uspořádání podle jiného kritéria než podle minimálně všech atribitů primárního klíče(těch v libovolném pořadí) nedefinuje jednoznačné pořadí záznamů. Tuto situaci lze demonstrovat na např. aplikaci multiplikátoru na hodnoty naměřené daným senzorem. Databázový stroj typicky nově upravené záznamy přesouvá na konec; pokud bychom řadili pouze podle času a stejnému času by odpovídalo více nežli 100 hodnot, některé záznamy by nebyly zobrazeny a modifikované by byly zobrazeny 2x. Druhý problém nastává při přidávání nových měření, kdy hranice původního prvního se posouvá. Tento problém již vyžaduje sofistifikované řešení. Odpověď 2 Vzhledem k tomu, že tabulky senzor a velicina obsahují stejnojmenný atribut nazev, je potřeba tyto různé atributy odlišit pomocí notace tabulka.atribut. V tomto případě je vhodné tyto atributy rozlišit i ve výpisu pomocí zadaného aliasu klíčovým slovem AS. Poslední měření získáme seřazením záznamů podle času sestupně a ponecháme pouze první záznam, tj. LIMIT 1. senzor.nazev as senzor, velicina.nazev as velicina, hodnota jednotka as hodnota JOIN velicina USING (id_velicina) JOIN senzor USING (id_senzor) ORDER BY cas DESC LIMIT 1; Povšimněte si, že zatímco u spojování tabulek mereni a velicina bylo možné použit NATURAL JOIN, u připojení třetí tabulku senzor to již možné není. Proč? 17

18 18 KAPITOLA 2. VNOŘENÉ DOTAZY Odpověď 3 mereni., typ, prahovahodnota, CASE WHEN typ= < THEN hodnota < prahovahodnota WHEN typ= > THEN hodnota > prahovahodnota ELSE false END as platna JOIN podminka USING (id_velicina,id_senzor); Součástí dotazu je vyhodnocení CASE větvení, za kterým následuje vždy podsekce WHEN... THEN..., která udává, jakou hodnotu bude výraz vracet při splnění příslušné podmínky. Pokud není splněna žádná z uvedených podmínek, je vrácena prázdná hodnota NULL nebo výraz uvedený v podsekci ELSE. Odpověď 4 Seznam veličin, který daný senzor umí měřit, nalezneme v tabulce senzorvelicina, seznam měření pak v tabulce mereni. Tyto tabulky potřebujeme spárovat pomocí INNER JOIN, abychom dosud měřeními nepokrytými kombinacemi senzor, veličina získali požadovaný seznam(libovolný z atributů povinně vyplnitelných bude nabývat prázdné hodnoty). senzorvelicina., FROM senzorvelicina LEFT JOIN mereni USING (id_velicina,id_senzor) WHERE cas IS NULL; Odpověď 5 Podmínku lidské čitelnosti splníme použitím dotazu z odpovědi 2. Vstupní tabulkou pro agregaci pak bude dotaz senzor.nazev as senzor, velicina.nazev as velicina, hodnota, jednotka JOIN velicina USING (id_velicina) JOIN senzor USING (id_senzor); Agregovat pak budeme přes název senzoru, název veličiny a jednotce, která je na atributech definující agregační úroveň funkčně závislá. senzor.nazev as senzor, velicina.nazev as velicina, COUNT() as pocet,

19 2.2. POHLED 19 AVG(hodnota) as prumer, MIN(hodnota) as min, MAX(hodnota) as max, jednotka JOIN velicina USING (id_velicina) JOIN senzor USING (id_senzor) GROUP BY senzor.nazev, velicina.nazev, jednotka; Odpověď 6 Ze zadání jsou měření synchronní, tedy záznamy měření přes různé veličiny a senzory mají stejný čas. To však nezaručuje, že tabulka obsahuje všechna požadované měření, tedy že měří všechny senzory. Díky tomu je potřeba uvažovat situaci, kdy některé z podmínek odpovídá senzoru aveličině,jehožměřenínenívdanýčaskdispozici.vtakovémpřípaděnení zajištěno,žepodmínka(vrealitě)jesplněna.otázkouje,zdakakcimádojít pouze za splnění všech podmínek a nebo postačuje, že žádná z požadovaných podmínek není nesplněna. Odpověď 7 Nyní jsou měření asynchronní, navíc odpadá problém, že v případě absence měření nebude uvedena žádná hodnota(nejednoznačné rozhodování o aktivaci akce, viz synchronní přenos u příkladu výše). V případě, že žádné odpovídající meření nebylo realizováno, vrací dotaz prázdnou hodnotu NULL