Tabulka fotbalové ligy

Transkript

1 Semestrální práce na X36DB2 Michal Rezler Jan Zmátlík Tabulka fotbalové ligy a tabulka střelců 8. prosinec 2011

2 Obsah 1 Zadání Stručný popis ER diagram Integritní omezení Realizace databáze Uživatelský datový typ Relace SQL Funkce Data Realizace programu Úprava vygenerovaného kódu Dotazy Měřené charakteristiky Dotazy s příkazem EXPLAIN Indexy a příkaz EXPLAIN Přílohy SQL skript Použité zdroje

3 Tabulka fotbalové ligy a tabulka střelců 3 1 Zadání 1.1 Stručný popis Cílem je vytvoření fotbalové tabulky střelců a pořadí týmů podle bodů vztahující se k daným soutěžím. Evidují se registrované osoby federace a ty jsou rozděleny do družstev. Registrovaná osoba obsahuje jméno a příjmení a může jí být: Trenér - u nějž se eviduje stupeň získané licence Hráč - u nějž se eviduje, jakou nohu preferuje (pravá, levá) a samozřejmě branky, které vstřelil Kapitán specializace hráče, řídí tým na hřišti, obsahuje stupeň respektu a rovněž vstřelené branky Každý evidovaný zápas obsahuje dva týmy (domácí, hosté) hrající utkání, dále místo, kde se utkání odehraje a soutěž, do které utkání spadá. Zároveň je potřeba zápasy a vstřelené branky archivovat podle sezón. To lze zařídit tak, že každé soutěži přiřadíme sezónu, ve které probíhá. 1.2 ER diagram Jako modelovací nástroj pro Entitně-Relační model, jsme využili DbDesigner (MySQL WorkBench 5.0.x). E-R model modeluje situaci uvedenou v sekci Popis a nachází se v 3NF. Obrázek 1. ER diagram

4 4 Tabulka fotbalové ligy a tabulka střelců 1.3 Integritní omezení V tabulce player evidujeme hráčovu lepší nohu, tento atribut může obsahovat pouze slova levá a pravá. U kapitána evidujeme jeho respekt vůči hráčům. Tato hodnota nabývá hodnot Realizace databáze Pro účely této semestrální práce jsme si nejprve založili verzovací systém SVN, který je dostupný z URL Naše databáze bude fyzicky uložena na databázovém stroji PostgreSQL, konkrétně ve verzi 9.1. Veškeré níže uvedené SQL příkazy jsou tedy syntakticky určené právě pro tento stroj. 2.1 Uživatelský datový typ V tabulkách place a person evidujeme adresu (ulice, město, stát), pro jejíž uložení jsme si definovali svůj datový typ vytvořený následovně: CREATE TYPE address AS ( street VARCHAR(255), city VARCHAR(255), country VARCHAR(255) 2.2 Relace TEAM( idteam, name ) PLACE( idplace, place address, map url ) SEASON( idseason, year from, year to ) LEAGUE ( idleague, season idseason, name ) MATCH ( idmatch, home idteam, away idteam, place idplace, league idleague, season idseason, name ) PERSON ( idperson, firstname, lastname, team id team, person address ) PLAYER ( idplayer, idperson, prefered leg ) COACH ( idcoach, idperson, licence level ) CAPTAIN ( idcaptain, idplayer, idperson, respect ) GOAL ( idgoal, match idmatch, player idplayer ) 2.3 SQL Všechny SQL příkazy pro vytvoření jednotlivých tabulek jsou uvedeny v příloze 5.1. Tato sada SQL příkazů je plně funkční, pro vytvoření kompletní databáze ji tedy můžeme rovnou použít.

5 Tabulka fotbalové ligy a tabulka střelců Funkce V databázi jsme si definovali funkci, která nám pro zadání jména klubu vrátí počet hráčů, kteří v klubu hrají. Zdrojový kód funkce vypadá následovně: CREATE FUNCTION GET_COUNT_OF_PLAYERS (CLUB_NAME VARCHAR(100)) RETURNS INT AS $$ DECLARE count_of_players INT; BEGIN SELECT COUNT(*) INTO count_of_players FROM TEAM t JOIN PERSON p ON t.idteam = p.team_idteam WHERE t.name = $1 ; RETURN count_of_players; END; $$ LANGUAGE plpgsql; 2.5 Data Pro naplnění databáze daty jsme si vytvořili vlastní generátor, který nám vygeneruje např. jednotlivé fotbalové týmy, kterých máme Program generuje data ve formátu sekvence SQL příkazů Insert. 3 Realizace programu Vytvořený program demonstrující komunikaci s databází je napsán v jazyce Java. Pro ORM jsme použili technologii JPA 2.0, konkrétně implementaci EclipseLink. Za použití vývojového prostřední NetBeans se nám vytvořily oanotované třídy reprezentující relace v databázi. 3.1 Úprava vygenerovaného kódu Vygenerovaný kód nebyl zcela optimální a přehledný, a tak jsme jej dále modifikovali. Konkrétně jsme v odpovídajících třídách upravili dědičnost (podle strategie InheritanceType.JOINED) a uživatelský datový typ (adresu) jsme defiovali respektive přímo tuto třídu jsme opatřili Databázi jsme poté znovu přegenerovali podle nově upraveného kódu v Javě. Dále jsme do třídy Person přidali jeden atribut, před který jsme přidali Atribut slouží ke kontrole editovaných verzí, které probíhá při použití optimistického zamykání během operace UPDATE. 4 Dotazy Dalším našim úkolem bylo vymyslet několik složitých dotazů, které budeme později optimalizovat. Vytvořili jsme 3 dotazy, přičemž jsme se snažili, aby se tabulky musely co nejvíc spojovat a bylo dáno co nejvíce omezení.

6 6 Tabulka fotbalové ligy a tabulka střelců 1. Vyber a seřad všechny albánské týmy podle počtu vstřelených branek v sezoně 2011/2012. SELECT t."name" AS "teamname", count(t."name") AS "goalcount" FROM goal g JOIN "match" m ON m.idmatch = g.match_idmatch JOIN league l ON m.league_idleague = l.idleague JOIN season s ON s.idseason = l.season_idseason JOIN person p ON p.idperson = g.player_idplayer JOIN team t ON t.idteam = p.team_idteam WHERE l."name" = Albania AND s.year_from = 2011 GROUP BY t."name" ORDER BY count(t."name" 2. Vypiš jméno a příjmení kapitána, který dal v během jedné sezony ve více než jednom zápase 3 a více gólů. SELECT p.lastname, p.firstname FROM captain c JOIN person p ON p.idperson = c.idperson JOIN goal g ON g.player_idplayer = c.idperson JOIN "match" m ON m.idmatch = g.match_idmatch JOIN league l ON l.idleague = m.league_idleague JOIN season s ON s.idseason = l.season_idseason WHERE (p.team_idteam = m.home_idteam OR p.team_idteam = m.away_idteam) AND (s.year_from = 2000) GROUP BY p.idperson HAVING count(g.idgoal) > 2 AND count(m.idmatch) > 1; 3. Vyber tým, který hraje v lize Primera División a jehož kapitán má nejvyšší respekt od spoluhřáčů a současně je to levák. SELECT t FROM Person p JOIN Player pl ON p.idperson = pl.idperson JOIN Captain c ON p.idperson = c.idperson JOIN Team t ON t.idteam = p.team_idteam JOIN Goal g ON g.player_idplayer = p.idperson JOIN "match" m ON m.idmatch = g.match_idmatch JOIN League l ON l.idleague = m.league_idleague WHERE c.respect = (

7 Tabulka fotbalové ligy a tabulka střelců 7 SELECT MAX(respect) FROM captain ) AND pl.prefered_leg = leva AND l."name" = Primera División ; 4.1 Měřené charakteristiky Pro určení některých charakteristik jsme si museli zjistit nebo odhadnout některé údaje, které jsme v našich výpočtech dále používali. Šlo o velikost databázového bloku a velikost hlavičky DB bloku. velikost DB bloku = 8 kb = 8192 B hlavička DB bloku = 500 B Dalším parametrem, kterým jsme museli pro každou tabulku odhadnout je parametr plnění bloku P CT F REE, který závisí na variabilitě délky n-tice dané tabulky. Některé databázové stroje (např. Oracle) přímo poskytuje příkaz SE- LECT PCTFREE... Záleží tedy především na délce atributů typu V ARCHAR. Délka atributů datových typů např. IN T se samozřejmě nemění. Pokud tedy má některá tabulka pouze atributy typu INT a jsou tyto atributy povinné, pak P CT F REE = 0. Některé charakteristiky (blokovací faktor, počet stránek potřebných pro načtení) jsme museli na základě ostatních dopočítat. Zde uvádíme jejich vzorečky: B r = P r = N r /B r DB BLOCK SIZE HEADER SIZE ROW SIZE AV G (1 P CT F REE) Data jsou v bloku ukládána vždy tak, že na prvním místě je identifikátor řádky (1B), následuje délka atributu (1B) a data atributu. Tabulka N r ROW SIZE AV G B r P r P CT F REE Team ,7 20% Person , % Match % Goal % League % Tabulka 1. Charakteristiky vybraných tabulek

8 8 Tabulka fotbalové ligy a tabulka střelců 4.2 Dotazy s příkazem EXPLAIN Analyzovali jsme naše 3 dotazy pomocí příkazu EXPLAIN, který zobrazí execution plan každého z nich. Zároveň jsme je spouštěli s příkazem ANALYZE, který jednotlivé části execution plánu provádí a vrátí jejich čas provedení i celkový čas provedení. Protože výstupy jsou poměrně rozsáhlé, vložili jsme je do přiloženého souboru explain.sql. 4.3 Indexy a příkaz EXPLAIN Po analýze pomocí příkazu EXPLAIN popsané v předchozí sekci č. 4.2, jsme se pustili do optimalizace těchto dotazů. Optimalizovali jsme spotřebované zdroje (cenu) a čas, za které dotaz proběhl. Jako dotazy jsme použili naše 3 složité dotazy. Pro optimalizaci jsme zvolili vytvoření INDEXů pro potřebné sloupce. Podrobné rozbory dotazů, časy a ceny jsou v souborech explain.x.query.txt, kde X je cislo dotazu {1..3}. Před spuštěním dotazů jsme v konfiguračním souboru PostgreSQL zakomentovali metody pro optimalizaci dotazu. Konkrétně parametry pro Planner Method Configuration, Planner Cost Constants, Genetic Query Optimizer a ostatní plánovací konstanty. Bohužel se nám dotazy příliš vylepšit nepodařilo. Zapnut je možná nějaký interní optimalizátor, který nejde vypnout(alespoň po hodinách hledání sme nic nenalezli). První dotaz vybere a seřadí všechny albánské týmy podle počtu vstřelených branek v sezóně 2011/2012. Pracuje se tedy hojně s tabulkou Team a sloupcem Name. Podle sloupce Name tabulky Team se dotaz sortuje, grupuje a figuruje i v podmince WHERE. Použili jsme tedy INDEX na tento sloupec. Dále sme zvolili index na sloupec YearsFrom tabulky Goal, který figuruje v podmínce dotazu. Velkou část dotazu představuje JOIN tabulek a agregační funkce count nad sloupcem Name tabulky Team. Indexy nad agregačními funkcemi nejsou povoleny a jako sortovací algoritmus byl zvolen quicksort. Zde se tedy moc optimalizovat nedalo. Na zkoušku sme zkusili i nějaké INDEXy nad primárními a cizími klíči tabulek, jež se nalézají v JOINech. Před použitím indexů se dotaz provedl v čase 20.1 ms. Po použití indexů se průměrně provádí v čase ms. Použité indexy: CREATE INDEX league_idx ON league (idleague, name, season_idseason CREATE INDEX team_idx ON team (idteam, name CREATE INDEX season_idx ON season (idseason, year_from CREATE INDEX match_idx ON match (idmatch, league_idleague CREATE INDEX goals_idx ON goal (idgoal, match_idmatch, player_idplayer Naměřené hodnoty po provedení příkazu EXPLAIN prvního dotazu, jsou uvedeny níže.

9 Tabulka fotbalové ligy a tabulka střelců 9 Operace Cena Čas Sort HashAggregate Nested Loop Nested Loop Nested Loop Nested Loop Nested Loop Tabulka 2. Tabulka cen a časů prvního dotazu před optimalizací Operace Cena Čas Sort HashAggregate Nested Loop Nested Loop Nested Loop Nested Loop Nested Loop Tabulka 3. Tabulka cen a časů prvního dotazu po optimalizaci Druhý dotaz vrací jméno a příjmení kapitána družstva, jež dal během jedné sezóny (2010/2011) více jak 3 branky ve více než 1 zápase. Výsledek je tedy projekce sloupců jména a příjmení tabulky Person. Na tyto sloupce jsme tedy použili INDEXy. Dotaz opět používá agragační funkce, zkusili jsme ale zda použití unikátního INDEXu na ID tabulky PERSON zlepší průběh provádění dotazu. Nesmíme zapomenout, že INDEXy vytvořené při prvním dotazu, platí i pro druhý dotaz. Před použitím indexů se dotaz provedl v čase 48.9 ms. Po použití indexů se průměrně provádí v čase ms. Použité indexy: -- + INDEXy z 1. dotazu CREATE INDEX person_idx ON person (lastname, firstname CREATE UNIQUE INDEX person_uniq_idx ON person (idperson Naměřené hodnoty po provedení příkazu EXPLAIN druhého dotazu, jsou uvedeny níže. Třetí dotaz vrací tým, který hraje v Primera División a jehož kapitán má u svých spoluhráčů nejvyšší respekt (jako kapitán je nejlepší) a navíc je to levák. V tomto dotazu (kromě JOINů) filtrujeme data podle jména ligy, podle respektu kapitána a velkou roli zde hraje atributy tabulky Player - konkrétně atributy prefered leg a cizí klíč idperson. Na základě těchto informací jsme volili použití indexů. Definovali jsme následující indexy: CREATE INDEX player_idx ON player (idperson, prefered_leg

10 10 Tabulka fotbalové ligy a tabulka střelců Operace Cena Čas HashAggregate Nested Loop Hash Join Hash Join Hash Join Hash Join Tabulka 4. Tabulka cen a časů druhého dotazu před optimalizací Operace Cena Čas HashAggregate Nested Loop Hash Join Hash Join Hash Join Hash Join Tabulka 5. Tabulka cen a časů druhého dotazu po optimalizaci CREATE INDEX captain_idx ON captain (idperson, respect CREATE INDEX league_idx ON league (idleague, name CREATE INDEX match_idx ON match (idmatch, league_idleague CREATE INDEX goals_idx ON goal (player_idplayer Naměřené hodnoty po provedení příkazu EXPLAIN třetího dotazu, jsou uvedeny níže. Operace Cena Čas Nested Loop Nested Loop Nested Loop Nested Loop Hash Join Hash Join Tabulka 6. Tabulka cen a časů třetího dotazu před optimalizací Díky těmto indexům se snížila cena i průměrný čas provádění tohoto dotazu (při 10-ti spuštění) z 89ms na 77ms.

11 Tabulka fotbalové ligy a tabulka střelců 11 Operace Cena Čas Nested Loop Nested Loop Nested Loop Nested Loop Hash Join Hash Join Tabulka 7. Tabulka cen a časů třetího dotazu po optimalizaci 5 Přílohy 5.1 SQL skript CREATE TYPE address AS ( street VARCHAR(255), city VARCHAR(255), country VARCHAR(255) CREATE TABLE team ( idteam SERIAL NOT NULL PRIMARY KEY, name VARCHAR(100) NOT NULL CREATE TABLE place ( idplace SERIAL NOT NULL PRIMARY KEY, place_address address, map_url TEXT NULL CREATE TABLE season ( idseason SERIAL NOT NULL year_from INT NOT NULL, year_to INT NOT NULL PRIMARY KEY, CREATE TABLE league ( idleague SERIAL NOT NULL UNIQUE, season_idseason INT NOT NULL, name VARCHAR(255) NOT NULL, PRIMARY KEY (idleague, season_idseason), CONSTRAINT fk_league_season FOREIGN KEY (season_idseason ) REFERENCES season (idseason )

12 12 Tabulka fotbalové ligy a tabulka střelců ON UPDATE NO ACTION CREATE TABLE match ( idmatch SERIAL NOT NULL UNIQUE, home_idteam INT NOT NULL, away_idteam INT NOT NULL, place_idplace INT NOT NULL, league_idleague INT NOT NULL, time TIMESTAMP NOT NULL, PRIMARY KEY (idmatch, home_idteam, away_idteam, place_idplace, league_idleague), CONSTRAINT fk_match_team FOREIGN KEY (home_idteam ) REFERENCES team (idteam ) ON UPDATE NO ACTION, CONSTRAINT fk_match_team1 FOREIGN KEY (away_idteam ) REFERENCES team (idteam ) ON UPDATE NO ACTION, CONSTRAINT fk_match_place FOREIGN KEY (place_idplace ) REFERENCES place (idplace ) ON UPDATE NO ACTION, CONSTRAINT fk_match_league FOREIGN KEY (league_idleague ) REFERENCES league (idleague ) ON UPDATE NO ACTION CREATE TABLE person ( idperson SERIAL NOT NULL PRIMARY KEY, firstname VARCHAR(150) NOT NULL, lastname VARCHAR(100) NOT NULL, team_idteam INT NOT NULL, person_address address NOT NULL, CONSTRAINT fk_person_team FOREIGN KEY (team_idteam ) REFERENCES team (idteam ) ON UPDATE NO ACTION

13 Tabulka fotbalové ligy a tabulka střelců 13 CREATE TABLE player ( idplayer SERIAL NOT NULL PRIMARY KEY, prefered_leg VARCHAR(10) NOT NULL, CONSTRAINT player_isa FOREIGN KEY (idplayer) REFERENCES person(idperson), CONSTRAINT pref_leg CHECK (prefered_leg = levá OR prefered_leg = pravá ) CREATE TABLE coach ( idcoach SERIAL NOT NULL PRIMARY KEY, licence_level INT NOT NULL, CONSTRAINT coach_isa FOREIGN KEY (idcoach) REFERENCES person(idperson) CREATE TABLE captain ( idcaptain SERIAL NOT NULL PRIMARY KEY, respect INT NOT NULL, CONSTRAINT captain_isa FOREIGN KEY (idcaptain) REFERENCES player(idplayer), CONSTRAINT respect_constraint CHECK (respect > 0 AND respect < 11) CREATE TABLE goal ( idgoal SERIAL NOT NULL, match_idmatch INT NOT NULL, player_idplayer INT NOT NULL, PRIMARY KEY (idgoal, match_idmatch, player_idplayer), CONSTRAINT fk_goal_match FOREIGN KEY (match_idmatch ) REFERENCES match (idmatch ) ON UPDATE NO ACTION, CONSTRAINT fk_goal_player FOREIGN KEY (player_idplayer ) REFERENCES player (idplayer ) ON UPDATE NO ACTION

14 14 Tabulka fotbalové ligy a tabulka střelců 6 Použité zdroje Reference [1] Pokorný, Halaška, Databázové systémy. skripta FEL ČVUT, 2. vydání, [2] PostgreSQL manual online, [3] JPA tutoriál online,