Architektura DBMS. MI-DSP 2013/14 RNDr. Ondřej Zýka,

Transkript

1 Architektura DBMS MI-DSP 2013/14 RNDr. Ondřej Zýka,

2 Obsah o Cíle a úkoly DBMS o Zdroje DBMS o Limity DBMS o Paralelní architektury o Životní cyklus uživatelského požadavku o Disky, paměť, procesy o Příklady architektury

3 Cíle a úkoly DBMS o DBMS Data Base Management Systém o Uložit datové struktury o Zabezpečit data Perzistence uložení Autorizace přístupů o Realizovat požadavky uživatelů Změna datových struktur Změna dat Dotazy nad daty Monitoring Spouštět kód o Uživatelský interface

4 Zdroje DBMS o Datové prostory Disky Disková pole SAN - Storage area network NAS - Network-attached storage SDD disky o Paměť RAM Virtual memory SDD disky o Procesory Univerzální procesory Specializované procesory (Nettezza FPGA)

5 Zdroje DBMS o Sběrnice Komunikace mezi disky a pamětí Komunikace mezi procesory o Síťové propojení Komunikace s klientem Komunikace mezi komponentami například mody clusteru o Operační systém správa a přidělování zdrojů správa procesů a threadů

6 Kompromisy DBMS

7 Limity DBMS o Zvládnutí velkého množství dat Jednotky MB pro jednoduché systémy Desítky PB pro enterprise systémy o Zvládnutí velkého množství uživatelů Desítky až stovky Internetový provoz o Zvládnutí velkého množství dotazů OLTP aplikace (Online transaction processing) Desítky za vteřinu o Zvládnutí dotazů vyžadujících velké množství dat DDS apliakce (Decision support systems)

8 Limity DBMS o Stabilita Imunita vůči chybám Uživatelů Aplikací Operačního systému Hardware

9 Disky o Dnes kapacita i více než 1TB Stále jenom cca 200 pohybů hlavičky za sekundu Čím více malých disků, tím lépe o Disková pole Veliké keše Složitý operační systém Mirroring Striping o Přenosová rychlost Disk - 100MB sec Diskové pole - SATA teoreticky 6GB/sec

10 Banchmark Microsoft SQL server 2008 R2 o 2 sokety o 12 jader o 3 8Gbps dual-port HBA cards, o 12 4-disk RAID1+0 primary data LUN o Více viz Microsoft. Fast Track Data Warehouse 3.0 Reference Guide Published: 4 February 2011

11 SSD disky SSD disk Disk Přístupová doba (random access) 0,1 ms 5-10 ms Přenosová rychlost MB/s 100 MB/s Cena (2011) 1-2 $/GB $/GB Kapacita (2011) 256GB (2TB) 4TB o Uložení dat o Datové keše

12 Data write stack o Datový server dá příkaz zápisu na disk Datový server > operační systém Operační systém > souborový systém Souborový systém > volume manager Volume manager > device driver Device driver > Host-Bus-Adapter Host-Bus-Adapter > Storage controler Storage controler > Disk Disk OS > medium o Uložení dat na NAS pro zjednodušení pomineme

13 Konzistence dat o Microsoft DBCC příkazy kontroly konzistence databáze Kontrola interních struktur, indexů SQL Server 2005 checksum protection o Oracle HARD iniciative vypočet checksum pro zapsané bloky

14 Paměť o o o o o Systémové struktury Nastavení Buffery pro třídění dat Buffery pro kód (java) Datové buffery Čtení z paměti je mnohonásobně rychlejší Požadovaná data se dají předpovědět na základě struktury uložení dat nebo dotazu Asynchronní načítání dat Načítání celých datových bloků Do bufferů se ukládají Často používaná data Naposledy použitá data Změněná data LRU algoritmus Buffer výsledků Globální buffery Lokální buffery

15 LRU algoritmus o Hledání stránek hash table o Žádné kopírování stránek o Odstranění dirty page vysoce náročné Wash maker o Unikátní přístup na stránku Spinlock

16 Procesy o Procesy vykonávající požadavky klientů o Podpůrné procesy Listener Správa diskových prostorů Checkoint process Sběr statistik Monitoring Backup procesy

17 Implementace procesů o Procesy operačního systému Řízené operačním systémem Přepínání kontextu na úrovni operačního systému Každý proces vlastní adresní prostor o Thready operačního systému Jednotný adresní prostor Řízeno operačním systémem o Vlastní řešení procesů Jeden proces, jednotlivé procesy jsou v něm implementovány interně Jednotný adresní prostor Kontrola nad správou procesů bez nutnosti zásahu OS nezávislost nad OS

18 Implementace procesů o Procesy nebo thready v operačním systému mají větší náročnost při změně kontextu (provádí operační systém) o Větší závislost na verzi operačním systému ladění parametrů na úrovni operačního systému o Při použití vlastního řízení každá synchronní IO operace nebo volání jádra blokuje i ostatní procesy o Každá chyba v software ovlivní i další procesy

19 Implementace transakčního logu o Write-ahead log model Log transakce musí být zapsán na disk v okamžiku commit transakce Zajištění schopnosti zotavit se při pádu serveru o Transakční log na úrovni databáze o Záznamy transakčního logu Začátek a konec transakce U každé změny stav před a po změně Jakékoliv změny struktury databáze Alokace a dealokace datových stránek Historická data

20 Implementace transakčního logu o Datové stránky se nezapisují okamžitě Checkpoint Uvolnění z datové keše Další důvody o Recovery Projde se transakční log od posledního checkpointu Komitované transakce se opraví na cílový stav Zrušené transakce se opraví na stav před transakcí

21 Implementace transakčního logu Page 105 Page 106 Page 107 Page 108 Page109 Page 110 Min Log sequence Number Oldest open transaction End of Log Start of Log Last checkpoint Truncated pages

22 Kritická místa architektury o Operační paměť a IO operace Pokud je jí málo, je vhodné použít malé IO operace Pokud rostou data, je velké množství malých operací limitující o Operační paměť a počet klientů Pokud je klientů málo, je vhodné maximum informací držet ve vlastním prostoru klienta Pokud je klientů hodně, je nutné maximum informací držet v globálním prostoru serveru

23 Kritická místa architektury o Operační paměť a rychlost procesoru 4.77 MHz (1981) 3.60 GHz (2009), více úrovní keší Pomalý procesor 1I/O operace odpovídá zpracování 20 stránek v paměti Rychlý procesor přístup na disk 1000-krát dražší Vyplatí se udržovat data v paměti In-memory database

24 Kritická místa architektury o Diskové operace a uložení dat Pokud mají být data zpracovány, musí projít procesorem Komprimace dat rychlejší přenos dat z disku do paměti, je náročnější na výkon procesoru Přenesení rozhodování o datech z procesoru na úroveň řadiče disků Požadavek na maximální paralelizaci diskového subsystému

25 Paralelní architektury o Shared memory o Shared disk P P M M M P P P M P P M P

26 Paralelní architektury o Shared nothing M P M P M P

27 Shared memory o Procesory a disk mají přístup do společné paměti o Vysoce efektivní komunikace mezi procesory data v paměti jsou přístupná všem procesorům o Nejčastější HW obsahuje 2 nebo 4 procesory o Procesory mohou obsahovat více jader o Proces (core) obsluhuje jeden požadavek o Parallel query rozdělení zpracování jednoho požadavku na více procesorů o Maximálně 32 až 64 procesorů o Úzké místo je komunikace s pamětí o Oracle, Microsoft, Sybase, MySQL

28 Shared disk o Všechny procesory komunikují s disky, data si ukládají ve vlastní paměti o Vysoká míra dostupnosti výpadek procesoru může nahradit jiný procesor o Úzké místo je komunikace s disky o IBM Sysplex, DEC clusters s databází Rdb

29 Shared nothing o Každý procesor má vlastní paměť i data o Data jsou zpracovávána pouze příslušným procesorem nepředávají se mezi nody o Nody spolu komunikují přes síť, předávají si požadavky a výsledky o Architektura umožňuje rozšíření na tisíce nodů o Teradata, Tandem, Oracle-n CUBE

30 Klient server o Jeden server nabízí služby pro mnoho klientů o Všichni klienti vidí jeden obraz dat o Klienti si neudržují data o Klienti předávají pouze příkazy a dostávají výsledky o Opakem jsou jednouživatelské databáze Microsoft Acces dbase

31 Klient server o Centralizace Modelu Dat Byznys logiky funkcionality Integrity - ověřování dat Ověření dat na klientovi Duplikace ověření Bezpečnostních pravidel Autentizace na úrovni server - aplikace Autorizace na úrovni aplikace Role na úrovni serveru Nasazení změn Nutnost podporovat více verzí klientů

32 Distribuce logiky o Tlustý klient o Tenký klient o Klient-server o Třívrstvá architektura o MVC Model View Controler

33 Distribuované transakce o Požadavky klienta vyřizuje více serverů o Požadavky (transakce) jsou koordinovány jedním transakčním koordinátorem o Database link, proxy table o!! Výkon je dán nejslabším místem

34 Životní cyklus uživatelského požadavku o Navázání spojení s klientem o Porozumění požadavku o Optimalizace a vytvoření výpočtu o Vlastní výpočet o Předání výsledků

35 Navázání spojení s klientem o Klientský software o Informace o uživateli identifikace, časové pásmo, kódová stránka o Vytvoření klientského procesu o Adresářové služby pro nalezení serveru o Síťový listener o Navázání spojení o Vytvoření procesu spravující klientské připojení o Alokace struktur pro správu klientského připojení Síťová komunikace Prostor pro výsledky Lokální prostor pro výpočty Prostor pro uživatelská data

36 Porozumění požadavku o Parser syntaktická analýza o Mapování na objekty v databázi o Shromáždění informací o použitých objektech Ověření práv Informace o struktuře Struktura tabulek Indexy Partitioning Umístění tabulek na discích Statistiky

37 Vytvoření algoritmu výpočtu o Sémantická analýza o Identifikace požadovaných konstruktů o Vytvoření algoritmu výpočtu o Úpravy na základě schopností výpočetního engine In klauzule OR strategie o Optimalizace na základě sémantiky Transakční uzávěr Datové konstanty Boolean logic optimalization Vnořený select - join

38 Optimalizace o Optimalizátor Rule based optimalization Oracle do verze 10g OPTIMIZER_MODE=RULE Cost base optimalization Oracle 11 Microsoft Sybase o Úprava dotazu o Join optimalization o Special optimalization o Parallel procesisng o Přístupové metody k datům

39 Vlastní výpočet o Execution tree o Execution engine o Asynchronní čtení dat o Použití datových keší o Temporary space o Query recompilation

40 Předání výsledků o Datasety Definice Data o Cursory o Chyby o Zprávy

41 Příklady o Oracle o Sybase

42 Oracle history o Oracle 2, basic SQL, no transaction o 1983 Version 3 - transaction o 1984 Version 4 read- consistency o 1985 Version 5 networking, client-server o 1988 Version 6 PL/SQL, row level locking, hot backup o 1992 Version 7 referencial integrity, triggers o 1999 Version 8i java o 2001 Version 9i XML, RAC o 2003 Version 10 grid computing, flash back o 2007 Version 11 - Exadata

43

44 Oracle o Oddělený listener o Procesy operačního systému Process Monitor Process (PMON) System Monitor Process (SMON) Database Writer Process (DBWn) Log Writer Process (LGWR) Checkpoint Process (CKPT) Manageability Monitor Processes (MMON and MMNL) Recoverer Process (RECO) o Diskové prostory Dataspaces User Systém Temp On-line redolog Archive redolog Flashback log

45 Oracle o SGA Systém Global Area Database Buffer Cache Redo Log Buffer Shared Pool Large Pool Java Pool Streams Pool Fixed SGA o PGA Program Global Area SQL Work area Sort, Hash, Bitmap merge Private SQL Area Session memory, Persitent area, Runtime Area

46 Sybase o Engine Proces na procesoru o User processes Queue o Shared memory Stránky Datové, logu Keše Datové Kódu o Serverové struktury o Diskové prostory Data Transakční logy

47

48 Limity databází SQL Server Database Engine object Bytes per short string column 8,000 Bytes per GROUP BY, ORDER BY 8,060 Bytes per index, foreign, primary key 900 Bytes per row 8 8,060 Bytes per varchar(max), varbinary(max), xml, text, or image column 2^31-1 Maximum sizes/numbers SQL Server (32- bit) Columns in GROUP BY, ORDER BY Limited only by number of bytes Columns per index, foreign, primary key 16 Columns per nonwide/wide table 1,024/30000 Columns per SELECT/INSERT statement 4096 Database size 524,272 terabytes Databases per instance of SQL Server 32,767 Foreign key table references per table Identifier length (in characters) 128 Locks per instance of SQL Server 5 Up to 2,147,483,647

49 Limity databází SQL Server Database Engine object Nested stored procedure levels 6 32 Nested subqueries 32 Nested trigger levels 32 Nonclustered indexes per table 999 Parameters per stored procedure 2,100 Parameters per user-defined function 2,100 REFERENCES per table 253 Rows per table Tables per database 3 Partitions per partitioned table or index 1,000 Tables per SELECT statement Triggers per table 3 Columns per UPDATE statement (Wide Tables) 4096 User connections 32,767 Maximum sizes/numbers SQL Server (32- bit) Limited by available storage Limited by number of objects in a database Limited only by available resources Limited by number of objects in a database

50 Další vývoj o Specializovaný hardware (operační systém) o Appliance o In-memory database (HANA) o Specializované databáze o Distribuované řešení claud databáze o Ústup od ACID principů (nosql) o Uživatelská přívětivost - GUI o Snadnost administrace

51 Co si zapamatovat o Které zdroje HW a OS využívají databázové systémy o Jak pracuje datová keš typu LRU o Co to je write-ahead log model a k čemu slouží o Rozdíly mezi shared memory a shared nothing architekturou o Které všechny služby centralizuje architektura Klient-server o Jaké jsou základní kroky životního cyklu dotazu o Jak probíhá navázání spojení mezi serverem a klientem

52 Diskuse