Architektura DBMS. RNDr. Ondřej Zýka

Transkript

1 Architektura DBMS RNDr. Ondřej Zýka 1

2 Obsah Cíle DBMS Zdroje DBMS Limity DBMS Paralelní architektury Životní cyklus uživatelského požadavku Implementace procesů Příklady architektury 2

3 Cíle DBMS DBMS Data Base Management Systém Uložit datové struktury Zabezpečit data Perzistence uložení Autorizace přístupů Realizovat požadavky uživatelů Změna datových struktur Změna dat Dotazy nad daty Monitoring Spouštět kód Uživatelský interface 3

4 Zdroje DBMS Datové prostory Disky Disková pole SAN - Storage area network NAS - Network-attached storage Paměť RAM Virtual memory Procesory Univerzální procesory Specializované procesory 4

5 Zdroje DBMS Sběrnice Komunikace mezi disky a pamětí Komunikace mezi procesory Síťové propojení Komunikace s klientem Komunikace mezi komponentami například mody clusteru Operační systém správa a přidělování zdrojů správa procesů a threadů 5

6 Limity DBMS 6

7 Limity DBMS Zvládnutí velkého množství dat Jednotky MB pro jednoduché systémy Desítky PB pro enterprise systémy Zvládnutí velkého množství uživatelů Desítky až stovky Internetový provoz Zvládnutí velkého množství dotazů OLTP aplikace (Online transaction processing) Desítky za vteřinu Zvládnutí dotazů vyžadujících velké množství dat DDS apliakce (Decision support systems) 7

8 Stabilita Imunita vůči chybám Uživatelů Aplikací Operačního systému Hardware Limity DBMS 8

9 Paralelní architektury Shared memory Shared disk P P M M M P P P M P P M P 9

10 Paralelní architektury Shared nothing NUMA M P P P M P P M P P P P M P P P M P M P P 10

11 Shared memory Procesory a disk mají přístup do společné paměti Vysoce efektivní komunikace mezi procesory data v paměti jsou přístupná všem procesorům Nejčastější HW obsahuje 2 nebo 4 procesory Procesory mohou obsahovat více jader Proces (core) obsluhuje jeden požadavek Parallel query rozdělení zpracování jednoho požadavku na více procesorů Maximálně 32 až 64 procesorů Úzké místo je komunikace s pamětí Oracle, Microsoft, Sybase, MySQL 11

12 Shared disk Všechny procesory komunikují s disky, data si ukládají ve vlastní paměti Vysoká míra dostupnosti výpadek procesoru může nahradit jiný procesor Úzké místo je komunikace s disky IBM Sysplex, DEC clusters s databází Rdb 12

13 Shared nothing Každý procesor má vlastní paměť i data Data jsou zpracovávána pouze příslušným procesorem nepředávají se mezi nody Nody spolu komunikují přes síť, předávají si požadavky a výsledky Architektura umožňuje rozšíření na tisíce nodů Teradata, Tandem, Oracle-n CUBE 13

14 NUMA Non-Uniform Memory Access Shared memory model použitý v clusteru s nezávislou pamětí Procesor má rychlý přístup do lokální paměti a pomalejší do paměti ostatních uzlů 14

15 Klient-server architektura Jeden server nabízí služby pro mnoho klientů Všichni klienti vidí jeden obraz dat Klienti si neudržují data Klienti předávají pouze příkazy Opakem jsou jednouživatelské databáze Microsoft Acces dbase 15

16 Distribuované transakce Požadavky klienta vyřizuje více serverů Požadavky (transakce) jsou koordinovány jedním transakčním koordinátorem Database link, proxy table Výkon je dán nejslabším místem 16

17 Životní cyklus uživatelského požadavku Navázání spojení s klientem Porozumění požadavku Optimalizace a vytvoření výpočtu Vlastní výpočet Předání výsledků 17

18 Navázání spojení s klientem Adresářové služby pro nalezení serveru Síťový listener Vytvoření procesu spravující klientské připojení Alokace struktur pro správu klientského připojení Síťová komunikace Prostor pro výsledky Lokální prostor pro výpočty 18

19 Porozumění požadavku Parser syntaktická analýza Mapování na objekty v databázi Shromáždění informací o použitých objektech Ověření práv Informace o struktuře Struktura tabulek Indexy Partitioning Umístění tabulek na discích Statistiky 19

20 Optimalizace a vytvoření výpočtu Optimalizátor Rule based optimalization Oracle do verze 10g OPTIMIZER_MODE=RULE Cost base optimalization Oracle 11 Microsoft Sybase Úprava dotazu Vnořený select Transakční uzávěr Boolean logic optimalization Join optimalization Special optimalization Parallel procesisng Přístupové metody k datům 20

21 Vlastní výpočet Asynchronní čtení dat Použití datových keší Execution engine Temporary space Query recompilation 21

22 Předání výsledků Datasety Definice Data Cursory Chyby Zprávy 22

23 Disky Dnes kapacita i více než 1TB Stále jenom cca 200 pohybů hlavičky za sekundu Čím více malých disků, tím lépe Disková pole Veliké keše Složitý operační systém Mirroring Striping Přenosová rychlost Disk - 100MB sec Diskové pole - SATA teoreticky 6GB/sec 23

24 Data write stack Datový server dá příkaz zápisu na disk Datový server > operační systém Operační systém > souborový systém Souborový systém > volume manager Volume manager > device driver Device driver > Host-Bus-Adapter Host-Bus-Adapter > Storage controler Storage controler > Disk Disk OS > medium Uložení dat na NAS pro zjednodušení pomineme 24

25 Konzistence dat Microsoft DBCC příkazy kontroly konzistence databáze Kontrola interních struktur, indexů SQL Server 2005 checksum protection Oracle HARD iniciative vypočet checksum pro zapsané bloky 25

26 Paměť Systémové struktury Nastavení Buffery pro třídění dat Buffery pro kód (java) Datové buffery Čtení z paměti je mnohonásobně rychlejší Požadovaná data se dají předpovědět na základě struktury uložení dat nebo dotazu Asynchronní načítání dat Načítání celých datových bloků Do bufferů se ukládají Často používaná data Naposledy použitá data Změněná data LRU algoritmus Buffer výsledků Globální buffery Lokální buffery 26

27 LRU algoritmus Hledání stránek hash table Žádné kopírování stránek Odstranění dirty page vysoce náročné Wash maker Unikátní přístup na stránku Spinlock 27

28 Procesy Procesy vykonávající požadavky klientů Podpůrné procesy Listener Správa diskových prostorů Checkoint process Sběr statistik Monitoring Backup procesy 28

29 Implementace procesů Procesy operačního systému Řízené operačním systémem Přepínání kontextu na úrovni operačního systému Každý proces vlastní má adresní prostor Thready operačního systému Jednotný adresní prostor Řízeno operačním systémem Vlastní řešení procesů Jeden proces, jednotlivé procesy jsou v něm implementovány interně Jednotný adresní prostor Kontrola nad správou procesů bez nutnosti zásahu OS nezávislost nad OS 29

30 Implementace procesů Procesy nebo thready v operačním systému mají větší náročnost při změně kontextu (provádí operační systém) Větší závislost na verzi operačním systému ladění parametrů na úrovni operačního systému Při použití vlastního řízení každá synchronní IO operace nebo volání jádra blokuje i ostatní procesy Každá chyba v software ovlivní i další procesy 30

31 Implementace transakčního logu Write-ahead log model Log transakce musí být zapsán na disk v okamžiku commit transakce Zajištění schopnosti zotavit se při pádu serveru Transakční log na úrovni databáze Záznamy transakčního logu Začátek a konec transakce U každé změny stav před a po změně Jakékoliv změny struktury databáze Alokace a dealokace datových stránek 31

32 Implementace transakčního logu Datové stránky se nezapisují okamžitě Checkpoint Uvolnění z datové keše Další důvody Recovery Projde se transakční log od posledního checkpointu Komitované transakce se opraví na cílový stav Zrušené transakce se opraví na stav před transakcí 32

33 Implementace transakčního logu Page 105 Page 106 Page 107 Page 108 Page109 Page 110 Min Log sequence Number Oldest open transaction End of Log Start of Log Last checkpoint Truncated pages 33

34 Kritická místa řešení Operační paměť a IO operace Pokud je jí málo, je vhodné použít malé IO operace Pokud rostou data, je velké množství malých operací limitující Operační paměť a počet klientů Pokud je klientů málo, je vhodné maximum informací držet ve vlastním prostoru klienta Pokud je klientů hodně, je nutné maximum informací držet v globálním prostoru serveru 34

35 Kritická místa architektury Operační paměť a rychlost procesoru 4.77 MHz (1981) 3.60 GHz (2009), více úrovní keší Pokud je procesor pomalý, je načtení z disku asi 20krát pomalejší než z paměti Dnes je přístup na disk 1000 dražší Vyplatí se udržovat data v paměti In-memory database 35

36 Kritická místa architektury Diskové operace a uložení dat Pokud mají být data zpracovány, musí projít procesorem Komprimace dat rychlejší přenos dat z disku do paměti, je náročnější na výkon procesoru Přenesení rozhodování o datech z procesoru na úroveň řadiče disků Požadavek na maximální paralelizaci diskového subsystému 36

37 Praktické příklady Oracle Sybase 37

38 Oracle history Oracle 2, basic SQL, no transaction 1983 Version 3 - transaction 1984 Version 4 read- consistency 1985 Version 5 networking, client-server 1988 Version 6 PL/SQL, row level locking, hot backup 1992 Version 7 referencial integrity, triggers 1999 Version 8i java 2001 Version 9i XML, RAC 2003 Version 10 grid computing, flash back 2007 Version 11 - Exadata 38

39 39

40 Oracle Oddělený listener Procesy operačního systému Process Monitor Process (PMON) System Monitor Process (SMON) Database Writer Process (DBWn) Log Writer Process (LGWR) Checkpoint Process (CKPT) Manageability Monitor Processes (MMON and MMNL) Recoverer Process (RECO)SGA Diskové prostory Dataspaces User Systém Temp On-line redolog Archive redolog Flashback log 40

41 Oracle SGA Systém Global Area Database Buffer Cache Redo Log Buffer Shared Pool Large Pool Java Pool Streams Pool Fixed SGA PGA Program Global Area SQL Work area Sort, Hash, Bitmap merge Private SQL Area Session memory, Persitent area, Runtime Area 41

42 Engine Proces na procesoru User processes Queue Shared memory Stránky Datové, logu Keše Datové Kódu Serverové struktury Diskové prostory Data Transakční logy Sybase 42

43 43

44 SQL Server Database Engine object Limity databáze Bytes per short string column 8,000 Bytes per GROUP BY, ORDER BY 8,060 Bytes per index, foreign, primary key 900 Bytes per row 8 8,060 Bytes per varchar(max), varbinary(max), xml, text, or image column Columns in GROUP BY, ORDER BY Columns per index, foreign, primary key 16 Maximum sizes/numbers SQL Server (32-bit) 2^31-1 Columns per nonwide/wide table 1,024/30000 Columns per SELECT/INSERT statement 4096 Limited only by number of bytes Database size 524,272 terabytes Databases per instance of SQL Server 32,767 Foreign key table references per table Identifier length (in characters) 128 Locks per instance of SQL Server 5 Up to 2,147,483,647 44

45 SQL Server Database Engine object Limity databáze Nested stored procedure levels 6 32 Nested subqueries 32 Nested trigger levels 32 Nonclustered indexes per table 999 Parameters per stored procedure 2,100 Parameters per user-defined function 2,100 REFERENCES per table 253 Rows per table Tables per database 3 Partitions per partitioned table or index 1,000 Tables per SELECT statement Triggers per table 3 Columns per UPDATE statement (Wide Tables) 4096 User connections 32,767 Maximum sizes/numbers SQL Server (32-bit) Limited by available storage Limited by number of objects in a database Limited only by available resources Limited by number of objects in a database 45

46 Další vývoj Specializovaný hardware (operační systém) In-memory database Specializované databáze Distribuované řešení claud databáze Ústup od ACID principů Uživatelská přívětivost - GUI Snadnost administrace 46

47 Doporučená literatura Joseph M Hellerstein, Michael Stonebraker, James Hamilton Architecture of a Database System (Foundations and Trends(R) in Databases) Now Publishers Inc (September 30, 2007) Oracle documentaion: Oracle Database Concepts Microsoft SQL server documentation: Planning and Architecture 47