<Insert Picture Here> EXADATA extrémní infrastruktura pro datové sklady

Transkript

1

2 <Insert Picture Here> EXADATA extrémní infrastruktura pro datové sklady Josef Krejčí BI&DW Solutions Manager, Oracle Czech

3 Analýzy - více a rychleji Datové sklady včera a dnes Rychlost a spolehlivost Koncový uživatel už není jen analytik, ale i operátor Call Centra, risk manager či osobní bankéř Datový sklad 52x7x24

4 Terabyty dat Datové sklady výrazně rostou Trojnásobně během dvou let 1000 Velikost datových skladů V ČR také! Aktuální Předpokládaná Source: Winter TopTen Survey, Winter Corporation, Waltham MA, 2008.

5 Hrozba pro výkon datových skladů Úzké místo Omezený datový tok z úložiště na DB servery Linky mezi disky a servery jsou často až 10x pomalejší, než by objem dat vyžadoval

6 Průběh a zpracování dotazu: Využití tradičního Storage serveru Co jsme včera prodali? Oracle Database Grid Tradiční Storage Array Select sum(sales) where salesdate= 25-November Načte celou tabulku prodejů SUM Storage server vybere 1 TB a zašle na DB server

7 Čas skenu tabulky Scan tabulek se zpomaluje při 1TB 10 hodin 5 hodin Typical NAS Typical Mid-Range Array Typical High-End Array 1 hodina 1TB 10 TB 100TB Velikost tabulky

8 Tradiční architektura Datové sklady a malá propustnost Ukázka *

9 Jak řešit malou propustnost? Více rour Tlustější roury Posílat rourami méně dat

10 Inteligentní Storage Oracle Exadata Storage Server 2 Intel CPU, 8 cores 12 disk drives, až 12 TB dat 2 Infiniband connections Oracle Enterprise Linux OS Oracle Parallel Query Database Software Inteligentní Storage server Unikátní Smart Scan technologie Vrací pouze relevantní data Nevrací celé bloky dat

11 Průběh a zpracování dotazu: Využití Oracle Exadata Storage Serveru Co jsme včera prodali? Oracle Database Grid Select sum(sales) where salesdate= 25-November Načte pouze řádky prodej za 25-November-2009 SUM Storage server 1 TB prohledá 1 GB vrací na DB server

12 Více a větší roury Exadata Storage Server Grid Oracle Database Server Grid Masivní paralelní architektura 2x Infiniband 1 GB/sec na každém Storage serveru Infiniband - 5x rychlejší něž Fibre Channel

13 EXADATA - HP Oracle Database Machine Představena

14 EXADATA extrémní výkon Ukázka *

15 WinterCorp Výkonnostní test prosinec reporty paralelně nad cca řádky za 99 sekund

16 Úspěch Exadata - Database Machine Oracle Database Machine vítězí proti kterémukoli konkurentovi

17 Úspěch Exadata - Database Machine A query that used to take 24 hours now runs in less than 30 minutes. The Oracle Database Machine beats competing solutions on bandwidth, load rate, disk capacity, and transparency. Christian Maar, CIO Kolik reportů za 1 den? Every query was faster on Exadata compared to our current systems. The smallest performance improvement was 10x and the biggest one was an incredible 72x. Simeon Dimitrov, Enterprise Resources Manager Call Data Record queries that used to run for over 30 minutes now complete in under 1 minute. That's extreme performance. Grant Salmon, CEO, LGR Telecommunications Kolik reportů za 3 minuty?

18 Exadata - Oracle Half Database Machine Poloviční, ale také extrémně výkonná Semináře Workshopy Dema Proof of Concepts Připraveno pro zákazníky i partnery

19 Finanční Demo v DWBICC Půjčky a jejich platba Statistic Rows Bytes Branches Products 84 - Customers 20 milion + 3,3 GB Accounts 30 milion + 5 GB Scheduled Instalments 697 milion + 90 GB Payments 340 milion + 31 GB Matched Payments 434 milion + 78 GB Due Instalments 311 milion + 58 GB Monthly Account Facts milion GB Total (incl. indexes and stages) 720 GB Potvrzeno i výrazné zkrácení doby plnění DWH

20 Finanční Demo Výsledky dotazu Statistic Driving Table Access Path Data Size Value Monthly Account Facts Full Table Scan (Parallel) 92 GB Records Duration (with offloading) Throughput (with offloading) 13,59 sec 6,77 GB / sec Analytický dotaz: Pro každý měsíc v roce 2009 zjisti - objem nesplacených splátek ke konci měsíce, rozdělený po kategoriích na 1-10 dnů, dnů, dnů, dnů atd. Více jak 10x rychleji než podobná úloha při tradiční architektuře

21

22 Je možné ještě něco vylepšit? Nejčastější otázka na každé prezentaci: Je možné použít EXADATU pro OLTP úlohy? Nyní ANO EXADATA V2 Představena

23 EXADATA V2 - ještě rychlejší Stejná architektura jako EXADATA V1 Oracle Database Machine Stejný počet i kategorie serverů, CPU, disků Rychlejší Větší Nejnovější technologie 80% rychlejší CPUs 100% rychlejší síť 50% vyšší propustnost disků 200% rychlejší paměť 33% větší kapacita SAS 100% větší kapacita SATA 125% více paměti 100% větší konektivita Ethernet Xeon 5500 Nehalem 40 Gb InfiniBand 6 Gb SAS Links DDR3 DRAM 600 GB SAS Disks 2 TB SATA Disks 72 GB per DB Node 4 Ethernet links per DB Node Navíc Flash Storage! Ještě inteligentnější software Nová

24 Úzké hrdlo pro random I/O počet IOPS hard disku 300 I/O za sekundu Velká kapacita disků Ale limitované na cca 300 I/Os za sekundu Ve Flash se uchovává menší objem dat Ale přístup s výkonem desítek tisíc I/O za sekundu Desítky tisíc I/O s za sekundu Ideální řešení Udržet většinu dat na discích nízké náklady Často používaná data udržovat transparentně ve flash Použití flash cards místo flash disků eliminace vlivu disk controlleru Flash cards v Exadata storage Velký datový tok, nízká latence interconnectu Sdílení flash v clusteru Databáze řídí kešování

25 EXADATA V2 i pro OLTP Exadata Flash - řeší problém výkonu random I/O Oracle, první databáze optimalizovaná pro Flash Sun Oracle Database Machine má 5TB paměti flash Exadata Smart Cache kešuje často zpracovávaná data Výkon Database Machine: Přes 1 milion IOPS

26 Mnoho dalších vylepšení Exadata Hybridní sloupcová komprese Data tabulek ukládána po sloupcích a komprimována Query Mode pro datové sklady Optimalizováno pro výkon Typický kompresní poměr 10:1 Proporcionální zrychlení čtení (table scan) Archival Mode pro méně často zpracovávaná data Optimalizováno pro redukci objemu dat Typický kompresní poměr 15:1 Pro některá data až 50:1 DB 11g R2 Komprese až 50x

27 Přínosy se násobí 10 TB uživatelských dat načtení 10 TB z disku Po kompresi jde o 1 TB Diky Partition Pruning je to 100 GB Díky Storage Indexům 20 GB 5 GB díky Smart Scans Výsledek do vteřiny na Oracle Database Machine Data jsou 10x menší, čtení dat z disku 2000x rychlejší

28 Roste s požadavky na výkon Lze začít s málem Výkon jako full EXADATA V1 Quarter Rack Half Rack Full Rack

29 Škálování výkonu i kapacity 52x7x24 Škálovatenost Až 8 racků lze propojit bez dalších komponent (jen kabely) Další rozšíření nad 8 - přidání externích InfiniBand switchů Škálovatelnost až do stovek ůložišť Multi-petabytové databáze Redundance a odolnost proti výpadkům Výpadek libovolné komponenty nebrání provozu Data jsou zrcadlena mezi úložišti

30 EXADATA extrémní výkon Ukázka *

31 Čas skenu tabulky EXADATA - lineární průběh Každý Rack přidá prostor, propustnost a výkon 5 hodin Typical NAS Typical Mid-Range Array Typical High-End Array 1 hodina 1TB 10 TB 100TB Velikost tabulky

32 EXADATA V2 - řešení pro konsolidaci ERP CRM HR Warehouse Data Mart Konsolidace s Database Machine Umožňuje provozovat velké množství databází s různými požadavky současně Vysoký výkon, dostupnost a bezpečnost pro všechny aplikace Předpověditelné časy odezvy Připraveno pro multi-petabytové databáze Nízké náklady na platformu Database Machine Exadata a ASM dovolují sdílet úložiště mezi více databázemi RAC umožňuje databázím využít výkon více serverů I/O Resource Manager umožňuje prioritizovat I/O požadavky Instance caging řídí přidělování CPU pro případ více databází na stejném serveru

33 EXADATA V2 přínosy pro DWH a OLTP Extremní výkon: dramatické zrychlení X pro datové sklady 20X pro OLTP aplikace Lineární škálovatelnost: Výkon roste s rostoucím objemem dat Snadné nasazení: Dodává se předinstalována, po dodání připravena k provozu Standardní hardware Podpora z jednoho místa pro SW i HW -Oracle Běžná Oracle Database 11gR2: Bez zásahu do aplikací Stejná správa jako běžná Oracle Database

34 Další informace Oracle.com: Oracle Exadata Technology Portal on OTN: Oracle Exadata white papers: Czech BI/DW Blog:

35 <Insert Picture Here> Extreme Performance