Datová centra a úložiště. Jaroslav G. Křemének g.j.kremenek@gmail.com

Rozměr: px

Začít zobrazení ze stránky:

Download "Datová centra a úložiště. Jaroslav G. Křemének g.j.kremenek@gmail.com"

Vlasta Křížová
před 8 lety
Počet zobrazení:

1 Datová centra a úložiště Jaroslav G. Křemének g.j.kremenek@gmail.com

2 České národní datové úložiště Součást rojektu CESNET Rozšíření národní informační infrastruktury ro VaV v regionech (eiger) Náklady 754 mil. Kč (521 mil. investice) 30 měsíců 85 % z Evroského fondu ro regionální rozvoj (ERDF) a 15 % stát ČR. 3 sojená datová úložiště cca. za 100 mil Kč v Plzni (3-4 PB, 2011), Brně (2012) a Pardubicích (2012, 2013) Úložiště a služby zdarma ro VaV (VŠ, akademii)

investice) 30 měsíců 85 % z Evroského fondu ro regionální rozvoj (ERDF) a 15 % stát ČR.

3 Návrh datového úložiště výkon x cena Dilema, ožadujeme co největší kaacitu DU (maximum eta byte) ři co nejnižší ceně a co nejvyšším výkonu (GB za vteřinu a tisíců souborů za vteřinu) SSD Magnetické disky (RAID) Magnetické ásky (RAIT, MAID) Nejleším komromisním řešením je HSM

výkonu (GB za vteřinu a tisíců souborů za vteřinu) SSD Magnetické

4 Náklady na DU a jeho rovoz Pořizovací cena je malou částí celkové ceny TCO Energetická sotřeba, náklady na chlazení dominují TCO Ve světě se DU (Google, MS, atd.) umísťují ve studených klimatech a v blízkosti velkých a laciných zdrojů energie (Island, Kanada, Skandinávie, atd.) TCO mg. áska vs. mg. disky (MAID)

5 Struktura datového úložiště Blokový řístu Souborový řístu Přiojení datového úložiště k uživatelům Vnitřní struktura datového úložiště Třídy (storage tiers) SSD (tier 0) Magnetické disky (tier 1)(FC, SAS, SATA, 15-7,2k) Magnetické ásky (áskové knihovny, roboty)

datového úložiště Třídy (storage tiers) SSD (tier 0) Magnetické

6 Klasifikace fyzických datových medií Rychlost řístuu k datům a řenosu dat (MB/sec) Cena ro uložení dat (Kč/MB) Energetická náročnost TCO rotace disků, chlazení Solehlivost ztráta dat ři ztrátě naájení nebo krachu systému ztráta dat ři krachu jednotky SSD, disku nebo ásky Řešení UPS, cache se bateriovým zálohováním, RAID, RAIT

chlazení Solehlivost ztráta dat ři ztrátě naájení nebo krachu systému ztráta dat

7 Fyzická média (1) SSD náhodný řístu, velmi rychlé, velmi drahé, omezený očet záisů (tier 0) cca. (1-5 TB) Magnetický disk (FC, SAS, 15k), náhodný řístu, rychlé, energeticky drahé, neomezený očet záisů, menší solehlivost RAID (tier 1) (cca TB) Magnetický disk (SATA 7-5k), náhodný řístu, rychlé, energeticky drahé, neomezený očet záisů, menší solehlivost RAID (tier 2), (cca. 2 TB na jednotku, nař TB)

8 Fyzická média (2) Magnetický disk MAID (SATA 5k), náhodný řístu, často rychlé, energeticky levnější, střední TCO, neomezený očet záisů, menší solehlivost RAID (tier 3) (cca. 1-2 PB) Magnetické ásky, sekvenční řístu, vysoká letence (minuta, hodina), energeticky velmi levné, omezený očet záisů, malé TCO, velká solehlivost, LTO 5, standardní lehce řenosné médium (GNU TAR), (STK 5 TB kazeta) (tier 3) (cca. 1-4 PB)

1-2 PB) Magnetické ásky, sekvenční řístu, vysoká letence (minuta, hodina), energeticky velmi levné,

9 Hierarchie DU HSM SSD, flash, tier 0, 1-2 TB magnetické disky, FC,SAS. 15k, tier 1, 200 TB magnetické disky, SATA, 7-2k, tier 2, 500 TB magnetické ásky, roboty, knihovny, tier 3, 1-4PB

10 RAID RAID - Redundant Arrays of Inexensive Disks zvyšování solehlivosti disků omocí organizačních technik, které využívají shlukovaní velkého očtu lacinějších, mass-market disků do RAID skuin. Původně cenově efektivní alternativu k velkým a drahým diskům (velikosti ledničky) V současnosti se RAID techniky oužívají ro jejich vyšší solehlivost a výkonnost. Proto dnes I míněno síše jako indeendent než jako inexensive.

Původně cenově efektivní alternativu k velkým a drahým diskům (velikosti ledničky) V současnosti se RAID

11 č1 č2 č3 č4 RAID 0: Non-Redundant Striing k RAID1: Mirrored Disks k k k k k k RAID 10: RAID 1 + RAID 0 oužíván hlavně ro DB (d) RAID 3: Bit Interleaved Parity (e) RAID 4: Block Interleaved Parity (f) RAID 5: Block-Interleaved Distributed Parity (g) RAID 6:P+Q Redundancy

Bit Interleaved Parity (e) RAID 4: Block Interleaved Parity (f)

12 Tyy RAIDů (1) Zůsoby jak zlešit solehlivost (redundancy) ři nižší ceně oužíváním disk striing kombinovaném s využitím aritníchbitů Různé tyy usořádáni RAIDu nebo tyů RAIDů mají různou cenu, výkonnost a solehlivost. RAID Level 0: Striing na úrovni blocků, není redundantní. Pouze když ztráta data nevadí. Nejleší výkonnost ro oerace záisu, nejleší zůsob jak zvýšit výkon. RAID Level 1: zrcadlení disků. RAID 10, Level 1+0: zrcadlení disků a striing disků, nejleší výkonnost ro čtení a dobrá výkonnost záis. Používáno ro databáze, log files kde je třeba výkon.

Pouze když ztráta data nevadí. Nejleší výkonnost ro oerace záisu, nejleší zůsob jak zvýšit výkon. RAID Level 1: zrcadlení disků.

13 Tyy RAIDů (2) RAID Level 3: Bit-Interleaved Parity, jeden bit arity může být oužit ro oravu jedné chyby na disku a detekci dvou chyb na disku. Při záisu dat musíme vyočítat a zasat také aritní bit Při oužití D datových disků je minimální velikost bloku D sektorů Záis jednoho bloku zůsobí záis komletního strie včetně arity (není otřeba cyklu read-modify-write). rychlejší datový řenos než ro jednotlivý disk, ale delší růměrný seek time, rotože každý disk se musí účastnit ři každé I/O oeraci.

Při záisu dat musíme vyočítat a zasat také aritní bit Při oužití D datových disků je minimální velikost bloku D sektorů

14 Tyy RAIDů (3) RAID Level 5: Block-Interleaved Distributed Parity, zaisuje a distribuuje data a aritu mezi N+1 disky, oroti RAID 3, který zaisuje data na N disků a aritu na 1 ( aritní ) disk. tj. s 5-ti disky, aritní blok ro n-tý set datových bloků je uložen na disku (n mod 5) +1, kde datové bloky jsou uloženy na ostatních čtyřech discích. vyšší I/O výkon než RAID Level 4. (blokové záisy jsou rováděny aralelně, rotože bloky a jejich aritní bloky jsou na různých discích.) RAID Level 6: P+Q schéma ro redundanci je odobné jako ro RAID Level 5, ale ukládá extra redundantní informaci, aby umožnil ochranu roti selhání více disků. Vyšší cena a solehlivost.

s 5-ti disky, aritní blok ro n-tý set datových bloků je uložen na disku (n mod 5) +1, kde datové bloky jsou uloženy na ostatních čtyřech discích.

15 České virtuální datové úložiště. Složené nejrve z 3 DU a sojené až N*40 Gbs Geografická relikace, řístu k nejrychlejší relice či aralelní řístu k nejrychlejším relikám. 40 Gbs 40 Gbs 40 Gbs DU, Brno, VŠ DU, Plzeň, ZČU DU, Pardubice, VŠ

relikace, řístu k nejrychlejší relice či aralelní řístu k

16 Děkuji Vám za ozornost Otázky?

Podobné dokumenty

PA152: Efektivní využívání DB 2. Datová úložiště. Vlastislav Dohnal

PA152: Efektivní využívání DB 2. Datová úložiště Vlastislav Dohnal Optimalizace přístupu na disk Omezení náhodných přístupů Velikost bloku Diskové pole PA152, Vlastislav Dohnal, FI MUNI, 2013 2 Omezení