Datová centra a úložiště Jaroslav G. Křemének g.j.kremenek@gmail.com
České národní datové úložiště Součást rojektu CESNET Rozšíření národní informační infrastruktury ro VaV v regionech (eiger) Náklady 754 mil. Kč (521 mil. investice) 30 měsíců 85 % z Evroského fondu ro regionální rozvoj (ERDF) a 15 % stát ČR. 3 sojená datová úložiště cca. za 100 mil Kč v Plzni (3-4 PB, 2011), Brně (2012) a Pardubicích (2012, 2013) Úložiště a služby zdarma ro VaV (VŠ, akademii)
Návrh datového úložiště výkon x cena Dilema, ožadujeme co největší kaacitu DU (maximum eta byte) ři co nejnižší ceně a co nejvyšším výkonu (GB za vteřinu a tisíců souborů za vteřinu) SSD Magnetické disky (RAID) Magnetické ásky (RAIT, MAID) Nejleším komromisním řešením je HSM
Náklady na DU a jeho rovoz Pořizovací cena je malou částí celkové ceny TCO Energetická sotřeba, náklady na chlazení dominují TCO Ve světě se DU (Google, MS, atd.) umísťují ve studených klimatech a v blízkosti velkých a laciných zdrojů energie (Island, Kanada, Skandinávie, atd.) TCO mg. áska vs. mg. disky (MAID)
Struktura datového úložiště Blokový řístu Souborový řístu Přiojení datového úložiště k uživatelům Vnitřní struktura datového úložiště Třídy (storage tiers) SSD (tier 0) Magnetické disky (tier 1)(FC, SAS, SATA, 15-7,2k) Magnetické ásky (áskové knihovny, roboty)
Klasifikace fyzických datových medií Rychlost řístuu k datům a řenosu dat (MB/sec) Cena ro uložení dat (Kč/MB) Energetická náročnost TCO rotace disků, chlazení Solehlivost ztráta dat ři ztrátě naájení nebo krachu systému ztráta dat ři krachu jednotky SSD, disku nebo ásky Řešení UPS, cache se bateriovým zálohováním, RAID, RAIT
Fyzická média (1) SSD náhodný řístu, velmi rychlé, velmi drahé, omezený očet záisů (tier 0) cca. (1-5 TB) Magnetický disk (FC, SAS, 15k), náhodný řístu, rychlé, energeticky drahé, neomezený očet záisů, menší solehlivost RAID (tier 1) (cca. 100-200 TB) Magnetický disk (SATA 7-5k), náhodný řístu, rychlé, energeticky drahé, neomezený očet záisů, menší solehlivost RAID (tier 2), (cca. 2 TB na jednotku, nař. 300-500 TB)
Fyzická média (2) Magnetický disk MAID (SATA 5k), náhodný řístu, často rychlé, energeticky levnější, střední TCO, neomezený očet záisů, menší solehlivost RAID (tier 3) (cca. 1-2 PB) Magnetické ásky, sekvenční řístu, vysoká letence (minuta, hodina), energeticky velmi levné, omezený očet záisů, malé TCO, velká solehlivost, LTO 5, standardní lehce řenosné médium (GNU TAR), (STK 5 TB kazeta) (tier 3) (cca. 1-4 PB)
Hierarchie DU HSM SSD, flash, tier 0, 1-2 TB magnetické disky, FC,SAS. 15k, tier 1, 200 TB magnetické disky, SATA, 7-2k, tier 2, 500 TB magnetické ásky, roboty, knihovny, tier 3, 1-4PB
RAID RAID - Redundant Arrays of Inexensive Disks zvyšování solehlivosti disků omocí organizačních technik, které využívají shlukovaní velkého očtu lacinějších, mass-market disků do RAID skuin. Původně cenově efektivní alternativu k velkým a drahým diskům (velikosti ledničky) V současnosti se RAID techniky oužívají ro jejich vyšší solehlivost a výkonnost. Proto dnes I míněno síše jako indeendent než jako inexensive.
č1 č2 č3 č4 RAID 0: Non-Redundant Striing k RAID1: Mirrored Disks k k k k k k RAID 10: RAID 1 + RAID 0 oužíván hlavně ro DB (d) RAID 3: Bit Interleaved Parity (e) RAID 4: Block Interleaved Parity (f) RAID 5: Block-Interleaved Distributed Parity (g) RAID 6:P+Q Redundancy
Tyy RAIDů (1) Zůsoby jak zlešit solehlivost (redundancy) ři nižší ceně oužíváním disk striing kombinovaném s využitím aritníchbitů Různé tyy usořádáni RAIDu nebo tyů RAIDů mají různou cenu, výkonnost a solehlivost. RAID Level 0: Striing na úrovni blocků, není redundantní. Pouze když ztráta data nevadí. Nejleší výkonnost ro oerace záisu, nejleší zůsob jak zvýšit výkon. RAID Level 1: zrcadlení disků. RAID 10, Level 1+0: zrcadlení disků a striing disků, nejleší výkonnost ro čtení a dobrá výkonnost záis. Používáno ro databáze, log files kde je třeba výkon.
Tyy RAIDů (2) RAID Level 3: Bit-Interleaved Parity, jeden bit arity může být oužit ro oravu jedné chyby na disku a detekci dvou chyb na disku. Při záisu dat musíme vyočítat a zasat také aritní bit Při oužití D datových disků je minimální velikost bloku D sektorů Záis jednoho bloku zůsobí záis komletního strie včetně arity (není otřeba cyklu read-modify-write). rychlejší datový řenos než ro jednotlivý disk, ale delší růměrný seek time, rotože každý disk se musí účastnit ři každé I/O oeraci.
Tyy RAIDů (3) RAID Level 5: Block-Interleaved Distributed Parity, zaisuje a distribuuje data a aritu mezi N+1 disky, oroti RAID 3, který zaisuje data na N disků a aritu na 1 ( aritní ) disk. tj. s 5-ti disky, aritní blok ro n-tý set datových bloků je uložen na disku (n mod 5) +1, kde datové bloky jsou uloženy na ostatních čtyřech discích. vyšší I/O výkon než RAID Level 4. (blokové záisy jsou rováděny aralelně, rotože bloky a jejich aritní bloky jsou na různých discích.) RAID Level 6: P+Q schéma ro redundanci je odobné jako ro RAID Level 5, ale ukládá extra redundantní informaci, aby umožnil ochranu roti selhání více disků. Vyšší cena a solehlivost.
České virtuální datové úložiště. Složené nejrve z 3 DU a sojené až N*40 Gbs Geografická relikace, řístu k nejrychlejší relice či aralelní řístu k nejrychlejším relikám. 40 Gbs 40 Gbs 40 Gbs DU, Brno, VŠ DU, Plzeň, ZČU DU, Pardubice, VŠ
Děkuji Vám za ozornost Otázky?