Přednáška. Úložiště dat: HDD, SDD, RAID, DAS, NAS, SAN. Katedra počítačových systémů FIT, České vysoké učení technické v Praze Jan Trdlička, 2012

Transkript

1 Přednáška Úložiště dat: HDD, SDD, RAID, DAS, NAS, SAN. Katedra počítačových systémů FIT, České vysoké učení technické v Praze Jan Trdlička, 2012 Příprava studijního programu Informatika je podporována projektem financovaným z Evropského sociálního fondu a rozpočtu hlavního města Prahy. Praha & EU: Investujeme do vaší budoucnosti 1

2 Hard Disk Drive (HDD) - Pevný disk 2

3 HDD - geometrie 3

4 HDD - geometrie Sektor (Sector) Nejmenší adresovatelná jednotka na disku. Obsahuje: Identifikace informace o čísle a pozici sektoru Synchronizační informaci slouží pro řadič disku Data (nově 4096B, dříve 512B), ECC pro detekci a opravu chyb Oddělovací značky Stopa (Track) Množina sektorů na jednom povrchu ve stejné vzdálenosti od středu. Počet sektorů ve stopě se může lišit v závislosti na poloměru. Čísluje se od vnější stopy. Cylindr (Cylinder) Množina všech stop o daném poloměru. 4

5 HDD - geometrie Adresování sektorů Cylinder,Head,Sector (CHS) Starší adresování podle geometrie disku. Logical block addressing (LBA) Diskové sektory jsou číslovány sekvenčně od 0, bez ohledu fyzickou geometrii. Zone Bit Recording (ZBR) Stopy rozděleny do zón. Každá zóna má různý počet sektorů na stopu. 5

6 HDD - sběrnice ATA (Advanced Technology Attachment), PATA (Parallel ATA) SATA (Serial ATA) Paralelní sběrnice, rychlosti:, 2.5Gb/s, 5Gb/s, vzdálenost: 25m SAS (Serial Attached SCSI) Sériová sběrnice, rychlosti: 1.5Gb/s, 3Gb/s, 6Gb/s, vzdálenost: 1m SCSI (Small Computer System Interface) Paralelní sběrnice, rychlosti:, 1Gb/s, vzdálenost: 1m Sériová sběrnice, rychlosti:, 6Gb/s, vzdálenost: 10m FC (Fibre Channel) Sériová sběrnice, rychlosti: 8Gb/s, vzdálenosti: 12m 6

7 HDD výkon Jak dlouho trvá zápis/čtení jednoho sektoru? doba vystavení (seek time) čas nastavení hlaviček nad správný cylindr (cca 1-10ms) rotační zpoždění (rotational delay) čas posunutí správného sektoru pod hlavičku při rotaci disku: rpm => průměrně 6-2ms (polovina rotace) čas přenosu dat OS je odpovědný za efektivní používání disků rychlý přístup (minimalizování doby vystavení) velká šířka pásma (maximalizace počtu přenesených bytů za čas) Algoritmy plánování přístupu na disk dříve implementované pouze v OS, nyní v řadičích disků určují pořadí zpracování jednotlivých požadavků, např. Tagged Command Queuing (TCQ) pro SCSI a ATA disky, Native Command Queuing (NCQ) pro SATA. 7

8 Příklad: sekvenční x náhodný přístup Mějme disk s těmito parametry Velikost sektoru 512B Pouze jeden povrch Průměrný počet sektorů na stopu 320 Otáčky rpm Průměrný seek time 10 ms Track-to-track seek time 1ms Jaký je průměrný rotation delay? Kolik stop potřebuji na uložení 2560 sektorů (1.3MB) dat? Jak dlouho bude trvat přečíst 1.3MB uložených na sousedních stopách? 60 / ( 2 x ) = 3ms Načtení 1. stopy: 10ms + 3ms + 6ms = 19ms Načtení další stopy: 1ms + 3ms + 6ms = 10ms Celkem: 19ms + 7 x 10ms = 89ms 2560 / 320 =8 stop Jak dlouho bude trvat přečíst 1.3MB uložených náhodně na disku? Načtení jedno sektoru: 10ms + 3ms + 6ms/320 = ms Celkem: 2560 x ms = s 8

9 First-In-First-OUT (FIFO) Ovladač disku přijímá V/V požadavky a obsluhuje je v pořadí v jakém přišly. Výhody: spravedlnost Nevýhody: horší výkon 9

10 Shortest Service Time First (SSTF) Nejdříve jsou obslouženy požadavky z fronty, které vyžadují nejmenší pohyb hlaviček z aktuální pozice. Výhody: lepší výkon než FIFO Nevýhody: hlavičky mají tendenci setrvávat uprostřed disku vzniká problém stárnutí u V/V požadavků z krajních pozic 10

11 SCAN Algorithm (elevator alg.) Hlavičky se pohybují nejdříve jedním směrem a uspokojí se všechny požadavky v daném směru. Pokud už není žádný požadavek v daném směru, směr se změní a uspokojují se zbylé požadavky. Výhoda: odstranil se problém stárnutí. Nevýhoda: trochu horší výkon než SSTF 11

12 N-step SCAN Původní fronta požadavků je rozdělena na několik front délky N. Jednotlivé fronty jsou zpracovány najednou algoritmem SCAN. Výhoda: snižuje možnost ustrnutí hlaviček nad hodně vytěžovanými cylindry. 12

13 HDD Shrnutí Výkon Malá latence (cca 5ms) => malý počet nezávislých operací za sekundu (průměrně 200 operací/sec. na jeden disk) Spolehlivost Pomalý přístup k datů Výpadek disku => ztráta dat Flexibilita Lze měnit velikost oblastí. Nelze měnit rychlost, redundanci,... Vývoj Kapacita disků roste exponenciálně. Rychlost náhodného čtení/zápisu (B/s) a počet IO operací za sekundu (IO/s) roste lineárně. 13

14 Solid State Drive (SSD) Data uložena většinou na NAND Flash paměti. Výhody Žádně mechanické části jak HDD. Rychlý přístup k datům (až cca 100x rychlejší než HDD), doba vystavení a rotační zpoždění je nulové. Malá spotřeba Nevýhody Menší kapacita (SSD ~0,5TB x HDD 3TB v roce 2011) Menší životnost Vyšší cena (SSD ~1,5 $/GB x HDD 0,05$/GB v roce 2011) 14

15 Redundant Array of Independent Disks (RAID) 1988, University of California at Berkeley SLED = Single Large Expensive Disk Mean Time Between Failure (MTBF) = střední doba mezi poruchami disk RAID = Redundant Array of Independent (Inexpensive) Disks RAID je množina fyzických disků, které OS vidí jako jeden logický disk. data jsou distribuována mezi jednotlivé fyzické disky část (redundantní) diskové kapacity může loužit pro uložení pomocných informací (např. parita, ) nutných pro obnovu dat v případě poškození některých disků MTBF(pole RAID 0) = MTBF jednoho disku/počet disků v RAIDu. 15

16 RAID - vlastnosti Výkon IO operace/s B/s Spolehlivost a dostupnost dat Kromě RAID 0 Flexibilita Z hlediska výkonu Z hlediska kapacity Zjednodušení administrace 16

17 Hardwarový RAID Pro OS se jeví jako jeden/několik disků Administrace a monitorování se děje na poli Příklady výrobců: Hitachi, EMC,... 17

18 Hardwarový RAID - výhody Výkon zápisu (sekvenční i náhodný) Výkon sekvenčního čtení read ahead strategy (pole přednačítá mnohem více bloků než jednotlivý disk díky velké paměti pole) RAID 5 write behind caching strategy (potvrdí zápis bloku při zápisu do cache nikoliv na disk) Lepší výkon při zápisech než SW RAID Administrace 18

19 Softwarový RAID Obsahuje Jednotlivé disky připojené k systému nebo JBODs Volume Manager (SW realizující RAID) Správa a monitorování probíhá z OS Příklady produktů Veritas Volume Manager (MS Windows, Linux, Solaris, AIX,...) Logical Volume Manager (Linux) Solaris Volume Manager 19

20 Softwarový RAID - vlastnosti Nižší latence než HW RAID Transparentnost V případě problémů lze využít standardních nástrojů OS Cena JBODs méně komponent, méně otestované 20

21 RAID 0 concatenation (zřetězení) 21

22 RAID 0 concatenation (zřetězení) Data jsou postupně zapisována na jednotlivé disky (po naplnění prvního disku, pokračujeme na druhém, ) Operace čtení/zápis stejně rychlé jako u jednoho disku. V SW RAIDu slouží jako přípravný krok pro zrcadlení (např. již existujícího systémového FS) Výhody Získáme velký logický disk. Lze využít 100% diskové kapacity. Nevýhody Žádná redundance poškození jednoho disku v poli způsobí ztrátu všech dat. 22

23 RAID 0 - stripe strip = množina k po sobě následujících sektorů 23

24 RAID 0 - stripe Nevýhody Žádná redundance poškození jednoho disku v poli způsobí ztrátu všech dat. Výhody lze využít 100% diskové kapacity, zvýšení propustnosti vyvážením zátěže malými přístupy, paralelizace velkých přístupů s cílem zkrácení doby odpovědi. 24

25 RAID 1 - zrcadlení 25

26 RAID 1 - zrcadlení Nevýhody Využijeme pouze 50% diskové kapacity. Výhody Při ztrátě disku, lze data okamžitě získat z kopie. Zápis je stejně rychlý jako u jednoho disku (podle strategie zápisu: paralelní/sériová). Počet operací čtení ze sekundu je větší než u jednoho disku (podle strategie čtení: round robin/geometric/first). 26

27 RAID 0+1 (stripe) 27

28 RAID 1+0 (stripe), RAID 10 28

29 RAID 0+1 x RAID 1+0 Výhody data distribuovaná mezi disky, čtení/zápis může být rychlejší než u jedno disku, Redundance. Rychlejší obnova u RAID 1+0 Nevýhody lze využít pouze 50% diskové kapacity, výpadek jednoho disku způsobí ztrátu redundance. 29

30 Raid 2, 3, 4 RAID 2 Stripování po bitech + zabezpečení pomocí Hammingova kódu RAID 3 Stripování po bytech + zabezpečení pomocí parity Jeden paritní disk RAID 4 Stripování po stripech + zabezpečení pomocí parity Jeden paritní disk 30

31 Raid 5 Stripování po stripech + distribuovaná parita 31

32 RAID 5 Výhody paritní informace odpovídají kapacitě jednoho disku, ostatní kapacitu lze využít pro data. paralelizace čtení velkých přístupů s cílem zkrácení doby odpovědi. zvýšení propustnosti vyvážením zátěže malými přístupy Nevýhody U SW RAIDu problém se zápisy Vhodný pokud počet operací zápisu nepřekročí cca 15%. 32

33 Direct-Attached Storage (DAS) 33

34 Direct-Attached Storage (DAS) Připojení disků k systému přímo přes V/V porty. Způsob přístupu k zařízení Raw device Systém souborů Technologie SCSI, SATA, PATA (ATA, IDE), Fibre channel Vlastnosti Umožňuje dual hosting (např. SCSI) 34

35 Network-Attached Storage (NAS) 35

36 Network-Attached Storage (NAS) Systém souborů (jeho část) sdílený přes síť. Způsob přístupu k zařízení Systém souborů Technologie NFS, CIFS, 36

37 Storage Area Network (SAN) 37

38 Storage Area Network (SAN) Disky přístupné přes síť. Způsob přístupu k zařízení Raw device Systém souborů Technologie Fibre Channel, iscsi, Infiniband, Vlastnosti Multihosting Multipathing Oddělění datové sítě 38