Storage Management Workload Management Backup and Recovery Management

Transkript

1 Storage Management Workload Management Backup and Recovery Management Přednáška pro ISE 2. května 2014 Marek Rychlý (a Ivana Burgetová)

2 Obsah Storage Management SAN, NAS, RAID Primární, sekundární, off-line paměti Workload Management Výhody dávkového zpracování Nároky na zdroje Rozvrhování úloh Backup and Recovery Management Typy záloh Metriky zálohování Typy havárií Proces obnovy Business Continuity Planning Dostupnost služeb a systémů 2

3 Storage Management Udržuje úložiště dat a zpřístupňuje je ostatním IT komponentám Ukládání, ochrana a zpřístupnění informací Zrcadlení disků Replikace dat Zálohování dat Archivace dat 3

4 Storage Management úkoly Stanovit politiky: Kde ukládat data Na jak dlouho V jaké formě Kdo k nim může přistupovat (Access Control List) Návrh paměťové infrastruktury (typicky úložiště na síti) Údržba paměťových zařízení Archivování a obnova těchto dat 4

5 SAN Server FC Switch LAN Switch Server Diskové pole s vlastní inteligencí Storage area network Dedikovaná datová síť Slouží pro připojení externích zařízení k serverům Fyzické oddělení dat a serverů Sdílení zdrojů mezi jednotlivými servery Podpora pro clusterová řešení a architekturu no single point of failure Block-based storage 5

6 NAS LAN Switch Server Server NAS Zařízení Network attached storage Běžná paměť se souborovým systémem připojená k síti Poskytuje přístup k datům různým klientům Poskytují paměť i souborový systém Levnější varianta 6

7 7

8 SAN x NAS 8

9 9

10 RAID Redundant Array of Independent Disks Vícenásobné diskové pole nezávislých disků Vyšší výkon a odolnost vůči chybám Lepší integrita dat Prokládání dat Zrcadlení dat Parita 6 základních typů polí + jejich kombinace a modifikace 10

11 Metriky: RAID MTTF mean time to failure MTTDL mean time to data loss MTTR mean time to recovery UBE unrecoverable bit error rate Atomic write failure 11

12 Typy pamětí Primární paměť vnitřní paměť Sekundární paměť musí se využít I/O kanály Near-line paměť není třeba manuální vložení média Off-line paměť je potřeba médium manuálně vložit do paměťového zařízení Tape library 12

13 Hierarchical storage management Automatický přesun data mezi různými typy pamětí Rychlá paměťová zařízení drahá Přesuny dat podle potřeby, na základě monitorování způsobu jejich využití Archivace dat na levných zařízeních 13

14 Propojení služeb Configuration management Event management Availibility management Performance and Capacity management Operations management Network management Security management Inventory Business process management Resource Management (Utility computing) 14

15 Propojení služeb Reporting management SLA management Knowledge management Asset management Notification and Escalation Management Problem management Change management 15

16 Obsah Storage Management SAN, NAS, RAID Primární, sekundární, off-line paměti Workload Management Výhody dávkového zpracování Nároky na zdroje Rozvrhování úloh Backup and Recovery Management Typy záloh Metriky zálohování Typy havárijí Proces obnovy Business Continuity Planning Dostupnost služeb a systémů 16

17 Workload Management Řízení vykonávání série programů (jobs, job streams) na počítači (počítačích) bez lidské interakce Job skript nebo binární spustitelný kód, který pracuje s vstupními, výstupními daty a parametry, a plní nějaký obchodní cíl Nevyžaduje interakci uživatele Interakce uživatele (administrátora) pouze v případě neúspěchu Zefektivnění rutinních opakujících se činností Efektivní hromadné zpracování 17

18 Dávkové zpracování - výhody Minimální požadavky na interakci a dohled Snížení zátěže pracovníků Sdílení výpočetních prostředků více uživateli Úlohy lze naplánovat na dobu, kdy jsou výpočetní zdroje málo využívány Minimalizace nečinnosti výpočetních zdrojů, zvýšení výkonnosti Lepší využívání zdrojů Úspora práce a nákladů 18

19 Dávkové zpracování Nároky na zdroje: Čas procesoru Přístupy na disk Provoz na síti Požadavky na paměť Omezení daná prostředím: Dostupné zdroje Maximální počet paralelních procesů 19

20 Rozvrhování úloh Statické x dynamické SW pro rozvrhování Rozhraní pro definování pracovních stanic, pracovních toků, závislostí úloh, časových závislostí, uživatelů, rolí, kalendářů a předávání chyb Automatické odevzdání a sledování provádění úloh Rozhraní pro monitorování průběhu provádění úloh Řazení úloh do front (priorita) Metody upozornění na selhání úloh 20

21 Rozvrhování úloh Úlohy Závislosti Kolekce úloh Uživatelé Zdroje Výzvy Parametry Kalendáře Domény Pracovní stanice (třídy pracovních stanic) 21

22 Rozvrhování úloh - parametry Priorita úloh Dostupné výpočetní zdroje (licence) Výpočetní čas alokovaný pro daného uživatele Požadavky na zdroje Povolený počet souběžně běžících úloh pro jednoho uživatele Očekávaný čas provádění úlohy Čas, po který již úloha běží Množství požadované paměti Zpracování neúspěšných úloh 22

23 23

24 Workload Management System automations group (Batch controller) system management experts and operators Skupina zodpovědná za plánování, přípravu a rozvrhování aplikací a přidělování zdrojů Poskytuje popis aplikace Identifikuje vlastníka a uživatele aplikace Identifikuje autorizaci přístupu k datům (souhlas vlastníka dat) Shromažďuje informace o provádění úloh, závislostech a o kritických cestách 24

25 Workload Management - politiky Jaké máme k dispozici zdroje (pro daného zákazníka) a jaké je jejich aktuální průměrné využití? Jaké používáme technologie? Kolik komplexních aplikací je využíváno? Kdo bude program používat? V kterých situacích program poběží? Jak často a kdy tato situace nastane? Bude tato situace vyžadovat spuštění dalších programů? Na jakém systému program poběží? Kolik dat se bude muset přenášet a odkud? Budou data vytvořená tímto programem nebo pro tento program dále používána? 25

26 Propojení služeb Event management Operations management Availibility management Performance and Capacity management Network management Security management Business process management Reporting management SLA management Notification and Escalation Management Problem management Change management 26

27 Obsah Storage Management SAN, NAS, RAID Primární, sekundární, off-line paměti Workload Management Výhody dávkového zpracování Nároky na zdroje Rozvrhování úloh Backup and Recovery Management Typy záloh Metriky zálohování Typy havárijí Proces obnovy Business Continuity Planning Dostupnost služeb a systémů 27

28 Backup and Recovery Mgmt. Kompletní zálohování a co nejrychlejší obnovení normálního provozu služeb při současné minimalizaci důsledků na uživatele Zálohování Kopírování dat na oddělené médium s cílem umožnit obnovení ztracených nebo poškozených souborů a ochrana organizace před hlavními haváriemi Provádí se podle stanoveného rozvrhu tak, aby obnova dat odpovídala obchodním požadavkům Data Recovery Proces obnovy dat Proces zachraňování dat z poškozených, rozbitých nebo nedostupných médií Zálohovací software Politiky zálohování dat 28

29 Backup Management Strategie zálohování: Úplná záloha (drive image x file copy) Přírůstková záloha (incremental) Záloha dat jen od poslední zálohy, malé objemy dat Rozdílová záloha (differential) Záloha dat od poslední úplné zálohy Objem dat postupně roste Průběžné zálohování Zrcadlení disků Snapshot zálohy Čas potřebný pro vytvoření zálohy, požadavky na zdroje, zálohování stejných souborů, online x offline zálohování Zálohování provádět periodicky a automaticky Komprese dat delší čas potřebný pro obnovu dat 29

30 Backup and Recovery - metriky RPO Recovery Point Objective Časový okamžik od kterého bude systém restartovaný Uplatněný roll-back Zvýšení frekvence zálohování snižuje RPO Backup window čas potřebný pro zálohování (přírůstková záloha) Restore time čas potřebný pro obnovu dat (RTO) Retention time doba, po kterou jsou data dostupná pro obnovu Backup validation Open File backup 30

31 Havárie: Backup and Recovery Poškození harddisku, souborového systému (fyzické, logické) Náhodné smazání nebo poškození souborů Požáry, povodně, zemětřesení atd. Napadení systému viry Ztráta klíčové osoby Prevence před haváriemu: Uložení záloh na jiném místě (offsite copies) Přepěťová ochrana Záložní napájení (UPS Uninterruptible Power Supply) Protipožární systémy Antivirový software Redundantní výpočetní zařízení 31

32 Recovery Management Proces obnovy: Zakoupení nového zařízení (HW), případně oprvení starého zařízení, odstranění virů, atd. Reinstalace SW (spolupráce s poskytovatelem SW) Vyzvednutí paměťových disků uložených mimo sídlo firmy Obnovení dat z příslušných záloh (nebo obnova dat z poškozených médií) Opětovné zapsaní dat z poslední doby, které nejsou součástí zálohy Plán obnovy: Musí zahrnovat data, HW i SW Základem pro jeho tvorbu jsou RPO a RTO 32

33 Recovery Management BCP Business Continuity Planning Cíle: Zajistit provádění operací nepřetržitě za jakýchkoliv podmínek Zajistit průběh byznys funkcí organizace i v případě havárie a po ní Kombinace plánů pro zálohování, obnovu a vysokou dostupnost prostředků Analýza dopadů, analýza hrozeb (rizik), tvorba scénářů Přerušení provozu služeb přímé + nepřímé dopady 33

34 Dostupnost systémů Dostupnost zahrnuje: Čas po který procesy a systémy fungují normálně Čas potřebný pro obnovu systému po selhání některé komponenty Vysoká dostupnost Téměř nepřetržitá dostupnost systémů Zvyšují ji řešení využívající redundanci HW, SW i dat Různé úrovně vysoké dostupnosti až po nepřetržitou dostupnost Čím větší úroveň dostupnosti, tím větší redundance a náklady 34

35 Dostupnost systému 35

36 36

37 37

38 38

39 Propojení služeb Configuration management Event management Operations management Availibility management Performance and Capacity management Network management Security management Inventory Business process management Resource Management (Utility computing) 39

40 Propojení služeb Reporting management SLA management Knowledge management Asset management Notification and Escalation Management Problem management 40

41 Děkuji za pozornost 41