Storage Management Workload Management Backup and Recovery Management Přednáška pro ISE 2. května 2014 Marek Rychlý (a Ivana Burgetová)
Obsah Storage Management SAN, NAS, RAID Primární, sekundární, off-line paměti Workload Management Výhody dávkového zpracování Nároky na zdroje Rozvrhování úloh Backup and Recovery Management Typy záloh Metriky zálohování Typy havárií Proces obnovy Business Continuity Planning Dostupnost služeb a systémů 2
Storage Management Udržuje úložiště dat a zpřístupňuje je ostatním IT komponentám Ukládání, ochrana a zpřístupnění informací Zrcadlení disků Replikace dat Zálohování dat Archivace dat 3
Storage Management úkoly Stanovit politiky: Kde ukládat data Na jak dlouho V jaké formě Kdo k nim může přistupovat (Access Control List) Návrh paměťové infrastruktury (typicky úložiště na síti) Údržba paměťových zařízení Archivování a obnova těchto dat 4
SAN Server FC Switch LAN Switch Server Diskové pole s vlastní inteligencí Storage area network Dedikovaná datová síť Slouží pro připojení externích zařízení k serverům Fyzické oddělení dat a serverů Sdílení zdrojů mezi jednotlivými servery Podpora pro clusterová řešení a architekturu no single point of failure Block-based storage 5
NAS LAN Switch Server Server NAS Zařízení Network attached storage Běžná paměť se souborovým systémem připojená k síti Poskytuje přístup k datům různým klientům Poskytují paměť i souborový systém Levnější varianta 6
7
SAN x NAS 8
9
RAID Redundant Array of Independent Disks Vícenásobné diskové pole nezávislých disků Vyšší výkon a odolnost vůči chybám Lepší integrita dat Prokládání dat Zrcadlení dat Parita 6 základních typů polí + jejich kombinace a modifikace 10
Metriky: RAID MTTF mean time to failure MTTDL mean time to data loss MTTR mean time to recovery UBE unrecoverable bit error rate Atomic write failure 11
Typy pamětí Primární paměť vnitřní paměť Sekundární paměť musí se využít I/O kanály Near-line paměť není třeba manuální vložení média Off-line paměť je potřeba médium manuálně vložit do paměťového zařízení Tape library 12
Hierarchical storage management Automatický přesun data mezi různými typy pamětí Rychlá paměťová zařízení drahá Přesuny dat podle potřeby, na základě monitorování způsobu jejich využití Archivace dat na levných zařízeních 13
Propojení služeb Configuration management Event management Availibility management Performance and Capacity management Operations management Network management Security management Inventory Business process management Resource Management (Utility computing) 14
Propojení služeb Reporting management SLA management Knowledge management Asset management Notification and Escalation Management Problem management Change management 15
Obsah Storage Management SAN, NAS, RAID Primární, sekundární, off-line paměti Workload Management Výhody dávkového zpracování Nároky na zdroje Rozvrhování úloh Backup and Recovery Management Typy záloh Metriky zálohování Typy havárijí Proces obnovy Business Continuity Planning Dostupnost služeb a systémů 16
Workload Management Řízení vykonávání série programů (jobs, job streams) na počítači (počítačích) bez lidské interakce Job skript nebo binární spustitelný kód, který pracuje s vstupními, výstupními daty a parametry, a plní nějaký obchodní cíl Nevyžaduje interakci uživatele Interakce uživatele (administrátora) pouze v případě neúspěchu Zefektivnění rutinních opakujících se činností Efektivní hromadné zpracování 17
Dávkové zpracování - výhody Minimální požadavky na interakci a dohled Snížení zátěže pracovníků Sdílení výpočetních prostředků více uživateli Úlohy lze naplánovat na dobu, kdy jsou výpočetní zdroje málo využívány Minimalizace nečinnosti výpočetních zdrojů, zvýšení výkonnosti Lepší využívání zdrojů Úspora práce a nákladů 18
Dávkové zpracování Nároky na zdroje: Čas procesoru Přístupy na disk Provoz na síti Požadavky na paměť Omezení daná prostředím: Dostupné zdroje Maximální počet paralelních procesů 19
Rozvrhování úloh Statické x dynamické SW pro rozvrhování Rozhraní pro definování pracovních stanic, pracovních toků, závislostí úloh, časových závislostí, uživatelů, rolí, kalendářů a předávání chyb Automatické odevzdání a sledování provádění úloh Rozhraní pro monitorování průběhu provádění úloh Řazení úloh do front (priorita) Metody upozornění na selhání úloh 20
Rozvrhování úloh Úlohy Závislosti Kolekce úloh Uživatelé Zdroje Výzvy Parametry Kalendáře Domény Pracovní stanice (třídy pracovních stanic) 21
Rozvrhování úloh - parametry Priorita úloh Dostupné výpočetní zdroje (licence) Výpočetní čas alokovaný pro daného uživatele Požadavky na zdroje Povolený počet souběžně běžících úloh pro jednoho uživatele Očekávaný čas provádění úlohy Čas, po který již úloha běží Množství požadované paměti Zpracování neúspěšných úloh 22
23
Workload Management System automations group (Batch controller) system management experts and operators Skupina zodpovědná za plánování, přípravu a rozvrhování aplikací a přidělování zdrojů Poskytuje popis aplikace Identifikuje vlastníka a uživatele aplikace Identifikuje autorizaci přístupu k datům (souhlas vlastníka dat) Shromažďuje informace o provádění úloh, závislostech a o kritických cestách 24
Workload Management - politiky Jaké máme k dispozici zdroje (pro daného zákazníka) a jaké je jejich aktuální průměrné využití? Jaké používáme technologie? Kolik komplexních aplikací je využíváno? Kdo bude program používat? V kterých situacích program poběží? Jak často a kdy tato situace nastane? Bude tato situace vyžadovat spuštění dalších programů? Na jakém systému program poběží? Kolik dat se bude muset přenášet a odkud? Budou data vytvořená tímto programem nebo pro tento program dále používána? 25
Propojení služeb Event management Operations management Availibility management Performance and Capacity management Network management Security management Business process management Reporting management SLA management Notification and Escalation Management Problem management Change management 26
Obsah Storage Management SAN, NAS, RAID Primární, sekundární, off-line paměti Workload Management Výhody dávkového zpracování Nároky na zdroje Rozvrhování úloh Backup and Recovery Management Typy záloh Metriky zálohování Typy havárijí Proces obnovy Business Continuity Planning Dostupnost služeb a systémů 27
Backup and Recovery Mgmt. Kompletní zálohování a co nejrychlejší obnovení normálního provozu služeb při současné minimalizaci důsledků na uživatele Zálohování Kopírování dat na oddělené médium s cílem umožnit obnovení ztracených nebo poškozených souborů a ochrana organizace před hlavními haváriemi Provádí se podle stanoveného rozvrhu tak, aby obnova dat odpovídala obchodním požadavkům Data Recovery Proces obnovy dat Proces zachraňování dat z poškozených, rozbitých nebo nedostupných médií Zálohovací software Politiky zálohování dat 28
Backup Management Strategie zálohování: Úplná záloha (drive image x file copy) Přírůstková záloha (incremental) Záloha dat jen od poslední zálohy, malé objemy dat Rozdílová záloha (differential) Záloha dat od poslední úplné zálohy Objem dat postupně roste Průběžné zálohování Zrcadlení disků Snapshot zálohy Čas potřebný pro vytvoření zálohy, požadavky na zdroje, zálohování stejných souborů, online x offline zálohování Zálohování provádět periodicky a automaticky Komprese dat delší čas potřebný pro obnovu dat 29
Backup and Recovery - metriky RPO Recovery Point Objective Časový okamžik od kterého bude systém restartovaný Uplatněný roll-back Zvýšení frekvence zálohování snižuje RPO Backup window čas potřebný pro zálohování (přírůstková záloha) Restore time čas potřebný pro obnovu dat (RTO) Retention time doba, po kterou jsou data dostupná pro obnovu Backup validation Open File backup 30
Havárie: Backup and Recovery Poškození harddisku, souborového systému (fyzické, logické) Náhodné smazání nebo poškození souborů Požáry, povodně, zemětřesení atd. Napadení systému viry Ztráta klíčové osoby Prevence před haváriemu: Uložení záloh na jiném místě (offsite copies) Přepěťová ochrana Záložní napájení (UPS Uninterruptible Power Supply) Protipožární systémy Antivirový software Redundantní výpočetní zařízení 31
Recovery Management Proces obnovy: Zakoupení nového zařízení (HW), případně oprvení starého zařízení, odstranění virů, atd. Reinstalace SW (spolupráce s poskytovatelem SW) Vyzvednutí paměťových disků uložených mimo sídlo firmy Obnovení dat z příslušných záloh (nebo obnova dat z poškozených médií) Opětovné zapsaní dat z poslední doby, které nejsou součástí zálohy Plán obnovy: Musí zahrnovat data, HW i SW Základem pro jeho tvorbu jsou RPO a RTO 32
Recovery Management BCP Business Continuity Planning Cíle: Zajistit provádění operací nepřetržitě za jakýchkoliv podmínek Zajistit průběh byznys funkcí organizace i v případě havárie a po ní Kombinace plánů pro zálohování, obnovu a vysokou dostupnost prostředků Analýza dopadů, analýza hrozeb (rizik), tvorba scénářů Přerušení provozu služeb přímé + nepřímé dopady 33
Dostupnost systémů Dostupnost zahrnuje: Čas po který procesy a systémy fungují normálně Čas potřebný pro obnovu systému po selhání některé komponenty Vysoká dostupnost Téměř nepřetržitá dostupnost systémů Zvyšují ji řešení využívající redundanci HW, SW i dat Různé úrovně vysoké dostupnosti až po nepřetržitou dostupnost Čím větší úroveň dostupnosti, tím větší redundance a náklady 34
Dostupnost systému 35
36
37
38
Propojení služeb Configuration management Event management Operations management Availibility management Performance and Capacity management Network management Security management Inventory Business process management Resource Management (Utility computing) 39
Propojení služeb Reporting management SLA management Knowledge management Asset management Notification and Escalation Management Problem management 40
Děkuji za pozornost 41