Modulární systémy: Evoluce spolehlivosti

Transkript

1 Modulární systémy: Evoluce spolehlivosti Autor: Neil Rasmussen White Paper č. 76

2 Resumé Ukazuje se, že mezi komplexními systémy patří modulární přístup k těm řešením, která úspěšně prosperují. Důležitou podmínkou tohoto úspěchu je značná spolehlivost a odolnost proti výpadkům, které umožňují modulárnímu systému v průběhu oprav přesunutí operací z porouchaných modulů na jiné. V datových střediscích již získal modulární přístup základy v architekturách serverů a úložných systémů odolných proti výpadkům. Jak se datová střediska vyvíjí a učí se z přirozeného vývoje, musí se vyvíjet i infrastruktura sítí s kritickou důležitostí (NCPI), aby umožňovala podporu nových strategií pro hladký běh, zotavení a růst. 2

3 Úvod Modularita je zavedená technika pro organizaci a zjednodušení složitých systémů. Modularita drží nepřekonatelný rekord v úspěšnosti řešení problémů od elementární úrovně (baterie do svítilny) až po komplexní (buňky v organismu). Nicméně v člověkem vyrobených systémech na okraji evolučního přesunu od monolitického k modulárnímu přístupu může převládat skepse a pomalé zavádění, než dojde k přijetí principu modularity a prověření jejích výhod. Fyzická infrastruktura sítí s kritickou důležitostí (NCPI) datových středisek je ve fázi přechodu. Zatímco fyzicky zřetelné atributy architektury stavebních bloků - škálovatelnost, flexibilita, jednoduchost a přenosnost - jsou snadno pochopitelné a není třeba o nich diskutovat, jeden aspekt modulárního návrhu se stal předmětem debat v tomto odvětví. Je jím spolehlivost. Aplikace klasických jednoduchých analýz spolehlivosti na tento nový způsob provedení činností ( více částí znamená vyšší riziko selhání ) je přinejmenším nekompletní, v nejhorším případě zavádějící. Úkolem tohoto dokumentu je předvést s pomocí případových studií, jak modularita přináší nejen jasné a snadno pochopitelné výhody, ale také méně patrnou a méně chápanou, zato však velmi důležitou výhodu: odolnost vůči výpadkům. Základní odolnost proti chybám modulárního přístupu poskytuje novou obranu proti selhání. Do komplexních systémů přináší strategii spolehlivosti, která je nejen adekvátní, ale dokonce mnohem lepší. Reálná případová studie: Rané stádium vývoje života na Zemi Historie modularity pochází z dob mnohem vzdálenějších, než datová střediska či baterie do svítilny. První nemodulární systémy - jednobuněčné organismy - žily na Zemi již před třemi miliardami let. Zkameněliny těchto organismů ukazují, že organismy vyvinuly ulity, chapadla, ústní otvory, údy, klepeta a další spletité útvary. Některé dorostly do překvapivých rozměrů až 15 cm. Tyto komplexní monolitické jednobuněčné organismy dominovaly potravinovému řetězci na Zemi miliardy let. Složitý jednobuněčný život Photo courtesy David Walker, Brian Darnton Poté, před cca 500 miliony let, vznikly vícebuněčné organismy. Během pouhých desítek milionů let se vyvinuly tak rychle, že převzaly vládu nad třemi miliardami let evoluce jednobuněčných organismů a zcela ovládly pole. 3

4 Výhoda modularity vícebuněčných organismů Proč zvítězila modularita vícebuněčných organismů nad designem monolitických systémů? Možnost škálování a růstu. Růst systému ve velikosti a navíc i vývoj nových možností byl realizován jednoduše přidáním nových modulů (buněk), které mohly spolupracovat s existujícími pomocí standardních rozhraní. Jednodušší proces duplikace. Duplikace menších, méně komplikovaných buněk, byla snazší, rychlejší a spolehlivější, než duplikace jediné komplikované buňky. Schopnost specializace funkcí modulů. Delegace První vícebuněčný život a specializace buněčných úloh poskytovala stejnou efektivitu a jednoduchost jako týmová práce. V raných vícebuněčných organismech mohl být jeden typ buněk určen pro pohyb, další pro ochranu, jiný pro hledání potravy atd. Rychlé přizpůsobení novému prostředí. Přidáním, odebráním nebo změnou buněk může být rychle vyzkoušeno a poté přijato či odmítnuto mnohem více variant systému. Odolnost proti chybám. Pokud existuje redundance buněk, mohou jednotlivé buňky selhat, aniž by se to negativně projevilo na celém systému. Je zde možnost opravy zbylými buňkami bez výpadku systému (v tomto případě postižení či smrti). Poslední uvedený atribut, odolnost proti chybám, je velmi důležitou výhodou modulárních systémů, zajišťující vyšší spolehlivost, než jaké dosahují monolitické systémy. Modularita rozdělí systém na menší části, z nichž každá obsahuje redundantní komponenty, takže selhání jedné či dokonce více komponent nemusí mít nepříznivý dopad na funkci celého systému. Při obyčejném škrábnutí ztratí lidská kůže stovky buněk, ale naše těla se z takové ztráty nezhroutí. Zbylé buňky pokračují v činnosti, zatímco jsou prováděny opravy. My lidé jsme modularitu nevynalezli - my jsme modularita. Každé lidské tělo obsahuje biliony modulů (buněk). Výhody odolnosti proti chybám pociťuje denně každý z nás. 4

5 Případová studie IT: Pevné disky V době datových středisek v podobě počítačů mainframe byla úložná zařízení představována velkými proprietálními pevnými disky se sadou ploten o průměru 35 cm, přesnými mechanismy pro čtení a zápis a skříněmi o velikosti pračky. V roce 1978 patentovala společnost IBM myšlenku polí menších disků, ale nepokusila se ji zrealizovat, protože cítila, že systém nemůže být nikdy tak spolehlivý, jako konvenční monolitické systémy. Studium a praxe odolnosti vůči chybám byly v počátku vývoje doménou leteckých společností, kde selhání komponenty elektronického systému mohlo mít za následek ztrátu lidských životů. 1 IBM 3370 mainframe - diskové úložiště Fotografie archivy IBM, povolení dosud projednáváno V roce 1987 upozornily výzkumy v Berkeley na stále rostoucí mezeru mezi výpočetní rychlostí a přístupovou dobou k úložným zařízením a objevily možnost použití externích pevných disků u osobních počítačů jako příležitost sestavit je do bloků a získat tak systém s rychlejší přenosovou rychlostí. O rok později převratný dokument A Case for Redundant Arrays of Inexpensive Disks (RAID) (Studie redundantních polí levných pevných disků) uvedl několik typů zápisu dat (úrovně RAID), které taková pole mohou používat k ukládání, čtení a obnově dat. V roce 1990 se sešly teorie a hardware s použitím 5.25 pevných disků, které se již vyvinuly do té míry, že měly kapacitu, výkon a spolehlivost vhodné pro použití v polích RAID. Tato nová modulární úložná zařízení nabízela možnost volby mezi redundancí a rychlostí čtení a zápisu a obsadila jen zlomek místa oproti úložným zařízením počítačů mainframe, která nahradila. Výhoda modularity polí RAID Proč zvítězily modulární pole RAID nad starými monolitickými úložnými zařízeními? Možnost škálování a růstu. Úložná kapacita může být snadno zvýšena navýšením počtu modulů v poli nebo přidáním polí. RAID array Jednodušší proces duplikace. Je mnohem jednodušší vyrobit více malých zařízení, která budou sloužit jako moduly RAID, než vyrábět staré komplikované velké disky. Schopnost specializace funkcí modulů. Jednotlivé disky v poli mohou být použity pro další úložnou kapacitu, zvýšení přístupové rychlosti nebo vyšší redundanci v závislosti na úrovni RAID definované pro dané pole. Navíc mohou být s použitím jiných aplikací přiřazených k jednotlivým polím RAID samotná pole považována za moduly vyšší úrovně. 1 V dnešní době, kdy jsou operace IT srdcem téměř všech odvětví vč. zdravotnictví a armády, mohou být datová střediska kritická pro správnou funkci společnosti až do té míry, že selhání může způsobit ztrátu lidských životů. Odolnost proti chybám se proto stává součástí jejich návrhu, a to i nad rámec ekonomických zájmů. 5

6 Rychlé přizpůsobení novému prostředí. Jednotky disků mohou být přidávány a odebírány a úroveň RAID může být snadno změněna podle preference kapacity, rychlosti či redundance. Odolnost vůči chybám. Schémata zápisu polí RAID obsahují redundanci, která poskytuje schopnost obnovy dat, pokud jedna z diskových jednotek selže. K překvapení návrhářů nebylo nadšené přijetí polí RAID na trhu zapříčiněno ani tak nárůstem rychlosti což bylo původním cílem návrhu - ale zvýšenou spolehlivostí plynoucí z odolnosti vůči chybám. Dokud autoři dokumentu z roku 1988 nepředstavili odolnost vůči chybám systému RAID - během přednášek jednoduše vyňali jednu z diskových jednotek a zbytek pole pokračoval ve své funkci dál - bylo nejobvyklejší, ale chybné, chápání spolehlivosti představováno jako doba do první poruchy: systém s více jednotkami proto musí být méně spolehlivý, protože sestává z více částí. Případová studie IT: Blade servery V době, kdy je tento dokument vytvářen, jsou blade servery centrálním prvkem přechodu k modulárním systémům. Po mnoho let se tradiční samostatné servery stávaly většími a rychlejšími. Jak se rozšiřovaly počítačové sítě, zastávaly servery stále více úkolů. Jak stoupaly požadavky, byly do datových středisek přidávány stále nové servery, často jako záplata bez velké koordinace a plánování. Nebylo výjimkou, když operátor datového střediska zjistil, že přibyl nový server bez jeho vědomí. Výsledná složitost skříní a kabeláže se stávala čím dál tím větším důvodem neznalosti, omylů a ztráty flexibility. Blade servery, které se objevily v roce 2001, jsou velmi jednoduchým a čistým příkladem modulární architektury - blade servery ve skříních jsou na fyzické Konvenční servery úrovni identické, s identickými procesory, připravené ke konfiguraci a použití pro jakýkoli účel dle potřeby uživatele. Jejich uvedení přineslo do oblasti serverů mnoho výhod modularity - škálovatelnost, snadnou duplikaci, specializaci funkcí a adaptibilitu. Přestože se blade servery stále více nasazují v datových střediscích z důvodu klasických výhod modularity, jejich plný potenciál, využívající jedné ze zbývajících vlastností modulární architektury, stále čeká na hromadné nasazení. Tou vlastností je odolnost vůči chybám. Blade servery odolné vůči chybám - se zabudovanou logiku opravy chyb, která přenese operace z poškozeného serveru na nový funkční blade server - se objevily a staly dostupnými teprve nedávno. Spolehlivost serverů odolných vůči chybám předčí stávající techniky uvedením redundantního softwaru a clusterů jednotlivých serverů, což umožní blade serverům stát se dominantní architekturou v datových střediscích. S nástupem odolnosti vůči chybám předpokládají odborníci masový přechod k blade serverům v průběhu následujících pěti let. 6

7 Výhoda modularity blade serverů Proč zvítězí modulární blade servery nad většími jednotlivými servery? Možnost škálování a růstu. Nasazením dalších modulů (blade serverů) může být snadno zvýšena výpočetní kapacita. Jednodušší proces duplikace. Je mnohem jednodušší vyrobit více malých blade serverů, než celé velké servery. Napájecí zdroj, chladicí ventilátory, síťová připojení a další podpůrné komponenty jsou centralizovány ve skříni a sdíleny všemi blade servery, takže struktura samotných blade serverů je jednodušší. Blade server (10 jednotek blade v rámu) Schopnost specializace funkcí modulů. Jednotlivé blade servery mohou být nastaveny pomocí softwarových aplikací podle přání uživatele. Rychlé přizpůsobení novému prostředí. Blade servery mohou být podle potřeby přidávány a odebírány, jak to vyžaduje obchod nebo finanční požadavky. Blade servery mohou být také překonfigurovány pro jiné aplikace. Odolnost vůči chybám. Selhání blade serveru může být vyřešeno automaticky pomocí vestavěné logiky opravy chyb, která plynule přesune operace na jiný blade server. Změny definice selhání systémů IT Tyto případové studie ukazují, jak z jednoduchých důvodů, které jsou přirozenou součástí principů modularity, modularita vítězí nad složitou monolitickou architekturou. Jeden z těchto důvodů, odolnost vůči chybám, je velmi závažný pro budoucí datová střediska. Jakmile budou v datových střediscích servery a datová úložiště odolná vůči chybám, změní se v oblasti IT samotná definice selhání. Představte si dva rozdílné scénáře selhání v datovém středisku (Obrázek 1). Na pravé straně je zobrazeno selhání všech stojanů, ke kterému by došlo, pokud by selhala a přestala pracovat jediná velká jednotka UPS chránící celé datové středisko. Na levé straně je zobrazeno selhání jednoho stojanu. V konvenčních datových střediscích by se toto selhání jevilo správcům IT jako stejná chyba, neboť v případě selhání jediného stojanu by závislost mezi servery, diskovými poli, přepínači a směrovači nejspíše zavinily kaskádový efekt, který by vyřadil celé datové středisko. S nasazováním nových modulárních systémů na bázi polí do výpočetních a datových středisek je pomalu manažery IT chápáno selhání zobrazené vlevo - jediný stojan - jako lepší, neboť redundance zdrojů nabízí možnost správné funkce datového střediska i v případě selhání jednotlivých jednotek. Jak bude docházet ke stále širšímu použití architektur odolných vůči výpadkům, budou moci datová střediska tolerovat větší počet selhání jednotek, aniž by došlo k selhání celého systému. Až naplní blade servery počáteční očekávání o odolnosti vůči výpadkům, bude selhání jednoho, dvou, tří či dokonce více stojanů událostí, která nebude kritická pro funkci datového střediska. 7

8 Obrázek 1 - dva rozdílné scénáře selhání v datovém středisku pohled shora, čtyři řady po osmi stojanech selhání jednoho stojanu selhání všech stojanů Důsledky pro architekturu NCPI Tento nový přístup ke správě chyb - očekávání, že některé moduly nevyhnutelně selžou, v kombinaci s mohutnou přípravou na překonání těchto selhání - vede k závěrům, jak by měla být nová architektura IT chráněna vlastním systémem NCPI. Například stanou-li se datová střediska odolnější vůči selhání ve vrstvě IT, stane se ochrana napájení jedinou velkou jednotkou UPS méně optimální, neboť její selhání způsobí pád celého systému, což je zbytečné v datovém středisku, které dokáže překonat selhání jednotlivých stojanů. Pokud jsou jednotky UPS v datovém středisku rozloženy tak, že každý stojan má svou vlastní jednotku, pak selhání jednoho systému UPS způsobí selhání pouze jediného stojanu a nikoli celého systému. I když je jednotek UPS více, což zvyšuje pravděpodobnost selhání individuálních jednotek, neznamená toto selhání zkázu celého systému. Pokud pro selhání celého systému musí selhat tři stojany, pak by musely selhat tři jednotky UPS najednou, aby to znamenalo pád celého systému, což je velmi nepravděpodobné - mnohem nepravděpodobnější než selhání jedné velké jednotky UPS. Se zlepšující se odolností vůči selhání systémů IT teorie spolehlivosti silně favorizuje modulární architektury distribuovaného napájení a chlazení. 8

9 Porovnání monolitické a modulární architektury NCPI Architektura fyzické infrastruktury sítí s kritickou důležitostí (NCPI, Network-Critical Physical Infrastructure) se za posledních 30 let historie datových středisek téměř nezměnila. Ať již šlo o nejmenší výpočetní sál nebo největší podnikové prostory, byl dosud používaný model fyzické infrastruktury s centralizovanou továrnou pro ochranu napájení a chlazení. Provedení takového typu infrastruktury vyúsťuje v monolitickou a jedinečnou konfiguraci zařízení a propojení. Pokud je taková architektura nahrazena modulárním řešením, nejen že může infrastruktura NCPI korektně podporovat modulární zařízení IT odolná vůči chybám, ale samotné vybavení Centralizované monolitické UPS NCPI může využívat výhod modularity, včetně výhod spolehlivosti a odolnosti vůči chybám. Výhoda modularity infrastruktury NCPI Proč nahradí modulární architektura NCPI konvenční monolitické systémy? Možnost škálování a růstu. Velikost modulárního systému NCPI lze přizpůsobit současným požadavkům IT v datovém středisku a lze ji s rostoucími požadavky zvětšovat. Tato výhoda je vyjímečně důležitá pro systémy NCPI, kde tradiční metoda představovala jednorázovou implementaci napájení a chlazení, které by zvládly podporovat projektovanou maximální zátěž IT, což by vedlo k citelnému plýtvání investičními i provozními prostředky. Jednodušší proces duplikace. Modulární návrh představuje výrobu většího počtu menších jednotek, namísto malého počtu větších jednotek. Vyšší výrobní množství s sebou nese menší počet defektů. Menší a jednodušší systém znamená větší automatizaci a méně manuální práce při výrobě, což také přináší menší počet defektů. Schopnost specializace funkcí modulů. Jednotky na ochranu napájení a chlazení mohou být vyráběny ve větším počtu konfigurací a zajišťovat tak speciální požadavky na dostupnost a chlazení v různých částech datového střediska. Rychlé přizpůsobení novému prostředí. Vybavení datového střediska se neustále mění. Přidávají se nová zařízení a zařízení IT se obměňují každé 2 až 3 roky. Nové vybavení může mít jinou velikost a tvar, jiné požadavky na napájení a chlazení, jiné konektory apod. Modulární systém NCPI lze snadno rozšířit nebo překonfigurovat tak, aby změny požadavků IT splnil. Modulární UPS na úrovni stojanu Odolnost vůči chybám. Tak jako odolnost vůči chybám zařízení IT umožňuje datovému středisku funkci i v případě selhání komponenty, umožňuje systém NCPI odolný vůči chybám nepřerušený běh napájení a chlazení v případě selhání komponenty systému NCPI. Odolnosti vůči chybám může být dosaženo redundancí jednotek NCPI nebo interní redundancí komponent uvnitř jednotek NCPI - například přidáním dalšího napájecího modulu do jednotky UPS. 9

10 Stejně jako u předchozích případových studií modulárních systémů, pomáhají i zde první čtyři parametry úspěchu tohoto přístupu, zatímco pátý parametr - odolnost vůči chybám - je kritický. Jelikož operace v datovém středisku absolutně závisí na napájení a chlazení, je odolnost vůči chybám kritická stejně tak v infrastruktuře NCPI jako vzařízení IT, které tato infrastruktura chrání. Datové středisko odolné vůči chybám bez systému NCPI odolného vůči chybám nedává více smyslu než závěsný most se širokou vozovkou, ale tenkými lany. Závěr Posun přístupu od monolitických systémů k modulárním je přirozenou evolucí komplexních systémů, neboť poskytuje výhody ohledně efektivity, flexibility a spolehlivosti. Zkoumáním úspěšných případových studií se zjednodušuje pochopení potenciálu modularity učinit citelné či dokonce revoluční vylepšení systému, který byl od svého počátku monolitický a nikdy nebyl chápán jinak. Odolnost vůči chybám a další kritické parametry modularity - schopnost škálování, adaptování, specializace a duplikace - jsou v člověkem vyrobených modulárních systémech tak evidentní a nezvratné, jako je tomu v systémech přírodních. Svět IT objevil tyto výhody s nástupem modulárních systémů pro ukládání a zpracování dat - pole RAID a blade servery. Datová střediska dnes stále více následují podniky, jakými jsou například letecké přepravní společnosti, v široké implementaci výhody modularity, která byla běžně používána v kritických systémech již od 70. let: odolnost vůči chybám. Odolnost vůči chybám ukazuje, že pečlivá kontrola kvality komponent je pouze prvním krokem ke spolehlivosti systému, a že nepřerušený provoz systému čelící selhání komponent je výhodnou taktikou. Jak se modularita a odolnost vůči chybám stávají novým modelem pro návrh datových středisek, musí se infrastruktura NCPI dát stejným směrem, jednak aby efektivně chránila tato datová střediska, a dále aby získala i základní výhody modularity - efektivitu, flexibilitu a spolehlivost. 10

11 Související dokumenty White Paper Dokument White Paper č. 117 Fyzická infrastruktura sítí s kritickou důležitostí: optimalizace obchodní hodnoty. Dokument White Paper č. 116 Standardizace a modularita ve fyzické infrastruktuře sítí s kritickou důležitostí. Informace o autorech: Neil Rasmussen je zakladatel a hlavní technický ředitel společnosti American Power Conversion. Ve společnosti APC má Neil Rasmussen na starosti oddělení výzkumu a vývoje s největším rozpočtem na světě v oblasti napájení, chlazení a infrastruktury stojanů pro kritické sítě s hlavními vývojovými středisky ve státech Massachusetts, Missouri, Dánsko, Rhode Island, Tchaj-wan a Irsko. Neil je v současné době vedoucím činitelem v úsilí společnosti APC vyvíjet modulární škálovatelná řešení datových středisek. Před založením společnosti APC získal Neil Rasmussen v roce 1981 diplom na univerzitě MIT v oboru elektrotechnika, kde zpracoval diplomovou práci na téma analýzy napájení 200 MW pro termonukleární reaktor Tokamak. Od roku 1979 do roku 1981 pracoval v institutu MIT Lincoln Laboratories na setrvačníkových systémech uložení energie a solárních napájecích systémech. Suzanne Niles je autorkou dokumentů White Paper společně s výzkumným střediskem NCPI společnosti APC. Suzanne studovala matematiku na vysoké škole Wellesley College a získala bakalářský titul v informatice na univerzitě MIT se závěrečnou prací na téma rozpoznávání ručně psaného textu. Více než 25 let vzdělává studenty pomocí různých médií od softwarových příruček až po fotografie a dětské písničky. 11