Jak se vyhnout nákladům vyplývajícím z předimenzování infrastruktury datových středisek a síťových sálů Bílá kniha č. 37 Verze 4
Resumé Fyzická a napájecí infrastruktura datových středisek a síťových sálů bývá obvykle předimenzována o více než 100 %. Dokument obsahuje statistické údaje týkající se předimenzování a jsou vyčísleny náklady související s předimenzováním. Materiál též pojednává o zásadních důvodech vedoucích k předimenzování. Je zde popsána architektura a metoda, které předimenzování zabrání. 2
Úvod Tato práce ukáže, že jediné vysoké náklady související s infrastrukturou běžného datového střediska či síťového sálu, kterým lze předejít, jsou způsobeny předimenzováním. Využití fyzické a napájecí infrastruktury datového střediska či síťového sálu je obvykle mnohem nižší než 50 %. Nevyužitá kapacita datových středisek a síťových sálů představuje nejen zbytečné investiční náklady, ale též zbytečné náklady na provoz a údržbu, kterým by se dalo předejít. Tento materiál obsahuje tři části. V první jsou uvedena fakta a statistické údaje, týkající se předimenzování. Další část pojednává o důvodech, které k tomu vedou. A v poslední části je popsána architektura a metoda, které zamezí vzniku těchto nákladů. Fakta a statistické údaje, týkající se předimenzování Každý, kdo se pohybuje v oblasti informačních technologií, se již nejspíš setkal s nevyužitým prostorem v datových střediscích, nevyužitou napájecí kapacitou nebo jinou formou nedostatečného využití infrastruktury datových středisek. Abychom tento jev mohli kvantitativně popsat, je třeba si nejprve ujasnit termíny, jež budeme v tomto materiálu používat. Definice pojmů souvisejících s předimenzováním Pro účely tohoto materiálu budeme používat následující termíny: Termín Životnost projektu Kapacita sálu Instalovaná kapacita Očekávaná zátěž Skutečná zátěž Definice Celková plánovaná doba životnosti datového střediska. Obvykle se pohybuje mezi 6 a 15 lety. Běžně se předpokládá 10 let. Maximální zátěž, kterou lze do sálu instalovat. Je možné na začátku instalovat veškeré napájecí a chladicí zařízení, jež má tuto kapacitu zajistit nebo jen jeho část. Zátěž, kterou instalovaná napájecí a chladicí zařízení zvládnou. Je menší než kapacita sálu nebo je jí rovna. Předpokládaný výkon požadovaný při objednání systému a během celé doby jeho životnosti. Obvykle se v průběhu času mění a oproti hodnotě požadované při nákupu systému se zvýší. Skutečný výkon požadovaný při objednání systému a během celé doby jeho životnosti. Obvykle se v průběhu času mění a oproti hodnotě požadované při nákupu systému se zvýší. 3
Předpoklady použité v modelu Aby společnost APC mohla shromáždit a analyzovat údaje související s předimenzováním, provedla průzkum uživatelů a vyvinula zjednodušený model popisující plány kapacit infrastruktury datových středisek. Model předpokládá následující: Životnost projektu datového střediska je 10 let. Plán datového střediska počítá s konečnou napájecí kapacitou a s odhadovanou počáteční napájecí kapacitou. Odhaduje se, že během typické doby životnosti datového střediska očekávaná zátěž roste od počáteční zátěže lineárně a konečné hodnoty dosáhne v polovině doby životnosti datového střediska. Z výše uvedeného modelu vzešel plánovací model zobrazený na obr. 1. Ten považujeme za reprezentativní model toho, jak se systémy plánují. 120% kapacita % 100% 80% 60% 40% 20% kapacita sálu instalovaná kapacita plánované zatížení nadbytečná kapacita skutečné zatížení 0% 0 1 2 3 4 5 6 7 8 9 10 doba životnosti Obr. 1 Projektová napájecí kapacita a požadavky na kapacitu během doby životnosti datového střediska Na obrázku je znázorněn typický plánovací cyklus. Instalovaná kapacita napájecích a chladicích zařízení je rovna kapacitě sálu. Jinými slovy, systém se celý vybuduje hned na začátku. Plán počítá s tím, že očekávaná zátěž datového střediska nebo síťového sálu začne na 30 % a postupně poroste až ke konečné hodnotě očekávané zátěže. Nicméně skutečná počáteční zátěž je obvykle nižší než očekávaná počáteční zátěž a postupně roste ke konečné skutečné zátěži, jež je výrazně nižší než instalovaná kapacita. 4
(Povšimněte si, že výkon instalovaných zařízení, uváděný na štítcích od výrobce, může být vyšší než je instalovaná kapacita, a to v důsledku redundance nebo výkonové rezervy, kterou si uživatel přál.) Údaje získané ze skutečných instalací Abychom získali představu o rozsahu předimenzování ve skutečných provozech, společnost APC shromáždila relevantní údaje od mnohých svých zákazníků. Údaje pocházejí z prohlídek skutečných instalací a z rozhovorů se zákazníky. Společnost APC zjistila, že počáteční očekávaná zátěž dosahuje obvykle 30 % hodnoty konečné očekávané zátěže. Rovněž se zjistilo, že počáteční skutečná zátěž obvykle představuje 30 % počáteční očekávané zátěže a že konečná skutečná zátěž využívá instalovanou kapacitu zhruba ze 30 %. Tyto údaje jsou shrnuty na obr. 1. Průměrné datové středisko je tedy oproti návrhu 3krát předimenzováno. A při objednávání se předimenzování projeví mnohem více, jelikož se obvykle pohybuje v řádu 10násobku. Zbytečné náklady související s předimenzováním Náklady během celé doby životnosti, související s předimenzováním, lze rozdělit do dvou kategorií: investiční náklady a provozní náklady. Zbytečné investiční náklady znázorňuje na obr. 1 stínovaná oblast. Ta představuje tu část kapacity systému, jež se v průměrné instalaci nevyužívá. Zbytečná kapacita jednoznačně představuje zbytečně vynaložené investice Zbytečné investiční náklady zahrnují náklady na pořízení nadbytečných napájecích a chladicích zařízení, jakož i prostředky proinvestované za projekt a instalaci, včetně elektroinstalace a potrubního systému. Investiční náklady na napájecí a chladicí zařízení typického datového střediska o výkonu 100 kw se pohybují kolem 500 000 USD, tedy 5 USD na jeden watt. Z této analýzy vyplývá, že zhruba 70 % této ceny, čili 350 000 USD, bylo vynaloženo zbytečně. A v prvních letech provozu střediska je toto plýtvání ještě větší. Pokud započítáme i úroky z promrhaných prostředků, pak ztráta vyplývající z předimenzování datového střediska vychází téměř na 100 % veškerých investičních nákladů. Jinými slovy: samotný úrok z původně vynaložených investic by mohl zaplatit téměř veškeré současné vybavení. Během doby životnosti se v souvislosti s předimenzováním zbytečně vynakládají i náklady na provoz daných zařízení. Ty zahrnují náklady vyplývající ze smluv na údržbu, náklady na spotřební materiál a elektrickou energii. Pokud se zařízení udržuje podle pokynů výrobce, dosahují náklady za údržbu během doby životnosti datového střediska nebo síťového sálu hodnoty jen o málo nižší, než byly pořizovací náklady. A protože předimenzování vede k nedostatečnému využívání zařízení, které je však třeba udržovat, značná část nákladů na údržbu je vynaložena zbytečně. Například u datového střediska o výkonu 100 kw se jedná v průběhu doby životnosti systému o částku 250 000 USD. Pokud jsou datová střediska či síťové sály předimenzovány, náklady zbytečně vynaložené na elektrickou energii dosahují rovněž významných částek. Ztráta elektrické energie při chodu napájecích systémů datového střediska či síťového sálu naprázdno se pohybuje okolo 5 % jmenovitého výkonu. Započítáme-li i 5
náklady na chlazení, vychází nám 10 %. U 100kW datového střediska typicky předimenzovaného představuje promrhaná elektrická energie během 10 let životnosti systému přibližně 600 000 kwh, což odpovídá zhruba 55 000 USD. Celkové náklady zbytečně vynaložené během doby životnosti datového střediska či síťového sálu se v průměru pohybují okolo 70 % ceny napájecí a chladicí infrastruktury. Kdyby se infrastruktura mohla měnit a přizpůsobovat skutečným požadavkům, daly by se tyto prostředky teoreticky využít jinak. Pro mnoho společností tyto zbytečně vynaložené náklady představují ztrátu investiční příležitosti a zisk z ní plynoucí by tuto sumu pravděpodobně mnohokrát převyšoval. Například společnosti zabývající se webovým hostingem by mohly prostředky, investované do nevyužitých kapacit, použít pro jiné záměry. Proč dochází k předimenzování? Z údajů vyplývá, že u reálných instalací datových středisek a síťových sálů skutečně v různé míře dochází k předimenzování. Přirozeně se ptáme, zda se takové předimenzování plánuje a počítá se s ním, nebo zda k němu došlo v důsledku chybného plánování, či zda pro to existují nějaké zásadní důvody. Plánované předimenzování Z rozhovorů s manažery typických instalací vyplynulo, že datová střediska se plánují tak, aby vyhověla maximálním požadavkům na napájení zátěže, jež se v budoucnu předpokládá. Kapacita sálu a instalovaná kapacita se realizuje o něco větší než je očekávaná konečná zátěž. Mnoho zákazníků standardně snižuje výkon napájecích systémů a používá pouze zlomek jmenovité kapacity - např. 80 %. Předpokládají totiž, že nebudou-li systémy provozovat na plný výkon, zvýší tím celkovou spolehlivost. Tento postup, kdy se instaluje vyšší kapacita, než je konečná očekávaná zátěž datového střediska, je znázorněn na obr. 1. Představuje plánované, záměrné předimenzování. Tento typ předimenzování sice vede k nedostatečnému využívání kapacity, avšak nepodílí se na celkových zbytečných nákladech největší měrou. Proces plánování a jeho nedostatky V rámci plánování datového střediska či síťového sálu se uplatňuje řada předpokladů týkajících se budoucích nároků. Jde především o následující: Náklady vzniklé v důsledku toho, že se pro datové středisko nebo síťový sál nepočítalo s dostatečnou kapacitou, jsou velmi vysoké a je třeba se jim vyhnout. Zvyšovat kapacitu datového střediska nebo síťového sálu v průběhu doby jejich životnosti je velmi nákladné. Práce spojená se zvyšováním kapacity datového střediska nebo síťového sálu v průběhu jejich životnosti s sebou nese velké a nepřijatelné riziko prostojů. 6
Veškeré konstrukční práce a plánování konečné kapacity datového střediska nebo síťového sálu je třeba provést hned na začátku. Požadavky na zátěž datového střediska nebo síťového sálu se budou zvyšovat, jenomže je nelze spolehlivě stanovit předem. Důsledkem těchto předpokladů je, že datová střediska a síťové sály jsou plánovány, konstruovány a realizovány rovnou tak, aby vyhověly neznámým potřebám - kapacita datového střediska či síťového sálu je plánována tak, aby soustavně převyšovala nároky vyplývající z jakýchkoli rozumných scénářů růstu. Zásadní důvody předimenzování Plány prováděné podle výše uvedených předpokladů vedou k velmi malému využívání kapacity, což dokazují skutečné výsledky, a z ekonomického hlediska je to potřeba považovat za chybu. Nicméně zkoumáním procesu plánování žádnou zásadní závadu nenalezneme. Důkladnější rozbor údajů a omezujících podmínek procesu plánování tento zdánlivý paradox vyjasní. Na obr. 2 je znázorněno rozložení procentního využití konečné kapacity u skutečných instalací, tj. konečná skutečná zátěž vydělená instalovanou kapacitou. Z těchto údajů můžeme vyvodit následující závěry: Očekávané skutečné využití kapacity je přibližně 30 %. Očekávaná nadbytečná, tedy nepotřebná, napájecí kapacita je 70 %. Skutečné procento využití se pohybuje ve značně velkém rozpětí, z čehož vyvozujeme, že během návrhu lze kapacitu potřebnou v budoucnu dost špatně předpovědět. Kdyby se rutinně instalovala kapacita na očekávanou hodnotu 30 % místo na běžně volené hodnoty, 50 % systémů by v průběhu doby své životnosti nevyhovělo požadavkům na zátěž. Současná metoda dimenzování je jakýmsi logickým kompromisem - předimenzovaný systém chrání před vysokým stupněm variability konečné skutečné zátěže, jelikož snižuje pravděpodobnost toho, že by systém v průběhu doby své životnosti nemohl vyhovět požadavkům na zátěž. 7
% lokalit 18% 16% 14% 12% 10% 8% 6% 4% 2% 0% 0 10 20 30 40 50 60 70 80 90 100 Procento skutečně využité kapacity Obr. 2 Procento konečného využití běžných datových středisek Docházíme k překvapivému závěru, že vzhledem k omezením návrhu a nepředvídatelnosti budoucích nároků na napájení je současná metoda plánování datových středisek a síťových sálů logická. Pokud jsou náklady vzniklé v souvislosti s tím, že datové středisko nebo síťový sál neodpovídá požadavkům na zátěž, vysoké, pak není divu, že při konvenčním způsobu jejich budování se jako nejlepší cesta jeví systémy značně předimenzovat. Architektura a metoda, které brání předimenzování Zásadní nejistota ohledně budoucích požadavků na infrastrukturu datových středisek a síťových sálů představuje při plánování nepřekonatelný problém. Ten nelze bez předvídání budoucnosti vyřešit. Daná situace skýtá jediné jasné řešení: zajistit takovou infrastrukturu datových středisek a síťových sálů, která bude schopna reagovat na nepředvídatelné potřeby. Bariéry adaptability Zamyslíme-li se nad závažností předimenzování, přirozeně nás napadne otázka: Proč se infrastruktura datových středisek a síťových sálů vytváří předem a ne podle skutečných stávajících požadavků na zátěž? Ve skutečnosti návrh mnoha datových středisek počítá s instalací kapacity v několika fázích. Například umísťování stojanů pro zařízení bývá často realizováno ve fázích. Nebo okruhy rozvodu elektrické energie se rovněž často budují postupně. V některých případech se s instalací redundantních záložních zdrojů počítá rovněž až v dalších fázích. Takovými postupy lze ušetřit část celkových nákladů na datové středisko během jeho životnosti. Nicméně v mnoha případech je pozdější instalace těchto zařízení spojena s náklady navíc, jež mohou i značně přesáhnout náklady, které by společnosti vznikly, kdyby se zařízení instalovalo 8
rovnou na začátku. Proto mnozí dávají přednost kompletní instalaci ihned, takže v praxi k výraznějším úsporám nákladů nedochází. Metoda a přístup k budování adaptabilní infrastruktury Ideální by bylo nabídnout metodu a architekturu, jež by se mohly průběžně přizpůsobovat měnícím se požadavkům. Taková metoda a architektura by měly následující vlastnosti: Výrazně by se omezily či zcela odbouraly jednorázové práce související s návrhem datového střediska či síťového sálu. Napájecí infrastruktura datových středisek a síťových sálů by se dodávala v předem sestavených modulárních stavebních blocích. Jednotlivé komponenty by bez problémů prošly běžnými dveřmi a vešly by se do osobních výtahů. Na místě by se jednoduše zapojily do zásuvek, aniž by se muselo zasahovat do elektroinstalace pod napětím. Místa instalace by nebylo třeba speciálně připravovat - např. by odpadla konstrukce dvojité podlahy. Systém by mohl být provozován v konfiguracích N, N+1 či 2N, aniž by bylo třeba jej upravovat. Již by nebyly zapotřebí instalační práce, jako např. elektroinstalace, vrtání, řezání apod. Pro zvyšování kapacity by nebylo třeba vyřizovat zvláštní povolení či jednat s regulačními orgány. Cena takového modulárního napájecího systému by byla stejná jako cena tradičního centralizovaného systému, případně i nižší. Náklady na údržbu takového modulárního napájecího systému by byly stejné jako u tradičního centralizovaného systému, případně i nižší. Dosažitelná úroveň adaptability v praxi Pokud se pro fyzickou infrastrukturu použije adaptabilní systém, plýtvání prostředky, znázorněné ve stínované oblasti na obr. 1 výše, které je důsledkem předimenzování, lze do značné míry omezit. spory jsou znázorněny na obr. 3 níže. Povšimněte si, že instalovaná kapacita neodpovídá na začátku kapacitě sálu, ale mění se s ohledem na skutečnou zátěž. 9
120% 100% ROOM CAPACITY % Capacity 80% 60% 40% 20% EXPECTED LOAD INSTALLED CAPACITY Waste due to oversizing ACTUAL LOAD 0% 0 1 2 3 4 5 6 7 8 9 10 Years from commissioning Obr. 3 Projektová napájecí kapacita a požadavky na kapacitu během doby životnosti datového střediska Příkladem adaptabilního systému, který splňuje výše uvedené požadavky, je architektura InfraStruXure od APC. Nebudeme zde celý systém popisovat detailně. Architektura InfraStruXure umožňuje využívat přes 70 % kapacity napájecího systému tak, že odpovídá požadavkům vzniklým v důsledku růstu datového střediska či síťového sálu. V praxi to vypadá tak, že jediná část napájecího systému, kterou je potřeba realizovat hned na začátku, je hlavní rozvaděč a elektrorozvodné panely. Ty je třeba dimenzovat tak, aby vyhovovaly konečné kapacitě sálu. Záložní zdroje, baterie, rozvodné jednotky, přepínače bypassu a elektroinstalace pro stojany se přidávají v modulech podle měnící se zátěže. Podotkněme na tomto místě, že tato diskuse se týká vlastností napájecích a chladicích systémů, které přispívají k nákladům na infrastrukturu hlavní měrou. Aby byla analýza kompletní, bylo by třeba provést obdobný rozbor nároků na fyzický prostor, bezpečnostních a protipožárních opatření. Závěry Datová střediska a síťové sály se běžně předimenzovávají až 3krát oproti požadované kapacitě. Předimenzování vede ke zbytečným investičním nákladům a nákladům na údržbu, přičemž tyto tvoří 10
významnou část celkových nákladů na datové středisko či síťový sál za celou dobu jejich životnosti. Většinu těchto zbytečných nákladů lze ušetřit aplikací metody a architektury, které se mohou přizpůsobovat měnícím se požadavkům na zátěž. To vše za přijatelnou cenu, přičemž je zajištěna vysoká dostupnost systému. Literatura Mitchell-Jackson, J.D., Koomey, J.G., Nordman, B., Blazek, M., Data Center Power Requirements: Measurements From Silcon Valley ( Požadavky na napájení datových středisek: měření ze Silcon Valley ), 16. května 2001. Disertační práce - skupina pro energii a zdroje, Kalifornská universita. Berkeley, Kalifornie. K dispozici na adrese http://enduse.lbl.gov/projects/infotech.htm 11