Chyby, kterým je možno se vyhnout a které omezují výkon chlazení v datových centrech a serverovnách Autor: Neil Rasmussen Zpráva č. 49
Manažerský přehled Chyby, kterým je možné se vyhnout a které se při instalaci chladících systémů a stojanů v datových centrech a serverovnách běžně dělají, omezují dostupnost a zvyšují náklady. Tyto bezděčné chyby vytvářejí horká místa, snižují odolnost proti závadám, snižují efektivitu a snižují kapacitu chlazení. Přestože jsou za viníky problémů s chlazením často považováni operátoři zařízení, mnoho problémů je ve skutečnosti způsobeno rozestavením IT zařízení, které nemohou ovlivnit. Tato zpráva zkoumá tyto typické chyby, vysvětluje jejich příčiny, kvantifikuje jejich důsledky a popisuje jednoduchá řešení. 2
Úvod Většina datových center a serveroven trpí množstvím základních chyb při návrhu a konfiguraci, které jim brání dosáhnout jejich potenciální kapacity chlazení a také jim brání v distribuci studeného vzduchu na potřebná místa. O těchto problémech se většinou neví, protože počítačové prostory byly většinou provozovány s hustotou příkonu daleko pod hodnotami předpokládanými v návrhu. Nedávný nárůst hustoty příkonu nových IT zařízení však tlačí provoz datových center až na hranice možností jejich návrhu a ukazuje se, že mnoho datových center není schopno efektivního chlazení podle předpokladů. Chladící systémy, které nepracují naplno, způsobují kromě snížení dostupnosti systémů také významné dodatečné náklady. Tato zpráva popisuje běžné chyby návrhu, které mohou snížit účinnost chladícího o více než 20%. Samostatné studie provedené laboratoří Lawrence Berkeley National Laboratories a společností APC zjistily, že typické datové centrum vykazuje spotřebu energie zobrazenou na Obrázku 1, přičemž spotřeba elektrické energie chladícím systémem je srovnatelná se spotřebou všech IT zařízení. O 20% nižší účinnost chlazení tedy způsobí nárůst celkové spotřeby elektrické energie o 8%, což během desetileté životnosti datového centra s příkonem 500 kw znamená vyplýtvanou elektrickou energii v ceně cca $700 000. Tomuto významnému plýtvání se lze vyhnout při vynaložení nízkých nebo dokonce nulových nákladů. Obrázek 1 - Rozložení spotřeby elektrické energie typického datového centra Příkon IT zařízení 44% Chlazení 38% Napájecí systém 15% Osvětlení 3% Nedostatečná optimalizace chladícího datového centra vzniká z mnoha důvodů. Tyto příčiny problémů zahrnují návrh a specifikace vlastního chladícího zařízení i způsob, kterým je studený vzduch distribuován k IT zařízení. Tato zpráva se zaměřuje na problémy s chlazením spojené s distribucí chladícího vzduchu a s rozestavením IT zařízení a to z následujících důvodů: 3
Protože jsou k dispozici praktická, proveditelná a ověřená řešení Mnoho chyb může být napraveno ve stávajících datových centrech Významných zlepšení lze dosáhnout s nízkými nebo nulovými investičními náklady Na napravení těchto chyb mohou spolupracovat jak pracovníci IT tak servisní pracovníci Řešení jsou nezávislá na umístění centra a podmínkách v daném městě Je možné je napravit snadno proveditelnými kroky Zpráva dělí časté chyby do pěti oblastí a postupně se všem pěti věnuje: Průtok vzduchu v samotném stojanu Rozmístění stojanů Rozložení příkonů Nastavení chlazení Rozmístění větracích otvorů pro dodávku a zpětný odvod vzduchu Pro každou oblast je popisováno několik problémů spolu se zjednodušeným popisem teorie dané problematiky a jejich vlivem na dostupnost a Celkové náklady na vlastnictví. Tyto informace jsou soustředěny do tabulek. Nakonec je popsáno několik řešení, která mohou, pokud budou implementována, významně zlepšit dostupnost datového centra a redukovat CNV. Základní požadavky na průtok vzduchu Průtok vzduchu uvnitř a vně skříně stojanu je zásadní pro chladící výkon. Klíčem k pochopení průtoku vzduchu stojanem je znalost základního principu, že pro IT zařízení jsou důležité dvě podmínky: 1. Že u vstupního otvoru zařízení je dostatečně studený vzduch. 2. Že není blokováno proudění vzduchu z a do zařízení. Dva klíčové problémy, které se běžně vyskytují a které brání dosažení ideálního stavu jsou 1. Vzduch z jednotky CRAC se mísí s horkým vyfukovaným vzduchem dříve než se dostane ke vstupnímu otvoru zařízení 2. Průtok vzduchu zařízením je blokován překážkami. Společným tématem následujících částí je to, že některá dobře míněná rozhodnutí o implementaci, která vypadají jako nedůležitá, ve skutečnosti způsobují oba výše uvedené problémy a že běžně používaná řešení příznaků těchto problémů významně snižují dostupnost a zvyšují náklady. 4
Průtok vzduchu ve skříni stojanu Přestože stojan je často považován pouze za mechanickou oporu, poskytuje velmi důležitou funkci, a sice zabránit horkému vzduchu vyfukovanému ze zařízení, aby se vracel zpět ke vstupnímu otvoru zařízení. Vyfukovaný vzduch je lehce stlačen, což v kombinaci se sáním u vstupního otvoru vede k situaci, kdy vyfukovaný vzduch proudí zpět do vstupního otvoru zařízení. Velikost tohoto efektu je mnohem větší než velikost efektu vztlaku vyfukovaného horkého vzduchu, o kterém si mnoho lidí myslí, že by měl přirozeně způsobit to, že vyfukovaný horký vzduch bude přirozeně stoupat pryč od daného zařízení. Stojan a jeho zaslepovací panely poskytují přirozenou bariéru, která významně prodlužuje cestu, kterou musí vzduch urazit, aby se dostal zpět do zařízení, a tím snižuje množství horkého vyfukovaného vzduchu, který se dostane do zařízení. Běžné vynechávání zaslepovacích panelů, které lze ve větší nebo menší míře najít v 90% datových center, přestože všichni velcí výrobci IT zařízení důrazně doporučují zaslepovací panely používat. Tímto způsobené problémy s recirkulací mohou vést ke zvýšení teploty IT zařízení o 15 F nebo 8 C. Detailní popis tohoto efektu spolu s výsledky měření je možno nalézt ve Zprávě společnosti APC č. 44, Zlepšování chlazení stojanů používáním zaslepovacích panelů. Zaslepovací panely upravují proudění vzduchu stojanem, jak ukazuje Obrázek 2. Instalace zaslepovacích panelů je jednoduchý proces, který lze s velmi nízkými náklady implementovat v téměř jakémkoliv datovém centru. Obrázek 2 Recirkulace vzduchu skrz vynechaný zaslepovací panel 2A Bez zaslepovacích panelů 2B Se zaslepovacími panely Stěna Stěna ZASLEPOVACÍ PANEL Mnoho konfigurací stojanů trpí chybami, které mají stejný účinek jako vynechání zaslepovacích panelů. Používání širokých stojanů s vloženými držáky dovoluje recirkulaci okolo stran stojanových držáků. Používání polic k instalaci IT zařízení brání používání zaslepovacích panelů a poskytuje široké možnosti pro recirkulaci vyfukovaného vzduchu. Některé standardní 19 in. stojany mají vlastní cesty, které umožňují recirkulaci vzduchu kolem držáků a horní i dolní strany krytů. V takovém případě nemůže instalace zaslepovacích panelů úplně zabránit recirkulaci. Mnoho stojanů 5
prostě nebylo efektivně navrženo pro práci v IT prostředí s vysokou hustotou. Standardní používání správného stojanu a používání zaslepovacích panelů může významně snížit recirkulaci a omezit vznik horkých míst. Zlepšení vyplývající ze snížení teploty horkých míst používáním zaslepovacích panelů a výběrem stojanů, které brání recirkulaci, jsou zřejmá a znamenají samozřejmě zlepšení dostupnosti. Jsou zde však i méně zřejmá, avšak významná zlepšení, která vyžadují vysvětlení. Recirkulace má vliv na odolnost vůči chybám Stojanové systémy s významnou recirkulací mají sníženou odolnost vůči závadám a snížené možnosti údržby oproti správně implementovaným systémům. Ve většině instalací je chlazení poskytováno skupinou jednotek CRAC, které dodávají chlazený vzduch do společných rozvodů vzduchu. Při takovémto uspořádání je často možné pokračovat v provozu chlazení, pokud je jedna nebo více jednotek CRAC mimo provoz z důvodu údržby nebo selhání; zbylé jednotky CRAC jsou schopné zajistit potřebný výkon. Recirkulace omezuje tuto odolnost vůči závadám následujícími způsoby: Nižší teplota vzduchu, který se vrací do jednotek CRAC, způsobí to, že zbývající jednotky CRAC nemohou pracovat naplno a systém není schopen plnit požadavky na chlazení. Je potřebná vyšší rychlost dodávky vzduchu tak, aby se napravily důsledky recirkulace. Zbývající část nedokáže splnit tento požadavek, což má za následek zvýšení recirkulace a přehřívání zařízení. Důsledky recirkulace pro Celkové náklady na vlastnictví Omezení dostupnosti a odolnosti vůči závadám a přehřívání jsou závažným důvodem pro používání standardizovaných stojanů a zaslepovacích panelů. Avšak důsledky, které má recirkulace na CNV, jsou velmi dramatické a významně zvyšují závažnost tohoto problému. Nejvyšší náklady spojené s chlazením během životnosti zařízení jsou náklady na elektřinu pro chladící zařízení a ventilátory. Výkon potřebný ke chlazení datového centra není recirkulací ovlivněn; avšak účinnost chladícího je významně snížena. To znamená, že recirkulace zvyšuje náklady spojené s elektřinou. Dále pak složení nákladů jak je zobrazeno na Obrázku 3. Obrázek 3 ilustruje následky, které obvykle způsobí pokusy o boj s prvními příznaky recirkulace, zejména horkými místy. Dvě nejběžnější reakce na vznik horkých míst jsou snížení teploty vzduchu dodávaného jednotkami CRAC, nebo zvýšení kapacity jednotek CRAC, nebo kombinace obojího. Tyto reakce s sebou nesou významné nepředpokládané náklady popisované na obrázku. Zamezení recirkulace návrhem a uplatňováním technik popisovaných v této zprávě je možné provádět s velmi nízkými náklady a vyhnout se tak důsledkům zobrazovaným na obrázku. 6
Obrázek 3 Posloupnost finančních důsledků recirkulace Recirkulace Vzduchu Air Recirculation Snížení Decrease nastavené teploty CRAC na Temp jednotce Set CRAC Point o 9 F (5 C) 5 C (9 F) Horká Hot Spots místa Typically obvykle 15 F 8 C (15 F) (8 C) Above nad normální Nominal teplotou Zvýšení Add kapacity 20% More CRAC jednotek Capacity CRAC o 20% Increased Zvýšené Unwanted nechtěné Dehumdification odvlhčování Reduction Snížení of CRAC kapacity Capacity jednotek CRAC Cooler Chladnější Return vracející Air se vzduch Reduction Snížení of účinnosti CRAC jednotek Efficiency CRAC Ztráty 10% Lost 10% Excess Fan Zvýšený příkon Power ventilátorů 5% Lost Ztráty 5% Increased Zvýšení doplňujícího Make-up Humidification zvlhčování 5% Ztráty Lost 5% Reduction Snížení of účinnosti CRAC jednotek Efficiency CRAC Ztráty 5% Lost 5% Zvýšení 10-25% Nákladů More na Cooling Chlazení o Cost 10-25% $300 $300,000 000 až $700 to 000 $700,000 zbytečně wasted vynaloženo při příkonu 500 kw během desetileté životnosti. for a 500kW load over 10 Year Lifetime Omezení průtoku vzduchu způsobí nedostatek čerstvého vzduchu v zařízení, což má za následek přehřívání. Dále omezování proudění vzduchu v přední nebo zadní části stojanů podporuje recirkulaci skrz prostory stojanu neopatřené zaslepovacími panely. Proto je nezbytné používat stojany, které mají velmi dobrou ventilaci dvířky a stojany, které mají dostatek prostoru vzadu, tak aby svazky kabelů nebránily proudění vzduchu. Uživatelé někdy volí méně hluboké stojany a věří, že tím zvýší využití podlahové plochy, ale poté nejsou schopni využít danou hustotu vzhledem k teplotním omezením daným omezením proudění vzduchu kabeláží. 7
Chyba v návrhu Nepoužívání zaslepovacích panelů Zařízení na policích Použití 23 in. stojanů bez kartáčových těsnění Otvory pro kabeláž pod stojanem bez kartáčových těsnění Prosklené dveře Dveře se špatnou ventilací Používání přenosných a stropních ventilátorů Mělké stojany Tabulka 1 Souhrn chyb při návrhu proudění vzduchu stojanem a jejich důsledky dostupnost Horká místa, hlavně v horní části stojanů Ztráta rezerv chladícího Horká místa, hlavně v horní části stojanů Ztráta stálého tlaku v rozvodech pod podlahou Ztráta rezerv chladícího Přehřívání Zhoršování problémů spojených s chybějícími zaslepovacími panely Velmi malá účinnost Stejné prostředky mohly být investovány daleku účinněji Překážející kabely způsobují přehřívání CNV Náklady na elektřinu Omezený výkon jednotek CRAC Údržba zvlhčovačů Spotřeba vody Omezená účinnost jednotek CRAC Snižuje využití prostoru a stojanů Plýtvání kapitálem Plýtvání elektřinou Snižuje využití prostoru a stojanů Řešení Používejte zaslepovací panely Nepoužívejte police Používejte stojany které nemají žádné volné prostory vně držáků U širokých stojanů použijte vně držáků kartáčová těsnění Použijte kartáčová nebo jiná těsnění otvorů pro kabeláž pod stojanem Používejte plně větrané dveře vepředu i vzadu Nepoužívejte přenosné a stropní ventilátory Používejte dostatečně hluboké stojany, které umožní proudění vzduchu okolo kabeláže Kromě výše uvedených pasivních prostředků pro řízení proudění vzduchu stojanem je možné použít také systémy založené na stojanových ventilátorech pro ovlivňování proudění vzduchu ve stojanu. Některé stojanové ventilátorové systémy, jako přenosné a stropní ventilátory, jsou málo účinné. Jiné systémy ventilátorů, jako například systémy, které rozdělují vzduch zpod podlahy do přední části stojanů, nebo vytlačují vyfukovaný vzduch ze zadní části stojanu, mohou významně zlepšit proudění vzduchu stojanem, snížit recirkulaci a zvýšit kapacitu stojanu co se týče příkonu zařízení. Detailní popis těchto zařízení je možno najít ve Zprávě společnosti APC č.46, Napájení a chlazení stojanů s nejvyšší hustotou a blade serverů. Standardizované používání stojanů navrhovaných pro použití s efektivními systémy ventilátorů pro distribuci čerstvého nebo vytlačování vyfukovaného vzduchu poskytuje rezervu pro budoucí zvyšování hustoty zařízení. Rozmístění stojanů Správné řízení proudění vzduchu stojanem popisované v předchozí sekci je nezbytné pro efektivní chlazení, ale není samo o sobě dostatečné. Správné rozmístění stojanů v místnosti je klíčové pro zajištění toho, že se ke stojanu dostane dostatek vzduchu o správné teplotě. Klíčem je proudění vzduchu ke stojanu. Cílem správného rozmístění stojanů je znovu kontrola recirkulace, tj zamezení mísení vzduchu z jednotek CRAC s horkým vyfukovaným vzduchem předtím, než se dostane ke vstupním otvorům zařízení. Princip návrhu je stejný: co nejvíce oddělit horký vzduch vyfukovaný ze zařízení od vzduchu přiváděného k zařízení. 8
Řešení tohoto problému je dobře známé. Umístěním stojanů do řad a střídáním směrů natočení řad je možno silně omezit recirkulaci. Principy tohoto řešení jsou popisovány ve zprávě institutu Uptime Institute Střídání horkých a studených uliček poskytuje spolehlivější chlazení serveroven. I přes zjevné výhody s horkými a studenými uličkami výzkumy ukazují, že přibližně 25% datových center a serveroven umisťuje stojany do řad, které směřují stejným směrem. Umístění stojanů tak, že všechny směřují stejným směrem, způsobuje značnou recirkulaci, téměř zaručuje vznik problémů s horkými místy a garantuje významné zvýšení nákladů na provoz. Náklady se budou lišit podle instalace a jsou také znázorněny na předchozím Obrázku 3. Efektivní aplikace techniky horkých a studených uliček spočívá ve více krocích než je pouhé umístění stojanů po řadách střídavě oběma směry. Z těch 75% instalací, které používají techniku horkých a studených uliček, více než 30% nemá správně zajištěnou distribuci a návrat vzduchu z řad stojanů. Tato problematika je diskutována dále v sekci nazvané Rozmístění větracích otvorů pro dodávku a zpětný odvod vzduchu. U většiny míst, kde všechny stojany směřují stejným směrem a nepoužívají techniku horkých a studených uliček, ukazují výzkumy společnosti APC, že příčinou je směrnice managementu o vzhledu datového centra. Výzkumy dále naznačují, že tyto nešťastné směrnice by nikdy nebyly vydány, pokud by byly dostatečně objasněny jejich zničující důsledky. U systémů se stojany směřujícími stejným směrem bude mnoho technik popisovaných v této zprávě mít daleko menší efekt. Pokud není možno umístit řady stojanů střídavě, jediným efektivním způsobem, jak zabránit vzniku horkých míst, je zajistit přísun více vzduchu k zasaženým stojanům. Chyba v návrhu Všechny stojany směřují stejným směrem Není implementován systém horkých a studených uliček Tabulka 2 Souhrn chyb při návrhu rozmístění stojanů a jejich důsledků dostupnost Horká místa Ztráta rezerv chladícího Ztráta kapacity chladícího Selhávání zvlhčovačů CNV Zvýšená spotřeba energie Spotřeba vody Údržba zvlhčovačů Řešení Použijte rozvržení s horkými a studenými uličkami Stojany nejsou v řadách Stejné problémy Stejné Uspořádejte stojany do řad Stojany jsou v řadách, ale nejsou těsně u sebe Stejné problémy Stejné Přemístěte stojany těsně k sobě Nenechávejte prostor mezi stojany 9
Rozložení příkonů Rozmístění příkonů, zejména zařízení s velkým příkonem, může přesáhnout kapacitu datového centra. Místa s vysokou hustotou příkonu se typicky vyskytují, pokud jsou vysoce koncentrované výkonné servery soustředěny do jednoho nebo několika stojanů. Tato situace může způsobit vznik horkých míst v datovém centru, takže operátoři budou muset reagovat snížením nasavené teploty vzduchu nebo přidáním jednotek CRAC. Tyto akce povedou k negativním důsledkům shrnutým na Obrázku 3. Z těchto důvodů je výhodné rozkládat příkon, kdekoliv je to možné. Naštěstí nejsou optická a Ethernetová spojení negativně ovlivňována rozložením zařízení. Tlak na soustřeďování takových zařízení je většinou vytvářen personálem IT, který věří, že umísťovat podobná zařízení k sobě je výhodnější. Lidé, kteří se snaží umísťovat zařízení s vysokým příkonem blízko u sebe, by měli být poučeni o výhodách rozložení příkonů pro dostupnost a ušetření části nákladů. Máme i další možnosti jak se vyhnout negativním důsledkům na chlazení při používání stojanů s velkým příkonem. Kompletní diskuzi otázky ošetření stojanů s velkým příkonem lze najít ve Zprávě společnost APC č. 46, Napájení a chlazení Stojanů s velmi vysokou hustotou příkonu a blade serverů. Tabulka 3 Souhrn chyb při návrhu rozložení příkonů a jejich důsledků Chyba v návrhu dostupnost Důsledky pro CNV Řešení Koncentrace příkonů Horká místa Ztráta rezerv chladícího Zvýšená spotřeba energie Rozložte příkony jak nejrovnoměrněji je to možné Nastavení chlazení Negativní důsledky nastavení nižší teploty vzduchu na jednotkách CRAC byly diskutovány výše. Výkon klimatizace je nejvyšší při maximální teplotě vzduchu na výstupu jednotek CRAC. V ideálním případě, kdy by nedocházelo k recirkulaci, by nastavená teplota výstupu jednotek CRAC byla stejných 20-25 C (68-77 F) požadovaných pro počítačová zařízení. Tato situace v praxi nenastane a nastavená teplota výstupu jednotek CRAC bývá typicky o něco nižší než teplota vzduchu u vstupních otvorů počítačů. Pokud však budou dodrženy techniky rozvodu vzduchu popsané v této zprávě, bude možné nastavit teplotu na výstupu z jednotek CRAC co nejvyšší. Pro maximalizaci kapacity a optimalizaci výkonu by neměla být teplota výstupu jednotek CRAC nastavována níže, než je potřebné k zajištění požadovaných teplot na vstupu zařízení. Přestože teplota nastavená na jednotce CRAC je dána vlastnostmi rozvodu vzduchu, vlhkost lze nastavit na jakoukoliv požadovanou hodnotu. Nastavení vyšší vlhkosti než je nutné s sebou nese významné nevýhody. Zaprvé bude jednotka CRAC vykazovat značnou kondenzaci na cívce a odvlhčovat vzduch. Odvlhčovací funkce významně snižuje kapacitu jednotky CRAC pro ochlazování vzduchu. Situace je dále zhoršována tím, že zvlhčovače musí nahradit vodu odstraněnou ze vzduchu. Tím je možné v typickém datovém centru vyplýtvat tisíce galonů vody a zvlhčovače jsou také významnými zdroji tepla, které musí být odstraněno, a tím je dále snižována kapacita jednotek 10
CRAC. Tato situace nastává častěji, pokud dochází k recirkulaci ve větším měřítku, protože studenější vzduch z jednotek CRAC snáze kondenzuje. Proto je důležité neprovozovat datové centrum při vyšší než nezbytné vlhkosti vzduchu. Některá datová centra, zejména ta nejstarší, obsahují vysokorychlostní tiskárny formulářů. Tyto tiskárny produkují významné množství statické elektřiny. Kvůli řízení vybíjení statické elektřiny se standardní vlhkost vzduchu v datovém centru usadila okolo 50% relativní vlhkosti. Avšak v datových centrech bez velkých vysokorychlostních tiskáren formulářů postačí relativní vlhkost vzduchu 35% k dostatečnému vybíjení statické elektřiny. Provoz datového centra při relativní vlhkosti vzduchu 35% namísto 45% nebo 50% může ušetřit významné množství vody, zejména pokud dochází ke značné recirkulaci. V datových centrech vybavených více jednotkami CRAC se zvlhčovači mohou nastat další problémy. Je velmi běžné, že v takových případech dochází k plýtvání tím, že spolu dvě jednotky CRAC bojují kvůli řízení vlhkosti. Toto nastává v případě, že vzduch, který se vrací do obou jednotek CRAC, má poněkud rozdílnou teplotu, nebo pokud nesouhlasí kalibrace obou senzorů vlhkosti, nebo pokud je na každé jednotce jinak nastavená vlhkost vzduchu. Jedna z jednotek CRAC bude vzduch odvlhčovat, zatímco druhá zvlhčovat. Tento režim provozu znamená značné plýtvání a přitom není okamžitě patrný obsluze datového centra. Problém zbytečného plýtvání bojem jednotek CRAC kvůli vlhkosti lze řešit A) centrálním řízením vlhkosti, B) koordinací řízení vlhkosti mezi jednotkami CRAC, C) vypnutím některých zvlhčovačů v jednotkách CRAC, nebo D) použitím pásmového nastavení. Každé z těchto řešení má některé výhody, které však nebudou detailně rozebírány v této zprávě. Pokud se tento problém objeví, nejjednodušším způsobem, jak jej řešit v typických systémech s nezávislými jednotkami CRAC, je ověřit, že všechny systémy jsou shodně nastavené a správně zkalibrované, a poté rozšířit pásmo nastavení vlhkosti, které je k dispozici na většině jednotek CRAC. Problém většinou zmizí při nastavení pásma +/- 5%. Tabulka 4 Souhrn chyb při návrhu nastavení chlazení a jejich důsledků Chyba v návrhu dostupnost CNV Řešení Příliš vysoká nastavená vlhkost Horká místa Ztráta rezerv chladícího Zvýšená spotřeba energie Spotřeba vody Údržba zvlhčovačů Nastavte vlhkost v rozmezí 35-50% Několik jednotek CRAC spolu bojuje o řízení vlhkosti ve stejném prostoru Ztráta rezerv chladícího Ztráta kapacity chladícího Zvýšená spotřeba energie Spotřeba vody Údržba zvlhčovačů Nastavte všechny jednotky stejně Nastavte +/-5% pásmo pro nastavení vlhkosti Použijte centrální zvlhčovače Vypněte nepotřebné zvlhčovače 11
Rozmístění větracích otvorů pro dodávku a zpětný odvod vzduchu Proudění vzduchu stojany a rozvržení stojanů jsou klíčovými prvky pro nasměrování vzduchu tak, aby byl dosažen maximální výkon chlazení. Nakonec je však pro dosažení špičkového výkonu zapotřebí ještě jeden krok, a tím je rozvržení větracích otvorů pro dodávku a zpětný odvod vzduchu. Nesprávné umístění těchto větracích otvorů může způsobit mísení vzduchu z jednotek CRAC s horkým vyfukovaným vzduchem dříve, než se tento vzduch dostane k zařízení, což vede k výše popsané posloupnosti problémů a nákladů. Nesprávně rozmístěné větrací otvory pro dodávku a zpětný odvod vzduchu jsou velmi časté a mohou prakticky vymazat téměř všechny výhody horkých a studených uliček. Klíčem ke správné funkci větracích otvorů je jejich umístění v rámci možností co nejblíže ke vstupním otvorům zařízení a udržení studeného vzduchu ve studených uličkách. U systémů s rozvodem vzduchu pod podlahou to znamená umístění perforovaných dlaždic pouze ve studených uličkách. Stropní rozvod může být stejně účinný jako systém s podpodlahovým rozvodem, ale znovu je klíčem umístění výdechových otvorů nad studenými uličkami a tyto otvory musí být navrženy tak, aby směřovaly vzduch přímo dolů do studené uličky (nikoli do boku difůzními ventilátory). Pokud jsou stropní nebo podlahové výdechové otvory umístěny tam, kde zařízení není v provozu, měly by být okamžitě uzavřeny, protože vzduch z těchto zdrojů se vrací do jednotek CRAC s nižší teplotou, zvyšuje odvlhčování a snižuje výkon jednotky CRAC. Klíčem ke správné funkci zpětných větracích otvorů je jejich umístění v rámci možností co nejblíže k výfukovým otvorům zařízení a udržení horkého vzduchu v horkých uličkách. V některých případech se používá dutý snížený podhled, takže zpětné větrací otvory mohou být snadno umístěny nad horkými uličkami. Pokud je použit vysoký a otevřený návratový podhled, je nejlepší umístit sání jednotek CRAC tak vysoko, jak je to jen možné a pokud možno rozdělit návrat vzduchovody a pokusit se tak umístit sání k horkým uličkám. I hrubý návratový podhled s pouze několika větracími otvory přibližně umístěnými k horkým uličkám je lepší než jeden velký zpětný otvor na boční stěně místnosti. V malých místnostech bez podpodlahových prostor nebo vzduchovodů jsou často umisťovány jednotky CRAC s přímým výfukem nebo sáním v rohu nebo u zdi. V těchto případech může být obtížné umístit rozvody studeného vzduchu do studených uliček a odsávání horkého vzduchu do horkých uliček. Výkon bude v těchto případech nižší. Je však možné zvýšit výkon těchto systémů následujícím způsobem: Jednotky s přímým sáním umístěte poblíž konce horké uličky a přidejte vzduchovody pro rozvod studeného vzduchu k studeným uličkám co nejdále od jednotky CRAC. Jednotky s přímým výfukem umístěte na koncích studených uliček tak, aby vyfukovaly vzduch do studené uličky a přidejte buď zavěšený dutý podhled nebo zavěšené vzduchovody s větracími otvory umístěnými nad horkými uličkami. Výzkum špatně umístěných větracích mřížek odhalil hlavní skrytou příčinu: zaměstnanci cítí, že některé uličky jsou horké a některé studené, a předpokládají, že toto není správný stav, a snaží se to napravit přesunem větracích mřížek se studeným vzduchem do horkých uliček a větracích mřížek pro odvod horkého vzduchu do studených uliček. Hlavní cíl, který je zohledňován při správném návrhu datového centra, oddělení horkého a studeného vzduchu je personálem považováno za chybu, kterou se snaží napravit mísením vzduchu, čímž snižují výkon a zvyšují náklady na provoz. Lidé nechápou, že horké uličky mají být horké. 12
Samozřejmě je snažší rozmístit rozvod a odvod vzduchu s jejich větracími otvory během stavby datového centra. Proto je nezbytné navrhnout rozvržení místnosti a umístění a orientaci řad stojanů před návrhem větracího. Chyba v návrhu Umístění odvodu horkého vzduchu jinde než na horkou uličkou Světlo v zavěšeném podhledu s integrovaným otvorem pro odvod vzduchu umístěné nad studenou uličkou Tabulka 5 Souhrn chyb při návrhu rozvodu a odvodu vzduchu a jejich důsledků Větrací otvory rozvodu vzduchu nad horkými uličkami Dlaždice s větracím otvorem pro rozvod vzduchu v horké uličce Dlaždice s větracím otvorem v místě, kde není žádné zařízení v provozu Otevřený otvor stropního rozvodu v místě, kde není žádné zařízení v provozu Drobné otvory v podpodlahovém rozvodu určené pro vedení, kabely, potrubí Nízko umístěný otvor pro odvod vzduchu v místě s vysokým stropem dostupnost Horká místa, hlavně v horní části stojanů Ztráta rezerv chladícího Horká místa Ztráta rezerv chladícího Malé Ztráta kapacity chladícího Ztráta rezerv chladícího Prevence pomocí přístupů CNV Náklady na elektřinu Omezený výkon jednotek CRAC Údržba zvlhčovačů Spotřeba vody Náklady na elektřinu Omezený výkon jednotek CRAC Údržba zvlhčovačů Spotřeba vody Náklady na elektřinu Omezený výkon jednotek CRAC Náklady na elektřinu Omezený výkon jednotek CRAC Údržba zvlhčovačů Spotřeba vody Řešení Umístěte odvody horkého vzduchu nad horkými uličkami Nepoužívejte lampy s integrovaným otvorem pro odvod vzduchu nad studenými uličkami, nebo otvor zavřete. Při použití stropního rozvodu vždy umístěte větrací otvory rozvodu nad studenými uličkami. Při použití podpodlahového rozvodu vždy umístěte větrací otvory rozvodu ve studených uličkách. Uzavřete otvory a větrací mřížky tam kde není žádné zařízení v provozu Použijte dutý zavěšený podhled, nebo prodlužte vzduchovod tak, aby sání bylo umístěno co nejvýše Dodržováním postupů uvedených v této zprávě je možné vytvářet nová datová centra s významně lepší dostupností, s menším množstvím horkých míst a s nižšími náklady na provoz. Některé z popisovaných technik lze implementovat ve stávajících datových centrech, ale některé jsou u již fungujících systémů nepraktické. Nejlepší je přirozeně problémům předcházet. Výzkumy společnosti APC naznačují, že většina chyb v návrzích chladících systémů je mimovolných a nebyly by udělány, pokud by IT nebo servisní personál chápal důležitost správného rozvodu vzduchu pro výkon, dostupnost a náklady datového centra. Jednou z cest jak efektivně sdělit klíčové faktory zúčastněným stranám je použitím přístupů. 13
Tabulka 6 Navrhované přístupy k návrhu datového centra Přístup Použijte rozvržení stojanů s horkými a studenými uličkami Ve všech stojanech používejte zaslepovací panely na neobsazených pozicích Používejte kartáčová nebo jiná těsnění na všech otvorech pro kabeláž pod stojany. Nesnažte se snížit teplotu v horkých uličkách. Ty mají být horké. Standardizujte stojany Rozložte vysoké hustoty příkonů Zdůvodnění Oddělení horkého a studeného vzduchu snižuje množství horkých míst, zvyšuje odolnost proti závadám a významně snižuje spotřebu elektřiny. Je dobře známým faktem, že natočení všech řad stejným směrem způsobuje to, že ke každé řadě se dostává horký vzduch z předcházející řady, což má za následek její přehřívání a značné snížení výkonu klimatizačního. Zaslepovací panely zabraňují horkému vzduchu vyfukovanému ze zařízení v návratu do vstupních otvorů zařízení, což snižuje výskyt horkých míst a prodlužuje životnost zařízení. Všichni výrobci serverů a ukládacích zařízení požadují používání zaslepovacích panelů. Účelem rozvodu vzduchu v duté podlaze je přívod studeného vzduchu ke vstupním otvorům zařízení. Tyto vstupní otvory jsou umístěny na přední straně stojanů. Otvory pod stojany přivádějí studený vzduch k výfukům zařízení, takže tento obchází dané zařízení, což snižuje výkon chladícího. Účelem horké uličky je oddělení horkého vzduchu vyfukovaného ze zařízení od studeného vzduchu nasávaného zařízením. Jakýkoliv pokus o překonání této funkce zhorší návrh, sníží spolehlivost zařízení a zvýší náklady na provoz. Vzduch vyfukovaný ze zařízení má být horký a horká ulička má odvádět tento horký vzduch zpět do klimatizačních zařízení. Udržování vyšší teploty v horké uličce pomáhá zajistit to, že teplota u vstupních otvorů zařízení v studené uličce bude dostatečně nízká. Stojany plní základní funkce jako součásti chlazení a nejsou pouhými mechanickými oporami. Vlastnosti stojanů, které brání vyfukovanému vzduchu dostat se ke vstupním otvorům zařízení, poskytují dostatečné větrání, poskytují dostatečný prostor pro kabeláž bez omezování proudění vzduchu a umožňují dodatečnou instalaci dalšího chladícího zařízení, v případě koncentrace příkonu by měly být u stojanů standardem. Koncentrace zařízení s velkým příkonem na jednom místě zhorší provozní vlastnosti těchto zařízení a obvykle zvýší provozní náklady datového centra. Odolnost proti závadám v rozvodu vzduchu je jednou z oblastí, které jsou obvykle negativně ovlivněny vysokou koncentrací příkonu. Je možné že bude nutné změnit nastavení teploty a vlhkosti vzduchu v celém datovém centru způsobem, který sníží kapacitu chlazení a zvýší náklady na chlazení. Ustanovení přístupů může zapříčinit vznik konstruktivních diskuzí. Jako doplněk k ustanovení přístupů je možno použít komunikaci pomocí štítků a značek. Příklad štítku umístěného na zadní straně stojanů v horkých uličkách je zobrazen na Obrázku 4. Zejména personál IT může často považovat horkou uličku za vadu nebo defekt. Tento štítek jim pomůže pochopit, proč jsou některé části datového centra teplejší než jiné. Obrázek 4 Štítek který tlumočí účel horké uličky TOTO JE HORKÁ ULIČKA V zájmu maximalizace dostupnosti IT zařízení je tato ulička záměrně horká. Uspořádání těchto stojanů a použití zaslepovacích panelů zabraňuje vzduchu vyfukovanému ze zařízení vrátit se do vstupních otvorů zařízení. Toto opatření snižuje teplotu zařízení, prodlužuje životnost zařízení a šetří energii. 14
Závěry Systém rozvodu vzduchu je část datového centra, která není obvykle správně pochopena a vzhledem k tomu provozní operátoři a personál IT často podnikají kroky, které ovlivňují rozvod vzduchu a které mají nezamýšlené negativní důsledky jak na dostupnost tak na náklady. Chyby v implementaci rozvodu vzduchu nebyly v minulosti významným problémem, vzhledem k nízké hustotě příkonů v datovém centru. Avšak nedávné nárůsty hustoty příkonů začínají testovat kapacitu systémů chlazení a způsobují vznik horkých míst a neočekávaných omezení kapacity chlazení Rozhodnutí typu natočení všech stojanů stejným směrem jsou obvykle činěna z kosmetických důvodů, aby byl vytvořen dobrý dojem; ale jak se zvyšuje informovanost uživatelů a zákazníků, tito získají dojem, že lidé, kteří neimplementují rozvody vzduchu správně, postrádají zkušenosti, což je pravý opak původního záměru. Přijetím několika jednoduchých přístupů a poskytnutím jejich jednoduchého zdůvodnění lze dosáhnout shod mezi provozním a IT personálem, přičemž důsledkem bude maximální dostupnost a optimální CNV. O Autorovi: Neil Rasmussen je zakladatelem a hlavním technickým ředitelem společnosti American Power Conversion. U společnosti APC Neil řídí organizaci s nejvyšším světovým rozpočtem pro výzkum a vývoj věnovaný napájení, chlazení a struktuře stojanů pro životně důležité sítě, s hlavními vývojovými centry v Massachusetts, Missouri, Dánsku, na Rhode Islandu, na Taiwanu a v Irsku. Neil v současné době řídí snahu společnosti APC o vývoj modulárních přizpůsobitelných řešení pro datová centra. Před založením společnosti APC v roce 1981, Neil získal Bakalářský a Inženýrský diplom v oboru elektrické inženýrství na MIT, kde vypracoval svou práci věnovanou analýze pro dodávku 200 MW příkonu pro Fůzní reaktor využívající Tokamak. Od roku 1979 do roku 1981 se v Lincolnových laboratořích MIT věnoval systémům pro uchování energie na principu setrvačníku a fotovoltaickým systémům. 15