Výstavba datacentra se podobá více výstavbě sofistikovaného průmyslového provozu a platí zde jiná pravidla než při budování IT infrastruktury. Je nutné uvažovat v delším časovém horizontu minimálně pěti let a poctivěji plánovat. Neplánované změny generují vyšší náklady, než kdybychom na přípravu pro navýšení příkonů, posílení klimatizace či pokládku většího počtu optických kabelů pamatovali hned. O velikosti, příkonech a dalších dispozicích datacentra se zásadně nerozhoduji na základě dnešního stavu mé IT infrastruktury. Vždy je nutné popsat současný stav a stav, kde budu za pět let. To souvisí s rozvojem primárního zaměření společnosti a je nutné, aby o tom IT management komunikoval s ostatním managementem společnosti.
Plánování musí být realistické a to je bez dostatku zkušeností obtížné. Datacentrum je systém, kde jeden element ovlivňuje druhý, vazby nejsou na první pohled jasné. Například populární zvyšování teploty vysoko nad 20 °C na vstupu do datových rozvaděčů v datacentru sice umožní využití freecooling po delší období roku, a tak ušetřím, ale zároveň snížím životnost elektroniky a mohu způsobit vyšší počet poruch – je tedy vhodné ověřit požadované provozní podmínky. Zvýšením některého parametru „pro jistotu“ můžu spustit řetězovou reakci, která mě v závěru potrestá zvýšením finálních cen za výstavbu nebo provoz. Bez zkušeností objevíte popsaný efekt pozdě a budete se muset vracet do předchozích fází projektu, protože úprava parametru způsobí další změny v zadání pro jiné elementy. Proto doporučuji odbornou podporu nebo využití komerčního datacentra.
Datacentra je možné rozlišovat podle tzv. klasifikace. Můžete se setkat s označením Tier 1 (nejhorší) až Tier 4 (nejlepší) podle TIA-EIA 942 – Telecommunications Infrastructure Standard for Data Centers. Podstatou je hodnocení vnějších vlivů a jednotlivých systémů v datacentru. Další doporučení naleznete u Uptime Institute. Z praxe je však zřejmé, že některé parametry jsou pro provoz více a jiné méně podstatné. Proto certifikovaných datacenter není mnoho – důsledné dodržování všech parametrů pro zařazení do určité třídy v praxi zákazník nemusí docenit, ale zvýšení nákladů na vybudování a provoz může být enormní.
Na které oblasti se při výběru lokality pro datacentrum zaměřit?

Příkon elektrické energie

Místní distribuční energetická společnost často ke zvýšení odběrů o stovky kilowattů vyžaduje, aby odběratel měl určitou historii odběrů. Jestliže krátce po zprovoznění datového centra, kdy ještě očekávaných odběrů nedosahujete, plánujete další rozšíření a potřebujete začít pracovat na zvýšení příkonu, narazíte na odpor. Limitem mohou být i technologická omezení, která v lokalitě zvýšit příkon nedovolí. Konkrétní případy datacenter, pro která distributor odmítl zvýšit příkony z technických důvodů, v ČR skutečně existují.

Dostupnost síťové infrastruktury

Kapacity při využívání telekomunikačních služeb rostou rychleji, než si myslíte. Přemýšlejte o tom při plánování kapacit připojení i při pokládce optické a metalické kabeláže v objektu. Redundance je nezbytná, proto si vždy pečlivě prověřte, zda optické trasy vedoucí z datacentra do páteřních sítí nemají souběh. Telco poskytovatel má při výstavbě datového centra do své páteřní infrastruktury trasy optických kabelů pod kontrolou a souběh nenastane. Jestliže stavíte privátní datacentrum, je obtížné zjistit přesný průběh tras a často poznáte souběh až ve chvíli, kdy nastane výpadek služeb od obou poskytovatelů, které jste si do datacentra nechali zřídit.

Vhodná poloha vybrané lokality

Také poloha bude zásadní při dalším provozu. Je vhodné se zaměřit na oblasti uvedené níže, nicméně při auditu lokality je vhodné použít konkrétní kritéria, zjistit jejich hodnotu a pro mezní hodnoty pro jednotlivé Tier třídy pak provést zařazení. Pro posouzení lokality je vhodné vypracovat tabulku s uvedením jednotlivých kritérií oblasti:

• Dostupnost ve smyslu pozemní dopravy vám zaručí, že se do objektu dostanete dostatečně rychle ze svého pracoviště a že se tam dostanou i vaši dodavatelé či servisní partneři.
• Rizika vyplývající z přírodních jevů, jako je povodeň, záplava, požár, zemětřesení, vichřice, zásah blesku. Vhodné je zjistit historický výskyt takových událostí.
• Rizika vyplývající z událostí v blízkém okolí. Událostí může být havárie, požár, výbuch, pád vzrostlého stromu apod. Jde zejména o pozemní a leteckou dopravu, rozvody elektřiny, plynu, vody, páry apod. Podstatné je zaručit minimální vzdálenosti od objektů, které mohou být zdrojem takových událostí. Důležité je zjistit vyústění rozvodů v objektu, či přímo v sále (souvisí například s topným systémem).
• Riziko úmyslného poškození vyplývá z blízkosti veřejných prostor (veřejná parkoviště, letiště a další). Specifickou kapitolou je narušení objektu s úmyslem zcizení dat. Bezpečnost bude vyžadovat ochranné zóny kolem objektu a dostatečnou vzdálenost od frekventovaných tras.
• Místo pro některé technologie vně objektu (motorgenerátor, vnější klimatizační jednotky apod.).

Budova

Na klasifikaci budovy mají vliv mimo jiné i rozměry datového sálu, rozměry dveří, výška stropu v různých částech, únosnost ploch atd. Zvažte především následující parametry:

• Nosnost podlahy a střechy (transformátor, motorgenerátor, klimatizační jednotky, chillery, čerpadla).
• Výška stropu. Při vestavbě zdvojené podlahy a odsávaného mezistropu pro chlazení formou teplé a studené uličky je limit minimálně pět metrů. Při použití jiných principů chlazení situace může být odlišná.
• Zavážecí koridor – bezbariérový průchod pro materiál a technologie.
• Voda a její vyústění v objektu. Instalace zpětných klapek na potrubí kanalizace povrchové vody vně objektu.
• Disposice pro fyzickou bezpečnost vstupu.
• Další parametry jen pro zajímavost: parotěsnost datasálu, odolnost proti větrným poryvům, ochrana proti přepětí, ochrana proti EM radiaci – ekranizace, fyzicky oddělená office část / bezpečností dohled / energocentrum, požární oddělení skladu PHM, oddělení IT přístupu, více nájemců v budově, materiál skeletu a obvodových stěn budovy, okna, materiál dveří, zámkové vložky a další.

Obr. 1: Naftové hospodářství v oddělené požární zóně

Technologické celky

Elektřina

Je nutné správně stanovit skutečný příkon (štítkové hodnoty oproti reálným maximálním odběrům a skutečnému odběru) nejen IT technologií, ale i klimatizace a dalších podpůrných systémů, kompenzovat ztrátu UPS a podle toho dimenzovat odběrné místo u distributora. U vyšších příkonů doporučuji úvahu o vlastní trafostanici VN 22 kV). Měření skutečné spotřeby je nutnost, jinak hrozí nebezpečí překročení povoleného příkonu jističů a výpadek. Sofistikované záložní systémy pak nepomohou. K distribuci napájení v datových rozvaděčích nepoužívejte levné prodlužovačky, zamezíte tak zkratům a výpadkům. Obecně je vhodné vybírat kvalitní zařízení za rozumnou cenu, na trhu jsou dostupné, jde jen o to, najít je.

Obr. 2: Motorgenerátor s automatickým řízením startu v odděleném prostoru

Zálohování napájení

Zde není vhodné šetřit. Online verze UPS vykrývá přepětí i krátkodobá podpětí. Pozor na životnost akumulátorů, jsou-li umístěny v neklimatizovaném prostředí, může se výrazně zkrátit doba zálohy. Jestliže neprovádíte pravidelná měření a profylaxe, nedozvíte se to a v případě výpadku zažijete překvapení. Jak pro UPS, tak pro motorgenerátor je nutné zvážit, zda použít N+1 redundanci – to závisí na vašich požadavcích na dostupnost. V každém případě by systém měl být připraven na rozšíření. Na jakou provozní dobu vystačí náplň zásobníku nafty? Záložní systém musí napájet nejen IT technologii, ale i podpůrné systémy, bez kterých datacentrum nebude funkční!

Obr. 3: Umístění baterií pro systém UPS

Klimatizace

Nepoužívejte levné kancelářské klimatizační jednotky (nejsou navrženy pro nepřetržitý provoz, problémy při extrémních teplotách), ale technologické jednotky (vyšší výkon, méně hotspotů, napojení na monitorovací/řídicí systémy, vyšší spolehlivost, celoroční provoz – zimní výbava, …).

Obr. 4: Systém studené a teplé uličky

Požární ochrana

Nutné jsou oddělené požární zóny, certifikované dveře, průchodky, EPS a SZZ. Doporučuji využít hasení plynem, nikoliv vodní mlhou. Umožní vám to rychle obnovit provoz a nezkrátit životnost IT technologie.

Obr. 5: Plynové stabilní zhášecí zařízení FM200

Bezpečnostní systémy

Je vhodné nasadit EZS s čidly pro prostorovou a plášťovou ochranu, systém kontroly vstupu pro monitorování pohybu osob v datacentru mezi jednotlivými zónami. CCTV se záznamem. Doporučuji zvážit rentgen zavazadel, detekční průchozí rám, ruční detektor, nebo zajistit odkládací prostor.

Dohledový systém

Měřicí a řídicí systémy – jde o technické prostředky zajištující místní nebo vzdálený dohled infrastruktury datacentra. Jedná se zejména o jednotlivé technologie energocentra, vzduchotechniky, chlazení, přístupový systém, zhášení, parametry prostředí, úniky kapalin a plynu atd. Měřící systém by měl být od řídicího oddělen.

Technický personál

Sebelepší technologie vám nezajistí hladký provoz. Datacentrum nelze provozovat bez zkušených provozních techniků a správců technologických celků. Případné chyby je nutné odhalit preventivně. Provozní technik musí zajistit a dodržovat plán preventivních prohlídek. SLA na opravy technologických celků musí být zajištěny konkrétními servisními kontrakty s jasnými časy pro nástup a opravu s dostatečnou sankcí při neplnění. Pravidlo nikdy nevstupovat do stanovené rezervy příkonu musí platit bez výjimek. Je nutné hlídat instalované příkony, měřit aktuální spotřebu a mít pod kontrolou instalace nových zařízení.
Ke krizovým situacím dochází výjimečně. Právě proto je nutná jejich simulace a nácvik úkonů k odstranění krizového stavu až do fáze, kdy dojde k zautomatizování postupů při řešení krizových situací. Problémy analyzovat, najít slabá místa a poučit se.
K úkolům technického personálu patří i provádění optimalizace provozu datacentra. Jako příklad uvádím provedení měření exponovaných míst datových rozvaděčů pomocí termosnímků, které pomůže optimalizovat rozmístění technologie v datovém rozvaděči a zamezit tak vzniku hotspotů, které sebelepší klimatizační systém s nuceným oběhem nemůže uchladit.

Obr. 6: Termosnímky datových rozvaděčů s identifikovanými hotspoty

Komerční, nebo privátní datové centrum?

Při rozhodování, zda realizovat výstavbu vlastního datacentra, nebo využít komerční, zvažte mimo jiné následující:

• Je nutné přesně plánovat rozvoj vzhledem k narůstajícím potřebám. Plánovat investiční náklady bez důkladných analýz a v časovém presu je nebezpečné.
• Při vlastní výstavbě budete řešit provozní problémy s mnoho dodavateli (stavebnictví, energetika, komunikační infrastruktura, klimatizace a další). I po výstavbě je nutné dohadovat aktualizaci cen za servis a upgrade a zde je nutné silné angažmá nákupního oddělení.
• Provoz datacentra vyžaduje pravidelně školit provozní personál jiných než IT a telco zařízení a zajišťovat směnný provoz. Stejně to platí pro ostrahu.
• Při zanedbání povinností dle platné legislativy (hlučnost, emise, ochrana ŽP, stavební zákon) budete platit sankce za její porušení.
• Je nutné hlídat maximální spotřebu versus instalovaný příkon (špičky, přetížení).
• Při požadavku na vyšší dostupnost služeb datacentra je nutné zajistit redundanci jednotlivých non-IT technologií. Vyplatí se to v malém měřítku privátního datacentra?
• Zvažte zatížení svého cash flow počáteční investicí, spočtěte si TCO a ověřte si dostupnost finančních prostředků a náklady na jejich získání.

Jen pro ukázku uvádím celkový rozpad nákladů na jedno ze starších datacenter na sedmnáct let provozu, z nichž devět let již uplynulo a osm let je odhad. Rozpad dokládá, jak je důležité dbát při výstavbě na efektivní využití elektrické energie, jejíž spotřeba činí 42 procent z celkových nákladů na datacentrum. Zkušenosti, jak správně vyvážit investice do technologických celků a sladit jejich provoz tak, aby efektivita byla co nejvyšší, jsou zásadní.

Obr. 7: Celkové náklady na provoz datacentra za sedmnáct let provozu

Václav Molík, Hynek Vácha, Richard Novák
Autoři působí ve společnosti GTS Czech. Václav Molík na pozici ředitele úseku zákaznických projektů, Hynek Vácha jako manažer zákaznických projektů, Richard Novák je ředitelem úseku řízených služeb.