Til hovedinnhold
ArtikkelBli med inn i et topp-moderne norsk datasenter

Bli med inn i et toppmoderne norsk datasenter

Se den imponerende infrastrukturen som ligger bak.

Introduksjon

Få vet hvilke store ressurser som ruller og går i bakgrunn av et nettsted som for eksempel Hardware.no. Hvert klikk du gjør sender et signal til en datapark et sted i Oslo, der en server svarer. Det høres kanskje enkelt nok ut at en rekke servere surrer og går døgnet rundt, med det er langt fra så enkelt i virkeligheten.

I bakhånd står nemlig store mengder infrastruktur, i et massivt anlegg som er laget etter lang tids planlegging.

For å se hvordan et toppmoderne datasenter fungerer, tok vi turen til et splitter nytt anlegg som selskapet Availo har bygget, i Nydalen i Oslo.

Åpnet i fjor høst

Skap som snart skal fylles med servere.
Kraftig infrastruktur skal til for å holde et datasenter gående.

De første delene av datasenteret til Availo ble åpnet i oktober i fjor, men det er ikke helt ferdig. Da vi var på besøk var senteret operasjonelt, men flere at serverrommene var fortsatt under konstruksjon, og deler av infrastrukturen skal utvides med større kapasitet den kommende tiden.

Anlegget ligger under bakkenivå, og byr på et gulvareal på hele 2000 kvadratmeter, fordelt over to etasjer. Totalt har det plass til 500 skap som kan fylles med servere og nettverksutstyr. Det er denne hallen vi for kort tid siden flyttet våre servere til, via vår serverleverandør Redpill Linpro.

Vi vil komme tilbake med en egen sak på akkurat vårt oppsett i denne serverhallen, og hvordan utstyret som drifter Hardware.no fungerer. Mist like spennende er nemlig anlegget rundt, som gjør det mulig for serverne å jobbe uavbrutt, døgnet rundt.

Senteret er toppmoderne, med ekstra sikkerhet i alle ledd. Fiberlinjen som gir nett til bygget kommer inn fra tre steder, og strømmen er supplert fra tre helt uavhengige strømnett: Går det ene ned, får man fortsatt kraft fra de to andre. Og om det ikke skulle være nok, står et arsenal av batterier og en enorm dieselgenerator klar til dyst – bare for å nevne noe.

Bli med over til neste siden, så ser vi nærmere på hvordan et moderne datasenter fungerer »

Strøm

Den nøyaktige lokasjonen til datasenteret vi besøker, er hemmelig, men vi kan si at det ligger i Nydalen, ikke langt fra Oslo Sentrum.

Lokasjonen er ikke tilfeldig: Datasentre bør ligge et sted der det allerede er mye kraft og gode fiberlinjer tilgjengelig, noe der var nok av på denne lokasjonen i Oslo. I tillegg er det en fordel at et datasenter er sentralt for kundene, spesielt om data fra én serverpark skal synkroniseres med en annen park – da kan de ikke ligge langt fra hverandre.

Vi blir guidet rundt på Availos datasenter av Erik Juvshol, som har vært med på å bygge det hele. Han påpeker at senteret fortsatt er under konstruksjon. Store deler av det er operasjonelt, men infrastrukturen rundt skal styrkes etter hvert som flere av datarommene blir klare.

Stor dieselgenerator

Teknisk sjef i Mediehuset Tek, Amund Espelien, står ved siden av dieselgeneratoren.Foto: Jørgen Elton Nilsen, Hardware.no

Før vi beveger oss inn i selve datasenteret, går vi til ett av servicerommene på utsiden. Her står det i dag en enorm dieselgenerator med en kapasitet på 1875 kVA. Om et strømbrudd skulle slå ut alle de tre strømnettene som forsyner datasenteret, sparker denne inn og tar over kraftforsyningen.

Foto: Jørgen Elton Nilsen, Hardware.no

Dette er i prinsippet en stor dieselmotor med en generator koblet på enden, en generator som sitter bak panelet på bildet over. Fra det hvite skapet til venstre går strømkablene opp til taket, og inn i datasenteret.

I dag er det én generator som står klar til dyst, men rommet skal i tiden fremover huse hele tre av dem. Når de siste kommer på plass, vil de alle bli satt opp til å suge kald luft rett inn fra utsiden av bygget. Om strømmen da går, og generatorene må starte, vil de straks spy ut enorme menger varmluft i rommet. For å få dette unna må et par store garasjedører på utsiden åpne seg på bare få sekunder – og alt dette skal skje helt automatisk.

Foto: Jørgen Elton Nilsen, Hardware.no

Om det skulle oppstå brann i dette rommet, står nok et sikringsystem parat. En stor rød gasstank vil via en dyse i taket fylle rommet med en spesiell gass på bare ti sekunder. Gassen heter Novec 1230 og senker temperaturen i rommet så mye av brannen slukkes, fremfor å tømme rommet for oksygen eller slukke med vann.

På med skobeskyttere.Foto: Jørgen Elton Nilsen, Hardware.no

Batterier hjelper til

For å se hvor strømmen fra generatorene leder, må vi inn i selve datasenteret. Vi blir ledet inn i en luftsluse, som sørger for at dørene inn til senteret aldri kan gi gjennomtrekk. Skobeskyttere må også på, før vi får gå inn.

Batterier gir strøm til datasenteret før generatoren tar over.Foto: Jørgen Elton Nilsen, Hardware.no

Om strømmen går, tar det litt tid før det store dieselaggregatet får startet opp og er klart til å bistå. I mellomtiden er det et arsenal av batterier som gir strøm til serverparken. Flere hyller med batterier som avbildet over, står i et eget rom i datasenteret og er alltid klare til å ta over øyeblikkelig.

En av hovedtavlene til datasenteret.Foto: Jørgen Elton Nilsen, Hardware.no

Dette er ett av flere store styringssystemer for strømmen som kommer fra generatoren. Bildet over viser ett av hovedtavle-systemene, som er datasenterets versjon av et sikringskap. Identiske rom andre steder i datasenteret tar seg også av å styre strømmen som kommer inn fra de tradisjonelle strømnettene i Oslo.

Et moderne datasenter får altså strøm fra både strømnettet, en dieselgenerator og et batteriarsenal. Disse tre må synkroniseres, slik at spenning, frekvens og sinuskurve er så godt som identiske. Det er hva noe av innholdet en rekke av disse store skapene sørger for, her blir spenningen synkronisert perfekt før den går inn til datautstyret.

Noen av datahallens store UPS-er.Foto: Jørgen Elton Nilsen, Hardware.no

I et annet rom finner vi UPS-ene til datasenteret, i form av en rekke store og sorte skap. De lager veldig mye lyd, men bak all støyen sørger de for at strømmen til serverne er kontinuerlig og uavbrutt, samtidig som de beskytter utstyret mot feil, lynnedslag og store spenningsvariasjoner i strømnettet.

Kursfordelinger.Foto: Jørgen Elton Nilsen, Hardware.no

I noen andre store skap finner vi flere kontrollsystemer, sikringsløsninger og kursfordelinger. Bildet over viser sistnevnte, og én boks deler strømmen videre til én rad med serverskap i ett av datarommene.

Foto: Jørgen Elton Nilsen, Hardware.no

Ut fra disse fordelingsskapene går en serie med tjukke strømkabler rett ut til de individuelle datarommene. Som alt annet i dette senteret, er de pent dandert hele veien. Selv stripsfestet skal alltid stå midt på kabelen, helt fra fordelingsskapet og frem til serverradene.

Det var strømmen, bli med til neste side så ser vi på hvordan serverne holder seg kalde »

Kjøling

Kjølesentralen

Datasentre lager veldig mye varme, og trenger tilstrekkelig kjøling. I din egen PC er en liten vifte og noen kjøleribber nok til å gjøre jobben, men ikke i nærheten av hva som trengs i et datasenter. Her står det massive kjøleaggregater på taket av bygget, som kjøler ned en spesiell væske som pumpes gjennom store kobberrør.

Disse kobberrørene fører væsken inn til hver enkelt rad med servere, hvor de kjøler ned luften som en rekke massive vifter dytter inn mot selve serverne.

Varmen viftene dytter vekk, forsvinner ikke. I dag brukes den til å varme opp rommet kjøleutstyret står i, og skal senere varme industribygget som ligger over datasenteret.

Kjernen av kjøleanlegget.Foto: Jørgen Elton Nilsen, Hardware.no

Kjernen av kjølesystemet står i et rom på taket av bygget. To kjøleaggregater på utsiden kjøler ned væsken, før det pumpes inn hit. I selve kjøletårnene utendørs er det glykol som er kjølevæsken, slik at det ikke skal fryse, men for kjøleanlegget ellers er det vann som brukes.

Omtrent midt i bildet ser du tre rør som er tettet. Her kan man senere, etter hvert som datasenteret får flere servere i seg, utvide med ett kjøleaggregat ekstra på hver side for å holde det hele kaldt.

Tank for kjølevæske.Foto: Jørgen Elton Nilsen, Hardware.no

I kjernen står en stor isolert tank, som holder på vannet før det sendes ut i de flere kilometerne med kjølerør i anlegget.

En av pumpene som dytter kjølevæeske rundt i systemet. Foto: Jørgen Elton Nilsen, Hardware.no

To store pumper, som den vi har avbildet over, dytter kjølevæsken ut i systemet. Trykket holdes på rundt 2,4 bar.

Datahallen er fyll av kjølerør rundt omkring.Foto: Jørgen Elton Nilsen, Hardware.no

Kjølerørene går fra sentralrommet ut ut til alle kriker og kroker av datahallen. På vår tur rundt i bygget finner vi de isolasjonskledde rørene igjen overalt, med ventiler som kan åpnes og lukkes.

Steder der rørene ender opp, kommer vi tilbake til litt senere.

Luftsystemet.Foto: Jørgen Elton Nilsen, Hardware.no

Det er nemlig ikke bare kjølevæsken som holder senteret kaldt. Litt tradisjonell luftkjøling via et eget ventilasjonsanlegg må også til.

Luftsystemet.Foto: Jørgen Elton Nilsen, Hardware.no

Dette anlegget kjøler ikke serverne direkte, men sirkulerer luften i alt fra gangene til servicerommene rundt omkring, og holder den frisk. Dette er i stor grad det samme systemet som et hvilken som helst næringsbygg i dag benytter.

Bli med over til neste side, så ser vi på nettlinjen og brannsikringen »

Nettlinjer og brannsikring

Tre fiberlinjer

Inntaket for fiberlinjer.Foto: Jørgen Elton Nilsen, Hardware.no

En stabil og god nettlinje er essensielt for et moderne datasenter. Avalios senter har tre uavhengige fiberlinjer inn i bygget, som alle kommer til denne sentralen.

Her fordeles fiberen ut til hele senteret, via de tynne gule kablene. Det er disse, og ikke noe annet, som knytter hver enkelt servergruppe til omverdenen.

Toppmoderne brannsikring

Et moderne datasenter trenger også moderne brannsikring. I et datasenter må brann håndteres på en spesielt måte. Tar det først fyr, nytter det ikke å slukke den med et tradisjonelt sprinkleranlegg. Det kan raskt gjøre mer skade på utstyret enn selve brannen. Målet er å slukke flammene, uten at serverne på noen måte blir påvirket.

Første steget for å sikre seg mot brann er senteret i seg selv. Det er bygget av ikke-brennbare materialer. Veggene er av stål og aluminium, mens gulvene er dekket av et eget datagulv. I tillegg skal nye servere i utgangspunktet pakkes ut utenfor datarommene, slik at emballasje ikke blir med inn.

Gasstanker står klare for å slukke brann.Foto: Jørgen Elton Nilsen, Hardware.no

Om det allikevel skulle skje at noe tar fyr, står et arsenal av gassflasker klare. De er fylt med inergen, og vil på meget kort tid kvele en brann før den rekker å gjøre stor skade på utstyret. Inergen slukker branner ved at gassen senker oksygennivået i rommet betraktelig, slik at flammene slukker.

Et spesielt sensitivt varslingsystem sitter alltid og lukter etter partikler i luften, partikler som er forbundet med at en brann er i ferd med å skapes. I et annet senter der det samme systemet er installert, blir vi fortalt at varslingsystemet i datasenteret løste ut før brannvarslingsanlegget i nabobygget – stedet der det faktisk brant. Målet er å oppdage brannen før den får gjort nevneverdig skade, og slukke den med Inergenet.

Gassdyser i taket av serverrommene.Foto: Jørgen Elton Nilsen, Hardware.no

Om en brann oppdages, pumpes gassen ut via slike ventiler, som står på rekke og rad i taket til hvert serverrom. Det tar ikke mange sekunder før rommet er fylles med gassen, og brannen blir slukket.

Ventiler sørger for at veggene ikke forsvinner når gassystemet løses ut.Foto: Jørgen Elton Nilsen, Hardware.no

Så rask brannslukking skaper imidlertid et nytt problem. Når man pumper masse inergen inn i rommet, må luften som allerede er der ta veien et sted. I andre datasentre har det faktisk hendt at veggene rett og slett blåses ut når gassystemet løses ut, på grunn av trykket.

For å hindre at det skjer, står det ventiler i veggene. Disse åpner seg opp samtidig som gassystemet løses ut, og utligner trykket, før de stenges igjen.

Alt av rør og kabler inn i hvert enkelt datarom er branntettet.Foto: Jørgen Elton Nilsen, Hardware.no

Foruten ventilene i veggene er hvert enkelt serverrom tett. Alle steder der strømkabler eller kjølerør er trukket inn gjennom vegger, tak og gulv, er det brukt branntettende masser for å lukke rommet helt. Bildet over viser ett av kjølerørene, som går igjennom både veggen og taket i ett av serverrommene. Branntetting er smurt rundt hele veien, og tetter hvert eneste luftrom.

Bli med over til siste side, så ser vi hvordan all infrastrukturen kommer sammen i et serverrom »

Datarommene

Solid og sikker strømforsyning, flere uavhengige fiberlinjer, kraftige kjølesystemer og avansert brannslukking er alle en del av infrastrukturen til et moderne datasenter. Alt sammen er nøye planlagt og godt bygget for til syvende og sist å huse en rekke servere.

Datasenteret til Avalio, som vi har besøkt, er delt inn i en rekke rom som forskjellige aktører kan leie. I hvert av disse rommene kommer både strøm, nett og kjøleveske sammen for at nettsider og nettjenester kan være tilgjengelig døgnet rundt.

Serverrommene varierer i størrelse, men foruten størrelsen har rommene i stor grad de samme fasilitetene.

Solide strømkabler går inn i serverrommet, og fordeles til hver rad med skap via taket.Foto: Jørgen Elton Nilsen, Hardware.no

Inn langs veggene kommer de tykke strømkablene fra fordelingsskapene. En og en kabel går opp i taket, og gir strøm til en rad med servere. Strømskinnene i taket kalles Canalis, og er et spesielt system.

Hver server har som regel to separate strømforsyninger, og strømskinnen består da av to uavhengige Canalis-systemer. Disse er i prakis to kurser som går til hvert sitt hovedtavlerom. Om én av sikringene går, får serverne da fortsatt strøm fra det andre systemet, slik at de kan jobbe uavbrutt.

Kjølingen kommer inn via gulvet. Her er systemet under bygging.Foto: Jørgen Elton Nilsen, Hardware.no

Kjølerørene som er fylt med kald væske kommer inn i serverskapene fra gulvet. Bildet over er tatt på ett av serverrommene som fortsatt er under konstruksjon, og viser hvordan det ser ut under gulvet til serverrommet. Her ser du kjølerørene som kveiler seg rundt omkring i rommet.

Ferdig isolerte kjølerør under serverskap.Foto: Jørgen Elton Nilsen, Hardware.no

Langs en rekke serverskap som er klare for bruk, ser vi kjølerøret etter at det har fått påført et tykt lag med isolasjon, for å holde kulda inne og eventuell kondens borte.

Rørene ligger i gulvet slik at en eventuell lekkasje ikke skal ødelegge datautstyret. I gulvet ligger det også detektorer som raskt og automatisk varsler vaktsentralen om noen dråper med vann skulle lekke ut.

Et helt nytt serverrom står klart til bruk.Foto: Jørgen Elton Nilsen, Hardware.no

I det ene serverrommet som vi fikk ta oversiktsbilder i, og som var klart for bruk, ser vi hvorfor man har investert i all denne infrastrukturen. Her står en serie med skap på plass for å huse servere i nær fremtid. Det er faktisk akkurat dette rommet vi for kort tid siden flyttet våre servere til, via vår serverleverandør Redpill Linpro.

Ved hvert fjerde skap står det en stor «in-row-cooler», som stikker litt lenger ut enn selve serverskapet. Det er i disse at kjølevæsken kommer opp, og kjøler ned luften som en serie med store vifter dytter ut over serverne i skapene. Hver slik «in-row-cooler» har en kapasitet på hele 60 KW.

Serverne har i sin tur vifter som suger den kalde luften inn over hver enkelt komponent, som prosessor og nettverkskort.

Rekken med serverskap har én varm og én kald side. Det er på fremsiden, som er synlig på dette bildet, at den kalde luften trekkes inn før den dyttes ut på baksiden. Når et serverrom har flere rader med servere, står de med tilsvarende sider mot hverandre. En dobbel rekke med serverskap, står altså med den varme siden mot hverandre i midten, slik at luften holdes tildels adskilt, noe som leder til mer effektiv kjøling. Samtidig unngår man at en server trekker inn varm luft fra en annen server.

Et skap fylt med servere.Foto: Jørgen Elton Nilsen, Hardware.no

I det samme rommet som er avbildet tidligere, er det ett skap som huset servere da vi var på besøk. Det er disse serverne, og noen til, som Hardware.no kjøres på. Uten all infrastrukturen vi har omtalt, ville ikke disse hatt et like trygt hjem som de har. De har stabil tilgang til strøm, Internett og kjøling, og er godt beskyttet mot det meste.

Om ikke lang tid skal vi komme tilbake med en egen artikkel, der vi tar for oss maskinene som holder Hardware.no, og våre søsternettsider, i live hver eneste dag.

Vil du se flere bilder av spennende serverparker?
Bli med inn i Googles servermekka »

Les også
Slik skal Altibox bygge Norges nye supernett
Les også
Stor brann slår ut en av verdens største minnefabrikker
Les også
Skal bygge splitter nytt datasenter i Norge
Les også
Se bildene fra innsiden av Facebooks servermekka
Les også
Framtidens WiFi går via lampene dine
annonse