Til hovedinnhold
Artikkel

Slik håndterer man 100 millioner gigabyte data

Se datasenteret som jobber med verden største fysikkeksperiment.

Datasenteret i Sveits

Denne saken er tidligere publisert, men republisert til glede for nye lesere.

Hardware.no/Genève: Flere hundre millioner ganger hvert eneste sekund kan ørsmå partikler frontkollidere med tilnærmet lysets hastighet i Large Hadron Collider – det gigantiske partikkeleksperimentet som ligger på grensen mellom Frankrike og Sveits, hos CERN. Hver og en av disse kollisjonene skaper mindre partikler som igjen kan bryte ned til enda flere partikler. På de fire punktene i LHC der disse kollisjonene finner sted, står det plassert flere gigantiske detektorer som måler denne nedbrytningen, ved å fange et bilde av hvordan partiklene beveger seg gjennom en serie med forskjellige instrumenter.

sitat"De fire store eksperimentene produserer ufattelig store datamengder"

– Datautfordringen for LHC er at vi har disse fire store eksperimentene som produserer ufattelig store datamengder når vi kjører kollisjoner i akseleratoren, slår Nils Høimyr fast. Han er seksjonssjef i CERNs IT-avdeling, avdelingen som har ansvaret for å håndtere disse ubegripelig store datamengdene.

Disse dataene, som beskriver hvordan hver eneste lille partikkel fra hver eneste av de gjerne 600 millioner kollisjonene i sekundet, skal filtreres, lagres og analyseres – og de siste to punktene er en massiv utfordring å få til. Når LHC jobber på full spiker kan det samle seg opp over 30 petabyte med verdifull rådata i året – og alt dette skal analyseres ned til minste detalj. Datamengende det er snakk om her, og prosessorkraften som må til, er så av en skala det er vanskelig å fatte. Men takket være et et intrikat nettverk av flere hundre regnesenteret rundt om på hele jordkloden, har CERN fått det til.

Nils Høimyr er seksjonsleder ved CERNs IT-avdeling.

Allerede under de første stadiene av planleggingen for LHC, tilbake på 80-tallet, skjønte IT-avdelingen at det ikke fantes noe tenkelig datasenter i verden som ville være i stand til å lagre alle dataene, og samtidig analysere dem. Det eneste man kunne gjøre var å håpe at utviklingen på IT-siden, av prosessorer og datalagring, ville fortsette i samme rivende hastighet, slik at når LHC en gang ble ferdig ville IT-teknologien bli god nok til å kunne håndtere datamengdene fra LHC-detektorne.

I 2002, syv år før akseleratoren først ble startet, lå den eneste realistiske løsningen klar. CERN ville ta i bruk det som kalles grid-distribuering og dele den massive oppgaven utover hele verden. CERN Grid ble dannet, et globalt nettverk av datasentre som i sanntid distribuerer, lagrer og analyserer de enorme datamengdene. I hjertet av det hele står CERNs eget datasenter, og det er her vi nå er på besøk.

Det store knutepunktet

Dette datasenteret er knutepunktet for den globale distribusjonen av data, og er et Tier-0-senter. Over to etasjer, der hovedetasjen måler 1450 kvadratmeter, står kraftigere servere og helautomatiske lagringssystemer på døgnet rundt. Frem til i år hadde senteret en kapasitet på 2,9 megawatt, men det har nå blitt oppgradert til 3,5 megawatt slik at man kan installere flere maskiner.

Maskinene her brukes hovedsakelig til fire ting: Analyse av dataene fra LHC, lagring av alle dataene LHC produserer, distribusjon av disse dataene, og i tillegg skal et eget batteri med servere håndtere simulering og en rekke støttesystemer som forskerne på CERN trenger i sitt daglige arbeid.

Datasenteret er riktig nok ikke det eneste på CERN. På hvert kollisjonspunkt står det et – relativt sett – lite datasenter som filtrerer data. Noen ganger fanger detektoren opp støy, og andre ganger har ikke partiklene hatt en skikkelig frontkollisjon, og slike data er uinteressante for forskerne. Dedikert elektronikk filtrerer vekk og fjerner disse dataene før de i det hele tatt kommer inn i databehandlingssystemet til CERN. Dette datasenteret er derfor det første kontaktpunktet for de dataene som faktisk skal brukes.

– Vi får inn en datastrøm som varierer fra rundt 100 megabyte i sekundet og faktisk opptil et par gigabyte i sekundet når vi kjører ioneforskning i Alice-detektoren. Funksjonen til dette Tier-0-senteret er å ta i mot data fra eksperimentene, også er det et slags knutepunkt for Grid-en, sier Høimyr.

– Vi har 10 000 flerprosessorservere med 90 000 prosessorkjerner, men det er bare nok til å håndtere 15 prosent av analysen av LHC-dataene. Rollen til disse Tier-1-sentrene er da å ta imot kopier av alle disse dataene, stå for ekstra regnekraft, og så gir de en redundanse i lagringen av data fra LHC.

Mens Tier-0-senteret tar imot og gjør en liten del av analysejobben, skal Tier-1 gjøre mye av det samme – men med Tier-1 har belastningen blitt spredt utover 11 forskjellige datasentre. De fleste ligger i Europa, men de er også å finne både i Amerika og Asia.

– Vi kopierer ut data som skal analyseres til disse Tier-1-sentrene, også har vi Tier-2-senterne som består av omtrent 180 universiteter, som Universitetet i Oslo, Bergen, Trondheim og Peking, der fysikerne gjør sin simulering. Dataene blir da hentet fra det nærmeste Tier-1-senteret, forteller Høimyr.

Heng med over til neste side, så skal du få se hvordan 100 petabyte med data håndteres »

Lagringen av data

100 petabyte med data

Detektorene sender altså en kontinuerlig datastrøm som varierer mellom et par hundre megabyte i sekundet, og opptil et par gigabyte i sekundet, inn til datasenteret. På årlig basis resulterer det i rundt 25 petabyte med data, men i 2012 leverte eksperimentene hele 30 petabyte. Hadde du brent det hele ut på CD-er og stablet dem i høyden, ville platene ha strukket seg hele 20 kilometer i høyden.

I datasenteret på CERN ligger det nå totalt 100 petabyte – drøyt 100 millioner gigabyte – med data lagret.

Dette er hovedbasen til alle LHC-dataene, men disse 100 petabytene er også distribuert ut til de 11 Tier-1-sentrene rundt om i verden, som så flytter de forespurte dataene ut til Tier-2 for analyse. Rundt om i CERNs Grid kan det pågå over en million slike jobber hver eneste dag.

I datasenterets kjelleretasje finner vi maskinene som holder på alle disse dataene. Selv om de mest aktive og interessante dataene er lagret på harddisker, ligger majoriteten på databånd. Det er en kostnadseffektiv løsning, og hvert bånd holder gjerne fire terabyte. Disse båndene er som store kassetter, og står tett i tett inne i enorme lagringsroboter. Inni disse robotene flyr robotarmer frem og tilbake for å flytte på databåndene for avlesing og lagring. Det er en høyst mekanisk prosess, men responstiden er faktisk bare på noen sekunder.

Likevel, å ha slike enorme datamengder tilgjengelig gjør lite nytte hvis de ikke kan brukes til noe fornuftig. For at alle forskerne over hele verden skal få tilgang på disse filene har CERN tatt i bruk et filsystem som heter Castor.

– Castor-filsystemet er tilgjengelig for alle Grid-systemene. I Grid-en er det slik at en bruker fra for eksempel ATLAS-eksperimentet logger seg på og blir en del av ATLAS' virtuelle organisasjon. Alle regnesentrene som er med i ATLAS med tilgjengelig regnekapasitet er da tilgjengelig for ham til å jobbe på, og alle disse sentrene har da tilgang til dette filsystemet. Selve filsystemet ligger på CERN, men enkelte deler av det er replisert ut til de andre sentrene. Vi har et sentralt system her, så kopierer vi data til Tier-1-sentrene, forteller Høimyr.

CERN har et stort arsenal av enorme lagringsroboter, som denne.

– Det er ofte gunstigere for en som kjører analyse på Universitetet i Chicago å hente kopien fra Fermilab i Illinois, eller noen som er i Oslo å hente fra Nordic Grid Facility, som er en kombinasjon av København, Oslo, Stockholm og Helsinki, men det kommer an på, sier han.

Selv om det kan være hensiktsmessig å hente data fra det nærmeste Tier-1-senteret, er ikke forskerne låst til å gjøre det:

– Det er bare å gjøre et kall i programvaren om å hente ting her fra CERN, så kommer det til brukeren. Fremfor en HTTP-referanse så bruker vi castor.cern.ch, etterfulgt av filkatalogen, forteller Høimyr.

Datasenteret som kunne vært i Norge

Selv om Tier-0-senteret vi nå befinner oss i er selve kjernen av Grid-systemet, er det ikke det eneste Tier-0-senteret. I skrivende stund blir en ny regnepark med samme oppgave bygget hos Wigner forskningssenter for fysikk i Budapest, Ungarn. Dette senteret fungerer som en ren utvidelse av datasenteret i Géneve, selv om det ligger i et helt annet land.

Dette datasenteret kunne like gjerne ha ligget i Norge – og det lå lenge an til å faktisk gjøre det. CERN ville nemlig først bygge Tier-0-senteret på norsk jord, og sendte et brev til norske myndigheter tilbake i 2010, men fikk aldri svar. Når norsk myndigheter ikke gadd å svare, ble det eksterne datasenteret lagt ut på en offentlig anbudsrunde. Tross flere teknisk sett meget gode tilbud fra private aktører i Norge, var det Ungarn som stakk av med seieren. Ungarerne stilte opp på regjeringsnivå med støtte til en utvidelse av Wigner senteret i Budapest. Hadde norske myndigheter sponset et fibernett fra Oslo til datasentere i disktriktene, hadde det vært gode sjanser for at senteret havnet i Norge.

– Regnesenteret i Ungarn er et senter med veldig høy overføringshastighet hit. Selv om vi har maskiner både her på CERN og i Ungarn, skal det for brukeren se ut som det er på samme sted. Vi har da regnesenteret her, som er vårt trinn 0-senter, så har vi et ekstra trinn 0-senter som er i Ungarn, sier Høimyr.

Ungarn-senteret har en kapasitet på 2,5 megawatt, noe som gir rom for å ha 7000 flerkjerneservere på plass der. Dette gir CERN ekstra regnekraft, men samtidig også en redundans i systemet.

– Med senteret i Ungarn har vi et regnesenter som er under vår kontroll. Selv om det er folk i Ungarn som drifter regnesenteret og installerer fysiske servere, kan vi sette opp virtuelle maskiner og overføre kapasitet til maskiner i Ungarn herfra. Det er helt transparent fra oss, sier Høimyr.

– Vi er i ferd med å gå over fra ett system som heter Quattor, som ble utviklet i forbindelse med Grid-prosjektene, til å kunne konfigurere tusenvis av maskiner samtidig. Vi bruker noe som heter Openstack, og nå installerer vi det som kalles hypervisorer. Denne nettskyteknologien gir oss servere som kjører mange virtuelle maskiner, så kan vi starte opp så mange virtuelle maskiner vi vil, forteller han

Takket være to uhyre raske, dedikerte fiberlinjer vil serverne som står plassert i datasenteret i Ungarn nemlig oppføre seg som om de stod plassert vegg i vegg med CERNs eksisterende datasenter. Disse linjene er to dedikerte 100 Gbit/s-fiberlinker som går fra CERN til Budapest. Hver linje er uavhengig, så om en av dem ryker har CERN fortsatt én fungerende høykapasitetslinje. Den ene fiberlinjen er leiet av den private tilbyderen T-Systems, mens den andre er levert av DANTE, som styrer forskningsnettverket Géant – et spesielt nettverk som er bygget på kryss og tvers av Europa for transport av forskning- og universitetsdata.

Kraftig infrastruktur

Géant er et samarbeid mellom en rekke europeiske aktører, og består av rundt 50 000 kilometer høykapasitets-fibernett rundt om kring i Europa, og i år fikk de også på plass den første 100 Gbit/s-linken over Atlanterhavet. 40 land er nå koblet på, og samler omtrent 8000 institusjoner innen forskning, medisin og mye mer. Kjernenettet har en kapasitet på 500 Gbit/s, og store deler av det totale nettet har en kapasitet på 100 Gbit/s.

Én av mulighetene som Géant tilbyr er at man kan lage egne «private» nettverk med en garanti om hvor mye kapasitet man til en hver tid vil ha til rådighet. Akkurat det har CERN gjort for å knytte hoveddatasenteret i Sveits sammen med de 11 Tier-1-sentrene.

– Trafikken går via dedikerte forskningsnett. Vi har Géant, og andre nasjonale linjer der høyenergifysikkmiljøet har garantert kapasitet. Vi kaller det LHC Optical Network, (LHCOPN), hvor vi og Tier-1 sentrene har kontroll over trafikken, forteller Høimyr.

– Derfor har vi 10 Gbit/s til disse Tier-1-sentrene.

Sanntidsoversikt av overføringene i Grid-systemet. Norge er dessverre ikke med på dette kartet, da CERN kjører Grid-varianten «Nordugrid» i de skandinaviske landene som ikke er inkludert i denne visualiseringen.

CERN tar altså i bruk Géant sin fiber, men det er OP1 som er selve nettverket som knytter Tier-0-senteret til alle Tier-1-sentrene. For distribusjonen av data ut til alle Tier-2-sentrene tar man i bruk tradisjonelle forsknings- og universitetsnett.

I Tier-0-senteret vi besøker i Genéve kommer disse 10 Gbit/s-koblingene inn i egne store serverskap, som i likhet med prosesseringsserverne står i egne plasthus for å spare på den kalde luften. Her er også kommersielle nettverkstilbydere koblet på.

Bli med over på siste side, så skal du få se serverutstyret CERN tar i bruk »

Serverutstyret

Basert på Linux

10 000 servere med 90 000 prosessorkjerner står altså hos CERN, men kan bare ta unna 15 prosent av analysejobben. Like fullt, i sin tid var dette faktisk Europas største datasenter – før nettkjemper som Google, Facebook og Amazon begynte å bygge sine egne løsninger

– Dette er flerkjerneservere, med stort sett alt fra 4 til 48 kjerner, forteller Høimyr mens han peker nedover en av de store radene med blinkende serverutstyr.

Alle maskinene kjører en variant av Linux som operativsystem, nærmere bestemt Scientific Linux 5 og 6, systemer som igjen er basert på Red Hat Enterprise. Systemet er basert på x86-arkitektur og 64-bit.

Alle disse maskinene er luftkjølt, og luften blåses inn via store, blå ventilasjonsrør langs veggene. Luften transporteres så under gulvet og blåses opp til serverne. To rader med servere er kapslet inn i plastbur som holder luften innenfor serverradene, slik at minst mulig skal gå til spille. Som i så mange andre datasentre står hver rad med servere motsatt vei av raden ved siden av. På den måten får man en varm og en kald side – fordi to motstående rader med maskiner suger den samme kalde luften inn, og blåser den mot det varme punktet, som er baksiden av hver server.

I etasjen under står serverne som ikke driver med ren dataanalyse fra LHC. Disse kan for eksempel brukes til simuleringer og noen av de mange andre forskningsprosjektene på CERN. En del av disse servene er i motsetning til LHC sine servere vannkjølt, og får vann transportert ned fra taket og inn til hvert skap med maskiner.

Vil du vite hvordan et datasenter fungerer?
Bli med inn i et toppmoderne norsk datasenter »

Kontinuerlig oppgradering

– Vi kjøper stort sett inn datamaskiner for treårsperioder om gangen, men for enkelte servere kan det være lenger. Utviklingen går så fort på IT-siden at det lønner seg for oss å skifte ut maskiner, det er mer kostnadseffektivt. Det er også billigere for oss å kjøpe fra mindre kjente leverandører, forteller Høimyr.

– Vi har litt andre rammebetingelser enn det akseleratoren har. Magentene der er kjølt ned til 1,9 kelvin og skal du få gjort noe der må du varme den opp, noe som kan ta mange måneder. Men så lenge vi har kapasitet til å håndtere data og drive med de tjenestene som fysikerne trenger, kan vi oppgradere fortløpende.

For å være rustet mot en alvorlig ulykke eller et langvarig strømbrudd, har IT-avdelingen plassert de mest kritiske serverne i et eget rom med eget strømsystem og egen kjøling. Her står det også en batteripark som kan holde disse serverne i live i rundt 7 minutter, og en dieselgenerator som står klar om det ikke skulle holde.

Strømbrudd er heldigvis noe som skjer sjeldent på CERN. Hele området får tross alt inn strøm fra to uavhengige kilder i to forskjellige land – Frankrike og Sveits.

Kan ikke bruke GPU – foreløpig

Mens Cern nesten utelukkende benytter x86-baserte prosessorer, har flere og flere andre datasentre rundt omkring begynt å ta i bruk GPU-er – det samme du finner i kjernen til et skjermkort – for å behandle data. Skjermkort kan nemlig være uhyre gode til slikt, og gjerne langt bedre enn en «vanlig» prosessor i mange situasjoner. Men å bytte til GPU er for CERN foreløpig ikke et stort tema.

– Vi bruker veldig lite GPU-er. Vanlig fysikkdataanalyse er parallellisert og det er heltallanalyse, og fysikerne er ganske konservative med sin programvare. De har ikke kommet så langt på GPU-siden i det hele tatt, og mange av disse programmene er rett og slett ikke kjørbare på GPU-er.

– Vi har noen eksperimenter med GPU-er her og der, men på CERN er det minimalt. Det finnes andre fysikklaboratorier, spesielt innen akseleratorfysikk, som kjører mye på GPU fordi akseleratorfysikkprogrammer som simulerer hva som skjer i en akselerator er mer vektor-programmer, og mer klassisk «high performance computing», Det er mer egnet for GPU-er, sier Høimyr.

For å gå over til GPU må rett og slett mye av programvaren som brukes i dataanalysen skrives om, og det er hverken en enkel eller smidig oppgave å ta fatt på. Grunnen er rett og slett at fysikerne vet at de CPU-baserte programmene fungerer og er pålitelige. Skal programvaren portes over til en ny plattform har man en risiko for at man rett og slett får feil resultater i analysen, på grunn av prosessortypen.

– Vi har vi blant annet et fysikkprogram som heter Géant 4 for å simulere kollisjoner i en detektor. Det er skrevet for CPU, men nå har de tenkt til å gå i gang med neste store versjon av programmet. Da må veldig mye skrives om, og nå skal det kunne gå ann å kjøre det på GPU-er og dra nytte av den teknologien. Så snart programvaren støtter GPU-er, kan vi ta i bruk GPU-er, slår Høimyr fast.

En serie av systemer

Selv om Tier-0-rollen i Grid-systemet er den største delen av CERNs IT-infrastruktur, er databehandling på CERN et emne som favner mye mer enn bare dataanalyse for LHC. Å analysere dataene som kommer ut av fysikkeksperimentene er bare én del av jobben: Simulering av hvordan akseleratoren skal bygges, hvordan den skal oppgraderes, hvordan elektronikken skal lages og mye mer er alle oppgaver som innebærer et behov for databehandling.

– Og så har du kontrollsystemer. Det å styre protonstrålen i LHC er enhver kyberkenetikers hellige gral. Faktisk er energien i strålen tilsvarende TGV-toget i 350 km/t, så du vil helst ikke miste den strålen. Da ødelegger du fort veldig mye, sier Høimyr med et tydelig smil om munnen.

– Vi har utfordringer på sikkerhetssiden også. Om noen hackere skulle komme å ta kontrollen over maskiner i regnesenteret vårt for å angripe noen andre, så ville det vært litt pinlig for oss.

Oppgaven med å knuse tall og kjøre analyser er for Høimyr bare én del av jobben i IT-avdelingen. Det handler vel så mye om å hjelpe fysikere og ingeniører til å kunne samarbeide mellom alle instituttene. Dette innebærer en rekke hjelpemidler for å dele kode, tjenester, dokumentasjon og mye mer.

Ett av dataverktøyene CERN bruker for å hjelpe forskerne med å samarbeide, heter Twiki:
Den norske studenten Terje jobber på CERN med Twiki som sin bacheloroppgave »

Mer om
annonse