Tek.no

Nyhet

Bli med inn i Telenors aller helligste

Fra en operasjonssentral under bakken på Fornebu følger Telenor med på alt som skjer i nettene.

Espen Irwing Swang, Tek.no
Espen Irwing Swang
5 Juni 2015 06:07

Vi inviterte oss selv inn i Telenors operasjonssentral på Fornebu. Her slipper normalt ikke pressen inn. Telenor prioriterer sikkerheten høyt, og operasjonssentralen er selve livsnerven i selskapet. Her jobber sikkerhetsklarerte ingeniører og andre eksperter for å holde liv i et landsdekkende nettverk av servere, fiberbredbånd og basestasjoner for mobiltelefoni.

Sikkerheten i høysetet

Driftssentralen ligger i kjelleren under Telenors hovedkvarter på Fornebu. Foto: Espen Irwing Swang, Tek.no

Vi blir møtt av Telenors informasjonssjef, Anders Krokan. Han tar oss med ned i kjelleren der operasjonssentralen holder til. Han virker litt usikker på om det var en god idé å la seg overtale til å arrangere dette besøket. Tiden vi bruker på å ta oss ned til operasjonssentralen bruker han på å minne oss om at det er noen restriksjoner på hva vi kan få lov til å skrive. Telenor vil gjerne også se på bildene jeg tar, for å forvisse seg om at de ikke inneholder sensitiv informasjon.

Men jeg er ikke her for å spionere. Jeg er bare nysgjerrig på hva som egentlig foregår i denne sentralen. At aktiviteten her er samfunnskritisk er det ingen grunn til å tvile på. Så viktig er virksomheten at det finnes et hemmelig operasjonssenter som Telenor kan flytte aktiviteten over til, dersom anlegget på Fornebu av en eller annen grunn må evakueres. Sist Telenor øvde på en slik forflytning ble hele staben eskortert av såvel politi som militære kjøretøyer.

Vi er fremme ved slusen som skiller oss fra den litt mystiske operasjonssentralen, og Informasjonssjefen trekker nøkkelkortet sitt gjennom låsen. En rød tekst lyser mot oss forteller at her har selv ikke informasjonssjefen adgang.

Hit, men ikke lenger. Dette er den siste døren mellom oss og driftssentralen til Telenor. Her må du være klarert før du slipper inn. Foto: Espen Irwing Swang, Tek.no

Stort og åpent lokale under bakkeplan

Men vårt besøk er klarert, og snart blir vi møtt av Martin Onstad og Morten Søreide, som jobber som operasjonsledere i sentralen. De sluser oss inn, og kort tid etter står vi i en stor sal med et åpent kontorlandskap. På veggen henger enorme skjermer som viser status på telenettet i Norge akkurat nå.

På kartet ser vi noen små sirkler og firkanter med ulike farger. Operasjonsleder gir oss en kort informasjon om hva de ulike symbolene betyr. Alle er steder hvor det er rapportert om problemer, enten med telenettet eller med bredbåndsnettet til Telenor.

I operasjonssentralen er det ingen hektisk aktivitet, til tross for at en åtte-ti basestasjoner later til å ha problemer av en eller annen sort.

Ikke alle feil er like alvorlige

Feilene vi nå ser er ikke dramatiske, blir vi forklart. Operasjonslederen zoomer inn på kartet, som går fra å være en landsoversikt, til å vise nøyaktig hvor i nettet feilmeldingen stammer fra. I dette tilfellet viser det seg å være en basestasjon i et nokså øde område i Nord-Trøndelag. Operasjonslederen peker på et par nærliggende basestasjoner. På kartet ser det mest ut som små fyrtårn som lyser opp en begrenset sektor. Basestasjonen som har rapportert en feil ligger i et område med overlappende dekning. Som mobilkunde vil du antakelig ikke merke at det er feil på denne ene senderen.

På fornavn med uværet

Seksjonsleder Operasjonsledelse, Martin Onstad, gir oss en grundig innføring i hvordan Telenor overvåker ekomnettet både for å forebygge og for å rette feil. Foto: Espen Irwing Swang, Tek.no

– Vi er inne i en stille periode nå, forklarer operasjonsleder. Den har vart siden de siste stormene feide inn over nordlige deler av landet på senvinteren. Da var det langt mer hektisk i sentralen på Fornebu.

Operasjonslederen er på fornavn med alle stormene vi har hatt de siste årene. Han forklarer hvordan værvarselet påvirker beredskapen ved operasjonssenteret. Uvær betyr trøbbel, med strømbrudd og trær som faller over ledninger. Det norske telenettet, eller ekomnettet som Telenor kaller det, er skalert for å tåle mye. Men uten strøm slutter det å virke.

Alternative kanaler

– Vi har et svært stabilt ekomnett i Norge. Det skyldes at vi har bygget inn redundans i nettet, blir vi forklart. Det betyr at nettet er bygget opp i sløyfer som krysser hverandre. Blir det brudd ett sted, kan trafikken omdirigeres. Basestasjonene i mobilnettet har også nødstrøm, enten i form av batterier, eller de kan drives av dieselaggregater. Men batteriene varer ikke evig, og også dieselaggregater krever tilsyn og etterfylling. Derfor er det viktig for Telenor å oppdage feil så raskt som mulig.

Et kart på veggen i operasjonssentralen viser hvordan nettet er bygget opp. Her er det tegnet inn fargerike sløyfer rundt og gjennom de store byene, og mellom landsdelene. Fiber, kobber, radiolinjer, servere og alt annet som kan overføre tale og data elektronisk inngår i dette litt mystiske ekomnettet.

Kartet er ganske fascinerende. Men når vi spør om det er greit at vi tar et bilde er beskjeden klar; Dette kartet viser infrastrukturen i ekomnettet og hvor knutepunktene i nettet ligger. Det er informasjon Telenor ikke ønsker å dele med hvem som helst.

En halv milliard varsler i året

Det er stille i operasjonssentralen når vi er på besøk. Vi hadde vel sett for oss litt mer «armer og bein», á la Wall Street, men operasjonsleder beroliger oss med at alt er under kontroll. Foto: Espen Irwing Swang, Tek.no

Alle komponenter i nettet kan informere om status på seg selv. I løpet av ett døgn genereres i snitt 1,5 millioner slike meldinger. Men de fleste av disse handler ikke om feil. En sensor kan for eksempel rapportere om en temperaturendring, uten at det behøver å være noen dramatikk i det. Ved ekstremvær øker antallet alarmer betydelig.

Et analyseverktøy sjekker hvilke av meldingene som krever handling, og 1,5 millioner varsler blir til 1500 arbeidsordre. Bare mellom 15 og 20 av varslene handler om feil som gir det Telenor kaller kundekonsekvens. I et ekomnett med 14 000 basestasjoner, fiber, TV og ulike dataservere blir dette forsvinnende lite. Men det er en mager trøst for den som måtte bli rammet av en feil.

Det er ikke mange år siden du måtte søke Televerket for i det hele tatt å få lov til å ha et telefonapparat, og det kunne være flere måneder ventetid. I dag er vi helt avhengige av ekom, og vi forventer at alt skal virke hele tiden.

På denne branntomta i Lærdalsøyri måtte Telenors teknikere reparere flere tusen utbrente og ødelagte kabler. Foto: Telenor

Lærdalsbrannen var en øyeåpner

Nettopp dette at kommunikasjonen er blitt samfunnskritisk, gjør at beredskapen må være høy. Et eksempel på hvor avhengige vi er blitt av ekom, fikk vi under storbrannen i Lærdal i januar i fjor. Telenors sentral i Lærdalsøyri brant ned, og ekomnettet brøt sammen.

– Da merket vi hvor avhengige vi er blitt av ekom. Europas lengste veitunnel måtte stenges, fordi nødtelefonene inne i tunnelen ble satt ut av drift. Du kunne ikke bruke bankkort eller kasseapparater, og selv bensinpumpene baserer seg på elektronisk avlesning og sluttet å virke, forteller operasjonsleder Martin Onstad.

Folk fikk ikke ringt og sagt fra om de hadde det bra eller ikke, og engstelige slektninger fra andre kanter av landet fikk ikke tak i sine. Kommunikasjon er også viktig for å få koordinert redningsarbeidet. Telenor sendte ut mobile basestasjoner, og klarte relativt raskt å få opp et fungerende mobilnett med 4G. For å få til dette måtte de samarbeide med politiet for å få adgang og eskorte til området.

Vanskelig reparasjonsarbeid

Ett døgn etter at brannen var slukket ulmet det fremdeles nede i kabelbrønnen der fiberlinjene måtte repareres. Samtidig var bygget som brant ned bygget i en tid da det ble brukt mye asbest. Det medførte at teknikerne måtte jobbe i noe som minnet om romdrakter. I løpet av uke jobbet de døgnet rundt, og skjøtet fysisk mange tusen kabler.

En ting var at mange kabler skulle skjøtes, noe annet var at brannen gjorde det håpløst å se hvilke ender som hørte sammen. Dermed måtte hver enkelt tråd identifiseres for å hindre feilkoblinger.

Prøver å være i forkant

Store tavler viser status på ekomnettet. Nå er det stille, men ved ekstremvær kan hele eller deler av kartet være skjult bak et lappeteppe av ulike symboler. Foto: Espen Irwing Swang, Tek.no

De som leder operasjonssentralen forsøker å være proaktive. De samarbeider med den lokale redningsledelsen, som ledes av politiet, og de følger med på vær og planlagte hendelser.

Det er mange hensyn å ta. Om deler av nettet ødelegges i en skogbrann, kan det for eksempel være problematisk å frakte drivstoff til aggregatene inn i brannområdet. Teknikere kan heller ikke klatre i master når det lyner. Noen steder er beredskapen sesongavhengig, som rundt feriesteder i fjellet eller ved kysten.

Men det er ikke alltid lett å forutse hva som kan skje. Det fikk Telenor erfare da Justin Bieber besøkte Operaen i Oslo, og hylende tenåringsjenter ble så ivrige på mobiltelefonen at nettet ikke maktet å ta unna all trafikken.

Når Bieber kom til Fornebu var situasjonen en helt annen. Da hadde Telenor tatt høyde for hva som kunne skje. Nettet ble skalert opp med økt Wi-Fi-kapasitet. Operasjonsledelsen allierte seg med politiet for å sikre at de ville kunne komme frem i folkemengden for å rette feil om det skulle oppstå en kritisk situasjon. Heldigvis gikk alt bra.

Ved de store lyngbrannene sist sommer samarbeidet Telenor med redningsledelsen for å sikre sentrale installasjoner. Det gjorde at redningsledelsen kunne prioritere innsatsen og berge viktig infrastruktur.

Flere sentraler i Norge

Rundt 320 personer jobber med å overvåke ekomnettet. De fleste jobber på Fornebu, men det finnes også sentraler i Trondheim, Fåberg, Tønsberg, Bergen og Bodø, samt noen mindre steder.

Hovedsentralen ligger på Fornebu, og mange feil rettes også herfra. Enkelte ganger holder det at en basestasjon blir gjenopprettet fra driftssentralen. Andre ganger må teknikere ut i felt for å rette feil. Rundt om i landet har Telenor 12 beredskapslagre, så de raskt kan komme på plass med reservedeler og utstyr.

Trommer sammen en «task force»

Når alvorlige feil oppstår eller truer, kalles det sammen en innsatsstyrke, eller «task force», som Telenor selv kaller det. Denne styrken samles i driftssentralen, og kan fort bestå av rundt 20 personer med ulik kompetanse. Så lenge krisen pågår jobber de døgnet rundt for å få kontroll på situasjonen.

Fordi ekom er blitt så viktig for samfunnet, har Telenor senket terskelen for å kalle inn task force. Mannskapene øver også regelmessig. Når det smeller skal alle kunne rutinene. Rundt om i landet finnes 12 beredskapslagre med utstyr som kan fraktes raskt ut i felt. Blir det feil på ekomnettet i utkant-Norge skal de slippe å vente på reservedeler fra et sentrallager.

– Om samfunnskritiske tjenester står på spill kan det få konsekvenser for liv og helse. Da setter vi inn alle tilgjengelige ressurser. Det er viktig å koordinere innsatsen, og heldigvis er alle her veldig ivrige og villig til å hjelpe. Men det betyr også at vi må prioritere rekkefølgen på tiltakene som iverksettes, sier Onstad.

Publikumsinformasjon er viktig – begge veier

Anders Krokan er informasjonssjef i Telenor. Ved feil i nettet må han raskt sette seg inn i hva som skjer, for å kunne besvare henvendelser fra media og informere publikum og myndigheter. Foto: Espen Irwing Swang, Tek.no

Samtidig må folk fra sikkerhet og kommunikasjon sørge for å få ut informasjon til media og til kunder. Tilbakemeldinger fra disse er også viktige for å få utfyllende input, sier operasjonsleder.

Informasjonssjef i Telenor, Anders Krokan nikker, og viser oss en tekstmelding han har mottatt.

– Når noe skjer får jeg en kort melding på mobilen om hva det gjelder. Så kommer det mer utfyllende informasjon på e-post. Vi ønsker å nå ut med riktig informasjon, og er litt forsiktige med å si noe om hvor raskt en feil kan være rettet. Om vi lover noe, og feilen viser seg å være mer omfattende enn vi trodde, får vi kritikk, sier Krokan.

Strømbrudd er vanligste årsak til feil

Under ekstremvær er det gjerne strømmen som går først. I dag har publikum forventninger om at ekomnettet skal være mer stabilt enn strømnettet. Mens det er greit å tenne stearinlys ved strømbrudd, blir det ramaskrik om smartmobilen ikke kommer på nett. Ved mange alvorlige feil må det likevel prioriteres. Alarmsystemet kan analysere om flere feil har en felles årsak, slik at feilrettingen kan gjøres mer effektiv.

Telenor har også representanter i fylkesmannens beredskapsråd, og er med på å prioritere hvilke objekter det skal være høyest beredskap på.

Overvåker nettet – ikke brukerne

Med sitt finmaskede alarmnett over hele landet kan Telenor altså følge med på alt som skjer i ekom-nettet. Eller i alle fall nesten. Telenor hevder de ikke går ned på individnivå. Telenor får ingen alarm om utstyret du har hjemme hos deg slutter å virke, for eksempel etter et lynnedslag. De kan heller ikke fra operasjonssentralen se hvor mange mobilkunder som befinner seg i et område der det raser en skogbrann, eller hvor i området de er.

Teknisk sett kan Telenor spore mobiltelefoner ved å måle hvilke basestasjoner de er knyttet til. Dette kalles triangulering, men utføres ikke ved operasjonssentralen. Om du har lest en av Jo Nesbøs bøker om politimannen Harry Hole, har du sikkert fått med deg at Hole presser en Telenor-ansatt for å få tilgang til opplysninger om hvor mobiltelefoner befinner seg, og hvem som har kontakt med hvem. Når vi konfronterer operasjonslederne med opplysningene fra Jo Nesbøs bok smiler de bare, og forteller oss at Harry Holes kontakt i Telenor har fått sparken.

Det er likevel ingen hemmelighet at mobiltelefoner både kan spores og avlyttes. Men reglene rundt dette er strenge, og arbeidet utføres ved en egen avdeling som kalles Politisvarsenteret.

Selvgjort er ikke alltid velgjort

Ved operasjonssentralen er de ikke opptatt av hva du bruker nettet til. Her er oppgaven å sørge for at det nettet virker slik du forventer, uten at du behøver å tenke på hvordan det henger sammen. I påsken økes innsatsen i fjellet, og om sommeren har Telenor økt fokus på kystområdene. Du skal kunne surfe fra hytta og fra båten, og det skal virke uten at du behøver å gjøre noe.

Det kan være greit å overlate driften av nettene til de som har greie på det. At ikke alle har den samme teknologiske innsikten får Telenor jevnlige påminnelser om.

Som da en bonde rev over en fiberkabel under pløying, og fikset feilen selv ved hjelp av en «sukkerbit»...

Les også
Disse lyktestolpene skal gi topp 4G-dekning overalt
Les også
Slik bygges nettet som skal gi gigabit-bredbånd til alle
Les også
Nå kan du merke duppedittene dine uten at det synes
Les også
Ny teknologi skal gi deg bedre mobildekning inne
Les også
Lanserer mobilt bredbånd som kontantkort
annonse

Les også