Til hovedinnhold
ArtikkelBak kulissene hos NRK

Slik lagrer NRK 3,3 millioner gigabyte video

Robotarmer og spesialservere måtte i sving når NRK skulle digitalisere hele arkivet sitt.

Jørgen Elton Nilsen, Hardware.no

NRKs programbank

Det massive, grå sementbygget på Marienlyst et kjent symbol for almennkringkasteren NRK. De skal forsyne det norske folk med radio, TV og nye medier over hele landet, og det store bygget i Oslo har vært hjertet av dette arbeidet siden 1950-tallet.

Sverre Reiten, utviklingssjef i Teknologidivisjonen til NRK, holder døren til serverskapet åpen. Ole Andreas Johnsen, prosjektleder i Teknologidivisjonen, følger med.

Med strålende høstsol utenfor sitter vi i en stille krok av kantinen i radiobygget, sammen med to entusiastiske karer: Sverre Reiten, utviklingssjef i Teknologidivisjonen til NRK, og Ole Andreas Johnsen – prosjektleder i samme divisjon. Siden 2007 har de to vært en del av laget som har gitt statskanalen et stort, digitalt løft:

– Det er en helt ny mediehverdag, med krav til høyere produksjon, lavere kostnader og raskere levering. Vi kan ikke rapportere om en brann i Oslo to dager etter at den skjedde, bare fordi vi trengte tid på å få filmen i mye høyere kvalitet. Vi kan heller ikke få overskriftene til Dagsrevyen lagt ut på nett tre uker etter sending, sier Sverre med et smil.

Han setter saken på spissen, men det er dette det handler om: Hvordan skal et så stort produksjonsselskap som NRK sørge for at 3000 brukere daglig kan opprette, redigere og sende 2000 videoklipp, gjøre 4000 daglige videosøk mot et arkiv med en kapasitet på hele 30 petabyte? Ikke bare det, informasjonen må være tilgjengelig fra hver eneste kontorpult NRK har på tvers av Norge, det skal helst aldri gå ned, og nesten alle klipp som filmens skal gjøres tilgjengelig for deg på nett – automatisk og sømløst.

Det høres ut som en monumental utfordring, men NRK har klart det. De kaller løsningen «Programbanken», og grunnen til at vi sitter i kantina med Sverre og Ole Andreas er for å lære hvordan dette systemet fungerer.

Store tekniske grep

Det er ganske opplagt at NRK har en eller annen form for arkiv, om du først tenker over det – ett sted må jo alt de eier være lagret. Frem til 2007 var fortsatt kassettbånd i lagerhyller et hyppig brukt lagringsmedium for alle klipp statskanalen produserte, samtidig som det eksisterte en drøss med små datasystemer som ikke snakket sammen. Dette er det nå slutt på, og det er i Programbanken alt lagres, behandles og kontrolleres.

NRK har gjort store tekniske grep for å tilpasse seg tiden vi lever i, og vi blir fortalt at uten Programbanken hadde det neppe vært mulig å levere mange av løsningene NRK i dag gir det norske folk – som nettspilleren de har blitt hedret for en rekke ganger.

Dette har kostet, men det er egentlig ikke et rent pengebeløp det handler om. Det har handlet om å ta NRK vekk fra kassettbånd og inn i en digital verden, for å ruste seg mot fremtiden.

– Når det optimale tidspunktet for å utføre et slikt prosjekt er, altså ikke for tidlig og ikke for sent, er det vanskelig å fastslå, men uten dette samkjørte systemet på tvers av hele NRK hadde vi ikke kunne gjort mye av det som gjøres i dag, fastslår Sverre.

En av Programbankens overvåkningssentraler. Foto: Jørgen Elton Nilsen, Hardware.no

Nøyaktig hva Programbanken er har både Sverre og Ole Andreas vansker for å beskrive konkret. For det handler ikke bare om at NRK skal ha et arkiv, Programbanken er et helt økosystem for digital produksjon innad i NRK – og det består av en rekke forskjellige systemer og funksjoner. Det er vanskelig å trekke grensene for hvor systemet strekker seg, men en ting er helt sikkert: Programbanken er en ren, digital base der alt NRK filmer blir lagret, samtidig som det er et system der dette kan behandles fra alle kanter av bedriften.

– Ta for eksempel OL i London. Da hadde vi ti videostrømmer på 50 Mbit/s hver som kom inn til opptaksserverne kontinuerlig. Det blir enorme mengder data av det, sier Ole Andreas.

Disse dataene skal ikke bare tas opp, de skal sendes, redigeres og arkiveres på riktig måte for gjenbruk i fremtiden, kontinuerlig og på direkten:

– Programbanken er ikke bare lagring, slår Ole Andreas fast.

Gir full kontroll

Planleggingssystemet, her representert ved sendeplanen for NRK1 en tilfeldig dag.Foto: NRK

For å forstå hvordan dette systemet jobber, starter vi med et eksempel fra virkeligheten.
I bygget på Marienlyst ligger også hovedkontrollen til NRK, stedet der sendingene til alle NRK-kanalene behandles og kjøres ut til deg. Når dagen starter får hovedkontrollen en kjøreplan fra et eget planleggingssystem. I denne oversikten er alt som skal sendes listet opp og organisert, slik at operatørene vet hva som skal skje på TV-kanalene, og når det skal skje.

Et eget avviklingssystem gjør så alle videofilene som trengs klare. Dette systemet forsyner seg av et eget produksjonsdomene i Programbanken, og et tapearkiv. Selv om de to sistnevnte teknisk sett er to forskjellige lagringsstasjoner, ser aviklingssystemet dem som én samlet enhet. Videofilene blir så buffret på en lokal server, for å sikre at et nettverksbrudd ikke skal stanse TV-sendingene.

Samtidig som filene hentes opp begynner planleggingssystemet å snakke med en annen del av økosystemet, nemlig nettavspilleren NRK nett-TV. Systemet forteller avspilleren at noe snart skal sendes på TV, og at den derfor bør begynne å transkode alle klippene slik at de ligger klare i flere forskjellige formater på nett.

– Direktesendinger har en annen flyt, da sier planleggingssystemet ifra til avviklingsystemet at programmet skal tas opp samtidig som det sendes på lufta, så sendes det til Programbanken og nettspilleren. Programbanken brukes ikke til å lage alt NRK viser, men mye av det, og alt ender opp der til slutt, sier Sverre.

Et spesielt aspekt ved systemet er at en videofil på ingen måte må være ferdig lagret og lukket for at noen kan begynne å redigere den. Når NRK tar opp og samtidig sender et program på direkten kan den behandles fortløpende, noe du ofte ser under sportsarrangementer. Under ski-VM i Oslo ble du for eksempel servert en oppsummering av hele løpet bare minutter etter at vinneren gikk over målstreken.

Bli med over på neste side, så ser vi på serverparken som utgjør Programbanken »

Serverparken

Høylytt utstyr

For se nærmere på det fysiske systemet som utgjør Programbanken, beveger vi oss vekk fra kantinen og ned i kjelleren. Etter hundrevis av meter med enorme ganger, bratte trapper, forbi store verksteder og rekvisitalagre, begynner vi å høre hintet av en umiskjennelig lyd: Det dype og høylytte suset fra en serverpark.

Sverre drar opp en stor, grå dør, og lyden slår mot oss. Vi må snakke betydelig høyere sammen nå, der vi står midt mellom serverskapene. Håret til både undertegnende og Ole Andreas blafrer i vinden fra arsenalet av vifter som kjøler ned utstyret – og oss.

– Her hadde vi opprinnelig mange flere skap med servere, men produsenten av lagringsløsningen har fått gjort den mye mer kompakt over de siste årene, roper Ole Andreas.

Disse lagringsboksene har en kapasitet på 29 000 timer med 50 Mbit/s-video. Denne plassen bruker NRK til video som det arbeides med akkurat nå. Foto: Jørgen Elton Nilsen, Hardware.no

De to radene med serverskap som vi står midt mellom utgjør hovedserveren i Oslo. Til venstre står lagringsløsningene, et system som byr på omtrent 750 terabyte. Det er nok til rundt 29 000 timer med video i 50 Mbit/s, og det kalles et «produksjonsdomene». Bakgrunnen for navnet er at denne plassen brukes av de NRK-ansatte når de skal jobbe med ett eller flere videoklipp – som når en reportasje skal redigeres. Da lastes alle klippene inn her, før de så behandles. Totalt blir det laget omtrent 2000 klipp hver dag, og det er bare på Marienlyst.

– Nyhetene har sitt eget domene, som er spisset for nyhetsproduksjon med et eget serverbasert nyhetsredigeringsverktøy, forteller Ole Andreas. Nyhetsredaksjonene, som Dagsrevyen, har en egen server tilgjengelig med en kapasitet på 80 terabyte, eller 3500 timer med video.

Den høyre raden med servere utgjør alle støttesystemene rundt Programbanken, altså alt som ikke utgjør selve lagringsløsningen.

– Dette systemet tåler at mange laster på det med full hastighet, samtidig, forteller Sverre.

Før Programbanken ble tatt i bruk i 2007, hadde NRK en serie av mindre systemer rundt, små «øyer» som Sverre og Ole Andreas kaller dem. Men selv om hovedkontoret i Oslo nå utgjør den største lagringsbasen, er den på ingen måte den eneste i landet. Spredt rundt på de norske distriktskontorene finnes det også 13 andre servere med en total kapasitet på 457 terabyte, eller 17 800 timer i 50 Mbit/s-kvalitet.

– Distriktskontorene er uavhengige av hverandre. De har en egen base, med transkoder og avspiller, og fungere helt uavhengig av hverandre ved for eksempel nettverksbrudd. Parkene er av forskjellig størrelse, men funksjonen er lik, sier Ole Andreas.

Helautomatisk arkiv

Hovedarkivet er basert på tape, som automatisk hentes ut og leses av roboter. Foto: Jørgen Elton Nilsen, Hardware.no

Som du kanskje har tenkt allerede, er ikke de drøyt 1200 terabytene med lagringsplass på et produksjonsdomene nok for NRK – de trenger mye, mye mer lagring for å arkivere alt de har av innhold. For alt som ikke lenger ligger på produksjonsdomenet, er flyttet til et moderne, LTO-tapebasert arkiv. Her tar man i bruk kassetter med databånd på innsiden, som lagrer det meste NRK har laget opp igjennom tidene.

At arkivet er aktivt betyr at det er fullt tilgjengelig, hele tiden. Det tar bare noen sekunder ekstra å få tilgang til det, fordi en robotarm må hente frem den ønskede tapen og mate den inn i en avspiller.

– For systemet blir det helt likt som om det skulle vært lagret på disk, det tar bare litt ekstra tid å hente ut dataene, forteller Ole Andreas. Han legger til at lavkvalitetsfilmer alltid er tilgjengelig for en forhåndsvisning i systemet, slik at brukerne kan få se hvilke klipp det er snakk om, før de henter ut høykvalitetsklippet fra taperoboten.

I et hjørne av datasenteret finner vi en stor, gråsort boks – og dette er tapelageret. I dag kan det ha en kapasitet på hele 30 petabyte, og om det blir behov for mer vil NRK utvide den. På innsiden ser vi et hav av kassetter som står tett i tett, nedover en smal korridor. På innsiden flyr robotarmer sporadisk frem og tilbake i et høyt tempo, der de mater inn og ut kassetter – én etter én.

Denne store boksen inneholder taperoboten, der hoveddelen av arkivet er lagret. Foto: Jørgen Elton Nilsen, Hardware.no

– Foran taperoboten ligger et SAN, forklarer Ole Andreas. Arkivstoff som nylig er levert, eller nylig har vært hentet ut er vanligvis mest etterspurt for gjenbruk, så dette sparer brukerne for tid når de trenger dette stoffet. Dessuten gjør mellomlagring til spinnende disker at vi kan utnytte robotarmene bedre gjennom døgnet.

Deler av støttesystemet til Programbanken. Foto: Jørgen Elton Nilsen, Hardware.no
Indekspunkter er de samme i NRKs systemer, som det er i nettavspilleren.

I dette arkivet ligger altså snart alt NRK har fanget på film og video siden 50-tallet, et lager av innhold som ikke under noen omstendigheter kan gå tapt. Derfor er ikke taperoboten vi nå står og ser på det eneste arkivet NRK har. I en fjellhall i Mo i Rana, på Nasjonalbiblioteket, står det en speilet kopi av de samme arkivet. Den er plassert der både for å være rustet mot datatap om arkivet på Marienlyst skulle bli ødelagt, og for å sørge for redundans i produksjonssystemet:

– Mye står her i Oslo, men det er viktig at mye av systemet fungerer om Marienlyst plutselig ikke er tilgjengelig – som ved en katastrofe. Går Marienlyst ned, er Mo i Rana og distriktskontorene klar til å ta over, forteller Sverre.

Vil du vite hvordan et moderne datasenter fungerer?
Bli med inn i et toppmoderne norsk datasenter »

Metadata gir innholdet mening

Datamengden i NRKs arkiv er massiv, og for å i det hele tatt ha nubbsjans til å finne igjen et bestemt klipp, for eksempel et intervju gjort i Norge Rundt i 1992, er det én ting som er uhyre viktig: Metadata. Metadata er presis, nyttig og opplysende informasjon om det faktiske innholdet i videoklippet.

Før i tiden bestod NRKs arkiv av hyllemeter på hyllemeter med kassettbånd stablet på rekke og rad, noe som med dagens øyne ikke akkurat var effektivt:

– Før var det et tekstbasert system som beskrev innholdet i et klipp, for eksempel «Nærbilde. Gro Harlem Brundtland sitter ved en benk, med et orgel bak seg». Så måtte man manuell sende inn et skjema for at man ønsket dette klippet, før noen så manuelt måtte finne den aktuelle kassetten. Så måtte det opprettes en sendingslinje slik at man fikk overført innholdet fra ett sted til et annet, skisserer Sverre med et tydelig smil om munnen.

– Vi har kanskje ikke like dype beskrivelser av innholdet på tapene nå,men brukeren kan selv søke – og se på – alt som er i arkivet, rett fra sin egen PC. Dette har vært et konseptuelt skifte, og metadata trengs for å gi stoffet mening, sier Sverre.

Metadata tas ikke bare i bruk for å lettere finne igjen innholdet for gjenbruksenere, det blir stadig viktigere som en del av tjenestene NRK tilbyr publikum. Gode metadata er nødvendig for at brukerne av nettspilleren skal finne fram og oppdage hva de ønsker å se. For å få til å samle inn tilstrekkelig metadata, må systemene snakke sammen.

– Målet er at om klippet er inne i arkivet, så er det klart for bruk i all fremtid, og vi er langt på vei. Vi kan gjenbruke stoff på en mye bedre måte enn før. Det er ett sett med metadata, som for eksempel indekspunkter, og disse er de samme i arkivet, i redigeringsprosessen og i nettspilleren, forteller Ole Andreas.

Indekspunktene han viser til er markører i et lengre klipp, som forteller hva som skjer i et bestemt parti av filmen. Om du for eksempel ser på Dagsrevyen i NRKs nett-TV ser du disse punktene som markører for sendingens innhold. Vil du se det tredje innslaget i 21-nyhetene, kan du enkelt klikke deg frem til punktet det starter ved. Når innholdet skal gjenbrukes, brukes disse indekspunktene for å hente ut bestemte deler av arkivet.

– Roboten har bare så mange armer, så det er mye bedre å hente ut én del av en stor sending, fremfor å hente ut hele klippet når man bare trenger noen sekunder eller minutter av det, forteller Ole Andreas.

Bli med over på neste side, så ser vi hvordan NRK digitaliserer hele det gamle arkivet »

Digitalisering av eldre innhold

Fra kassettbånd til harddisk

Programbanken ble startet i 2007, som den første store sentraliseringen av digital innholdsproduksjon hos NRK. Siden oppstarten – som altså er seks år siden – har statskanalen jobbet med å laste inn alt innhold de har laget siden 50-tallet. Veldig mye av dette ligger på store, gamle kassetter, og de er lagt fra ferdig med å digitalisere alt.

Sverre og Ole Andreas tar oss til et eget rom i NRK-bygget, der man jobber med nettopp dette. En hel vegg er dekket av videospillere av forskjellig slag, spillere som styres fra to kontrollstasjoner. Her jobber det opptil to skift om dagen for å få videoinnholdet fra kassett og inn i Programbanken.

NRK har en stor jobb fremfor seg med å digitalisere eldre innhold. Da vi var på besøk ble «Kystlandets Folk» fra 1992 digitalisert. Foto: Jørgen Elton Nilsen, Hardware.no

– Vi startet innlastingen av alt fra kassettbånd i 2007. Vi jobber oss gjennom alt i tur og orden, men når noen i NRK spør om et spesielt klipp blir det prioritert i køen. Vi må nok holde på i to til tre år før alt er digitalisert, slår Ole Andreas fast.

Som et eksempel holder Sverre frem en stor grå plasteske til en kassett, som kommer fra NRK i Finnmark. Den er fra 1992, inneholder programmet Kystlandets Folk, og har kommet hit for å få et nytt, digitalt liv. Desto eldre kassettene er, desto mer tid tar det å få dem inn i systemet:

– Klipp fra 50 – 70 må «vaskes», metadata kan i mange tilfeller bare stå på en gul lapp. Da blir det mye manuell jobbing, sier Ole Andreas.

Full kontroll på alt

Rett ovenfor gangen fra der eldre klipp digitaliseres, finner vi et kontroll- og overvåkningsrom for Programbanken. Over et arsenal med skjermer kan man se de forskjellige opptakene som går akkurat nå, overføringer som pågår og overføringer som har feilet, for å nevne noe. Spesielt oppsyn får sletting av innhold, slik at ikke uerstattelig råstoff forsvinner ved et uhell.

– Hele systemet vet om alt som skjer i det. Systemet er også delt, hvis vi plutselig trenger masse resurser til noe stort – som innsamlingsaksjonen eller stortingsvalget, så overtar vi ressurser som normalt brukes til for eksempel barne-TV, sier Sverre.

Det er ikke bare i kjelleren, der vi fant den store serverparken, at vi finner den fysiske strukturen til Programbanken. Den har også armer som strekker seg ut til der innholdet lages – som ved NRKs mange studioer. Det er ofte her signalet starter ved kameralinsene, før det transporteres inn i Programbanken.

De store studioene har hvert sitt serverrom, mens de mindre studionene gjerne deler slikt utstyr. Her blir kameraene koblet inn, og så styres de fra TV-studioets kontrollrom.

TV-studioene har egne, mindre serverparker. Herfra styres opptakene. Foto: Jørgen Elton Nilsen, Hardware.no

– En slik boks kan gjøre det to tapemaskiner gjorde før, forteller Ole Andreas, og peker på boksene med det blå lyset.

Det NRK filmer selv, både i studio og ute i felten, har de som oftest rettighetene til å ta i bruk igjen på et senere tidspunkt, men dette gjelder ikke for alt innhold. Noen ganger har de kjøpt inn hele TV-serier med egne rettigheter, samtidig som deler av en større NRK-produksjon kan inneholde småklipp som ikke kan gjenbrukes – selv om alle klippene rundt er for fritt bruk.

– Rettigheter er vanskelige greier. Noe kan være kjøpt og deler av et intervju kan ha begrensninger. I systemet merkes i så fall klippet med at her er det begrensninger, mens enkeltpunkter merkes med at de bare kan brukes fritt, sier Sverre, og forsetter:

– Rettigheter vises tydelig for brukeren, men det er ikke stengt helt igjen slik at det er umulig å gjenbruke klippet – det er bare veldig tydelig varslet. Vi, og systemet, går ut i fra at de som jobber med dette hos NRK vet hva de gjør. Du har for eksempel sitatretten som lar deg bruke enkelte klipp som egentlig har rettighetsbegrensninger, og derfor er det ikke helt stengt.

Nytt system på vei

sitat"Nå er det på tide å ta kjernen, for å se om vi kan gjøre noe med den"

Programbanken er i dag basert på at video lagres i 50 Mbit/s. Formatet de har valgt kommer fra Sony, og heter MPEG IMX intra-frame for SD-sendingene, og XDCam HD MPEG2 for HD-sendingene. Én time med video i de to formatene tar opp henholdsvis 26,22 GB og 25,11 GB.

– Det er robuste formater, og vi er veldig fornøyde med dem. Samtidig har det skapt noen problemer, spesielt med store flerkameraproduksjoner, forteller Ole Andreas.

XDCam HD har NRK valgt av historiske grunner, og det er et såkalt long GOP format som fungerer ved at det ikke lagrer hvert eneste bilde. Én av utfordringene har vært ytelse.

– Vi bytter nå redigeringssystem fra Final Cut Pro 7, som er bygget på en 32-bits arkitektur. Det som skaper ytelsesproblemer fordi vi bare kan ta i bruk 4 GB minne, og det er problematisk når man jobber med mange long GOP-filer samtidig, sier Sverre.

De to kan fortelle at Programbanken blir kontinuerlig oppgradert, men med med seks år bak seg skal det snart lyses ut et anbud på den neste versjonen:

– Det er alltid nye ting vi gjør, som integrering av nye tjenester – HD-støtte for eksempel – og nye funksjoner. Men nå er det på tide å ta kjernen, for å se om vi kan gjøre noe med den, forteller Ole Andreas.

– Vi har benyttet 50 Mbit/s siden vi startet i 2007, og skal nå se på om vi skal opp til 100 Mbit/s. Det er alltid en vurdering der vi må finne skjæringen som er optimal mellom kvalitet og teknologi. Det er store krav for at det skal fungere i hele produksjonskjeden, forteller Sverre, og fortsetter:

– Vi ønsker så høy teknisk kvalitet ut til TV-en som mulig, men vi må samtidig bruke pengene vi forvalter på rett måte, blant annet ved å velge enkle og effektive måter å jobbe på. Plunder og heft for brukerne er ikke god økonomi.

– Vi er litt stolte av det vi har fått til og at det fungerer så bra. Det er ikke perfekt, men vi har fått til mye. Vi er på god vei til at mennesker kan gjøre det de er gode på, så får maskinene gjøre det de er gode på, avslutter han.

På de neste sidene har vi samlet alle bildene fra besøket hos NRK »

Bilder fra Programbanken

Ole Andreas Johansen viser frem systemene som passer på Programbanken til enhver tid.Foto: Jørgen Elton Nilsen, Hardware.no
Fra stasjoner som disse jobber opptil to skift med å digitalisere alt av NRKs videoinnhold.Foto: Jørgen Elton Nilsen, Hardware.no
En av Betacam-spillerne NRK tar i bruk for å digitalisere eldre opptak.Foto: Jørgen Elton Nilsen, Hardware.no
Fra et av kontrollrommene til NRKs TV-studioer. Her starter signalets gang fra opptak til lagring.Foto: Jørgen Elton Nilsen, Hardware.no
Kjølesystemet til serverparken.Foto: Jørgen Elton Nilsen, Hardware.no
Kjølesystemet til serverparken.Foto: Jørgen Elton Nilsen, Hardware.no
Kjølesystemet til serverparken.Foto: Jørgen Elton Nilsen, Hardware.no
Foto: Jørgen Elton Nilsen, Hardware.no

Bli med over til siste side, for å se de siste bildene fra NRK »

Bilder fra Programbanken

Serverparken inneholdt langt flere lagringsbokser før – men med stadig større disker har det blitt mindre plassbehov.Foto: Jørgen Elton Nilsen, Hardware.no
Serverparken som utgjør Programbanken. Lagring til venstre, støttesystemer til høyre.Foto: Jørgen Elton Nilsen, Hardware.no
Disse lagringsboksene har en kapasitet på 29 000 timer med film. Denne plassen bruker NRK til film som redigeres. .Foto: Jørgen Elton Nilsen, Hardware.no
Mediabroer tilknyttet lagringsbasen på 29 000 timer.Foto: Jørgen Elton Nilsen, Hardware.no
Disse boksene er transkoderne som jobber med innholdet.Foto: Jørgen Elton Nilsen, Hardware.no
Serversystemet tilknyttet studioene.Foto: Jørgen Elton Nilsen, Hardware.no

Dagens datasentre er i seg selv imponerende strukturer:
Bli med inn i et toppmoderne norsk datasenter »

annonse