×
Annonse fra Tek Story Labs for

Annonse Når RAID-oppsettet ditt er døende, er Øyvinds team siste håp

(Bilde: Tek Story Labs)

Når RAID-oppsettet ditt er døende, er Øyvinds team ditt siste håp

Møt ekspertene på RAID Recovery.

  • Tek Story Labs Dette er en annonse. Journalistene i Tek.no er ikke involvert i produksjonen.

En sen ettermiddag i oktober kommer lyden fra mobiltelefonen til «Anders»; det lette og tilsynelatende uskyldige plinget fra en ny tekstmelding. Han drifter et stort serveroppsett for en av større bedrift i Norge, og har hørt lyden mange ganger gjennom karrieren. Det er en automatisk feilmelding fra datasenteret til bedriften han jobber for.

I de fleste tilfellene er det ingenting å bry seg om. 

Anders hiver opp terminalen, og prøver alle de vante kommandoene og feilsjekkene. Men det er helt stille i andre enden. 

Hjertet synker i det han skjønner at noe er alvorlig galt.

Serverne er proppfulle med data. Det er kundekontrakter, monteringsanvisninger, flere år med epost og egenutviklet programvare verdt uante summer. Han kjenner svetteperlene forme seg på ryggen. Hva gjør han nå?

Han søker på nettet, og kommer over telefonnummeret til et selskap som kan gi svar. Sekunder senere er de på telefonen:

– Hei, det er IBAS, hva kan jeg hjelpe deg med? 

Slik starter en helt vanlig samtale på krisetelefonen til IBAS. I over 35 år har selskapet bygget seg opp til å bli Norges ledende ekspert på data recovery. Dagen i dag skal vise seg å bli spesielt hektisk for det Kongsvinger-baserte selskapet, som bare det siste året har hjulpet 3000 selskaper og privatpersoner ut av fortvilte situasjoner.

Hva er egentlig et datahavari? Denne guiden gir deg full oversikt »

RENROM: IBAS har flere renrom, som lar de åpne opp harddisker og repare fyiskse skader uten at harddisken blir ødelagt.
RENROM: IBAS har flere renrom, som lar de åpne opp harddisker og reparere fysiske skader uten at harddisken blir ødelagt. Her jobber Øyvind Nyland, operasjonssjefen til selskapet, med en ødelagt lesearm. Foto: Tek Story Labs

Det er alltid mulig

I følge EMCs Global Data Protection Index tapte verdens bedrifter 1700 milliarder dollar på datatap og nedetid i 2014.

Heldigvis kan mye av dette gjenopprettes, og det skal fryktelig mye til før IBAS gir opp. Selskapet har rekonstruert data fra hurtigbåten Sleipner etter at den forliste. De fant viktige bevis på utbrente SIM-kort etter NOKAS-ranet. Og da et finsk selskap mistet data på 200 harddisker i et komplisert RAID-system, klarte Kongsvinger-selskapet å gjenopprette alt sammen over natten.

IBAS-TIPSET #1

Stopp systemet

Når du først innser at det er noe galt med lagringssystemet ditt, bør du umiddelbart stoppe bruken av det. Sørg for å holde mediet så nært slik det var da skaden oppsto som mulig, ved å ikke skrive nye data til det. Det blir som når du oppdager en vannlekkasje på badet: Du fyller ikke på mer vann. Du stenger av og venter til rørleggeren har vært på besøk. Les mer hos Ibas.

Historien om anonyme «Anders» er på ingen måte unik. Hvert år tar flere tusen lignende selskaper og privatpersoner kontakt. 

I enkelte tilfeller er dataene så kritiske at om de ikke gjenopprettes vil det få enorme økonomiske konsekvenser for selskapet. Det kan til og med ende i konkurs.

Nå ønsker IBAS å dele sine beste råd og erfaringer til deg som drifter større lagringssystemer. For selv om du tror at du er trygg så lenge du har en backup eller har kjøpt et velrennomert system, vet IBAS alt for godt at det ikke alltid er nok. 

– Bedrifter er flinke til å ta backup, men det vi ser er at den backupen ikke alltid inkluderer det du tror den er en kopi av, eller at det ikke er mulig å gjenbygge et RAID fordi enkeltkomponenter mangler, sier Øyvind Nyland, operasjonssjef for IBAS' datarekonstruksjonsavdeling. 

De vanligste feilene

Vi spør han hvilke feil vanligvis ser norske bedrifter gjøre. Nyland sier feilene typisk faller under to hovedkategorier. Den først er datatapene som oppstår som følge av rene maskinvarefeil, typisk mot slutten av harddiskens levetid. Den andre kategorien er rene menneskelige feil.

– Det er gjerne rutinemessige oppdrag som rett og slett går galt, sier Nyland og ramser opp oppdragene de får flest av:

Enormt lager: Rundt om hos IBAS ligger det flere titalls tusen defekte harddisker, noen er over 15 år gamle. Disse brukes til å høste reservedeler under rekonstruksjonen.
ENORMT LAGER: Rundt om hos IBAS ligger det flere titalls tusen defekte harddisker, noen er over 15 år gamle. Disse brukes til å høste reservedeler under rekonstruksjonen. Foto: Tek Story Labs

IBAS-TIPSET #2

Ikke la disker forsvinne

Om du bytter harddisker i et RAID-system er det viktig å fysisk merke harddiskene du tar ut med hvilken posisjon de har i oppsettet. Blir det nødvendig å gjøre en recovery senere er dette viktig informasjon. Og selv når du har merket harddiskene må du aldri kaste dem eller sende de avgårde uten å være helt sikker på at systemet har blitt rekonfigureret korrekt. Skjer en skade er de originale harddiskene da uunnværlige. 

IBAS-TIPSET #3:

Hva mistet du?

Om krisen først skulle bli et faktum, er det til stor hjelp for redningsmennene om du vet akkurat hva det er du har mistet. Hva var det som egentlig lå på harddiskene? Hvor mange volumer var de delt inn i? Hva var navnet på disse volumene? Slik informasjon er gull verd under en recovery-prosess.

  • Sletting av hele virtuelle maskiner ved en feil. Kanskje trodde du at du var på en testserver, men så viste det seg at du jobbet på området der virksomheten kjører. Det skjer oftere enn man skulle tro

  • Rekonfigurasjoner som går galt: Du bytter en harddisk i et RAID-oppsett, og starter rekonfigureringen av oppsettet, men så går det ned igjen underveis. Da er RAID-et egentlig ødelagt, og prøver du å reparere det med vanlige verktøy så gjør du bare skaden verre.

  • Mangelfull backup: En annen vanlig feil er at rekonfigureringen av RAID-et går fint, men når du kjører tilbake backupen så oppdager du at den backupen ikke inneholdt alt du trodde. Da er problemet stort, fordi du allerede har skrevet over de gamle dataene i prosessen.

  • Harddisker som forsvinner: Når IBAS skal kjøre en recovery-prosess på et RAID-oppsett, er det ekstremt viktig at de har alle harddiskene. Ofte ser de at selskaper kvitter seg med gamle harddisker uten å dobbelsjekke om de inneholder viktige data, for eksempel ved reklamering.

  • Data skrives fortsatt til systemet etter feil: Når selskaper oppdager at data har gått tapt, glemmer de ofte å stenge ned systemet. Da vil systemet jobbe videre, og for hvert minutt som går øker sannsynligheten for at dataene du har slettet blir overskrevet og tapt for alltid.
Spesielle teknikker: Ved å benytte en egenutviklet porsess kan IBAS behnadle harddisk-platene og fyissk inspisere datasporene. Kanskje harddisken har lagt data et sted den ikke burde?
SPESIELLE TEKNIKKER: Ved å benytte en egenutviklet prosess kan IBAS behandle harddisk-platene og fysisk inspisere datasporene.  Foto: Tek Story Labs

Som akuttmottaket på et sykehus

Da telefonen fra «Anders» kom inn til IBAS koblet de raskt inn en recovery-ingeniør på samtalen. Sammen finner de ut akkurat hvilket utstyr det er snakk om, og hvordan det er konfigurert. Er det et SAN? Hvor mange LUN er det? Er harddiskene satt opp i RAID, eller kanskje også som et software defined storage? Hvor mange harddisker er det snakk om, og hvilken kontroller er det?

– Vi har egne prosesser for hvert eneste oppsett på markedet, sier Nyland. 

Basert på denne samtalen avgjør de om systemet kan gjenopprettes med fjernstyring. Med en egen programvare får IBAS full kontroll over lagringsserverne slik at selskapets teknikere over hele verden kan samarbeide for å gjenopprette data. Da sparer man dyrebar tid, fordi lagringsoppsettet ikke må demonteres. 

Kan ikke problemet løses med fjernstyring må oppsettet sendes til IBAS i hui og hast. For spesielt kritiske data er hver eneste time viktig, så når budbilen svinger inn på området til IBAS står renroms-teamet klar til å ta i mot og inspisere harddiskene – akkurat som på akuttmottaket til et sykehus.

– Det første vi gjør er å speile alle rådata, slik at vi har en original kopi å gå tilbake til. Parallelt begynner vi å evaluere hvordan systemet originalt ble satt opp, slik at vi kan tilpasse verktøyene våre til akkurat dette oppdraget, forteller Nyland.

IBAS-TIPSET #4:

Test på et annet system

Når du skal rekonfigurere  et RAID, bør du alltid teste backupen din ved å gjenopprette det til et annet system. Da kan du se om du faktisk har tatt kopi av alle dataene du må ha. Hvis ikke kan du risikere å overskrive data du ikke har backup av, og brått har skaden blitt langt verre.

Selskapets ingeniører begynner da jobben med å rekonstruere datasettet, et arbeid som i høyeste grad er manuelt. De går ned på datastrukturen og knyttet denne sammen på ny fra bunnen av og opp. Og kommer de til et parti med ødelagte data må de finne en vei rundt dette. I blant har harddiskens algoritmer gjemt bort noen av de tapte puslespill-bitene et helt annet sted, noe ingeniørene da må nøste opp i.

– Det er en enorm jobb når det er mange harddisker, men slik er det med recovery. Skal du gjøre det bra, så finnes det ikke noe program som fungerer på alle oppsett og bare spruter ut ferdige data. Skal du få god kvalitet på resultatet så må du tilpasse jobben til hvert enkelt tilfelle, sier Nyland.

Vil du vite mer om hverdagen til ingeniørene hos IBAS?
Slik foregår en tilfeldig dag for Geir på laboratoriet »

JOBBER VERDEN OVER: Når data skal rekonstrueres kobles harddiskene på disse maskinene. Teknikere både hos IBAS i Kongsvinger kan da få hjelp fra teknikere i morselskapet Kroll Ontrack i USA om det trengs. .
JOBBER VERDEN OVER: Når data skal rekonstrueres kobles harddiskene på disse maskinene. Teknikere både hos IBAS i Kongsvinger kan da få hjelp fra teknikere i morselskapet Kroll Ontrack i USA om det trengs. . Foto: Tek Story Labs

Fant manglende harddisker i Danmark

Så hvordan gikk det med Anders? Etter å ha jobbet tvers gjennom natten klarte ingeniørene hos IBAS å rekonstruere mye av dataene, men de skjønte også at to harddisker manglet. 

Det viste seg at en servicetekniker hadde vært innom to dager tidligere og byttet ut to harddisker i det store lagringsoppsettet, og startet en rekonfigureringsprosess. Denne prosessen var årsaken til datahavariet, men disse gamle harddiskene inneholdt den siste biten av puslespillet som måtte til for å rette opp skaden.

– Vi ringte rundt i flere timer, og klarte til slutt å spore opp harddiskene på et reklamasjonslager i Danmark. Midt på natten fikk vi lastet dem ombord i en budbil som kjørte direkte til oss. Hadde vi ikke gjort det ville kunden stått igjen uten noe som helst, forteller Nyland. 

Vi spør han om det er ett spesielt råd han vil gi alle de som mistenker at de kan ha mistet data:

IBAS-TIPSET #5: 

Ring!

Om du mistenker at du har mistet eller er i ferd med å miste data; ring ekspertene. Det koster deg ingenting å ringe IBAS for å få noen råd og tips som kanskje kan redde systemet før skaden oppstår.  

Kontakt IBAS her »

– Stopp og ring. Det er som om du oppdager en vannlekkasje på badet ditt; du lar ikke dusjen stå og renne videre mens du prøver å finne ut hva som skjedde. Du stenger av og ringer etter hjelp, sier Nyland.

– Vi kan gjenskape data uansett, men det blir så klart mye vanskeligere og dyrere, og resultatet blir dårligere desto lengre tid det tar. Vi har vært borti så utrolig mye at vi vet hvordan du skal gå frem for å ikke tilføre mer skade, og det koster ingenting å ringe og spørre om råd, avslutter han.

NB: Til høsten skal IBAS holde en ny sesong av det de kaller IBAS-skolen, et nettbasert opplæringsprogram bedrifter kan melde seg på for å lære mer om hvordan de kan unngå datahavari, og hvordan du skal reagere når det først går galt.   

Vil du lære mer om hvordan du forhindrer datahavari hos din bedrift? Meld deg på IBAS sitt nyhetsbrev under så vil du månedlig få tilsendt nyttige tips og triks:


Vil du ha flere tips allerede nå?
– Del 1: Slik lever du lykkelig med RAID
– Del 2: Slik lever du lykkelig med RAID

Kommentarer (16)

Til toppen