Alla borde ha en nödsajt. Tyvärr…

14 May, 2008 in Aktuellt by Joakim Jardenberg | Comments

Så var det dags igen. Ett nytt rejält haveri, och den här gången är det stora, duktiga SvD.se som ligger nere. Timme ut och timme in möts man av felmeddelande och frustrationen ökar hos både publik och publicist. Lyckligtvis är vi inte mitt i ett dramatiskt skeende just nu – men vore det så hade inget förändrats. SvD hade inte kunnat rapportera. Allt är stendött.

I ett sådant läge måste allvarligt fundera på om det är ok. I ljuset av teknikstrul på Sydsvenskan höstas var vi ett gäng som satte och ner och klurade. Alltid lika inspirerande Morris Packer från Bonnier satte ihop ett ohyggligt krisscenario med båtar som dundrade in i öresundsbron, gasmoln över halva skåne, havererande internetförbindelser och servrar, överbelastade 3G-nät och folk som inte ens kunde komma åt sin arbetsplats. Det var alltså inte nog med teknikstrul, utan det fanns dessutom ett enormt informationsbehov. Två faktorer som det inte vore osannolikt att se sammanfalla. Har man det minsta lilla känsla för sitt uppdrag så inser man att det krävs reservlösningar.

Vi insåg att det behövs nödsajter. Strulwebbar som ligger så långt ifrån ordinarie driftsmiljö som möjligt. Vi kontaktade företaget bakom wordpress.com, Automattic, och fick för en mycket rimlig peng sätta upp ett antal vip-konto i deras miljö. Här kan du se exempel på sydsvenskan.wordpress.com och här kan du läsa lite om tanken bakom. Som ni ser är det extremt avskalat. Inga annonser, inga automatiska publiceringsflöde, inga kopplingar till redaktionella system. Men det funkar som nödlösning. Webbtv kan vi lägga upp på youtube och embedda, likadant med bildspel som vi samlar ihop av bilder på flickr. Det är en udda produktionsmiljö, men det är helt ok – för vi blir i alla fall inte av med förmågan att lösa vår uppgift.

Det här är alltså inte något som är löst eller hanterat av existerande it-avdelningar. Snarare tvärtom, de håller emot och verkar inte vilja förstå hur viktigt det är. Till exempel har vi fastnat i diskussioner om DNS-hanteringen. Den funktionen är central och otroligt viktig för att vi ska kunna se till att vi inom bara några minuter kan styra om alla besökare så att de landar på nödsajten när de skriver in sydsvenskan.se.

Men vi har i alla fall förberett oss en bit på vägen, och vi kommer fortsätta jobba på att det här ska lira fullt ut. Parallellt med arbetet att bygga upp fungerande och stabila vardagsmiljöer (något vi också är alldeles för långt ifrån idag) måste vi förbereda oss för den dagen då inget alls fungerar. Det är en överlevnadsfråga, och ett område där vi verkligen borde snacka om trovärdighet.

Nu är det din tur. Hur ser det ut hos dig? Är du redo för en katastrof? Skriv och berätta, för den här frågan förtjänar all transparens.

Diskussioner i ämnet:

Känner du något efter det här inlägget? Klicka på en plupp:

(0%) (0%) (0%) (100%) (0%)
En röst

Tags: , , , ,

  • Såhär nästan ett år senare: Vad har ni kommit fram till vad gäller dnsen? Kör ni ttl 300?
  • Nej, tyvärr inte. Man ligger kvar på 24h. Inser jag nu, men så är det inte min strid heller.
  • @Dan: du missar tyvärr en del av poängen. Självklart ska arbetet med att säkra ordinarie miljö fortsätta oförtrutet - bland annat genom att man replikerar offsite och hittar andra bra sätt att säkerställa full funktion. Men likväl kan det komma tillfällen när allt skiter sig. Det är det tillfället vi anser att man bör ha en plan för, och bör förbereda för, då det kan göras med väldigt liten insats.

    Det finns mängder med anledningar till att säkerställa att det finns mer än en failover.
  • Dan
    Om slutkund inte känner förtroende för den nödlösning som visas upp så leder det också till "tappade kunder". Det finns ingen anledning att köra på en odesignad wordpressblogg som backuplösning.

    Att ha exakt samma system i sin nödlösning är helt klart det optimala. Dock kräver det såklart lite mer teknisk kompetens och förarbete, men det kommer också ge den bästa lösningen för personalen och ge bibehållet förtroende gentemot läsarna.
  • Problemet i sig är väl hur man kommer ut med information på ett vettigt sätt. Om sidan går ner måste man nå ut med information vad som är fel samt försöka komunicera ut nyheter som är viktiga. Det jobbiga idag är att om svd går ner så går jag vidare till nästa sida. Konkurrensen är mördande. Om jag går till svd senare och de fortfarande ligger nere slutar jag gå dit.
    Vilken plattform man gör det på är väl i sig ointressant även om wordpress är lätt arbetat.
    Det viktiga är att lösningarna är framarbetade innan det händer.

    När Anna Lind mördades gick både aftonbladet och expressen ner och körde en sida med information pga överbelastningen. Det är lite samma sak och lösningen är att hantera sin trafik på något sätt som ex en tågväxel att dra i för att tåget ska gå förbi en själv och hamna "någonstans" som i detta fallet fortfarande är bättre än "ingenstans. Slutkund bryr sig inte om vart informationen ligger så länge informationen finns precis som "deeped" är inne på.
  • Dan
    Varför inte replikera databaser och kod med ett 12- eller 24-timmars intervall mot en off-site host?

    Vem utbildar alla redaktioner i wordpress när halva Sverige är gasförgiftade? -Okej, inte för att det är svårt, men jag förstår inte varför man ska byta system. En replikering kan väl knappast vara så tung att den är omöjlig att genomföra?

    Personligen skulle jag nog trott att Sydsvenskan blivit hackad om jag mötts av en wordpress-blogg med standardtema.
  • @oholah: fixat. Länkade ju till och med till Johans jaiku-tråd, så det var rent slarv.
  • @Joakim: Från petimetermannen: Johan Möller var också i Jaiku-bubblan.
    Och nu har vi en lång lista med alla de åtgärder som ska ingå i vår krisplan.
  • Bo
    Ja man får hoppas att andra vaknar efter en sån här händelse och se om sitt eget hus.
    Tyvärr lever många IT-avdelningar i 1.0 när vi andra gått över till 2.0. De har en tendens att stoppa huvudet i sanden och är dåliga på att kommunicera om vad som händer.

    Alla tjänar på att hålla en öppen dialog om de här frågorna. Vi får hoppas att de delar med sig ang. resultatet av utredningen.
  • Morris Packer
    Om någon vill läsa scenariot så finns det här:

    http://www.tresexfem.se/2008/04/10/scenario-for...

    Mvh,

    Morris

    PS. TTL-tiderna måste ner överallt.
  • Den där varianten med Wordpress har jag själv tvingats tillgripa en gång i tiden, när webbhotellet fick en diskkrasch som tog flera veckor att återställa. Jag var ung och grön och hade inte backat upp mina filer lokalt, så jag var helt strandsatt.

    Frågan - eller frågorna - är mycket tänkvärda. Som småföretagare kan man bara önska att man hade tiden och resurserna att knåpa ihop något som man vet skulle funka.
  • Bra skrivet och insiktsfullt Jocke.

    På ett ögonblick så inser man att man lever i en "inbillad" trygghet. Detär lika varje gång det blir strömavbrott faktiskt. Då är det fram med stormköket.

    Den här händelsen tarvar en beskrivning och fortsättning. Dags för Bosse och Jocke att ge sig ut på turné med seminariet "kris i praktiken".

    Som Niclas skriver kommunikationen från IT-avdelningarna behöver sin egen översättning - "det är fel" kan betyda mycket.

    Men betänk att det var inte så länge sedan det var skillnad mellan våningarna i tidningshusen. Grafikerfacket och journalister stred om vilka knappar/funktioner vilka skulle få trycka på. Så en del har hänt även om det fortfarande är en bit att gå.

    Ska bli spännande att följa fortsättningen...
  • @Bo: Jag skriver ju just det - att vi inte alls är överens i DNS-frågan. Vår intention är att köra med en TTL på 300. För användarna är det helt funkis. En del kommer att hävda att det är snodd på brott mot RFC-rekommendationer, men de skrev 1996 och jag är helt, HELT, övertygad om att inga delar av kedjan skulle lida men av så kort TTL idag.

    @Bo: mailen är också ett "it-politiskt" problemområde. Allt är förberett för att gå över till gmail, förutom att vi inte fått sätta upp det så i DNS.

    För vår del är iaf processen väl igång, och jag är säker på att vi kommer att få det hela dit det behövs. Men hos många andra ha processen nog inte ens startat. De kan behöva en påminnelse.
  • Bo
    Ser nu att både SVD och Sydsvenskan har en TTL på 24h, det är ju helt galet lång tid.

    Lycka till att peka om till Wordpress, kommer bara ta 24 timmar innan ändringen slår igenom.
  • ruggigt läsvärt inlägg, joakim!
  • Bo
    Det här med DNSen tycker jag är mest intressant, hur de lyckats sätta upp det så fatalt uruselt att man inte ens kunnat peka om domänen. Som DNS använder de dns.svd.se samt dns2.telia.com.

    Bara efter en snabb titt så är det flera frågor som man ställer sig. För det första så kan man ju tycka att bara ha två DNSer är lite snålt, att ha en DNS hos tredje part kostar ju ingenting, Sydsvenskan har f.ö. bara två de med.

    Sen tycker man ju att de borde kunna pekat om den med hjälp av dns2.telia.com.
    På pappret har de iallafall dubbla mailservrar, det är mer än vad sydsvenskan kan stoltsera med.
    Dock så svarar inte deras andra mailserver mailgw2.svd.se, plus att den ligger på samma nät som den första mailservern
    så det är ju ingen redundans alls, även om den hade fungerat.
  • Och som vanligt är också IT-avdelningarna usla på att kommunicera vad som är fel, vad som händer och vilken prognosen är. "Något har hänt" - no shit sherlock liksom... Det här har jag bråkat med olika sajter sen sent nittiotal när man inte får någon info trots att det inte är speciellt svårt. Ett förslag som jag brukar lägga är att sätta upp en wiki - enkelt att uppdatera snabbt från varsomhelst. Eller att hålla igång en kris-Twitterkanal.
blog comments powered by Disqus