Drift logg 

Ordforklaring på utrykken brukt i denne loggen.

Vi har valgt å ha en åpen dialog med våre kunder om våre problemer. Da mangel på informasjon ofte er verre en problemene i seg selv. Alle vil ha noen problemer, spesielt med DDoS angrep, da det ikke fins noe forsvar mot et 20Gb/s DDoS angrep. Det er hvordan man behandler det som skiller. Vi mener det å informere om feilen og gi erstatning er bedre en å late som om ingen ting har hent, derfor har vi denne offentlig tilgjengelig loggen.

2003

Juni

22.06.03 Vi har byttet datasenter. Alle serverene våre ble i natt i all hast flyd til et nytt datasenter. De står nå på linje fra Global Crossing . Global Crossing er en tier 1 levrandør med det som antagelig er verdens største IP netverk, se her for kart.

Komer tilbake med mere info om alt dette snart.

Mai

April

04.04.03 Ingen nyheter er som regel gode nyheter! Ingen problemer på lenge nå. Ser ut som å bytte til Williams, og å droppe Cisco routerene var riktig.

Mars

Oppetid for Mars ble på 100%

Februar

Oppetid for Februar ble på 100%

05.02.03 Etter en del testing har den nye GigE linjen fra Williams blitt aktivert. Subnettet våre servere står på har nå byttet over fra blandingen av Hurricane Electric og Internap levert av Digital WireWorks Inc, som vi brukte tidligere, til Williams.

Dette gir oss raskere responstid fra Europa da nettet deres strekker seg helt til London. Videre håper vi dette vil gi oss bedre oppetid og færre problemer med DDoS angrep da Williams skall ha et mere stabilt nett en Digital WireWorks.

Se kart over Williams nettverk her.

Dette ble gjort uten noen nedetid.

Januar

Oppetid for Januar ble på 99.98%

31.01.03 To nye Foundry BigIron core routere er installert. En som hoved og en backup skulle hoved routeren feile. I denne forbindelsen ble det også gjort en del andre forbedringer på router arkitekturen i data senteret.

Ved å bruke Foundry i steden for Cisco brytes 100% Cisco policyen. Foundry BigIron har vist seg å ha høyere stabilitet, og bedre pris/ytelse en andre 4 genrasjons routere. Vi har også hatt en del stabilitet problemer med eksisterende Cisco routere (derfor de ble byttet ut nå), derfor ble det valgt å bryte 100% Cisco policyen.

Dette førte til to korte nettverksbrudd på ca 5 min hver.

02.01.03 Feil med et kort i en Cisco router for en OC-48 linje hos PAIX i Palo Alto, California førte til høyt pakkatap, og lengere lastetid på sidene hostet på våre servere den 02.01.03.

Selv om det var andre linjer operative klarte ikke disse å ta unna all trafikken da OC-48 linjen med sine 2.488 Gbps utgjør en så stor del av nettverket. Det er allerede bestilt en link til Equinix i San Jose som vil gjøre at vi har en alternativ link i framtiden skulle PAIX linken feile igjen. Heldigvis skjedde dette på natten Norsk tid slik at færrest mulig ble berørt.

Dette er problemer forbundet med at datasenteret der vi har våre servere har vokst for raskt. Problemet er at fiberoptiske kabler må graves ned når de trekkes til et datasenter, både graving og å innhente de nødvendige tillatelser for å grave tar tid, slik at det kan være vanskelig å altid ha nok fiberkabler til å ta over skulle en få problemer.

Problemet ble rettet kl 04:50 etter 2 timer og 28 minutter. Da dette ikke førte til brudd, men bare litt lengere lastetid vil vi ikke regne dette som nede tid i vår månedlig oversikt.

2002

Desember

Oppetid for November ble på 99.92%

Kommentar om problemene i November og tidlig Desember: Vi hadde en del problemer i november, men vi informerte om det og betalte tilbake 20% av alle hosting avgiftene til våre kunder. Siden det har vårt datasenter satt i verk flere tiltak. Blant annet har man begynt blokkering av enkelte porter (som IRC) på core router nivå, installert to nye core routere og bestilt en ny GigE linje fra Williams som snart vil være oppe. Noe som gjør at vi vil være mindre sårbare for DDoS.
De fleste av disse problemene skyldes angrep på backbone routere fra innsiden, utført av servere leid av personer tilknyttet konkurrerende datasentere, disse serverene har nå blitt funnet og fjernet.

05.12.02 Et særdeles sofistikert DDoS angrep ble rettet mot wworks.net (Digital WireWorks Inc) som leverer Internett linjer til datasenteret hvor vi har våre servere. wworks.net ble truffet med mere en 20Gbps som tok ned regionale ruterene hos RCN, SBC, PAIX, Internap og deler av AT&T. Angrepet førte til at våre servere ble utilgjengelig i ca 35 minutter inntil DDoS trafikken ble null rutet. Som erstatning vil alle kunder berørt av dette få tilbakebetalt 10% av hosting avgiften for Desember.

November

Oppetid for November ble på 99.6.%

24.11.02 DDoS angrep i kveld. Ble rutet om innen kl 18.34, til sammen 53 min nedetid.

21.11.02 Global Crossing ser ut til å ha problemer i med Europa-USA sambandet i natt. Feilen fører til at sider på vår server laster noe saktere en normalt (+ 20ms). Etter ca 5 timer ble feilen rettet og alt er verifisert til å fungere som normalt fra 02.46.

15.11.02 Et særdeles sofistikert DDoS angrep ble rettet mot datasentere der vi har våre servere, dette førte til at noen sider ble utilgjengelige i opptil 1 time og 50 minutter på grunn av høyt pakketap. En foreløpig rapport tyder på at servere i datasenteret som er eid av personer tilknyttet konkurrerende datasentere var involvert i denne hendelsen. Saken etterforskes fortsatt. I tillegg ble problemene forverret på grunn av komplikasjoner forbundet med installasjon av en ny 1Gbs fiber linje. Som erstatning vil alle kunder berørt av dette få tilbakebetalt 20% av hosting avgiften for November.

13.11.02 Ddos angrep i kveld. Begynte kl 23.15, ble rutet om innen kl 23.24, til sammen litt under 9 min nedetid.

Oktober

Oppetid for Oktober ble på 99.77.%

25.10.02 Datasenteret vi hoster i ble utsatt for et massivt Ddos angrep i natt, dette førte til høyt pakketap og at noen sider ble utilgjengelige i opptil 1 time og 23 min. Ddos trafikken ble rutet om og alle systemer fungerer normal igjen fra kl 04.19.

22. 10.02 DDoS mot Internett backbone root DNS servere i natt, på virket ikke oss nevneverdig, men førte til en stigning generelt på Internett fra 1% til 2% pakke tap.

18.10.02 DDoS angrep i natt begynte kl 05:24, førte til 14 min nedetid.

Ordforklaring

DDoS

Distributed Denial of Service er en angreps form som har som oppgave å oppnå tjenestenekting for legitime brukere. Ved å sende en høyt antall ikke reelle forespørsler til en server eller ruter slik at den blir blokkert da den ikke rekker å svare på alle forespørslene fra brukerene da den er opptatt med DDoS dataen.

Et DoS angrep må stoppes ved det høyeste pungtet, så nærme opprinnelsen som mulig. For eksempel hvis man har et backbone på 10Gbps og man for 20Gbps med DDoS data inn, i tillegg til normal trafikk vil det ikke være plass til allt. Man må da kontakte den linje leverandøren for hvor DDoS dataen kommer inn fra for å få de til å stoppe den, som igjen må kontakte sine linje leverandører og/eller pering partnere, osv.

Problemene forverres med distribuerte DoS (DDoS) angrep. Disse har ikke bare en sender, men ofte mange tusen. Dette er typiske vanlige PCer som er infisert med en DDoS orm. Disse kobler seg opp på IRC og motar ordre fra en angriper om å angripe en bestemt IP adresse. For å stoppe dette må man identifisere alle de forskjellige brukerene eller i det minste nettene som er involvert i dette å ignorere (null rute) deres trafikk. Dette tar tid da data typisk kommer inn fra hundrevis av forskjellige nettver fra hele verden.

Pering

Internett er et nettverk av nettverk. For at data kan flyttes fra et nettverk til et annet må disse kobles sammen, dette er "pering".

Backbone

En eller flere høyhastighets linjer som utgjør en større vei i et nettverk. Som regel brukt om de linjene som sørger for at man er koblet til Internett.

Core router

I et datasenter er det vanlig å ha et slikt oppsett på switchene:

Core routerene er de routerene som er nermest Internett, de fordeler netverket ut til fordelingsswitchene som igjen fordeler til tilgangsswitchne som er de de individuelle serverene er koblet til.

Pakketap

Når data sendes over Internett deles det opp i mange små biter, kalt pakker. Ved feil kan det skje at ikke alle disse pakkene kommer fram, dett er pakketap. Det er mekanismer som skall fange opp at dette skjer og sende pakkene på nytt, men de nye pakkene kan også forsvinne.