Storing netwerk
Datum: 2009-01-21 08:55:53

Op 20 januari 2009 heeft zich een storing in het netwerk voorgedaan. Hierdoor was het netwerk tussen 12:50 en 13:45 slecht of niet bereikbaar. Na 13:45 waren delen van het netwerk nog onbereikbaar, deze laatste problemen zijn om 14.20 definitief verholpen.

De oorzaak in de storing ligt in een defecte rackswitch in het netwerk. De defecte switch begon pakketten weg te gooien waaronder pakketten die onderdeel uitmaken van het zogeheten spanning-tree protocol, wat er voor zorgt dat redundant aangesloten switches maar een enkel pad actief gebruiken om data naar de coreswitches te sturen. Doordat de switch de spanning-tree pakketten niet meer voorbij zag komen maakte die het backup pad actief, terwijl het primaire pad ook nog actief was. Een tweede maatregel om loops in het netwerk te voorkomen, loop-protect, heeft hoogst waarschijnlijk om dezelfde reden (het verwijderen van pakketten) ook niet gewerkt. Zodoende hadden voor de defecte switch de ingestelde maatregelen om netwerkloops te voorkomen geen effect. Hierdoor heeft toch een loop kunnen ontstaan en zijn uiteindelijk de verbindingen naar onze corerouters volgeraakt met de bovengenoemde gevolgen van dien. De veroorzakende switch is inmiddels vervangen. De defecte switch wordt de komende dagen in een testopstelling onderzocht om nadere analyse van het voorval mogelijk te maken.

De oorzaak in het niet bereikbaar blijven van delen van onze diensten nadat deze defecte rackswitch afgesloten was (omstreeks 13:45) lag in een defect aan de betreffende netwerkkaart (PIC) in een van de routers. Dit defect heeft mogelijk verband met de eerder uitgevoerde reboot van de betreffende router. We zullen in overleg met de leverancier bepalen of vervanging van apparatuur gewenst is. Indien dit het geval is zal in een apart onderhoudsvenster een nachtelijk onderhoud aangekondigd worden.

Ten aanzien van het niet effectief blokkeren van netwerkloops bij defecte switchapparatuur in het netwerk wordt een case geopend bij onze switching leverancier HP. Wij sluiten niet uit dat een wijziging in onze netwerktopologie de enige mogelijkheid is om dergelijke incidenten in de toekomst te voorkomen. Een verdere segmentatie van ons Layer 2 domein (het netwerk feitelijk opsplitsen in kleinere deelnetwerken) is daarbij een van de opties die wij onderzoeken. Indien wijzigingen worden doorgevoerd zal dit in een apart onderhoudsvenster aangekondigd worden.