Downtime afgelopen dagen, fotoverslag datacentrum interventie

[Jelle]

De meesten zullen wel gemerkt dat de site deze week onverwacht plat lag van maandagavond tot zaterdag op zondag (middernacht). Normaal gezien stond er een Fedora Core Linux upgrade van versie 4 naar versie 5 op de planning voor zondagavond, maar die gaf de nodige errors en werd opgegeven voor die avond. Maandagavond ondernam ik nog een poging en herstartte de server om zeker te zijn dat hij de nieuwste FC4 kernel draaide. Heel voorzichtig was dat niet en de Grub bootloader besloot een foute kernel te nemen om van op te starten, waardoor het heropstarten vastliep. Normaal gezien stelt Yum (softwarebeheerder voor Linux) zulke dingen zelf goed in bij een upgrade, maar helaas pindakaas.

Onze hostingsponsor 1-Eurohost was op dat moment niet meer in het datacenter (maandagochtend wel) en dus moesten we het zelf oplossen. Echt gepland was dat niet en zo duurde het tot vrijdagavond voor we (Peter, g_man en ik) tijd hadden om naar het LCL datacenter in Diegem (Brussel) te gaan.

Na een kleine GPS omzwerving waren we rond half tien 's avonds ter plaatse.

Na een buitendeur en twee binnendeuren met andere bezoekers, die juist binnengingen, mee te zijn gegaan stonden we voor de deur van de colocatie ruimte. Zo gemakkelijk bleek die niet te openen te zijn en drie pogingen en twee telefoontjes later werkte de code dan toch en konden we binnen.

In de laatste rij racks van de gang stonden de racks van 1-Eurohost en dus ook diegene die we zochten.

Peter en ik bij de rack ... het laatste slot openen.


Voorste deur open ... (de Minatica server is de tweede van bovenaan)


... en ook de achterste.

Dan moesten we nog alleen maar een scherm en toetsenbord aansluiten.

Peter sluit de kabels van het scherm en toetsenbord aan ...


... dat wat verder op een karretje staat.

Na het scherm te hebben bekeken werd het probleem bevestigd en konden we het eenvoudig oplossen. Voor alle zekerheid deden we ook nog een tweede herstart.

Dan wilden we alleen nog maar zelf even de site online zien om zeker te zijn dat alles ok was.

Na verwoede pogingen om draadloos online te raken ...


... kozen we toch maar voor een bedrade oplossing (g_man op foto).

Na dat uiteindelijk gecheckt te hebben probeerden we nog enkele dingen en konden we inpakken en de avond om middernacht afsluiten. Tegen de ochtend hadden alle internetproviders terug de originele DNS in hun cache staan nadat die terug was ingesteld. Alleen Telenet liet even op zich wachten, maar in de namiddag volgde die ook en kan nu normaal gezien iedereen terug op de site.