Volledige versie bekijken : Downtime afgelopen dagen, fotoverslag datacentrum interventie



Jelle
17 February 2007, 23:21
De meesten zullen wel gemerkt dat de site deze week onverwacht plat lag van maandagavond tot zaterdag op zondag (middernacht). Normaal gezien stond er een Fedora Core Linux upgrade van versie 4 naar versie 5 op de planning voor zondagavond, maar die gaf de nodige errors en werd opgegeven voor die avond. Maandagavond ondernam ik nog een poging en herstartte de server om zeker te zijn dat hij de nieuwste FC4 kernel draaide. Heel voorzichtig was dat niet en de Grub bootloader besloot een foute kernel te nemen om van op te starten, waardoor het heropstarten vastliep. Normaal gezien stelt Yum (softwarebeheerder voor Linux) zulke dingen zelf goed in bij een upgrade, maar helaas pindakaas.

Onze hostingsponsor 1-Eurohost was op dat moment niet meer in het datacenter (maandagochtend wel) en dus moesten we het zelf oplossen. Echt gepland was dat niet en zo duurde het tot vrijdagavond voor we (Peter, g_man en ik) tijd hadden om naar het LCL datacenter in Diegem (Brussel) te gaan.

Na een kleine GPS omzwerving waren we rond half tien 's avonds ter plaatse.


http://crew.minatica.be/g_man/lcl/16feb_1.jpg

Na een buitendeur en twee binnendeuren met andere bezoekers, die juist binnengingen, mee te zijn gegaan stonden we voor de deur van de colocatie ruimte. Zo gemakkelijk bleek die niet te openen te zijn en drie pogingen en twee telefoontjes later werkte de code dan toch en konden we binnen.


http://crew.minatica.be/g_man/lcl/16feb_2.jpg

In de laatste rij racks van de gang stonden de racks van 1-Eurohost en dus ook diegene die we zochten.


http://crew.minatica.be/g_man/lcl/16feb_3.jpg
Peter en ik bij de rack ... het laatste slot openen.

http://crew.minatica.be/g_man/lcl/16feb_4.jpg
Voorste deur open ... (de Minatica server is de tweede van bovenaan)

http://crew.minatica.be/g_man/lcl/16feb_5.jpg
... en ook de achterste.

Dan moesten we nog alleen maar een scherm en toetsenbord aansluiten.


http://crew.minatica.be/g_man/lcl/16feb_6.jpg
Peter sluit de kabels van het scherm en toetsenbord aan ...

http://crew.minatica.be/g_man/lcl/16feb_7.jpg
... dat wat verder op een karretje staat.

Na het scherm te hebben bekeken werd het probleem bevestigd en konden we het eenvoudig oplossen. Voor alle zekerheid deden we ook nog een tweede herstart.


http://crew.minatica.be/g_man/lcl/16feb_8.jpg

Dan wilden we alleen nog maar zelf even de site online zien om zeker te zijn dat alles ok was.


http://crew.minatica.be/g_man/lcl/16feb_9.jpg
Na verwoede pogingen om draadloos online te raken ...

http://crew.minatica.be/g_man/lcl/16feb_10.jpg
... kozen we toch maar voor een bedrade oplossing (g_man op foto).

Na dat uiteindelijk gecheckt te hebben probeerden we nog enkele dingen en konden we inpakken en de avond om middernacht afsluiten. Tegen de ochtend hadden alle internetproviders terug de originele DNS in hun cache staan nadat die terug was ingesteld. Alleen Telenet liet even op zich wachten, maar in de namiddag volgde die ook en kan nu normaal gezien iedereen terug op de site.

coopman
17 February 2007, 23:25
mooi gemaakt :p

eventure
17 February 2007, 23:26
bedankt voor de uitleg, en goed opgelost!

compuchrisje
17 February 2007, 23:29
'k Was er maar half en heel onrechtstreeks bij, maar we hebben denk ik even hard gezweet... alleen nie zoveel verkeerd gereden haha.
Bedankt alledrie!!!

Pilote
17 February 2007, 23:33
thx voor de uitleg + foto's

PeterN
17 February 2007, 23:47
Mooi verslag Jelle;)

Nog even bij zeggen dat de upgrade was aangekondigd als een kleinigheid maar anders uitdraaide ;) Eens de server plat gaat (dus niet meer boot) is het voor ons ook onmogelijk om iets te doen. Hierdoor konden we niemand verwittigen: niet via forum, pm of email. De enige mogelijke communicatie was een standaard onderhoudsscherm dat Eurohost laat zien bij uitval van een server.
Dat alles zolang dan nog duurde had dan ook nog te maken dat ik begin deze week in Duitsland zat voor mijn werk, bij thuiskomst mijn pc het begaf en dus ook minder communicatie mogelijkheden had en we voorbereid met alle codes en materiaal, niet onverricht ter zake wilden terugkeren van Diegem. Is immers toch een eindje van thuis uit ;)
Maar eind goed al goed, we staan er weer.

In het vooruitzicht staat nog een grote onderhoudsbeurt van de server op het programma die we uit veiligheid terplaatse gaan uitvoeren. Net als een auto dienen we ons materiaal te onderhouden als we er lang plezier van willen hebben. Maar daarover later meer, dat is niet voor de komende dagen of weken;)

Nostradamus
18 February 2007, 00:11
Mooi verslag idd en mooi werk ook.
De foto's er bij doen me ergens denken aan een film ' Mission Impossible'.
Mission completed! ;)
........... this message will destroy itselve in 20 seconds ;)

jurgenv
18 February 2007, 00:17
Mooi gedaan idd. ;)


De foto's er bij doen me ergens denken aan een film ' Mission Impossible'.
Lol, Jelle Hunt. :)

ellie52
18 February 2007, 00:37
Naar mijn weten was er er geen upgrade gepland naar mijn mening heeft eurohost het laten afweten.
Mooi werk gelevend

Jelle
18 February 2007, 00:44
Naar mijn weten was er er geen upgrade gepland naar mijn mening heeft eurohost het laten afweten.
Mooi werk gelevend

Er was een upgrade gepland ... door ons zoals in een mededeling stond (zie dit topic (http://www.minatica.be/showthread.php?t=43029), het stond op het einde als extra vermeld). 1-Eurohost heeft er niets mee te maken, het is onze server en verantwoordelijkheid :)
1-Eurohost heeft ook upgrades gepland en gedaan de afgelopen weken, maar die waren op hun eigen servers. Zij doen niets op onze server, laat dat duidelijk zijn, colocatie houdt alleen plaatsing in hun rack, stroomvoorziening en netwerkaansluiting in (en dat sponsoren ze dus).

We kunnen niet verwachten dat ze meteen in hun auto springen en een uur rijden naar Brussel voor iets dat wij hebben veroorzaakt.

ellie52
18 February 2007, 00:54
tja is een sponsor éé, maar eurohost is er voor gekend geen suport te bieden. verder ga ik er mij niet over uitspreken.
Mooi werk van uw en petern.

Jelle
18 February 2007, 01:06
tja is een sponsor éé, maar eurohost is er voor gekend geen suport te bieden. verder ga ik er mij niet over uitspreken.
Mooi werk van uw en petern.

Dit topic gaat over onze server, laat het dus daar over verder gaan :)

1-Eurohost heeft het begin september vorig jaar en wat later druk gehad met een heleboel werk: verhuis van Interxion naar LCL, virtualisatie van de servers en een nieuw klantensysteem. Met virtualisatie wordt een server setup betrouwbaarder (failover, valt er een uit, neemt de andere over) en met hun klantensysteem werd een hoop manueel werk geautomatiseerd. Support gaat sindsdien naar mijn idee erg snel.

Maar zoals ik al zei is je stelling helemaal niet op z'n plaats in dit topic. We zijn geen klantendienst van 1-Eurohost, bij problemen kan je hen mailen. En bij vragen over Plesk en dergelijke kan je eventueel ook terecht op ons Webdevelopment forum.

compuchrisje
18 February 2007, 01:17
Zoals Jelle al zegt, beide zaken liggen los van elkaar. Eurohost heeft na de overbrenging van hun datacenter naar dat van Diegem bijna àlles kunnen doen zonder dat de klanten er een echte hinder van hadden. Ten opzichte van ons (minatica en de server die daar onderdak heeft) zijn altijd alle verplichtingen en zelfs méér nagekomen.
De upgrade was wél gepland, het foutlopen ervan niet, en is alvast niet de schuld van Eurohost, of eender wàt er mss nog allemaal de ronde zou kunnen doen.
In elk geval hebben PeterN en Jelle flink wat kostbare tijd én inzet geleverd, dat kan enkel toegejuicht worden.

siegy
18 February 2007, 01:30
Bedankt voor de Prachtige verslagen met foto's ,
depannage uitleg en de toeristische gps route ,! :eek:

kan niets meer dan ene tournee geven aan de MinaTica toog,,:evil:

scol:drunk:

Peter.B
18 February 2007, 08:24
bedankt voor de uitleg en mooie foto's :good:
maar ook voor wat jullie allemaal doen voor minatica en om ons tevreden te stellen.en dat allemaal gratis,dank u :bow: :bow: :bow:

fryum
18 February 2007, 08:35
Al dat werk en al die inzet,..., vrijwillig en onbetaald !
Hoedje af !
Ahja, en Murphy zal er ook altijd wel bij zijn zeker ?!

ajaxloverr
18 February 2007, 09:57
goed en mooi verslag jelle!

nojs
18 February 2007, 13:04
Als we onze jelle niet hadden hé, dju toch :) wa kan da manneke nie
(1 m 90 ofzo :p, ma da doet er nie toe)

papypc
18 February 2007, 14:44
Men kan niet alles voorzien ! Heb soortgelijke problemen in het verleden ook meegemaakt met upgrades van de Novell servers op de zaak. En als iets mis loopt, dan komt er meestal nog wat anders bij (geen toegang tot een lokaal of een kluis waar backups liggen ...)
Hartelijk dank aan het ganse team voor de inzet.

Baloeke
18 February 2007, 15:57
Mooi verslag Jelle. Ben blij dat het toch goed afgelopen is

eplerra
18 February 2007, 18:56
Dank aan al wie hierbij meegeholpen heeft. het is dank zij hun voortdurende inzet dat Minatica is wat het vandaag is, een prachtig initiatief dat heel wat PC-gebruikers ondersteunt op allerlei gebied. Een heel gemeend PROFICIAT.

Mimosa
18 February 2007, 21:52
Heb mijn waardering hier (http://www.minatica.be/showthread.php?p=293810#post293810)uitgesproken :bow: :good: Dus toch maar proficiat en bedankt!

Buzze
19 February 2007, 01:10
Bedankt Jelle voor deze mooie uitgebreide uitleg!
En een dikke proficiat aan de mannen die dit hebben opgelost!

Joga
19 February 2007, 10:48
Mooi opgelost Jelle, PeterN en G_man ! :good:

Silverwing
19 February 2007, 21:12
Ik snap niet veel van de hele technische uitleg,maar waardeer des te meer het werk dat verzet is,je zal het maar (kunnen)doen.
Een bedankje plaatsen is het minste wat ik hier kan terugdoen.
Goed idee om volgende keer ter plaatse te gaan,loopt het onverhoopt toch mis kan er direct ingegrepen worden en blijven we gespaard van afkick en andere verschijnselen.;)

kingtommyboy
19 February 2007, 21:22
goe opgelost, en jelle gij komt mij bekend voor. in welke school zit gij?

nojs
19 February 2007, 23:52
Ownt jelle is ontdekt

Phil O'Sophe
20 February 2007, 19:58
Einde goed, alles goed!
En chapeau voor allen die er aan hebben meegewerkt.
Wij (leden) kunnen verder, en graag. :good: :)

rap
23 February 2007, 17:06
Schitterend werk mannen en dames. Heb echt niet veel gesnopen, weliswaar de technische kant, maar de inzet is magnifiek. Bij deze duizend maal dank voor het voorkomen van deze leek die zwaar afkickverschijnselen had;

rap
23 February 2007, 17:08
opgenomen te worden. topie,topie, topie.

Grtz

rap

delinquente
1 March 2007, 02:32
dat is weer eens een mooi team sé:devil: :drunk: