Mardi 19 juin 2012, 10h30 : Notre plateforme Mail subit actuellement un ralentissement. Notre équipe technique est sur place et détermine la raison de cet incident. Les services touchés sont donc la réception d'email, le webmail Gandi ainsi que la plateforme de traitement de tickets de notre support Clients.

Nous vous prions de nous excuser pour la gène occasionnée et nous vous tiendrons au courant sur ce message des suites de l'incident.

Mercredi 19 juin 2012, 11h50 Nos équipes sur place ont réglé le problème, le service est de nouveau fonctionnel

Mercredi 20 juin 2012, 16h15 Un autre équipement était dans le même était que celui d'hier, nous l'avons redémarré préventivement mais il est en cours de correction filesystem, le service sur cet équipement devrait de nouveau être opérationnel d'ici 45 minutes environ.

Mercredi 20 juin 2012, 17h27 Le redémarrage prend plus de temps que prévu mais le processus se poursuit normalement.

Mercredi 20 juin 2012, 17h29 C'est bon, l'unité est revenue. Désolé pour la gêne occasionée

  Une maintenance des bases de données va avoir lieu dans la nuit du 23 au 24 Mai de 00:00 AM CEST à 03:00 AM CEST. 

Durant ce laps de temps, la gestion des services gandi via le site web ou les apis ne sera pas disponible car ces derniers seront mis offline.

Les services continueront à fonctionner normalement.

EDIT 03:00: Maintenance terminée. Les services sont de nouveau disponibles

Nos équipes ayant corrigé un défaut à l'origine des ralentissements
stockages subis ces derniers temps, et après une période d'observation de deux semaines confirmant que le correctif est efficace, ce dernier sera appliqué ce soir à minuit
(dans la nuit du 25 au 26 avril) sur l'ensemble des noeuds de stockage présentant encore des ralentissements occasionnels. Une interruption de 15 minutes est à prévoir
durant cette opération sur les machines concernées.

Nous vous recommandons de ne pas effectuer d'opérations sur votre serveur pendant cette intervention, l'accès à vos disques sera rétabli dès la fin de celle-ci.

Edit 00:00 CEST: maintenance démarrée

Edit 00:19 CEST: le premier reboot s'est passé correctement, nous poursuivons l'opération sur le reste des filers

Edit 01:10 CEST: la maintenance est effectuée, les services sont en cours de rétablissement, nous surveillons le bon retour des disques qui sera total d'ici quelques minutes

Afin de corriger des problèmes identifiés sur nos équipements de stockage, nous avons prévu ce soir une maintenance corrective entre 23h30 et 03h30 qui rendra vos disques indisponibles pour une durée de 15 à 20 minutes.

Nous vous recommandons de ne pas redémarrer votre serveur pendant cette opération, le service devrait revenir à la normale rapidement une fois celle-ci effectuée.

Si vous êtes concernés par cette maintenance, vous avez du recevoir un mail de notre part à ce sujet dont le contenu est disponible également sur cette page.

Nous mettrons à jour ce billet pour vous tenir informés des évolutions de cette opération.

Edit 23h40: opération débutée

Edit 00h32: premier reboot effectué, le comportement est conforme à nos attentes, nous continuons l'opération

Edit 01h00: la majorité des perturbations a lieu maintenant, les premiers reboots s'étant passés comme prévus.

Edit 01h30: les 3/4 de nos équipements sont maintenant à jour et fonctionnels. Si votre serveur a subi une interruption, celle-ci est désormais résolue. L'opération devrait s'achever dans l'heure.

Edit 01h34: un serveur physique a cessé de répondre suite à cette maintenance, nous redémarrons les serveurs concernés.

Edit 02h30: la maintenance est terminée, nous vous remercions de votre patience pendant cette opération

Un équipement de stockage présente un défaut probablement matériel. Nos équipes font le nécessaire actuellement pour rétablir la situation au plus vite. Nous vous recommandons de ne pas redémarrer votre serveur si vous êtes impactés. Nous vous tiendrons informés des suites de cet incident dans cet article.

edit 02h28: le service est rétabli, nous vous présentons nos excuses pour cette indisponibilité

Suite au déclenchement involontaire d'une maintenance sur nos équipements de stockage, l'ensemble de la production est actuellement indisponible pour une durée de 30 minutes.

Nous vous recommandons de ne pas redémarrer votre serveur et d'attendre le retour à la normale des opérations.

Les serveurs impactés (hosting, simple hosting) seront de retour d'ici quelques minutes. Nous vous tiendrons informés des suites de cette opération dès que possible.

[edit 00:00] Les services sont rétablis totalement depuis 21h20 -- la majorité des utilisateurs a retrouvé une situation normale avant 19h30, mais un filer a été plus long à démarrer. Les blocages identifiables ont été gérés manuellement. Nous vous invitons a redémarrer vos services si ceux-ci sont toujours indisponibles suite à cet incident, et à vous rapprocher du support si votre serveur n'est pas disponible.

Un équipement de stockage subit actuellement un ralentissement. Nos équipes travaillent actuellement à résoudre le problème.

Edit (10h45): la situation s'est rétablie progressivement à partir de 8h jusqu'à environ 9h. De très importants ralentissements ont été constatés de 6h30 à ~7h50.

Edit (25 janvier 10h00): un équipement de stockage subit des ralentissements. La situation est similaire à l'incident du 24 janvier. Notre équipe technique travaille à sa résolution

Edit (25 janvier 11h00): les ralentissements se sont resorbés. L'accès aux disques virtuels est revenu à la normal. Notre équipe technique travaille toujours sur une résolution pérenne pour le problème.

Edit (25 janvier 23h22): un équipement de stockage subit des ralentissements. La situation est similaire à l'incident de ce matin. Notre équipe technique travaille à sa résolution

Edit (26 janvier 00h26): les ralentissements se sont resorbés. L'accès aux disques virtuels est revenu à la normale. Notre équipe technique travaille toujours sur une résolution pérenne pour le problème.

Edit (27 janvier 20h11): un equipement de stockage subit des ralentissements. La situation est similaire aux incidents de la semaine. Notre équipe technique travaill à sa résolution.

Edit (27 janvier 23h00): les ralentissements sur les I/Os se sont stabilisés. Notre équipe technique travaille toujours sur une résolution pérenne pour le problème.

Edit (2 février 04h30): Un nouvel équipement présente actuellement un problème simliaire. Nous redémarrons le filer concerné. Nos équipes ont bien avancé sur la question et nous saurons bientôt corriger une partie de ces problèmes définitivement.

Edit (2 février 21h14): Nouvel incident sur un de nos équipements, des ralentissement on pu être noté, la situation revient progressivement à la normal.

Edit (6 février 03:06): Ralentissement actuellement en cours sur un de nos équipements.

Voici un peu plus d'informations sur la situation, pendant que nos spécialistes analysent le problème. Deux équipements de stockage sont concernés par ces incidents, qui sont des ralentissements ponctuels dans les lectures et écritures. Nous suspectons un problème logiciel d'une part (contention d'opérations) et un problème matériel décorélé pour le deuxième équipement (certains modèles de disques sont anormalement lents). 

Lorsque ces ralentissements surviennent, l'implémentation de iSCSI qui nous permet de connecter vos serveurs à leurs disques peut dysfonctionner. Il en résulte un "I/O wait" artificiellement haut (100%) même lorsque le stockage est de nouveau rapide. 

Nous travaillons à corriger ces trois problèmes en mettant la priorité sur la capacité de notre système à rétablir le service après un ralentissement.

Un équipement de stockage est actuellement ralenti. Nos équipes travaillent actuellement à la résolution du problème.

Un équipement de stockage est actuellement ralenti.

Nos équipes techniques analysent le problème qui réside dans la partie logicielle du filer. Les écritures sont très ralenties sur cet équipement, nous vous tiendrons informés de la suite de cet évènement dès que possible. Nous vous présentons nos excuses pour la gêne occasionnée.

Edit 11h13: Le problème est localisé et nous avons une solution pour le résoudre si il se reproduisait. Les performances sont à nouveau normales sur cet équipement. Nous n'avons toujours pas une analyse précise de ce qui déclenche ces ralentissements, et allons travailler à reproduire cet incident en "lab" dans le but de corriger le problème définitivement.

Un de nos équipements de stockage connait un ralentissement au niveau entrée / sortie (I/O).

Cela impacte les serveurs virtuels ayant  un disque sur ce filer. Notre équipe technique est en cours d'identification du problème et va le corriger dans les plus brefs délais.

Comme pour tout ralentissement sur un filer, il est inutile de redémarrer votre serveur virtuel.

12h30 CET : début de l'incident

14h10 CET : fin de l'incident

Nous nous excusons pour la gêne occasionnée.