Nous rencontrons actuellement un problème de routage qui rend inaccessible une partie de notre réseau depuis certains endroits.
Notre équipe technique est en train d'analyser le problème afin de le corriger dès que possible.
Nous vous tiendrons au courant de l'évolution de ce problème dans les plus brefs délais.
UPDATE 05h15 : la mise en production d'une nouvelle configuration réseau a perturbé une partie de nos équipements. Veuillez nous excuser pour la gêne occasionnée.
Retour sur les évènements qui ont entrainés l'indisponibilité des VM pour certains de nos clients.
10:25 CEST : Premier incident : 12 nodes raccordés à un switch rencontrent une erreur rendant les machines injoignables. Plus de 200 VMs sont impactées et donc injoignables.
10:40 CEST : Les nodes sont de nouveau démarrées et sont accessibles, les VMs sont disponibles.
Nos équipes investiguent mais ne trouvent rien de probant.
14:01 CEST : Nouvel incident : 8 nodes rencontrent de nouveau une erreur rendant les machines injoignables. ~180 VMs sont impactées.
14:09 CEST: Les nodes sont de nouveau démarrées et sont accessibles, les VMs sont disponibles.
Nous avons mis en place des mesures afin de collecter plus d'informations sur le problème.
Un incident sur notre infrastructure de bases de données à provoqué des dysfonctionnements sur notre service de messagerie Gandi Mail et le provisioning DNS
Impacts Gandi Mail :
- Difficultés pour consulter les emails à cause de problèmes d'authentification aléatoires
- créations des nouvelles boites mails suspendues
Impact génération/provisioning des zones dns :
- le provisionning dns n'était plus effectué jusqu'à 19h CEST
Timeline :
- 07:00 CEST : un bug dans nos infrastructures ralenti nos bases de données jusqu'à rendre certaines opérations non effectives.
- 09:00 CEST : à cause d'une défaillance humaine le problème n'est pris en compte qu'à partir de cette heure là.
- 10:00 CEST : Gandi Mail en mode dégradé à cause des problèmes d'authentification
- 19:00 CEST : provisionning dns rétabli
- 20:43 CEST : rétablissement complet du service Gandi Mail
Des machines physiques IaaS sont injoignables suite à un problème dont nous cherchons la cause.
Nous corrigeons et redémarrons les VMs sur d'autres machines physiques le plus rapidement possible.
Merci de ne pas faire d'opération sur votre serveur virtuel le temps que notre maintenance d'urgence soit complète.
Si, à l'issue de la maintenance, votre serveur virtuel ne répondait pas, merci de contacter le support hébergement par email en ticket 'serveur bloqué'.
Navré pour la gêne occasionnée par ce problème.
UPDATE 12h20 : la situation est de retour à la normale, nous continuons l'analyse des journaux et métriques.
Une maintenance est prévue pour améliorer le stockage sur le centre de données de Paris le Mercredi 23 Avril 2014 entre 00h00 CEST et 06H00 CEST.
L'impact est une interruption de quelques secondes par unité. Les I/O seront rattrapés sans que vous n'ayiez besoin d'effectuer d'opération.
Il n'est donc pas nécessaire de redémarrer votre serveur virtuel.
Edit Wed Apr 23 04:30:00 CEST 2014: La maintenance est terminée et a pris plus de temps que prévu. Veuillez nous excuser par avance de la gêne occasionnée.
EDIT Tue Apr 29 23:30:00 CEST 2014 : La maintenance est reconduite pour les unités de stockage n'ayant pas pu être mises à jour la semaine passée. Celle-ci devrait durer de 00:00 à 01:00.