Nous rencontrons actuellement un incident sur une unité de stockage sur la plateforme d'hébergement qui impacte un certain nombre de serveurs. Nos équipes travaillent pour rétablir le service aussi vite que possible. Nous ajouterons plus d'informations dès qu'elles seront disponibles.
A noter que pour les clients qui ne sont pas impactés, nous avons stoppé préventivement l'ensemble des opérations sur vos serveurs (creation, arrêt...)
Veuillez excuser la gêne occasionnée.
16h20 Nous cherchons toujours la cause du problème avant de relancer vos serveurs.
17h45 Nous n'avons malheureusement pas de nouvelles informations à vous communiquer. Toute notre équipe est mobilisée afin de déterminer au plus vite la source du problème.
18h00 La tentative de passer sur la tête de secours du filer n'a pas donné de résultat satisfaisant.
19h30 Nous avons 2/3 bonnes pistes et essayons d'appliquer les patchs Kernel adequat. Le problème se situe au niveau des écritures sur les disques. Le bug semble connu chez Sun mais pas vraiment la solution.
21h30 Toujours sur la même piste. Certains disques refonctionnent mais pas tous. Nous n'avons pas d'ETA à vous donner mais ça prendra encore plusieures heures au moins :(
21h50 On a bientôt un nouveau Kernel, on va tenter le reboot juste après.
00h00 On n'est pas loin du moment de vérité. Nous testons actuellement notre nouveau Kernel et l'appliquons sur un filer ZFS de test. On le passe ensuite sur le filer qui pose problème pour vérifier que ça corrige bien le problème.
01h00 Victoire ! (enfin j'espère) Le filer semble bien se comporter pour le moment. Nous redémarrons les serveurs que nous avions préventivement eteints et surveillons tout ça pendant encore un petit moment. Merci à tous pour votre patience et vos messages d'encouragement. Nous enverrons demain un rapport complet sur l'incident.
La distribution des emails des clients a été perturbé par un certain nombre de larges botnets utilisés pour le spam. Les retards sont du, en premier lieu, à la ferme des serveurs de filtrage, qui sont en place pour expurger les spams, viruses et logiciels malveillants des fichiers attachés aux emails. Ces serveurs sont devenus lourdement chargés en traitant les emails envoyés par ces réseaux de machines compromises. Après une analyse rapide, ces botnets semblent etre plus spécialement composés d'appareils mobiles infectés à travers le monde.
Nos équipes ont commencé par ajouter des serveurs de filtrage et de traitement de mail d'entrée pour lisser la charge induite par ces botnets. Sur les prochaines heures et les prochains jours, nous allons travailler pour implémenter des solutions plus robustes pour combattre ce traffic supplémentaire anormal.
Nous vous prions de bien vouloir accepter nos excuses pour les délais de distribution des emails.
Des retards de livraison de vos mails de 30 à 40 minutes sont à prévoir.
Nous sommes dans l'attente de livraison de nouvelles machines demain mardi qui vont servir à corriger les problèmes de retard récurrents sur ces derniers jours
Nous vous prions de bien vouloir accepter nos excuses.
Suite à un problème de DNS interne, l'ensemble des services Gandi répondant sous son domaine a donc été impacté et nous nous efforçons de remonter tous ces services.
Aucun serveur ni aucun nom de domaine client n'a été affectés, aucun email n'a été perdu (il y aura tout de même un retard de livraison à cause de l'empilement des emails en attente).
Nous vous prions de bien vouloir nous excuser pour la gêne occasionnée.
Update: Incident terminé, merci de votre compréhension
Mercredi 14 septembre, à partir de 23h00 (heure de Paris), et pour une durée n'excédant pas 3 heures, le webmail RoundCube de la solution Gandi Mail sera indisponible. Aucune interruption ne se fera dans la réception des emails et vous retrouverez ceux-ci dans votre interface RoundCube à la réouverture de celui-ci.
Les mails seront bien sur consultables via un autre webmail ou tout autre client mail.
Suite à un changement de configuration chez Orange/Wanadoo à un spam massif, notre service de redirection mail semble avoir des difficultés à tranférer les mails vers les adresses Orange/Wanadoo.
Nous faisons le nécessaire pour essayer de corriger le problème. Veuillez accepter nos excuses pour la gêne occasionnée.
29/08/2011 11h00: Nous confirmons que nos redirecteurs sont blacklistés par Orange, nous essayons actuellement de les joindre.
29/08/2011 15h00: Le problème sur nos redirecteurs est clairement identifié, nous cherchons toujours à joindre Orange.
30/08/2011 11h00: Nous avons travaillé sur une solution temporaire le temps qu'Orange nous réponde. Les nouveaux mails sont maintenant bien redirigés et les anciens s'écoulent (très lentement)
30/08/2011 13h00: Le problème est résolu, nous vous prions de bien vouloir accepter nos excuses pour le temps anormalement long de résolution.
Un incident est actuellement en cours sur l'un de nos serveurs de stockage.
Nos équipes sont actuellement en train de travailler à la résolution du problème.
Nous somme en train d'effectuer une maintenance d'urgence.
De ce fait, les disques qui sont sur ce Filer ne seront pas disponibles pendant quelques minutes.
Une explication plus détaillée de l'incident sera fournie une fois que la situation sera revenuea la normale.
Veuillez nous excuser pour la gêne occasionnée.
UPDATE 14:03 : Suite à la maintenance sur le Filer, les opérations (start/stop/update ressource etc... ) sur l'hébergement sont actuellement suspendues.
UPDATE 15:10 : La situation du Filer est de retour à la normale. Les accès aux disques par les serveurs virtuels sont rétablis. Les opérations hosting en attente (stop/start/conf/update/...) sont en train de passer.
UPDATE 16:05 : Les opérations en attente sont passées et toutes les serveurs virtuels devraient être maintenant joignables.
Nous allons planifier plusieurs maintenances pour effectuer une mise à niveau des logiciels des équipements de coeur de réseau et de distribution.
Avec en détail :
* Lundi 16 mai 2011 de 07:00 à 08:00 CEST. Opération de maintenance à Baltimore. L'impact sur le réseau sera minimal (pas de coupure) sauf dans le cas d'un retour en arrière de cette opération. Dans ce cas, une dizaine de minute d'instabilité seront probable.
* Jeudi 26 mai 2011 de 02:00 à 04:00 CEST. Opération de mise à jour logicielle des équipements du réseau de distribution à Paris. Comme à Baltimore, l'opération aura normalement un impact minimum sur le réseau mais une instabilité d'une dizaine de minute est à prévoir en cas de retour en arrière.
* Vendredi 27 mai 2011 de 05:30 à 07:30 CEST. Opération de mise à jour logicielle sur les équipements de coeur de réseau. L'impact sur la connectivité sera centralisé sur les liens vers nos transits et/ou nos peerings de chaque équipement mis à jour. Le traffic réseau sera réacheminé vers des routes alternatives mais malgré cela, de courtes instabilités sont à prévoir le temps du recalcul du routage. Il y aura - au pire - 6 courtes perturbations de ce type pendant le temps de la maintenance lorsque chaque routeur sera redémarré après la mise à jour logiciel.
