Nous rencontrons actuellement un incident sur une unité de stockage sur la plateforme d'hébergement qui impacte un certain nombre de serveurs. Nos équipes travaillent pour rétablir le service aussi vite que possible. Nous ajouterons plus d'informations dès qu'elles seront disponibles.
A noter que pour les clients qui ne sont pas impactés, nous avons stoppé préventivement l'ensemble des opérations sur vos serveurs (creation, arrêt...)
Veuillez excuser la gêne occasionnée.
16h20 Nous cherchons toujours la cause du problème avant de relancer vos serveurs.
17h45 Nous n'avons malheureusement pas de nouvelles informations à vous communiquer. Toute notre équipe est mobilisée afin de déterminer au plus vite la source du problème.
18h00 La tentative de passer sur la tête de secours du filer n'a pas donné de résultat satisfaisant.
19h30 Nous avons 2/3 bonnes pistes et essayons d'appliquer les patchs Kernel adequat. Le problème se situe au niveau des écritures sur les disques. Le bug semble connu chez Sun mais pas vraiment la solution.
21h30 Toujours sur la même piste. Certains disques refonctionnent mais pas tous. Nous n'avons pas d'ETA à vous donner mais ça prendra encore plusieures heures au moins :(
21h50 On a bientôt un nouveau Kernel, on va tenter le reboot juste après.
00h00 On n'est pas loin du moment de vérité. Nous testons actuellement notre nouveau Kernel et l'appliquons sur un filer ZFS de test. On le passe ensuite sur le filer qui pose problème pour vérifier que ça corrige bien le problème.
01h00 Victoire ! (enfin j'espère) Le filer semble bien se comporter pour le moment. Nous redémarrons les serveurs que nous avions préventivement eteints et surveillons tout ça pendant encore un petit moment. Merci à tous pour votre patience et vos messages d'encouragement. Nous enverrons demain un rapport complet sur l'incident.
Les serveurs mails de gandi subissent actuellement une forte charge dû a plusieurs botnets en provenance d'Asie (principalement Inde et Vietnam) et d'Europe de l'Est.
De ce fait le nombre de connections est actuellement multiplié par 10. Le trafic est donc perturbé, nous n'avons pour le moment pas les moyens de faire face à ce type de trafic. Nos équipes travaillent actuellement à résoudre le problème.
Veuillez nous excuser pour la gêne occasionnée.
Mise à jour du 3 octobre 2011 à 16:30 CEST : Meme si la forte charge sur le service a beaucoup diminué à l'heure actuelle, nous laissons l'indicateur du service gandimail en orange pour le moment pendant que nous continuons de surveiller la plate-forme et que nous préparons une solution pereine et fiable dans les prochains jours.
La distribution des emails des clients a été perturbé par un certain nombre de larges botnets utilisés pour le spam. Les retards sont du, en premier lieu, à la ferme des serveurs de filtrage, qui sont en place pour expurger les spams, viruses et logiciels malveillants des fichiers attachés aux emails. Ces serveurs sont devenus lourdement chargés en traitant les emails envoyés par ces réseaux de machines compromises. Après une analyse rapide, ces botnets semblent etre plus spécialement composés d'appareils mobiles infectés à travers le monde.
Nos équipes ont commencé par ajouter des serveurs de filtrage et de traitement de mail d'entrée pour lisser la charge induite par ces botnets. Sur les prochaines heures et les prochains jours, nous allons travailler pour implémenter des solutions plus robustes pour combattre ce traffic supplémentaire anormal.
Nous vous prions de bien vouloir accepter nos excuses pour les délais de distribution des emails.
Suite à un problème de DNS interne, l'ensemble des services Gandi répondant sous son domaine a donc été impacté et nous nous efforçons de remonter tous ces services.
Aucun serveur ni aucun nom de domaine client n'a été affectés, aucun email n'a été perdu (il y aura tout de même un retard de livraison à cause de l'empilement des emails en attente).
Nous vous prions de bien vouloir nous excuser pour la gêne occasionnée.
Update: Incident terminé, merci de votre compréhension
Mercredi 14 septembre, à partir de 23h00 (heure de Paris), et pour une durée n'excédant pas 3 heures, le webmail RoundCube de la solution Gandi Mail sera indisponible. Aucune interruption ne se fera dans la réception des emails et vous retrouverez ceux-ci dans votre interface RoundCube à la réouverture de celui-ci.
Les mails seront bien sur consultables via un autre webmail ou tout autre client mail.
Nous subissons actuellement une anomalie avec le service GandiMail qui perturbe la réception des emails. Notre équipe technique est actuellement en train d'étudier le problème. Les messages entrants sont actuellement mis en attente pendant que nous analysons le sous-système problématique. Les messages sortants ne sont pas affectés par cet incident.
Veuillez accepter nos excuses pour la gène occasionnée.
Update 11:00 CET: La reception des messages est de nouveau opérationnelle mais la mise en attente du flux précédent engendre quelques retards de livraison qui devraient être résorbés d'ici le début de l'après-midi.
Update 16:30 : Le retard est maintenant totalement rattrapé. Le retard a été dû a un disfonctionnement de notre système d'antispam.
