La communauté Gandi

Ralentissements stockage

Un équipement de stockage subit actuellement un ralentissement. Nos équipes travaillent actuellement à résoudre le problème.

 

Edit (10h45): la situation s’est rétablie progressivement à partir de 8h jusqu’à environ 9h. De très importants ralentissements ont été constatés de 6h30 à ~7h50.

 

Edit (25 janvier 10h00): un équipement de stockage subit des ralentissements. La situation est similaire à l’incident du 24 janvier. Notre équipe technique travaille à sa résolution

 

Edit (25 janvier 11h00): les ralentissements se sont resorbés. L’accès aux disques virtuels est revenu à la normal. Notre équipe technique travaille toujours sur une résolution pérenne pour le problème.

 

Edit (25 janvier 23h22): un équipement de stockage subit des ralentissements. La situation est similaire à l’incident de ce matin. Notre équipe technique travaille à sa résolution

 

Edit (26 janvier 00h26): les ralentissements se sont resorbés. L’accès aux disques virtuels est revenu à la normale. Notre équipe technique travaille toujours sur une résolution pérenne pour le problème.

 

Edit (27 janvier 20h11): un equipement de stockage subit des ralentissements. La situation est similaire aux incidents de la semaine. Notre équipe technique travaill à sa résolution.

 

Edit (27 janvier 23h00): les ralentissements sur les I/Os se sont stabilisés. Notre équipe technique travaille toujours sur une résolution pérenne pour le problème.

 

Edit (2 février 04h30): Un nouvel équipement présente actuellement un problème simliaire. Nous redémarrons le filer concerné. Nos équipes ont bien avancé sur la question et nous saurons bientôt corriger une partie de ces problèmes définitivement.

 

Edit (2 février 21h14): Nouvel incident sur un de nos équipements, des ralentissement on pu être noté, la situation revient progressivement à la normal.

Edit (6 février 03:06): Ralentissement actuellement en cours sur un de nos équipements.

 

 

Voici un peu plus d’informations sur la situation, pendant que nos spécialistes analysent le problème. Deux équipements de stockage sont concernés par ces incidents, qui sont des ralentissements ponctuels dans les lectures et écritures. Nous suspectons un problème logiciel d’une part (contention d’opérations) et un problème matériel décorélé pour le deuxième équipement (certains modèles de disques sont anormalement lents). 

 

Lorsque ces ralentissements surviennent, l’implémentation de iSCSI qui nous permet de connecter vos serveurs à leurs disques peut dysfonctionner. Il en résulte un « I/O wait » artificiellement haut (100%) même lorsque le stockage est de nouveau rapide. 

 

Nous travaillons à corriger ces trois problèmes en mettant la priorité sur la capacité de notre système à rétablir le service après un ralentissement.

La communauté Gandi

Ralentissements stockage

Un équipement de stockage est actuellement ralenti.

Nos équipes techniques analysent le problème qui réside dans la partie logicielle du filer. Les écritures sont très ralenties sur cet équipement, nous vous tiendrons informés de la suite de cet évènement dès que possible. Nous vous présentons nos excuses pour la gêne occasionnée.

Edit 11h13: Le problème est localisé et nous avons une solution pour le résoudre si il se reproduisait. Les performances sont à nouveau normales sur cet équipement. Nous n’avons toujours pas une analyse précise de ce qui déclenche ces ralentissements, et allons travailler à reproduire cet incident en « lab » dans le but de corriger le problème définitivement.