Nous avons été confrontés à une vague de chaleur sans précédent la semaine dernière. Alors que nous avions déjà expérimenté d’importantes montées de températures au début du mois de Juillet, un épisode caniculaire exceptionnel a nécessité l'emploi d'une bonne partie de nos moyens de refroidissement, sur deux de nos Datacenters, DC2 et DC3. En plus des moyens technologiques et mécaniques à disposition, nous avions prévu de maximiser le bon fonctionnement de nos infrastructures par la mobilisation d'un effectif exceptionnel de collaborateurs.
☀️Nous allons battre ce Mercredi et Jeudi les records de température des 20 dernières années, avec 42C voir plus (sur Dc3).
— 📡 Arnaud de Bermingham (@a_bermingham) July 22, 2019
Nous seront en limite de fonctionnement de nos équipements, mes équipes sont mobilisées avec un dispositif exceptionnel toute la semaine.
Une communication en toute transparence
En raison du risque d'incident lié aux 42° annoncés par Météo France la semaine dernière, nous avons fait le choix d’offrir de la visibilité sur la situation à nos clients.
C’est pour cela qu’une communication en temps réel a été réalisée par Arnaud de Bermingham, et reprise en parallèle sur nos comptes Twitter.
A travers celle-ci, et en prévention, tous nos clients ont été invités à réaliser une sauvegarde exceptionnelle de leurs données afin de les prémunir de toute perte et assurer une éventuelle reprise de leur activité, en cas d'incident.
☀️📈Nous recommandons à tous nos clients de s'assurer du bon fonctionnement de leurs sauvegardes et PRA, d'éteindre les serveurs non utilisés ou non provisionnés. Nos équipes sont entièrement mobilisés et des moyens conséquents sont en place. 2/2
— 📡 Arnaud de Bermingham (@a_bermingham) July 23, 2019
Mobiliser les collaborateurs, sécuriser les Datacenters
Pour mieux contrôler la situation, de nombreux moyens ont été mis en oeuvre.
Nous avons, en effet, activé notre dispositif "haute température", se composant de 4 actions majeures :
- Mise en fonctionnement de nos installations de secours permettant de rééquilibrer les charges de fonctionnement sur nos groupes frigorifiques.
- Mise en place des dispositifs d’arrosage automatiques et manuels supplémentaires au droit des échangeurs thermiques extérieurs.
- Mise en place d'une procédure interne permettant de délester nos propres baies informatiques afin de diminuer la charge de nos Datacenters et pérenniser les activités de nos clients.
- Mobilisation de moyens humains supplémentaires sur chacun de nos Datacenters ainsi que de notre direction.
Un monitoring au détail a également été organisé avec nos équipements standards et nos caméras thermiques. Ceci afin de surveiller en temps réel l'évolution de nos infrastructures.
☀️ The situation remains stable at the moment. The heatwave is expected to peak around 4.30pm. To follow live information on the heatwave and the state of our services, go to https://t.co/Fhq7NxX4aV. Updates will be published every 30 minutes as of 4.00pm.
— Scaleway (@Scaleway) July 24, 2019
Jeudi - 15h30, 45° à DC3 : aucun impact client
Après plusieurs heures sous haute température, nous avons pu profiter du design particulier de nos Datacenters qui comprend plusieurs groupes de refroidissement. En effet, suite à un début de baisse de performance sur GF3 (le groupe sur lequel nous étions depuis le début de l'épisode), une bascule volontaire a été réalisée sur GF2, en toute sécurité, permettant ainsi à nos infrastructures d'être maintenues dans des conditions opérationnelles.
Le monitoring rapproché s'est poursuivi dans la nuit, avec des mises à jour du status régulières, de sorte à ce que nos clients soient toujours informés de nos actions, qu'elles soient préventives ou curratives.
Par la combinaison de tous ces efforts mais aussi grâce à la collaboration de nos clients qui ont suivi le mouvement, aucun incident n'est à déplorer que ce soit sur nos infrastructures ou la qualité de nos prestations.
