Lorsque l’alimentation réseau a été coupée dans la zone europe-west2-b de Google à Londres, le matin du 20 octobre, les batteries des onduleurs ont fait leur travail et ont tenu la charge pendant environ cinq minutes. Les groupes électrogènes, eux, n’ont jamais reçu l’ordre de démarrer. Google a publié son rapport d’incident mis à jour le 4 novembre, et The Register l’a analysé le lendemain : les salles informatiques sont restées sans courant pendant bien plus d’une heure, et il a fallu un peu plus de six heures pour que la plupart des services cloud de Google dans la zone fonctionnent de nouveau normalement.
Un site 2N alimenté par une seule arrivée
Google décrit une alimentation réseau 2N avec deux arrivées indépendantes, A et B, un raccordement réseau de secours permettant de basculer manuellement l’ensemble du campus, et une centrale de groupes électrogènes haute tension commandée par un automate (PLC) à double redondance. En pratique, le site fonctionnait sur une seule branche. Un essai en charge trimestriel des groupes, le 14 octobre, avait révélé des problèmes ; le disjoncteur de l’arrivée B avait été ouvert pour réparation, et l’arrivée A portait à elle seule toute la charge critique.
Le 19 octobre à 22 h 53, heure du Pacifique, soit 06 h 53 à Londres, un câble souterrain du fournisseur d’électricité a lâché et mis l’arrivée A hors service. C’est alors la commande qui a fait défaut. Selon Google, les entrées de détection de sous-tension de l’automate étaient câblées en amont des disjoncteurs d’arrivée. L’arrivée B était ouverte à son disjoncteur, mais toujours sous tension en amont ; les deux automates, qui exécutent la même logique, ont donc vu une tension correcte et en ont conclu qu’une source réseau saine était disponible. La logique ne croisait pas la position des disjoncteurs avec la tension, et aucun ordre de démarrage n’est parti.
Le personnel sur place a tenté un transfert de charge à distance via l’automate, qui l’a refusé en raison de la même mesure de tension sur l’arrivée B. Les équipes ont alors basculé la charge sur le raccordement réseau de secours, mais les batteries se sont épuisées pendant la manœuvre. Le courant est revenu dans les salles à 00 h 20, heure du Pacifique, après la réinitialisation et l’essai des automatismes des groupes électrogènes.
Quarante produits et des disques lents
Les ressources zonales d’europe-west2-b, des machines virtuelles Compute Engine aux disques zonaux et aux bases de données sans haute disponibilité, sont devenues inaccessibles. Certains services régionaux n’ont pas basculé proprement, et le stockage a mis longtemps à se rétablir après cet arrêt brutal ; la mise à jour de Google recense environ 40 produits touchés dans la région. Selon The Register, des clients comme Lloyds, HSBC, Royal Mail et Revolut ont subi des interruptions.
Les correctifs annoncés par Google côté installation sont précis. L’automate a été reconfiguré les 20 et 26 octobre, et des essais complets de transfert de charge avec démarrage automatique des groupes ont été réalisés les mêmes jours. Une revue du code avec le fournisseur de l’automate, une vérification des sites similaires et de nouveaux essais avec les deux arrivées rétablies sont prévus en novembre. Les procédures d’urgence en cas de perte de la source réseau active ont été réécrites et sont désormais répétées deux fois par poste, la maintenance planifiée est gelée sur les sites de même topologie, et une seconde équipe de Google doit relire le code des automates dans le trimestre qui suit chaque réception d’installation.
L’essai que personne ne met au planning
Rien dans le rapport ne met en cause les moteurs. La centrale de groupes était là et, une fois l’ordre reçu, elle a fonctionné. Ce qui a lâché, c’est la chaîne qui lui commande de démarrer, dans une configuration où le site ne se trouvait qu’en raison d’une maintenance. La plupart des essais de réception coupent l’arrivée réseau avec tout le reste en position normale. Rares sont ceux qui refont l’exercice avec une arrivée isolée, un disjoncteur débroché ou un automatisme de transfert laissé en manuel, alors que c’est ainsi que de nombreux sites passent une bonne partie de leurs semaines de maintenance. Une question à ajouter à tout plan de mise en service : pour chaque point de mesure, de quel côté de quel disjoncteur se trouve-t-il, et que conclut l’automate lorsque ce disjoncteur est ouvert ?
L’autre leçon tient au temps. Cinq minutes de batterie ne laissent aucune place à une manœuvre manuelle jamais répétée, et les deux exercices par poste de Google le disent bien. Le côté groupe électrogène de ces sites est présenté sur notre page centres de données ; une approche du secours très différente a été évoquée à propos du site de Microsoft à Atlanta sans groupes électrogènes.
Sources : The Register, Google Cloud Service Health (rapport d’incident)
