Als am Morgen des 20. Oktober die Netzversorgung der Google-Zone europe-west2-b in London ausfiel, taten die USV-Batterien, wofür sie gedacht sind, und trugen die Last rund fünf Minuten lang. Den Startbefehl erhielten die Generatoren nie. Google veröffentlichte seinen aktualisierten Störungsbericht am 4. November, The Register berichtete am Tag darauf: Die Datenhallen waren weit über eine Stunde ohne Strom, und es dauerte etwas mehr als sechs Stunden, bis die meisten Cloud-Dienste von Google in der Zone wieder fehlerfrei liefen.
Ein 2N-Standort an einer einzigen Einspeisung
Google beschreibt eine 2N-Netzversorgung mit zwei unabhängigen Einspeisungen A und B, einen Reserve-Netzanschluss, über den sich der gesamte Campus von Hand umschalten lässt, und eine zentrale Hochspannungs-Generatorgruppe, die von einer zweifach redundanten SPS gesteuert wird. Tatsächlich lief der Standort nur auf einem Strang. Ein vierteljährlicher Lasttest der Generatoren am 14. Oktober hatte Probleme gezeigt, der Leistungsschalter von Einspeisung B war für Reparaturen geöffnet, und Einspeisung A trug die gesamte kritische Last.
Am 19. Oktober um 22:53 Uhr pazifischer Zeit, in London 06:53 Uhr, fiel ein Erdkabel des Energieversorgers aus und legte Einspeisung A lahm. Dann versagte die Steuerung. Nach Angaben von Google waren die Eingänge der Unterspannungserfassung der SPS netzseitig vor den Leistungsschaltern der Einspeisungen angeschlossen. Einspeisung B war an ihrem Leistungsschalter geöffnet, davor aber noch spannungsführend; beide SPS, die mit identischer Logik arbeiten, sahen also eine intakte Spannung und folgerten, dass eine funktionsfähige Netzeinspeisung verfügbar sei. Die Logik prüfte die Schalterstellung nicht zusammen mit der Spannung, und es ging kein Startbefehl hinaus.
Das Personal vor Ort versuchte eine ferngesteuerte Lastumschaltung über die SPS, die diese wegen derselben Spannungsmessung an Einspeisung B verweigerte. Danach wurde die Last auf den Reserve-Netzanschluss umgeschaltet, doch während der Umschaltung waren die Batterien erschöpft. Um 00:20 Uhr pazifischer Zeit hatten die Datenhallen wieder Strom, nachdem die Automatisierungssteuerungen der Generatoren zurückgesetzt und getestet worden waren.
Vierzig Produkte und langsame Datenträger
Zonale Ressourcen in europe-west2-b, von virtuellen Maschinen in Compute Engine bis zu zonalen Datenträgern und Datenbanken ohne Hochverfügbarkeit, waren nicht mehr erreichbar. Einige regionale Dienste schwenkten nicht sauber um, und der Speicher brauchte nach dem unkontrollierten Herunterfahren lange, bis er wieder normal lief; Googles Update führt rund 40 betroffene Produkte in der Region auf. Laut The Register kam es bei Kunden wie Lloyds, HSBC, Royal Mail und Revolut zu Unterbrechungen.
Die Maßnahmen, die Google auf der Anlagenseite nennt, sind konkret. Die SPS wurde am 20. und 26. Oktober neu konfiguriert, und an denselben Tagen liefen vollständige Lastumschaltversuche mit automatischem Generatorstart. Für November sind eine Codeprüfung mit dem SPS-Hersteller, eine Überprüfung vergleichbarer Standorte und Wiederholungstests mit beiden wieder zugeschalteten Einspeisungen geplant. Die Notfallverfahren für den Verlust der aktiven Netzeinspeisung wurden neu geschrieben und werden jetzt zweimal pro Schicht geübt, geplante Wartungen an Standorten mit derselben Topologie sind ausgesetzt, und ein zweites Google-Team soll den SPS-Code innerhalb eines Quartals nach jeder Übergabe einer Anlage prüfen.
Der Test, der in keinem Zeitplan steht
Nichts im Bericht deutet auf die Motoren hin. Die Generatoranlage war da, und als sie den Befehl bekam, lief sie. Versagt hat die Kette, die ihr den Start befiehlt, und zwar in einem Zustand, in dem sich der Standort nur wegen der Wartung befand. Die meisten Abnahmeprüfungen trennen die Einspeisung, während alles andere in Normalstellung steht. Seltener wird der Versuch mit einer freigeschalteten Einspeisung, einem ausgefahrenen Leistungsschalter oder einer auf Handbetrieb gestellten Umschaltung wiederholt, und genau so verbringen viele Standorte einen guten Teil ihrer Wartungswochen. Eine Frage, die in jeden Inbetriebnahmeplan gehört: Auf welcher Seite welches Leistungsschalters liegt jeder Messpunkt, und was folgert die Steuerung, wenn dieser Schalter offen ist?
Die zweite Lehre betrifft die Zeit. Fünf Minuten Batterie lassen keinen Raum für einen manuellen Notbehelf, der nie geübt wurde, und Googles zwei Übungen pro Schicht sagen genau das. Die Generatorseite solcher Standorte behandelt unsere Seite zu Rechenzentren; einen ganz anderen Ansatz für die Notstromversorgung zeigte Microsofts Standort in Atlanta ohne Generatoren.
Quellen: The Register, Google Cloud Service Health (Störungsbericht)
