Cuando falló el suministro de la red en la zona europe-west2-b de Google en Londres, en la mañana del 20 de octubre, las baterías del SAI hicieron lo que debían y sostuvieron la carga durante unos cinco minutos. Los generadores nunca recibieron la orden de arranque. Google publicó su informe de incidente actualizado el 4 de noviembre y The Register lo recogió al día siguiente: las salas de datos estuvieron sin energía bastante más de una hora, y pasaron algo más de seis horas hasta que la mayoría de los servicios en la nube de Google en la zona volvieron a funcionar con normalidad.
Un emplazamiento 2N que funcionaba con un solo alimentador
Google describe un suministro de red 2N con dos alimentadores independientes, A y B, una conexión de red de reserva para transferir manualmente todo el campus y un banco central de generadores de alta tensión controlado por un PLC con doble redundancia. En la práctica, el emplazamiento funcionaba con una sola rama. Una prueba de carga trimestral de los generadores realizada el 14 de octubre había revelado problemas, el interruptor del alimentador B se abrió para efectuar reparaciones y el alimentador A soportaba toda la carga crítica.
A las 22:53, hora del Pacífico, del 19 de octubre, las 06:53 en Londres, falló un cable subterráneo del suministrador eléctrico y dejó fuera de servicio el alimentador A. Entonces fallaron los controles. Según Google, las entradas de detección de subtensión del PLC estaban cableadas en el lado de línea de los interruptores de los alimentadores. El alimentador B estaba abierto en su interruptor, pero seguía con tensión aguas arriba, de modo que ambos PLC, que ejecutan la misma lógica, vieron una tensión correcta y concluyeron que había una fuente de red válida disponible. La lógica no comprobaba la posición del interruptor junto con la tensión, y no se envió ninguna orden de arranque.
El personal del emplazamiento intentó una transferencia de carga remota a través del PLC, que la rechazó por la misma lectura de tensión en el alimentador B. A continuación pasó la carga a la conexión de red de reserva, pero las baterías se agotaron durante la conmutación. La energía volvió a las salas de datos a las 00:20, hora del Pacífico, después de reiniciar y probar los controladores de automatización de los generadores.
Cuarenta productos y algunos discos lentos
Los recursos zonales de europe-west2-b, desde las máquinas virtuales de Compute Engine hasta los discos zonales y las bases de datos sin alta disponibilidad, quedaron inaccesibles. Algunos servicios regionales no conmutaron limpiamente y el almacenamiento tardó mucho en recuperarse tras el apagado no controlado; la actualización de Google enumera unos 40 productos afectados en la región. The Register informa de que clientes como Lloyds, HSBC, Royal Mail y Revolut sufrieron interrupciones.
Las correcciones que Google enumera en el lado de las instalaciones son concretas. El PLC se reconfiguró el 20 y el 26 de octubre, y esos mismos días se realizaron pruebas completas de transferencia de carga con arranque automático de los generadores. Para noviembre están previstas una revisión del código con el proveedor del PLC, una comprobación de emplazamientos similares y nuevas pruebas con ambos alimentadores restablecidos. Los procedimientos de emergencia ante la pérdida de la fuente de red activa se han reescrito y ahora se practican dos veces por turno, el mantenimiento planificado en emplazamientos con la misma topología está congelado, y un segundo equipo de Google revisará el código del PLC en el plazo de un trimestre tras cada entrega de una instalación.
La prueba que nadie incluye en el calendario
Nada en el informe apunta a los motores. La planta de generación estaba ahí y, cuando recibió la orden de funcionar, funcionó. Lo que falló fue la cadena que le da la orden de arranque, en un estado en el que el emplazamiento solo se encontraba por el mantenimiento. La mayoría de las pruebas de aceptación cortan la acometida con todo lo demás en su posición normal. Menos son las que repiten el ejercicio con un alimentador aislado, un interruptor extraído o un esquema de transferencia en manual, que es como muchos emplazamientos pasan buena parte de sus semanas de mantenimiento. Una pregunta que conviene añadir a cualquier plan de puesta en marcha: para cada punto de medida, ¿en qué lado de qué interruptor está, y qué concluye el controlador cuando ese interruptor está abierto?
La otra lección es el tiempo. Cinco minutos de batería no dejan margen para una solución manual que nunca se ha ensayado, y los dos simulacros por turno de Google lo confirman. El lado de los generadores de estas instalaciones se trata en nuestra página de centros de datos; un enfoque muy distinto del respaldo apareció en el emplazamiento de Microsoft en Atlanta sin generadores.
Fuentes: The Register, Google Cloud Service Health (informe de incidente)
