Quando a energia da concessionária caiu na zona europe-west2-b do Google em Londres, na manhã de 20 de outubro, as baterias do UPS fizeram o que deviam e sustentaram a carga por cerca de cinco minutos. Os geradores nunca receberam o comando de partida. O Google publicou o relatório atualizado do incidente em 4 de novembro e o The Register o noticiou no dia seguinte: as salas de dados ficaram sem energia por bem mais de uma hora, e foram necessárias pouco mais de seis horas até que a maior parte dos serviços de nuvem do Google na zona voltasse a operar normalmente.
Um site 2N operando com um único alimentador
O Google descreve uma alimentação 2N da concessionária com dois alimentadores independentes, A e B, uma conexão de reserva com a concessionária para transferir manualmente todo o campus e um banco central de geradores de alta tensão controlado por um CLP com redundância dupla. Na prática, o site operava com um só ramo. Um teste de carga trimestral dos geradores em 14 de outubro havia revelado problemas, o disjuntor do alimentador B foi aberto para reparos e o alimentador A passou a suportar toda a carga crítica.
Às 22h53 do horário do Pacífico de 19 de outubro, 06h53 em Londres, um cabo subterrâneo da fornecedora de energia falhou e derrubou o alimentador A. Foi então que os controles deixaram o site na mão. Segundo o Google, as entradas de detecção de subtensão do CLP estavam ligadas no lado da linha dos disjuntores dos alimentadores. O alimentador B estava aberto no disjuntor, mas continuava energizado a montante dele; assim, os dois CLPs, que executam a mesma lógica, viram tensão normal e concluíram que havia uma fonte da concessionária disponível. A lógica não verificava a posição do disjuntor junto com a tensão, e nenhum comando de partida foi emitido.
A equipe no local tentou uma transferência remota de carga pelo CLP, que a recusou por causa da mesma leitura de tensão no alimentador B. Em seguida, a carga foi passada para a conexão de reserva da concessionária, mas as baterias se esgotaram durante a manobra. A energia voltou às salas de dados às 00h20 do horário do Pacífico, depois que os controladores de automação dos geradores foram reiniciados e testados.
Quarenta produtos e alguns discos lentos
Os recursos zonais da europe-west2-b, de máquinas virtuais do Compute Engine a discos zonais e bancos de dados sem alta disponibilidade, ficaram inacessíveis. Alguns serviços regionais não fizeram o failover de forma limpa, e o armazenamento demorou a se recuperar após o desligamento abrupto; a atualização do Google lista cerca de 40 produtos afetados na região. O The Register informa que clientes como Lloyds, HSBC, Royal Mail e Revolut tiveram interrupções.
As correções que o Google lista do lado da instalação são específicas. O CLP foi reconfigurado em 20 e 26 de outubro, e nos mesmos dias foram realizados testes completos de transferência de carga com partida automática dos geradores. Uma revisão de código com o fornecedor do CLP, uma verificação de sites semelhantes e novos testes com os dois alimentadores restabelecidos estão programados para novembro. Os procedimentos de emergência para a perda da fonte ativa da concessionária foram reescritos e agora são praticados duas vezes por turno, a manutenção planejada em sites com a mesma topologia está congelada, e uma segunda equipe do Google deverá revisar o código do CLP em até um trimestre após cada entrega de instalação.
O teste que ninguém coloca no cronograma
Nada no relatório aponta para os motores. A planta de geração estava lá e, quando recebeu a ordem de funcionar, funcionou. O que falhou foi a cadeia que dá a ordem de partida, em uma condição em que o site só se encontrava por causa da manutenção. A maioria dos testes de aceitação abre a alimentação de entrada com todo o resto na posição normal. Menos testes repetem o exercício com um alimentador isolado, um disjuntor extraído ou um esquema de transferência deixado em manual, que é como muitos sites passam boa parte das suas semanas de manutenção. Uma pergunta que vale incluir em qualquer plano de comissionamento: para cada ponto de medição, de que lado de qual disjuntor ele está, e o que o controlador conclui quando esse disjuntor está aberto?
A outra lição é o tempo. Cinco minutos de bateria não deixam margem para uma solução manual nunca ensaiada, e os dois treinamentos por turno do Google confirmam isso. O lado do gerador nesses sites está na nossa página de data centers; uma abordagem bem diferente para o backup apareceu no site da Microsoft em Atlanta sem geradores.
Fontes: The Register, Google Cloud Service Health (relatório do incidente)
