Uma verificação primária dos logs do kernel confirmaram load elevado, com consumo de processador ou memória em 100% momentos antes do reboot.

A princípio achamos que foi causado por algum tipo de aumento na carga do Apache junto com o PHP. Todo dia primeiro e quinze do mês nosso relatório de checagem é executado no servidor e além das checagem ele faz também a atualização do kernel e demais componentes através do yum. Consideramos a hipótese de que algum componente tinha sido atualizado e passou a causar a instabilidade, já que todos os servidores haviam mostrado a instabilidade aproximadamente no mesmo horário.

Um acompanhamento foi feito nestes servidores durante a manhã e derrubando a primeira hipótese, não houve instabilidade em nenhuma das máquinas afetadas. Partindo ainda do horário muito próximo em todas as máquinas e sendo este horário próximo à execução do relatório executamos testes nas funções do relatório separadamente. Os testes acusaram a causa da instabilidade nos servidores e confirmamos.

Há duas semanas implementamos uma série de testes novos para garantir a checagem e integridade dos discos do servidor, onde os testes nos informam o tempo de vida do disco, verifica badblocks, status da “saúde” dos discos, desempenho, entre outros. Por algum motivo estes procedimentos, que em nosso ambiente de testes foram bem sucedidos, entraram em loop chamando a si mesmos dentro do próprio processo o que acabou por consumir memória e processamento do hardware.

Não foram afetados todos os servidores, a maioria conseguiu executar os testes normalmente sem qualquer erro ou instabilidade no sistema, porém ainda não identificamos quais as diferenças entre os dois grupos de servidor que podem ter causado tal erro, todos rodam no mesmo SO, na mesma versão, mesmo kernel.

Tais funcionalidades foram removidas do script, serão reavaliadas e passarão por novos testes. O script já foi atualizado em todos os servidores, afetados ou não.

Peço desculpas em nome da equipe a todos os clientes e colaboradores afetados pelo nosso erro.

Thiago Voltolini

WideCom Brasil