A mudança da Coinbase para operações lideradas por IA não está indo muito bem

A Coinbase (Nasdaq: COIN) mostrou mais uma vez aos investidores em criptomoedas como a lentidão do hardware em nuvem pode prejudicar até mesmo uma exchange rápida. Parece que a estratégia de mudança para operações baseadas em IA da empresa pode ter sido sua pior decisão até agora.

Na sexta-feira, a empresa informou que uma falha no sistema de refrigeração da Amazon Web Services (Nasdaq: AMZN) contribuiu para uma interrupção de várias horas que afetou as negociações, o acesso às bolsas de valores e as atualizações de saldo em toda a sua plataforma.

O problema começou por volta das 23h50 UTC do dia 7 de maio, quando monitores internos detectaram uma série de falhas generalizadas nas cotações dentro dos sistemas da empresa.

Nesse ponto, váriosdentde Severidade 1 foram criados pelos engenheiros, e os clientes já estavam sendo impactados em termos de serviços como negociação à vista, Coinbase Prime, exchanges internacionais, derivativos, varejo, avançadas e institucionais.

Briantron, CEO da Coinbase, escreveu no X que sua empresa "sofreu uma interrupção" e que tal ocorrência "nunca é aceitável". Segundo ele, o motivo foi "o superaquecimento de uma sala em um data center da AWS devido à falha de vários chillers"

Segundo Brian, a empresa garante que todos os seus serviços sejam projetados de forma a não ficarem offline caso uma zona de disponibilidade da AWS apresente falhas. A maioria dos serviços é estruturada dessa forma, com exceção da exchange, que utiliza uma infraestrutura diferente devido às suas altas demandas de latência.

A Coinbase culpa falhas nos chillers da AWS pelo início de problemas nos sistemas de cotação antes da meia-noite UTC

Conforme noticiado anteriormente pela Cryptopolitan , a Coinbase planeja demitir 700 funcionários, o que representa aproximadamente 14% do seu quadro total. A medida visa substituir processos manuais por inteligência artificial.

Rob Witoff, chefe da plataforma da Coinbase, forneceu os detalhes técnicos do ocorrido. Segundo ele, a interrupção durou bastante tempo e afetou "negociações, acesso à exchange e atualizações de saldo"

O alerta inicial ocorreu às 23:50 UTC devido a falhas de cotação originadas nos sistemas internos. Uma análise de Severidade 1 foi realizada imediatamente. De acordo com Rob, a causa desse problema foi um "evento térmico" em uma pequena porcentagem de racks em uma das instalações da AWS us-east-1.

Essa estrutura para a infraestrutura de câmbio se mostrou muito útil. Rob disse que a Coinbase mantém sua infraestrutura de câmbio em uma única zona de disponibilidade, pois a velocidade é fundamental para o setor.

Além disso, a empresa possui uma cópia de segurança distribuída dessa infraestrutura de câmbio para o caso de tais cenários. No entanto, a falha em uma parte da infraestrutura de câmbio em questão não se restringiu ao seu escopo, prolongando o processo de resolução do problema.

Dois componentes falharam. Ocorreu uma falha no hardware abaixo do mecanismo de correspondência. Portanto, antes de qualquer outra coisa, foi necessário realizar operações de recuperação e failover.

Além disso, o cluster Kafka distribuído, responsável por compartilhar informações entre todos os sistemas da organização, ficou inativo. Foi necessária a recuperação das partições do Kafka em um novo servidor de hardware, totalizando TiBs de dados.

Engenheiros reconstroem o quórum e trazem os mercados da Coinbase de volta por meio de modos de cancelamento e leilão

O mecanismo de correspondência foi responsável pela maior paralisação das negociações. Ele processa ordens e mantém os livros de ordens. O sistema funciona em um cluster distribuído e requer quórum antes de escolher um líder e realizar negociações com segurança.

Como nem todos os nós permaneceram íntegros devido às limitações do centro de dados durante a interrupção, não foi possível atingir o quórum, o que impediu as atividades de negociação nas bolsas de varejo, avançadas e institucionais.

Rob mencionou que as equipes de suporte e engenharia de plantão tiveram que executar os procedimentos de recuperação de desastres da empresa, estabelecer quórum e avaliar a integridade do sistema em circunstâncias de infraestrutura difíceis.

Segundo ele, a equipe teve que desenvolver, testar, implementar e validar uma solução enquanto gerenciava a interrupção generalizada. O Kafka teria exigido uma recuperação manual extensa, pois sua arquitetura particionada gerencia milhares de terabytes diariamente.

Houve alguns problemas com atrasos no envio de saldos devido ao atraso do Kafka. Rob afirmou que esses problemas com os saldos desapareceram após a sincronização da replicação. De acordo com a Coinbase, nenhum dado foi perdido.

Quando o mecanismo de correspondência voltou a funcionar, os mercados não foram reativados simultaneamente. Primeiro, a Coinbase alterou todos os produtos para o modo de cancelamento, verificou o status dos produtos, alterou todos os mercados para o modo de leilão e, finalmente, habilitou a negociação na Coinbase Exchange.

Além disso, Rob enfatizou que os clientes não deveriam ter o acesso às suas contas bloqueado temporariamente. A Coinbase garantiu a todos que a empresa fornecerá uma explicação detalhada sobre odent dentro de algumas semanas.

No entanto, Josh Ellithorpe refutou os rumores após ler a publicação de Rob no Twitter. Como ele mesmo disse: “Ninguém vibe algo que falhou. Um 'não-engenheiro' não enviou código para produção e derrubou o mecanismo de negociação. Não foi intencional. Não foi porque a Coinbase falhou ao projetar um sistema de failover. Coisas acontecem em grande escala, não deixe que os palpiteiros de sofá contem histórias mirabolantes.”