A Coinbase (Nasdaq: COIN) mais uma vez mostrou aos traders cripto como o hardware lento em nuvem pode estragar até uma exchange rápida. Parece que a estratégia de mudança da empresa para operações com IA pode ter sido sua pior jogada até agora.

Na sexta-feira, a empresa disse que uma falha de resfriamento dentro da Amazon Web Services (Nasdaq: AMZN) ajudou a desencadear uma interrupção de várias horas que afetou negociações, acesso à exchange e atualizações de saldo em toda a sua plataforma.

O problema começou por volta das 23:50 UTC de 7 de maio, quando os monitores internos detectaram uma ampla propagação de falhas de cotação dentro dos sistemas da empresa.

Naquela época, vários incidentes Sev1 foram criados pelos engenheiros, e os clientes já estavam impactados em termos de serviços como negociações à vista, Coinbase Prime, Internacional, derivativos, Varejo, Avançado e Exchanges Institucionais.

Brian Armstrong, CEO da Coinbase, escreveu no X que sua empresa “sofreu uma interrupção” e que tal ocorrência “nunca é aceitável”. De acordo com ele, a razão por trás disso foi “uma sala superaquecendo em um data center da AWS devido à falha de múltiplos chillers.”

De acordo com Brian, a empresa garante que todos os seus serviços são projetados de tal forma que não ficam offline caso uma zona de disponibilidade da AWS falhe. A maioria dos serviços é estruturada dessa maneira, exceto a exchange, que usa uma infraestrutura diferente devido às suas altas demandas de latência.

A Coinbase culpa chillers AWS falhos como sistemas de cotação começam a quebrar antes da meia-noite UTC

Rob Witoff, que lidera a Plataforma da Coinbase, deu os detalhes técnicos do assunto. De acordo com ele, a interrupção durou muito tempo e afetou “negociações, acesso à exchange e atualizações de saldo.”

De acordo com ele, a equipe teve que desenvolver, testar, implantar e validar uma solução enquanto gerenciava a interrupção mais ampla. O Kafka teria exigido uma recuperação manual extensa porque sua arquitetura particionada gerencia terabytes diários.

O aviso inicial veio por volta das 23:50 UTC devido a falhas de cotação emanando dos sistemas internos. Uma análise Sev1 imediata seguiu. De acordo com Rob, a causa desse desafio foi um “evento térmico” em uma pequena porcentagem de racks em uma das instalações da AWS us-east-1.

Essa estrutura para a infraestrutura da exchange veio a calhar. Rob disse que a Coinbase mantém sua infraestrutura de exchange em uma zona de disponibilidade, pois a indústria valoriza a velocidade.

Além disso, a empresa tem uma cópia de backup distribuída dessa infraestrutura de exchange em caso de tais cenários. Mas a falha de uma parte da infraestrutura da exchange em questão no momento não ficou dentro de seus limites, prolongando o processo de correção da situação.

Dois componentes falharam. Houve uma falha dentro do hardware abaixo do mecanismo de correspondência. Portanto, antes de qualquer outra coisa, havia a necessidade de realizar operações de recuperação e failover.

Além disso, o cluster distribuído do Kafka, encarregado de compartilhar informações em todos os sistemas da organização, caiu. Levou a recuperação das partições do Kafka em um novo broker de hardware, totalizando TiBs de informação.

Engenheiros reconstruem quórum e trazem mercados da Coinbase de volta através de modos cancel-only e leilão

O mecanismo de correspondência foi responsável pela maior paralisação de negociações. O mecanismo de correspondência processa ordens e mantém livros de ordens. O sistema funciona em um cluster distribuído e requer quórum antes de escolher um líder e conduzir negociações com segurança.

Como nem todos os nós permaneceram saudáveis devido às restrições no data center durante a interrupção, o quórum não pôde ser alcançado, impedindo assim as atividades de negociação nas exchanges de Varejo, Avançado e Institucional.

Rob mencionou que as equipes de suporte e engenharia de plantão tiveram que executar os procedimentos de recuperação de desastres da empresa, estabelecer quórum e avaliar a saúde do sistema em circunstâncias de infraestrutura difíceis.

Houve alguns problemas com fluxos de saldo atrasados porque o Kafka estava atrasado. Rob afirmou que esses problemas com saldos desapareceram após a replicação ficar sincronizada. De acordo com a Coinbase, nenhum dado foi perdido.

De acordo com ele, a equipe precisou desenvolver, testar, implantar e validar uma solução enquanto gerenciava a interrupção mais ampla. O Kafka teria exigido uma recuperação manual extensiva, pois sua arquitetura particionada gerencia terabytes diários.

Quando o mecanismo de correspondência voltou ao serviço, os mercados não foram reativados simultaneamente. Primeiro, a Coinbase mudou todos os produtos para o modo cancel-only, verificou os status dos produtos, mudou todos os mercados para o modo de leilão e, finalmente, habilitou as negociações na Coinbase Exchange.

Além disso, Rob enfatizou que os clientes não devem ser bloqueados temporariamente de suas contas. A Coinbase garantiu a todos que a empresa forneceria uma explicação detalhada sobre este incidente dentro de algumas semanas.

No entanto, Josh Ellithorpe refutou os rumores após ler o post de Rob no Twitter. Como ele disse, “ninguém codificou algo que falhou por vibe. Um ‘não-engenheiro’ não enviou código de produção e derrubou o mecanismo de negociação. Não foi intencional. Não foi porque a Coinbase falhou em projetar um sistema de failover. Coisas acontecem em escala, não deixe os analistas de sofá contar histórias.”

A Coinbase (Nasdaq: COIN) mais uma vez mostrou aos traders cripto como o hardware lento em nuvem pode estragar até uma exchange rápida. Parece que a estratégia de mudança da empresa para operações com IA pode ter sido sua pior jogada até agora. Na sexta-feira, a empresa disse que uma falha de resfriamento dentro da Amazon Web Services (Nasdaq: AMZN) ajudou a desencadear uma interrupção de várias horas que…