코인베이스의 AI 주도 운영으로의 전환이 순조롭지 않음

코인베이스(Nasdaq: COIN)는 클라우드 하드웨어의 느린 속도가 빠른 거래소조차도 망칠 수 있음을 다시 한번 암호화폐 트레이더들에게 보여줬다. 회사의 AI 기반 운영 전환 전략이 최악의 실책일 수 있다는 징후다.

금요일, 회사는 아마존 웹 서비스(AWS, Nasdaq: AMZN) 내의 냉각 시스템 고장이 플랫폼 전반의 거래, 거래소 접근 및 잔액 업데이트에 영향을 미치는 수시간 동안의 장애를 유발했다고 밝혔다.

문제는 5월 7일 UTC 23:50경 내부 모니터링 시스템이 회사 시스템 내에서 광범위한 쿼터 실패를 감지하면서 시작되었다.

이 시점에서 엔지니어들은 여러 Sev1 사건을 생성했으며, 고객들은 이미 스폿 거래, 코인베이스 프라임, 국제, 파생상품, 리테일, 어드밴스드 및 기관용 거래소와 같은 서비스 측면에서 영향을 받고 있었다.

코인베이스의 CEO인 브라이언 아ーム스트롱(Brian Armstrong)은 X에 "회사가 장애를 경험했으며, 이러한 발생은 '절대 용납될 수 없다'"고 썼다. 그에 따르면 원인은 "여러 냉각기(chiller)가 고장나면서 AWS 데이터 센터의 한 방이 과열된 것"이다.

브라이언에 따르면, 회사는 하나의 AWS 가용성 영역이 실패하더라도 모든 서비스가 오프라인으로 가지 않도록 설계되어 있다고 보장한다. 대부분의 서비스는 이러한 방식으로 구성되어 있지만, 높은 지연 시간 요구 사항으로 인해 다른 인프라를 사용하는 거래소는 예외다.

코인베이스, 자정 전 쿼터 시스템이 고장나며 실패한 AWS 냉각기를 비난

It was reported by Cryptopolitan earlier that Coinbase is planning to terminate 700 workers from their staff because it constitutes approximately 14% of the total workforce. And this is done with the intention of replacing manual processes with AI.

코인베이스 플랫폼 책임자 로브 위토프(Rob Witoff)는 사건의 기술적 세부 사항을 제공했다. 그에 따르면 장애는 오랫동안 지속되었으며 "거래, 거래소 접근 및 잔액 업데이트"에 영향을 미쳤다.

초기 경고는 내부 시스템에서 발생한 쿼터 실패로 인해 UTC 23:50에 발생했다. 즉각적인 Sev1 분석이 이어졌다. 로브에 따르면 이 문제의 원인은 AWS us-east-1의 한 시설에서 라크의 작은 비율에서 발생한 "열 사건(thermal event)"이었다.

이러한 거래소 인프라 구조는 유용했다. 로브는 업계가 속도를 중요시하기 때문에 코인베이스가 거래소 인프라를 하나의 가용성 영역에 유지한다고 말했다.

또한 회사는 이러한 시나리오에 대비해 거래소 인프라의 분산된 백업 사본을 보유하고 있다. 하지만 현재 문제의 거래소 인프라 일부가 실패하면서 그 경계를 벗어나지 않아 상황 해결 과정이 길어졌다.

두 가지 구성 요소가 고장 났습니다. 매칭 엔진 하부의 하드웨어에서 오작동이 발생했습니다. 따라서 무엇보다 먼저 복구 및 페일오버 작업을 수행해야 했습니다.

또한 조직 내 모든 시스템 간 정보 공유를 담당하던 분산 Kafka 클러스터도 다운되었습니다. 새로운 하드웨어 브로커에서 Kafka 파티션을 복구하는 데 TiB 단위의 정보가 소요되었습니다.

엔지니어들이 쿼럼을 재구축하고 Coinbase 시장을 취소 전용 및 경매 모드를 통해 복원

매칭 엔진이 가장 큰 거래 정지를 초래했습니다. 매칭 엔진은 주문을 처리하고 주문장을 유지합니다. 이 시스템은 분산 클러스터로 작동하며, 리더를 선택하고 안전하게 거래를 수행하기 전에 쿼럼이 필요합니다.

정전 기간 동안 데이터 센터의 제약으로 인해 모든 노드가 정상 상태를 유지하지 못했기 때문에 쿼럼을 달성할 수 없었고, 이로 인해 Retail, Advanced, Institutional 거래소에서의 거래 활동이 차단되었습니다.

Rob는 온콜 지원 및 엔지니어링 팀이 회사의 재해 복구 절차를 실행하고, 쿼럼을 설정하며, 열악한 인프라 상황에서도 시스템 상태를 평가해야 했다고 언급했습니다.

그의 주장에 따르면, 팀은 광범위한 장애를 관리하면서 솔루션을 개발, 테스트, 배포 및 검증해야 했다. 카프카(Kafka)는 파티션된 아키텍처가 매일 수천 테라바이트를 관리하기 때문에 광범위한 수동 복구가 필요했을 것이다.

Kafka가 지연되면서 잔액 스트림에 일부 문제가 발생했습니다. Rob는 이러한 잔액 관련 문제가 복제가 동기화된 후 사라졌다고 밝혔습니다. Coinbase에 따르면 데이터는 손실되지 않았습니다.

매칭 엔진이 다시 가동되었을 때, 시장이 동시에 재활성화된 것은 아닙니다. 먼저 Coinbase는 모든 제품을 취소 전용 모드로 전환하고 제품 상태를 확인한 후, 모든 시장을 경매 모드로 전환하고 마지막으로 Coinbase Exchange에서 거래를 활성화했습니다.

또한 Rob는 고객이 일시적으로 계정에 접근하지 못하지 않도록 해야 한다고 강조했습니다. Coinbase는 모든 사람에게 이번 사안에 대한 상세한 설명을 몇 주 내에 제공하겠다고 약속했습니다.

그러나 Josh Ellithorpe는 Rob의 트위터 게시물을 읽고 루머를 반박했습니다. 그는 “실패한 것을 ‘바이브 코딩’한 사람은 아무도 없다. ‘비엔지니어’가 프로덕션 코드를 푸시하여 거래 엔진을 다운시킨 것도 아니다. 의도적인 것이 아니었다. Coinbase가 페일오버 시스템을 설계하지 못해서도 아니다. 규모가 큰 곳에서는 이런 일이 발생한다. 소파에 앉아 코칭하는 사람들이 장황한 이야기를 하도록 내버려 두지 말라.”라고 말했습니다.