CoinbaseのAI主導の運用への転換は順調ではない

Coinbase（NASDAQ: COIN）は、クラウドハードウェアの遅さが高速な取引所ですら台無しにできることを、再び暗号通貨トレーダーに示しました。同社のAIを活用した運用転換戦略が、これまでで最悪の動きだった可能性があります。

金曜日、同社はAmazon Web Services（NASDAQ: AMZN）内の冷却装置の故障が、プラットフォーム全体の取引、取引所アクセス、残高更新に影響を与える長時間の障害を引き起こしたトリガーとなったと発表しました。

問題は5月7日UTC 23:50頃に始まりました。内部モニターが同社のシステム内で広範なクォート失敗を検出しました。

その時点で、エンジニアによって複数のSev1インシデントが作成され、スポット取引、Coinbase Prime、International、デリバティブ、Retail、Advanced、Institutional取引所などのサービスにおいて顧客がすでに影響を受けていました。

CoinbaseのCEOであるBrian ArmstrongはXで、同社が「障害を経験した」とし、そのような出来事は「決して許容できない」と書き記しました。彼によると、その理由は「複数のチラーが故障したため、AWSデータセンターの部屋が過熱した」ことでした。

Brianによると、同社は1つのAWSアベイラビリティゾーンが失敗した場合でも、すべてのサービスがオフラインにならないように設計されていることを保証しています。サービスの大部分はこのように構成されていますが、高レイテンシ要件のため、取引所は異なるインフラストラクチャを使用しています。

Coinbase、UTC深夜前にクォートシステムが故障し、AWSのチラー故障を非難

Cryptopolitanの以前の報道によると、Coinbaseは総労働力の約14%を構成する700人の従業員を解雇する計画を立てています。これは、手動プロセスをAIに置き換える意図で行われています。

Coinbaseのプラットフォーム責任者であるRob Witoffは、この問題の技術的な詳細を提供しました。彼によると、障害は長時間続き、「取引、取引所アクセス、残高更新」に影響を与えました。

最初の警告は、内部システムから発生したクォート失敗により、UTC 23:50にもたらされました。直ちにSev1分析が続きました。Robによると、この課題の原因は、AWS us-east-1の1つの施設にあるラックの小さな割合での「サーマルイベント」でした。

このような取引所インフラストラクチャの構造は役に立ちました。Robは、業界が速度を重視しているため、Coinbaseは取引所インフラストラクチャを1つのアベイラビリティゾーンに維持していると述べました。

さらに、同社は、そのようなシナリオの場合に備えて、この取引所インフラストラクチャの分散バックアップコピーを保持しています。しかし、現在問題となっている取引所インフラストラクチャの1つの部分の故障は境界内に留まらず、状況の修正プロセスを長引かせました。

2つのコンポーネントが失敗しました。マッチングエンジン下のハードウェアに malfunction がありました。したがって、それ以前に、復旧とフェイルオーバー操作を実行する必要がありました。

また、組織内のすべてのシステム間で情報を共有する役割を果たしていた分散Kafkaクラスターがダウンしました。これにより、新しいハードウェアブローカー上のKafkaパーティションの復旧が必要となり、テラバイト単位の情報の復旧が行われました。

エンジニアがクォラムを再構築し、キャンセルのみおよびオークションモードを通じてCoinbase市場を復旧

マッチングエンジンが最大の取引停止の原因でした。マッチングエンジンは注文を処理し、注文帳を維持します。このシステムは分散クラスターで動作し、リーダーを選択し、安全に取引を行う前にクォラムを必要とします。

障害中のデータセンターの制約により、すべてのノードが健全ではなかったため、クォラムを達成できず、Retail、Advanced、Institutional取引所での取引活動が阻止されました。

Robは、オンコールサポートとエンジニアリングチームが、困難なインフラストラクチャの状況下で、同社の災害復旧手順を実行し、クォラムを確立し、システムの健全性を評価しなければならなかったと述べました。

彼によると、チームは広範な障害を管理しながら、ソリューションの開発、テスト、展開、検証を行わなければなりませんでした。Kafkaは、そのパーティション化されたアーキテクチャが毎日数千テラバイトを管理しているため、広範な手動復旧を必要としたでしょう。

Kafkaが遅れていたため、残高ストリームの遅延に関するいくつかの問題がありました。Robは、これらの残高に関する問題はレプリケーションが同期した後に消えたと述べています。Coinbaseによると、データは失われていません。

マッチングエンジンがサービスに戻ったとき、市場は同時に再開されませんでした。まず、Coinbaseはすべての製品をキャンセルのみモードに切り替え、製品ステータスを確認し、すべての市場をオークションモードに切り替え、最後にCoinbase Exchangeでの取引を有効にしました。

さらに、ロブは顧客が一時的にアカウントからロックアウトされないようにするべきだと強調しました。コインベースは、この件について数週間以内に詳細な説明を提供すると全員に保証しました。

しかし、ジョシュ・エリソープはロブのツイッター投稿を読んでから、これらの噂を反論しました。彼は「失敗したものを『バイブコーディング』した人間などおらず、『エンジニアではない』人間がプロダクションコードをプッシュして取引エンジンをダウンさせたわけでもない。これは意図的なものではなく、コインベースがフェイルオーバーシステムを設計しなかったからでもありません。スケールする環境では何事も起こり得ます。ソファから文句を言う人たちの大げさな話を信じてはいけません。」