CoinbaseのAI主導型オペレーションへの転換は、あまりうまくいっていない。

Coinbase（ナスダック：COIN）は、クラウドハードウェアの遅さが高速な取引所の機能をいかに損なうかを、再び仮想通貨トレーダーに示した。同社のAIを活用した運用戦略転換は、これまでで最悪の選択だったようだ。.

金曜日、同社はアマゾンウェブサービス（ナスダック：AMZN）内部の冷却システムの故障が、数時間にわたるシステム障害を引き起こし、プラットフォーム全体で取引、取引所へのアクセス、残高更新に影響が出たと発表した。.

問題は5月7日午後11時50分頃（協定世界時）に発生し、社内監視システムが社内システム内で広範囲にわたる見積もりエラーの発生を検知した。.

その時点で、エンジニアによって複数のSev1dentが発生し、現物取引、Coinbase Prime、国際取引、デリバティブ、個人向け取引、高度な取引、機関投資家向け取引などのサービスにおいて、顧客への影響がすでに生じていた。.

CoinbaseのCEOであるブライアン・アームtron氏は、X上で同社が「システム障害を経験した」とし、このような事態は「決して許容できない」と述べた。同氏によると、その原因は「複数の冷却装置の故障により、AWSデータセンター内の部屋が過熱したこと」だという。

ブライアン氏によると、同社はすべてのサービスが、AWSのアベイラビリティゾーンのいずれかが障害を起こした場合でもオフラインにならないように設計されているとのことだ。ほとんどのサービスはこのように構成されているが、取引所サービスは高いレイテンシが要求されるため、異なるインフラストラクチャを使用している。.

Coinbaseは、UTCの真夜中前に引用システムが故障し始めた原因はAWSの冷却装置の不具合にあるとしている。

によると 報じた が Cryptopolitan 、Coinbaseは従業員の約14％にあたる700人を解雇する計画だという。これは、手作業をAIに置き換えることを目的としている。

Coinbaseのプラットフォーム責任者であるロブ・ウィトフ氏は、この件に関する技術的な詳細を明らかにした。同氏によると、システム障害は長時間にわたり、「取引、取引所へのアクセス、残高の更新」に影響を与えたという。

最初の警告は、内部システムからの引用エラーが原因で、UTC 23:50に発生しました。直ちにSev1レベルの分析が行われました。Rob氏によると、この問題の原因は、AWS us-east-1の施設のごく一部のラックで発生した「熱イベント」でした。.

このような取引所インフラの構造は非常に役立った。ロブ氏によると、Coinbaseは業界でスピードが重視されるため、取引所インフラを1つのアベイラビリティゾーンに集約しているという。.

さらに、同社はこのような事態に備え、この取引所インフラの分散バックアップコピーを保有している。しかし、今回問題となった取引所インフラの一部に障害が発生したことで、その影響は自社のシステム内にとどまらず、復旧作業が長期化している。.

2つのコンポーネントが故障しました。マッチングエンジンの下位ハードウェアに不具合が発生しました。そのため、何よりもまず復旧およびフェイルオーバー操作を実行する必要がありました。.

また、組織内のすべてのシステム間で情報を共有する役割を担っていた分散型Kafkaクラスタがダウンした。そのため、新しいハードウェアブローカー上でKafkaパーティションを復旧する必要があり、そのデータ量はTiB（テラバイト）に及んだ。.

エンジニアがクォーラムを再構築し、キャンセル専用モードとオークションモードを通じてCoinbaseマーケットを復旧させた。

マッチングエンジンは、最大の取引停滞の原因となっていた。マッチングエンジンは注文を処理し、注文板を管理する。このシステムは分散クラスタで動作し、リーダーを選出して安全に取引を実行するには、クォーラム（定足数）が必要となる。.

データセンターの障害発生時に制約があったため、すべてのノードが正常な状態を維持できず、クォーラムが達成できなかったため、個人投資家向け、先進投資家向け、機関投資家向けの各取引所での取引活動が停止した。.

ロブは、オンコールサポートチームとエンジニアリングチームが、困難なインフラ状況下で、会社の災害復旧手順を実行し、定足数を確立し、システムの健全性を評価する必要があったと述べた。.

よると 、チームは広範囲にわたるシステム停止を管理しながら、ソリューションの開発、テスト、展開、検証を行わなければならなかった。Kafkaはパーティション化されたアーキテクチャで毎日数千テラバイトものデータを処理するため、大規模な手動復旧作業が必要だっただろう。

Kafkaの遅延が原因で、残高ストリームに遅延が発生する問題がいくつか発生しました。Rob氏によると、レプリケーションが同期された後、これらの残高に関する問題は解消されたとのことです。Coinbaseによると、データの損失はなかったそうです。.

マッチングエンジンが復旧した際、市場は同時に再開されませんでした。まず、Coinbaseはすべての商品をキャンセル専用モードに切り替え、商品のステータスを確認し、すべての市場をオークションモードに切り替え、最後にCoinbase Exchangeでの取引を有効化しました。.

さらに、ロブ氏は、顧客が一時的にアカウントをロックアウトされるべきではないと強調した。Coinbaseは、このdent について数週間以内に詳細な説明を提供すると約束した。.

しかし、ジョシュ・エリソープはロブのツイッターへの投稿を読んで、その噂を否定した。彼はこう述べている。「誰かが vibe 的に失敗したコードを書いたわけではありません。『エンジニアではない』人が本番環境用のコードをプッシュして取引エンジンを停止させたわけでもありません。故意にやったことでもありません。Coinbaseがフェイルオーバーシステムを設計しなかったからでもありません。大規模なシステムでは様々なことが起こり得るのです。素人評論家の作り話に惑わされないでください。」