Coinbases Pivot zu KI-gesteuerten Operationen läuft nicht so gut

Coinbase (Nasdaq: COIN) hat Krypto-Händlern erneut gezeigt, wie langsame Cloud-Hardware selbst eine schnelle Börse ruinieren kann. Es sieht so aus, als ob die Strategie des Unternehmens, den Betrieb auf KI umzustellen, ihr bisher schlechtester Schritt gewesen sein könnte.

Am Freitag sagte das Unternehmen, dass ein Kühlungsversagen innerhalb von Amazon Web Services (Nasdaq: AMZN) dazu beigetragen habe, einen mehrstündigen Ausfall auszulösen, der den Handel, den Börsenzugang und Kontostandsaktualisierungen auf seiner Plattform beeinträchtigte.

Das Problem begann um etwa 23:50 Uhr UTC am 7. Mai, als interne Monitore einen weit verbreiteten Ausbruch von Quote-Fehlern in den Systemen des Unternehmens feststellten.

Zu diesem Zeitpunkt wurden mehrere Sev1-Vorfälle von den Ingenieuren erstellt, und Kunden waren bereits in Bezug auf Dienste wie Spot-Handel, Coinbase Prime, International, Derivate, Retail, Advanced und Institutional Exchanges betroffen.

Brian Armstrong, CEO von Coinbase, schrieb auf X, dass sein Unternehmen „einen Ausfall erlebt“ habe und dass ein solches Ereignis „nie akzeptabel“ sei. Laut ihm war der Grund „ein überhitzter Raum in einem AWS-Rechenzentrum aufgrund des Ausfalls mehrerer Chiller“.

Laut Brian stellt das Unternehmen sicher, dass alle ihre Dienste so konzipiert sind, dass sie nicht offline gehen, wenn eine AWS-Verfügbarkeitszone ausfällt. Die meisten Dienste sind auf diese Weise strukturiert, mit Ausnahme der Börse, die aufgrund ihrer hohen Latenzanforderungen eine andere Infrastruktur verwendet.

Coinbase macht fehlgeschlagene AWS-Chiller für den Zusammenbruch der Quote-Systeme vor Mitternacht UTC verantwortlich

Es wurde früher von Cryptopolitan berichtet, dass Coinbase plant, 700 Mitarbeiter zu entlassen, was etwa 14 % der Belegschaft ausmacht. Dies geschieht mit der Absicht, manuelle Prozesse durch KI zu ersetzen.

Rob Witoff, der Leiter der Plattform von Coinbase, gab die technischen Details des Vorfalls bekannt. Laut ihm dauerte der Ausfall lange an und betraf „Handel, Börsenzugang und Kontostandsaktualisierungen“.

Die erste Warnung kam um 23:50 Uhr UTC aufgrund von Quote-Fehlern aus den internen Systemen. Eine sofortige Sev1-Analyse folgte. Laut Rob war die Ursache für diese Herausforderung ein „thermisches Ereignis“ in einem kleinen Prozentsatz von Racks in einer der Einrichtungen in AWS us-east-1.

Eine solche Struktur für die Börseninfrastruktur kam zugute. Rob sagte, dass Coinbase seine Börseninfrastruktur in einer Verfügbarkeitszone hält, da die Branche Geschwindigkeit schätzt.

Darüber hinaus verfügt das Unternehmen über eine verteilte Sicherungskopie dieser Börseninfrastruktur für solche Szenarien. Aber der Ausfall eines Teils der fraglichen Börseninfrastruktur im Moment blieb nicht innerhalb seiner Grenzen, was den Prozess der Behebung der Situation verlängerte.

Zwei Komponenten versagten. Es gab eine Fehlfunktion innerhalb der Hardware unter der Matching-Engine. Daher bestand vor allem die Notwendigkeit, Wiederherstellungs- und Failover-Operationen durchzuführen.

Außerdem fiel der verteilte Kafka-Cluster aus, der mit der Aufgabe betraut war, Informationen innerhalb aller Systeme der Organisation zu teilen. Es dauerte die Wiederherstellung der Kafka-Partitionen auf einem neuen Hardware-Broker, was TiBs an Informationen betraf.

Ingenieure stellen Quorum wieder her und bringen Coinbase-Märkte über Cancel-Only- und Auktionsmodi zurück

Die Matching-Engine war für den größten Handelsstillstand verantwortlich. Die Matching-Engine verarbeitet Aufträge und pflegt Orderbücher. Das System arbeitet in einem verteilten Cluster und erfordert ein Quorum, bevor es einen Leader wählt und Handel sicher durchführt.

Da nicht alle Knoten aufgrund der Einschränkungen im Rechenzentrum während des Ausfalls gesund blieben, konnte kein Quorum erreicht werden, wodurch Handelsaktivitäten auf den Retail-, Advanced- und Institutional-Börsen verhindert wurden.

Rob erwähnte, dass der On-Call-Support und die Engineering-Teams die Disaster-Recovery-Verfahren des Unternehmens ausführen, ein Quorum herstellen und die Systemgesundheit unter schwierigen Infrastrukturumständen bewerten mussten.

Laut ihm musste das Team eine Lösung entwickeln, testen, bereitstellen und validieren, während er den größeren Ausfall verwaltete. Kafka hätte eine umfangreiche manuelle Wiederherstellung erfordert, da seine partitionierte Architektur täglich Tausende von Terabytes verwaltet.

Es gab einige Probleme mit verzögerten Kontostands-Streams, weil Kafka hinterherhinkte. Rob erklärte, dass diese Probleme mit den Kontoständen verschwanden, nachdem die Replikation synchronisiert war. Laut Coinbase gingen keine Daten verloren.

Als die Matching-Engine wieder in Betrieb war, wurden die Märkte nicht gleichzeitig wieder aktiviert. Zuerst schaltete Coinbase alle Produkte in den Cancel-Only-Modus, prüfte die Produktstatus, schaltete alle Märkte in den Auktionsmodus und aktivierte schließlich den Handel auf der Coinbase Exchange.

Darüber hinaus betonte Rob, dass Kunden nicht vorübergehend von ihren Konten ausgeschlossen werden sollten. Coinbase versicherte allen, dass das Unternehmen innerhalb weniger Wochen eine detaillierte Erklärung für diesen Vorfall liefern würde.

Josh Ellithorpe widerlegte jedoch die Gerüchte, nachdem er Robs Beitrag auf Twitter gelesen hatte. Wie er sagte: „Niemand hat etwas vibe-coded, das versagt hat. Ein ‚Nicht-Ingenieur‘ hat keinen Produktionscode gepusht und die Trading-Engine ausgeknockt. Es war nicht beabsichtigt. Es war nicht so, dass Coinbase versagt hat, ein Failover-System zu entwerfen. Dinge passieren im großen Maßstab, lassen Sie sich von den Armchair-Quarterbacks keine Märchen erzählen.“