Coinbases Umstellung auf KI-gestützte Prozesse verläuft nicht so gut

Coinbase (Nasdaq: COIN) hat Kryptohändlern einmal mehr vor Augen geführt, wie langsame Cloud-Hardware selbst eine schnelle Börse beeinträchtigen kann. Die Strategie, auf KI-gestützte Prozesse umzustellen, könnte sich als der bisher größte Fehler des Unternehmens erwiesen haben.

Am Freitag teilte das Unternehmen mit, dass ein Kühlungsdefekt innerhalb von Amazon Web Services (Nasdaq: AMZN) zu einem mehrstündigen Ausfall geführt habe, der den Handel, den Börsenzugang und die Aktualisierung der Kontostände auf der gesamten Plattform beeinträchtigte.

Das Problem begann am 7. Mai gegen 23:50 UTC, als interne Überwachungssysteme einen weit verbreiteten Ausbruch von Kursfehlern innerhalb der Systeme des Unternehmens feststellten.

Zu diesem Zeitpunkt wurden von den Ingenieuren mehrere Sev1-dentverursacht, und Kunden waren bereits in Bezug auf Dienstleistungen wie Spot-Trading, Coinbase Prime, International, Derivate, Retail, Advanced und Institutional Exchanges betroffen.

Briantron, CEO von Coinbase, schrieb auf X, dass sein Unternehmen einen Ausfall erlitten habe und dass ein solches Ereignis niemals akzeptabel sei. Seinen Angaben zufolge war der Grund dafür eine Überhitzung eines Raumes in einem AWS-Rechenzentrum aufgrund des Ausfalls mehrerer Kältemaschinen

Laut Brian stellt das Unternehmen sicher, dass alle seine Dienste so konzipiert sind, dass sie auch bei Ausfall einer AWS-Verfügbarkeitszone nicht offline gehen. Die meisten Dienste sind so strukturiert, mit Ausnahme der Exchange, die aufgrund ihrer hohen Latenzanforderungen eine andere Infrastruktur nutzt.

Coinbase macht ausgefallene AWS-Kühler für die Ausfälle der Kurssysteme vor Mitternacht UTC verantwortlich

berichtete , Cryptopolitan Cryptopolitan dass Coinbase plant, 700 Mitarbeiter zu entlassen, was etwa 14 % der Gesamtbelegschaft entspricht. Ziel ist es, manuelle Prozesse durch KI zu ersetzen

Rob Witoff, Leiter der Coinbase-Plattform, erläuterte die technischen Details des Vorfalls. Laut seinen Angaben dauerte der Ausfall längere Zeit und beeinträchtigte „Handel, Börsenzugang und Kontostandsaktualisierungen“

Die erste Warnung erfolgte um 23:50 UTC aufgrund von Angebotsfehlern in den internen Systemen. Daraufhin wurde umgehend eine Analyse der Prioritätsstufe 1 (Sev1) durchgeführt. Laut Rob war die Ursache ein thermisches Ereignis in einem kleinen Prozentsatz der Racks in einem der Rechenzentren in AWS us-east-1.

Eine solche Struktur für die Börseninfrastruktur erwies sich als nützlich. Rob erklärte, dass Coinbase seine Börseninfrastruktur in einer einzigen Verfügbarkeitszone betreibt, da in der Branche Geschwindigkeit einen hohen Stellenwert hat.

Darüber hinaus verfügt das Unternehmen für solche Fälle über eine verteilte Sicherungskopie dieser Börseninfrastruktur. Der aktuelle Ausfall eines Teils der betreffenden Börseninfrastruktur beschränkte sich jedoch nicht auf diesen Bereich, was die Behebung des Problems verzögert.

Zwei Komponenten fielen aus. Es gab eine Fehlfunktion in der Hardware unterhalb der Matching-Engine. Daher mussten als Erstes Wiederherstellungs- und Failover-Operationen durchgeführt werden.

Auch der verteilte Kafka-Cluster, der für den Informationsaustausch zwischen allen Systemen der Organisation zuständig ist, fiel aus. Die Wiederherstellung der Kafka-Partitionen auf einem neuen Hardware-Broker erforderte die Übertragung von Daten im TiB-Bereich.

Die Ingenieure stellen das Quorum wieder her und bringen die Coinbase-Märkte über Stornierungs- und Auktionsmodi zurück

Die Matching-Engine war für den größten Handelsstau verantwortlich. Sie verarbeitet Aufträge und verwaltet Orderbücher. Das System arbeitet in einem verteilten Cluster und benötigt ein Quorum, bevor ein Leader gewählt und Transaktionen sicher durchgeführt werden können.

Da aufgrund von Engpässen im Rechenzentrum während des Ausfalls nicht alle Knotenpunkte funktionsfähig blieben, konnte kein Quorum erreicht werden, wodurch Handelsaktivitäten an den Börsen für Privatkunden, fortgeschrittene Anleger und institutionelle Anleger verhindert wurden.

Rob erwähnte, dass die Bereitschafts-Support- und Engineering-Teams unter schwierigen Infrastrukturbedingungen die Notfallwiederherstellungsverfahren des Unternehmens durchführen, ein Quorum herstellen und den Systemzustand beurteilen mussten.

zufolge musste das Team eine Lösung entwickeln, testen, bereitstellen und validieren, während es gleichzeitig den umfassenderen Ausfall bewältigte. Kafka hätte aufgrund seiner partitionierten Architektur, die täglich Tausende von Terabytes verarbeitet, eine aufwendige manuelle Wiederherstellung erfordert.

Es gab Probleme mit verzögerten Saldendaten, da Kafka hinterherhinkte. Rob gab an, dass diese Probleme nach der Synchronisierung der Replikation behoben waren. Laut Coinbase gingen keine Daten verloren.

Nachdem die Matching-Engine wieder in Betrieb genommen wurde, wurden die Märkte nicht gleichzeitig wieder aktiviert. Zunächst schaltete Coinbase alle Produkte in den Stornierungsmodus, überprüfte die Produktstatus, stellte alle Märkte auf Auktionsmodus um und aktivierte schließlich den Handel auf Coinbase Exchange.

Rob betonte außerdem, dass Kunden nicht vorübergehend von ihren Konten ausgesperrt werden sollten. Coinbase versicherte allen, dass das Unternehmen innerhalb weniger Wochen eine detaillierte Erklärung zu diesemdent liefern werde.

Josh Ellithorpe wies die Gerüchte jedoch nach Robs Tweet zurück. Er schrieb: „Niemand hat vibe etwas programmiert, das nicht funktioniert. Ein Laie hat nicht den Produktionscode freigegeben und die Handelsplattform lahmgelegt. Das war keine Absicht. Es lag nicht daran, dass Coinbase kein Ausfallsystem entwickelt hatte. In großem Umfang passieren solche Dinge, lasst euch nicht von Besserwissern mit Lügengeschichten abspeisen.“