Переход Coinbase к операциям, основанным на искусственном интеллекте, идет не очень хорошо

Coinbase (Nasdaq: COIN) в очередной раз продемонстрировала криптотрейдерам, как медленное облачное оборудование может испортить работу даже быстрой биржи. Похоже, стратегия компании по переходу на использование искусственного интеллекта в операционной деятельности стала её худшим решением.

В пятницу компания сообщила, что сбой в системе охлаждения Amazon Web Services (Nasdaq: AMZN) стал причиной многочасового отключения, которое затронуло торговлю, доступ к биржам и обновление балансов на всей платформе.

Проблема началась примерно в 23:50 UTC 7 мая, когда внутренние системы мониторинга обнаружили масштабные сбои в формировании котировок в системах компании.

К тому моменту инженеры создали несколькоdentSev1, и клиенты уже пострадали в плане таких услуг, как спотовая торговля, Coinbase Prime, международные операции, деривативы, розничные, продвинутые и институциональные биржи.

Брайанtron, генеральный директор Coinbase, написал на X, что его компания «пережила сбой» и что подобное происшествие «недопустимо». По его словам, причиной стал «перегрев помещения в центре обработки данных AWS из-за выхода из строя нескольких чиллеров»

По словам Брайана, компания гарантирует, что все её сервисы спроектированы таким образом, чтобы не отключаться в случае сбоя одной из зон доступности AWS. Большинство сервисов имеют такую ​​структуру, за исключением биржи, которая использует другую инфраструктуру из-за высоких требований к задержке.

Coinbase винит в поломке чиллеров AWS, поскольку системы котировок начали давать сбои перед полуночью по UTC

сообщило издание Cryptopolitan Cryptopolitan поскольку это составляет примерно 14% от общей численности персонала. Цель увольнения – замена ручных процессов искусственным интеллектом.

Роб Витофф, руководитель платформы Coinbase, предоставил технические подробности проблемы. По его словам, сбой длился долго и затронул «торговлю, доступ к бирже и обновление баланса»

Первоначальное предупреждение поступило в 23:50 UTC из-за сбоев в работе внутренних систем. Сразу же последовал анализ уровня серьезности 1. По словам Роба, причиной этой проблемы стало «тепловое событие» в небольшом проценте стоек на одном из объектов в AWS us-east-1.

Такая структура биржевой инфраструктуры оказалась очень полезной. Роб сказал, что Coinbase поддерживает свою биржевую инфраструктуру в одной зоне доступности, поскольку в отрасли ценится скорость.

Кроме того, у компании есть распределенная резервная копия этой биржевой инфраструктуры на случай подобных сценариев. Однако сбой в одной из частей рассматриваемой биржевой инфраструктуры в данный момент не остался в ее компетенции, что затянуло процесс устранения неполадок.

Вышли из строя два компонента. Произошла неисправность в аппаратной части, расположенной под соответствующим двигателем. Поэтому прежде всего необходимо было выполнить операции восстановления и переключения на резервный сервер.

Кроме того, вышел из строя распределенный кластер Kafka, отвечающий за обмен информацией между всеми системами внутри организации. Для восстановления разделов Kafka потребовалось использовать новый аппаратный брокер, что составило 100 тибар информации.

Инженеры восстановили кворум и вернули работу рынка Coinbase, используя режимы только отмены и аукциона

Система сопоставления ордеров отвечала за крупнейшую задержку торгов. Она обрабатывает ордера и поддерживает книги ордеров. Система работает в распределенном кластере и требует кворума для выбора лидера и безопасного проведения сделок.

Поскольку из-за ограничений в центре обработки данных во время сбоя не все узлы оставались работоспособными, кворум не удалось достичь, что препятствовало торговой деятельности на розничных, продвинутых и институциональных биржах.

Роб упомянул, что дежурным группам поддержки и инженерам приходилось выполнять процедуры аварийного восстановления компании, обеспечивать кворум и оценивать состояние системы в сложных условиях инфраструктуры.

По его словам, команде пришлось разрабатывать, тестировать, развертывать и проверять решение, одновременно управляя масштабным сбоем. Kafka потребовала бы обширного ручного восстановления, поскольку ее разделенная архитектура обрабатывает тысячи терабайт данных ежедневно.

Возникли некоторые проблемы с задержкой потоков баланса из-за отставания Kafka. Роб заявил, что эти проблемы с балансом исчезли после синхронизации репликации. По данным Coinbase, данные не были потеряны.

Когда система сопоставления заявок снова заработала, рынки не были включены одновременно. Сначала Coinbase перевела все продукты в режим только отмены, проверила статусы продуктов, перевела все рынки в аукционный режим и, наконец, включила торговлю на бирже Coinbase.

Кроме того, Роб подчеркнул, что клиенты не должны быть временно заблокированы в своих учетных записях. Coinbase заверила всех, что компания предоставит подробное объяснение этогоdent в течение нескольких недель.

Однако Джош Эллиторп опроверг слухи после прочтения поста Роба в Твиттере. Как он выразился: «Никто из vibe не создавал код, который бы привел к сбою. Никто, не являющийся инженером, не внедрял в продакшн код и не выводил из строя торговый движок. Это не было сделано намеренно. Это не произошло из-за того, что Coinbase не разработала систему резервирования. В больших масштабах такое случается, не позволяйте диванным экспертам рассказывать вам небылицы»