- Coinbase сообщила, что сбой системы охлаждения AWS привёл к многочасовому простою в торговле, доступе и обновлении балансов.
- Сбой начался около 23:50 UTC 7 мая 2026 года после того, как внутренние системы котировок начали давать сбои.
- Роб Витофф заявил, что аппаратное обеспечение движка сопоставления и системы обмена сообщениями Kafka требовали ручного восстановления.
Coinbase (Nasdaq: COIN) в очередной раз показал крипто-трейдерам, как медленное облачное оборудование может испортить даже быструю биржу. Похоже, что стратегия поворота компании к операциям на базе ИИ могла стать ее худшим шагом.
В пятницу компания заявила, что сбой охлаждения внутри Amazon Web Services (Nasdaq: AMZN) помог спровоцировать многочасовой сбой, который затронул торговлю, доступ к бирже и обновление балансов на всей ее платформе.
Проблема началась примерно в 23:50 UTC 7 мая, когда внутренние мониторы обнаружили широкое распространение отказов котировок в системах компании.
В тот момент инженеры создали несколько инцидентов Sev1, и клиенты уже пострадали в таких услугах, как спотовая торговля, Coinbase Prime, International, деривативы, Retail, Advanced и Institutional биржи.
Брайан Армстронг, генеральный директор Coinbase, написал в X, что его компания «испытал сбой» и что такое происшествие «никогда не приемлемо». По его словам, причиной стало «перегревание помещения в дата-центре AWS из-за отказа нескольких чиллеров».
По словам Брайана, компания гарантирует, что все их услуги спроектированы таким образом, чтобы не отключаться в случае отказа одной зоны доступности AWS. Большинство услуг структурированы таким образом, за исключением биржи, которая использует другую инфраструктуру из-за высоких требований к задержке.
Coinbase винит отказавшие чиллеры AWS, так как системы котировок начинают ломаться перед полуночью UTC
Ранее сообщалось, что Cryptopolitan, что Coinbase планирует уволить 700 сотрудников, что составляет примерно 14% от общей численности персонала. Это делается с намерением заменить ручные процессы на ИИ.
Роб Витофф, глава платформы Coinbase, дал технические детали вопроса. По его словам, сбой длился долго и затронул «торговлю, доступ к бирже и обновление балансов».
Первое предупреждение поступило в 23:50 UTC из-за отказов котировок, исходящих из внутренних систем. Сразу последовал анализ Sev1. По словам Роба, причиной этой проблемы стало «тепловое событие» в небольшом проценте стоек в одном из объектов AWS us-east-1.
Такая структура инфраструктуры биржи оказалась полезной. Роб сказал, что Coinbase поддерживает инфраструктуру своей биржи в одной зоне доступности, так как индустрия ценит скорость.
Кроме того, у компании есть распределенная резервная копия этой инфраструктуры биржи на случай таких сценариев. Но отказ одной части инфраструктуры биржи в данный момент не остался в пределах своих границ, продлив процесс устранения ситуации.
Отказали два компонента. Произошел сбой в оборудовании под двигателем сопоставления. Поэтому, прежде всего, потребовалось выполнить операции восстановления и переключения на резерв.
Кроме того, распределенный кластер Kafka, отвечающий за обмен информацией во всех системах организации, вышел из строя. Восстановление разделов Kafka на новом аппаратном брокере потребовало обработки терабайтов информации.
Инженеры восстанавливают кворум и возвращают рынки Coinbase через режимы только отмены и аукциона
Двигатель сопоставления отвечал за крупнейшую остановку торговли. Двигатель сопоставления обрабатывает ордера и поддерживает книги ордеров. Система работает в распределенном кластере и требует кворума перед выбором лидера и безопасным проведением торгов.
Поскольку не все узлы оставались здоровыми из-за ограничений в дата-центре во время сбоя, достичь кворума не удалось, что предотвратило торговую деятельность на биржах Retail, Advanced и Institutional.
Роб упомянул, что дежурные службы поддержки и инженерные команды должны были выполнить процедуры аварийного восстановления компании, установить кворум и оценить состояние системы в сложных условиях инфраструктуры.
Согласно ему, команде пришлось разработать, протестировать, развернуть и проверить решение, управляя более масштабным сбоем. Kafka потребовала бы обширного ручного восстановления, поскольку ее разделенная архитектура управляет терабайтами данных ежедневно.
Возникли некоторые проблемы с задержкой потоков балансов, так как Kafka отставала. Роб заявил, что эти проблемы с балансами исчезли после синхронизации репликации. По словам Coinbase, данные не были потеряны.
Когда двигатель сопоставления вернулся в строй, рынки не были включены одновременно. Сначала Coinbase перевел все продукты в режим только отмены, проверил статусы продуктов, перевел все рынки в режим аукциона и, наконец, включил торговлю на Coinbase Exchange.
Более того, Роб подчеркнул, что клиенты не должны временно блокироваться в своих аккаунтах. Coinbase заверила всех, что компания предоставит подробное объяснение этого инцидента в течение нескольких недель.
Однако Джош Эллиторп опроверг слухи после прочтения поста Роба в Twitter. По его словам, «никто не писал код с помощью ИИ, который бы не сработал. „Не-инженер“ не выкладывал код в продакшн и не выводил из строя торговый движок. Это не было намеренным. Это не потому, что Coinbase не спроектировала систему резервирования. В масштабах такого уровня случаются разные вещи, не позволяйте „диванным экспертам“ рассказывать вам небылицы».
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Джай Хамид
Джай Хамид последние 6 лет освещает криптовалюты, фондовые рынки, технологии, мировую экономику и геополитические события, влияющие на рынки. Она работала с изданиями, сфокусированными на блокчейне, включая AMB Crypto, Coin Edition и CryptoTale, над рыночными аналитическими материалами, обзорами крупных компаний, регулированием и макроэкономическими трендами. Окончила Лондонскую школу журналистики и трижды выступала с аналитическими обзорами криптовалютного рынка на одном из ведущих телеканалов Африки.
