Как уязвимость центров обработки данных угрожает финансовым сетям по всему миру

Когда сбой системы охлаждения в центре обработки данных в Ауроре, штат Иллинойс, остановил торговлю фьючерсами и опционами на Чикагской товарной бирже (CME), сбой показал, как одна техническая неполадка может одновременно ударить по глобальным рынкам.

Отключение началось 27 ноября на объекте, управляемом CyrusOne, оборудование для охлаждения которого вышло из строя, что привело к повышению температуры до уровня, достаточного для отключения серверов, обрабатывающих контракты, связанные с акциями, валютными парами, облигациями и сырьевыми товарами.

Остановка длилась несколько часов и заморозила операции, связанные с триллионами долларов, согласно Bloomberg. Это показало, как рынки, работающие круглосуточно, все еще могут быть выведены из строя из-за перегрева оборудования в одном здании.

Объект, поддерживающий платформу CME, является частью кампуса, который KKR & Co. и Global Infrastructure Partners приобрели в 2022 году. CyrusOne заявила, что «сбой в работе чиллера» затронул несколько единиц охлаждающего оборудования одновременно, что привело к отключению серверов в целях безопасности.

После начала отключения CyrusOne привезла временное охлаждающее оборудование для стабилизации температуры, пока ее персонал работал над восстановлением основных систем. Компания заявляет, что ее сайт в Ауроре использует чиллеры с воздушным охлаждением и холодный наружный воздух, когда температура падает ниже 30°F, а метеорологические записи показали 28°F в этом районе утром.

CyrusOne заявляет на своем веб-сайте, что объект включает дополнительные блоки охлаждения, предназначенные для защиты от таких сбоев, но неясно, помогли ли какие-либо из этих резервных систем во время этого инцидента.

Сбои в охлаждении вызывают отключения в инфраструктуре, связанной с криптовалютами

Остановка CME произошла в момент, когда центры обработки данных становятся все более важными для рынков, криптобирж, разработчиков ИИ и облачных провайдеров.

В этих зданиях расположены ряды серверов, набитых чипами, которые хранят и обрабатывают огромные объемы информации. Их вычислительная мощность обеспечивает работу всего: от рыночных данных до блокчейн-аналитики и облачных кошельков.

Эти серверы потребляют столько электроэнергии, что центр обработки данных может сжигать в 50 раз больше энергии на квадратный фут, чем офисное здание, и большая часть этой энергии превращается в отработанное тепло, которое необходимо отводить во избежание сбоев.

Операторы стараются разместить как можно больше серверов в каждой комнате, чтобы сдавать в аренду больше вычислительных мощностей клиентам, но это также создает больше тепла.

Охлаждение этих объектов стало значительной частью общих затрат. Некоторые проекты тратят до 15% своего бюджета только на охлаждение. Старые объекты полагались на холодный воздух. Вентиляторы нагнетали охлажденный воздух через стойки, а теплый выхлоп выбрасывался наружу.

Но когда нагрузка ИИ усилилась примерно в 2022 году, компании начали переходить на жидкостное охлаждение. Холодная жидкость проходит через пластины под чипами или заполняет резервуары, где полностью погруженные серверы охлаждаются. Некоторые системы используют специальные жидкости с низкой температурой кипения, которые испаряются при контакте с горячими чипами, а затем снова конденсируются в жидкость.

Жидкость может поглощать больше тепла, чем воздух, но это добавляет рисков. Утечка может повредить дорогостоящее оборудование и вывести системы из строя.

После сбора тепла жидкость или воздух переносит его в контур с охлажденной водой, который доставляет его к градирне или промышленному чиллеру. Эти башни также используют большое количество воды, поскольку часть испаряется в процессе охлаждения. Многие сообщества выразили обеспокоенность по поводу высокого водопотребления, особенно в регионах, уже сталкивающихся с нехваткой воды.

События перегрева останавливают платформы и тормозят торговые системы

Когда центр обработки данных перегревается, чипы могут быть повреждены, данные потеряны, а сервисы откажут. Отключения в ноябре затронули Cloudflare, выведя из строя такие сайты, как X и ChatGPT.

Отдельные проблемы в Amazon Web Services, Microsoft и CrowdStrike на несколько часов выводили из строя части интернета. Эти события показывают, насколько сильно повседневная жизнь зависит от нескольких компаний, управляющих инфраструктурой, работающей круглосуточно.

Операторы создают избыточность с помощью резервных генераторов, дополнительных блоков охлаждения и даже полных дублирующих кампусов. Но отключение CME показывает, что даже эти уровни защиты могут дать сбой, когда несколько компонентов выходят из строя одновременно.

Один неисправный чиллер вывел из строя крупного рыночного оператора на достаточно долгое время, чтобы повлиять на контракты по всему миру, и даже с дополнительным охлаждающим оборудованием на месте, до сих пор неизвестно, помогла ли какая-либо избыточность.