Coinbase раскрыла, как одна ошибка в настройках привела к 50-минутному сбою в работе

Coinbase объясняет, что пошло не так

Криптовалютная биржа Coinbase (Nasdaq: COIN) выявила программную ошибку, ставшую причиной сбоя на прошлой неделе, в результате которого клиенты в течение примерно 50 минут не могли осуществлять переводы, совершать покупки с помощью Coinbase Card и получать доступ к ряду ончейн-сервисов.

Согласно отчету о расследовании, опубликованному 21 июля, инженеры осуществляли, как казалось, рутинное обновление с низким уровнем риска, когда незамеченное совпадение имен ресурсов Kubernetes привело к тому, что обновление изменило не тот сетевой компонент.

Coinbase заявила:

«Это было вызвано непреднамеренной ошибкой в настройке важного сетевого компонента в результате рутинного обновления конфигурации. Средства клиентов ни в какой момент не подвергались риску».

Kubernetes — это программное обеспечение, которое Coinbase использует для организации и запуска приложений в своей облачной инфраструктуре. Конфликт имен ресурсов привёл к тому, что обновление изменило часть шлюза входящего трафика Istio компании вместо того, чтобы затронуть только запланированный компонент. Шлюз действует как диспетчер трафика, направляя запросы между внутренними сервисами Coinbase.

После того как шлюз перестал работать, системы, отвечающие за обработку торговых операций, переводов, расчетов и авторизацию платежей, лишились возможности взаимодействовать друг с другом.

Отказ в обработке карт и приостановка переводов

Сбой затронул розничные, институциональные и разработческие платформы Coinbase примерно с 12:37 до 13:25 по восточному времени (ET).

Некоторые розничные клиенты не могли совершить пополнение счета, снятие средств или транзакции за пределами платформы. Уже начатые переводы казались застрявшими, но были обработаны после восстановления работы сервиса. Покупки по дебетовой карте Coinbase Card были отклонены, в то время как покупки по кредитным картам продолжались.

Сбой также прервал обмен криптовалют в цепочке блоков через Coinbase DEX на Base и Solana. Клиенты Coinbase Exchange и Prime столкнулись с задержками или сбоями при переводах и расчетах, а пользователи платформы для разработчиков не могли регистрировать пользователей, переводить средства или использовать услуги по пополнению счетов.

Эти последствия подчеркивают растущую важность надёжности по мере того, как Coinbase выходит за рамки спотовой торговли криптовалютами. Планируемые продукты «биржи всего», включая токенизированные акции и бессрочные фьючерсы, расширяют спектр финансовой деятельности, зависящей от инфраструктуры компании.

Coinbase отдельно описала планы по превращению платформы в более широкий финансовый хаб с новыми услугами по торговле, платежам и управлению капиталом, охватывающими акции, деривативы, платежи в стейблкоинах и инструменты для разработчиков. Такое расширение повышает ставки в случае сбоев в работе общей инфраструктуры.

Почему восстановление заняло больше времени, чем ожидалось

Шлюз был восстановлен в 13:20 по восточному времени, и через три минуты Coinbase объявила об устранении инцидента. Остаточные задержки транзакций были устранены в течение следующих нескольких часов.

Восстановление заняло больше времени, поскольку инструменты развертывания Coinbase зависели от вышедшего из строя шлюза. Инженеры не смогли воспользоваться стандартной процедурой отката и вместо этого вручную запустили экстренное развертывание через облачного провайдера компании, воспользовавшись временным привилегированным доступом.

В настоящее время Coinbase внедряет проверки для предотвращения конфликтов имен, отделяет инструменты восстановления от инфраструктуры, которой они управляют, и более регулярно тестирует процедуры экстренного доступа.

В Coinbase подчеркнули:

«Наша цель — всегда обеспечивать нулевое время простоя. Мы активно перепроектируем нашу инфраструктуру, чтобы в крайне маловероятном случае повторного сбоя, подобного этому, мы могли быстро откатиться и восстановить работу».

Источник