Как весь Интернет исчез за одну ночь

Кратко

Ошибка конфигурации в Cloudflare 18 ноября вызвала каскадный сбой, который временно нарушил работу таких крупных сервисов, как X, ChatGPT, Spotify и Uber по всему миру.

Представьте себе: вы просыпаетесь, берете телефон и нажимаете на привычные значки. X не загружается. ChatGPT не отвечает на ваш вопрос. YouTube не показывает ваше видео. Даже Downdetector, сайт, который вы обычно используете, чтобы проверить, сломано ли что-то, тоже… сломан.

В течение нескольких часов 18 ноября это была реальность для миллионов людей по всему миру. Серьезный сбой в Cloudflare, одной из ключевых инфраструктурных компаний современного интернета, привел к отключению или ухудшению работы широкого спектра услуг, включая X, ChatGPT, Spotify, Uber, Canva, League of Legends и многие другие.

Это ощущалось так, будто “весь интернет” исчез. На практике это было что-то более мелкое и пугающее: единичный сбой в системах одной компании, который вызвал каскадные проблемы на огромной части веба.

Что на самом деле пошло не так в Cloudflare

Проблемы начались рано утром во вторник ( 18 ноября 1928374656574839201 по времени США. Около 6:20 утра по восточному времени Cloudflare зафиксировал всплеск необычного трафика, проходящего через одну из его систем. Всего через несколько минут веб-сайты, которые полагаются на Cloudflare, начали выдавать страницы “внутренней ошибки сервера” и отключаться для пользователей по всему миру.

Когда отчеты об отключениях накапливались на Downdetector и в социальных сетях, Cloudflare опубликовала сообщение о том, что она “осведомлена и исследует” проблему, затрагивающую нескольких клиентов. Инженеры в конечном итоге выявили виновника и внесли исправление, в результате чего трафик постепенно вернулся к норме примерно через три часа после начала сбоя.

Компания подчеркнула одну ключевую точку: не было никаких признаков кибератаки. Это не была DDoS-атака, инцидент с программой-вымогателем или действия государственного актера. Это была внутренняя техническая неисправность. Однако для пользователей причина не имела значения. Их опыт был прост: интернет перестал работать.

Что делает Cloudflare ) и почему вы никогда о нём не слышали (

Большинство людей никогда не посещают cloudflare.com специально, но они касаются его сети каждый день. Cloudflare находится посередине “пути” интернета между вами и веб-сайтами, которые вы используете. Проще говоря, Cloudflare:

• Ускоряет сайты, кэшируя контент и эффективно маршрутизируя трафик )сеть доставки контента, или CDN(;
• Защищает их от DDoS-атак и вредоносных ботов;
• Фильтрует трафик, чтобы определить, что выглядит безопасным, а что нет.

Компания утверждает, что обрабатывает трафик примерно для пятой части всех веб-сайтов в мире. Она также обрабатывает огромную долю HTTP-запросов каждую секунду, тихо выполняя роль вышибалы и регулировщика трафика для огромных частей интернета.

Эта масштабируемость отлична, когда все работает. Когда это не так, вся интернет-сеть может внезапно показаться хрупкой.

Маленький файл, который вызвал сбой

Постмортем Cloudflare рассказывает удивительно обыденную историю. Конфигурационный файл ), по сути, набор правил (, используемых его системой управления ботами и угрозами, генерировался автоматически. Со временем этот файл стал больше, чем ожидали инженеры.

В какой-то момент была превышена жесткая граница в программном обеспечении, отвечающем за обработку трафика для нескольких сервисов Cloudflare. Из-за латентной ошибки в этом коде система не завершила свою работу корректно. Вместо этого чрезмерно большой файл вызвал сбой в одном из основных компонентов обработки трафика.

Оттуда дела пошли наперекосяк:

• Функция управления ботами попыталась применить новую, слишком большую конфигурацию;
• Процесс постоянно вылетал вместо того, чтобы отклонить файл;
• Этот сбой вызвал каскадные проблемы в нескольких сервисах, которые зависели от одного и того же программного обеспечения;
• По мере того как все больше узлов выходило из строя, большая часть сети Cloudflare начала возвращать ошибки вместо веб-страниц.

CTO Cloudflare, Дейн Кнехт, назвал сбой “неприемлемым” и сказал, что компания “подвела” своих клиентов и более широкий интернет, пообещав изменения, чтобы одна ошибка конфигурации не могла снова вызвать такую цепную реакцию.

Ухудшаются ли отключения или просто становятся громче?

Если вам кажется, что эти инциденты происходят все чаще, вы не одиноки. Этот сбой Cloudflare произошел всего через несколько недель после крупного инцидента с Amazon Web Services, который вывел из строя тысячи веб-сайтов и приложений, от Snapchat и Reddit до внутренних инструментов, на которые компании полагаются каждый день.

Фирмы по мониторингу сети отслеживают крупномасштабные сбои в интернете на протяжении многих лет. Их данные предполагают нечто тонкое:

• Количество крупных сбоев каждый год не взрывается;
• Но влияние каждой аварии растет, потому что все больше услуг зависит от одних и тех же центральных поставщиков.

Двадцать лет назад, если почтовый сервер вашего работодателя выходил из строя, это портило вам день, но только для вашей компании. Сегодня, когда Cloudflare или AWS испытывают трудности, миллионы людей и предприятий ощущают это сразу.

Кроме того, теперь люди транслируют каждую неполадку на X, Reddit и TikTok. Инциденты, которые когда-то могли пройти незамеченными как «вопросы обслуживания», теперь выглядят и ощущаются как глобальные кризисы.

Меньше провайдеров, больше рисков

Сбой Cloudflare вписывается в повторяющийся шаблон, который мы видели с AWS, Azure и другими крупными игроками инфраструктуры:

• Небольшое внутреннее изменение )настройка конфигурации, обновление программного обеспечения, неправильно работающий скрипт( взаимодействует с некоторым скрытым предположением в системе;
• Обработка ошибок не перехватывает это достаточно рано;
• Автоматизированные системы усугубляют проблему, а не сдерживают её;
• Инцидент охватывает большое количество клиентов, которые все зависят от одной и той же платформы.

Мы оптимизировали интернет для скорости, стоимости и глобального масштаба. Самый простой способ достичь этого - использовать несколько крупных провайдеров с дата-центрами по всему миру и командами инженеров мирового класса.

Компромисс состоит в концентрации. Когда у местного интернет-провайдера возникает проблема, город отключается. Когда Cloudflare дает сбой, кажется, что весь интернет просто исчез.

Что говорят технологические лидеры о крахе

Хотя Илон Маск не комментировал непосредственно ошибку Cloudflare, он неоднократно предупреждал о чрезмерной централизации цифровой инфраструктуры, особенно в отношении устойчивости X и его перехода к более самоуправляемым системам. В 2023-2025 годах он часто указывал на то, что зависимость от одного провайдера для работы больших частей Интернета является “проблемой единой точки отказа”, критике, которую он применял к AWS, Apple, Google, слоям в стиле Cloudflare и даже мобильным операторам.

Технический директор Cloudflare дал самую сильную и ясную реакцию на сбой. Кнехт публично извинился и сказал, что инцидент был “неприемлемым”, поскольку многие организации и пользователи зависят от инфраструктуры Cloudflare. Он также подчеркнул, что причиной не была атака, а ошибка конфигурации, которая вызвала каскадный сбой, что он описал как первоочередную задачу для предотвращения в будущем.

Джефф Барр, главный евангелист Amazon Web Services, не комментировал сбой Cloudflare, но он часто обсуждает сбои AWS и общую модель, лежащую в основе глобальных сбоев. Его давнее послание: чем более взаимосвязанная система и чем более автоматизированные процессы, тем выше риск каскадных ошибок.

И наконец, генеральный директор Cloudflare, Мэтью Принс, высказался. Он говорил на протяжении многих лет о деликатной архитектуре интернета, особенно о тех частях, которые никто не замечает, пока они не ломаются. Он часто утверждает, что основное здоровье сети зависит от устойчивости, а не от совершенства.

Он повторял такие темы, как:

• Наибольшие угрозы исходят от внутренних некорректных настроек, а не от злоумышленников;
• Избыточность должна быть встроена в каждый уровень;
• Интернет скреплен “шокирующим количеством изоленты”.

Он не сделал длинного публичного заявления в первые дни после этого сбоя, но темы из его прошлых интервью напрямую применимы.