Як весь Інтернет зник за одну ніч

Коротко

Помилка конфігурації на Cloudflare 18 листопада спричинила каскадний збій, який тимчасово порушив роботу основних сервісів, таких як X, ChatGPT, Spotify та Uber по всьому світу.

Уявіть собі: ви прокидаєтеся, берете свій телефон і натискаєте на звичні значки. X не завантажується. ChatGPT не відповідає на ваше питання. YouTube не показує ваше відео. Навіть Downdetector, сайт, який ви зазвичай використовуєте, щоб перевірити, чи все зламано, теж… зламаний.

Протягом кількох годин 18 листопада це була реальність для мільйонів людей по всьому світу. Великі перебої в роботі Cloudflare, однієї з ключових інфраструктурних компаній сучасного інтернету, призвели до збоїв або погіршення роботи різноманітних сервісів, включаючи X, ChatGPT, Spotify, Uber, Canva, League of Legends та інші.

Здавалося, що “весь Інтернет” зник. Насправді це було щось менше і страшніше: єдиний збій в системах однієї компанії, що викликав каскадний ефект на величезну частину вебу.

Що насправді пішло не так з Cloudflare

Проблеми розпочалися вранці у вівторок ( 18 листопада 18) за часом США. Близько 6:20 ранку за східним часом Cloudflare зафіксував сплеск незвичайного трафіку, що проходив через одну з його систем. Лише через кілька хвилин вебсайти, які покладаються на Cloudflare, почали виводити сторінки “внутрішня помилка сервера” та тайм-аутити для користувачів по всьому світу.

Оскільки звіти про збої накопичувалися на Downdetector та в соціальних мережах, Cloudflare повідомила, що вона “усвідомлює і розслідує” проблему, яка вплинула на кілька клієнтів. Інженери врешті-решт виявили винуватця і впровадили виправлення, з трафіком, що поступово повертається до нормального стану приблизно через три години після початку збою.

Компанія наголосила на одному ключовому моменті: не було жодних ознак кібератаки. Це не була DDoS-атака, інцидент з програмами-вимагачами або дії державного актора. Це була внутрішня технічна несправність. Для користувачів, проте, причина не мала значення. Їхній досвід був простим: інтернет перестав працювати.

Що робить Cloudflare ( і чому ви ніколи про це не чули )

Більшість людей ніколи не відвідують cloudflare.com навмисно, але щодня вони взаємодіють з його мережею. Cloudflare знаходиться посередині “шляху” в інтернеті між вами та веб-сайтами, якими ви користуєтеся. Простими словами, Cloudflare:

• Прискорює сайти шляхом кешування контенту та ефективного маршрутизації трафіку ( мережа доставки контенту, або CDN);
• Захищає їх від DDoS-атак та шкідливих ботів;
• Скриває трафік, щоб вирішити, що виглядає безпечним, а що ні.

Компанія стверджує, що обробляє трафік приблизно для п'ятої частини всіх веб-сайтів у всьому світі. Вона також обробляє величезну частку HTTP-запитів щосекунди, тихо виконуючи роль охоронця та регулювальника трафіку для величезних частин Інтернету.

Ця система чудова, коли все працює. Коли це не так, весь інтернет раптом може здаватися крихким.

Маленький файл, який викликав крах

Постмортем Cloudflare розповідає на диво буденну історію. Конфігураційний файл (, який по суті є набором правил ), що використовуються його системою управління ботами та загрозами, генерувався автоматично. З часом цей файл став більшим, ніж очікували інженери.

В певний момент це перевищило жорсткий ліміт у програмному забезпеченні, відповідальному за обробку трафіку для кількох сервісів Cloudflare. Через неявну помилку в цьому коді система не вийшла з ладу плавно. Замість цього надмірний файл викликав збій у ключовому компоненті обробки трафіку.

Звідти ситуація загострилася:

• Функція управління ботами намагалася застосувати нову, занадто велику конфігурацію;
• Процес тричі зазнав краху замість того, щоб відхилити файл;
• Ця аварія спричинила каскадний ефект на кілька служб, які залежали від одного й того ж програмного забезпечення;
• Оскільки більше вузлів виходило з ладу, велика частина мережі Cloudflare почала повертати помилки замість веб-сторінок.

CTO Cloudflare, Дейн Кнехт, назвав перебої “неприйнятними” і сказав, що компанія “підвела” своїх клієнтів і ширшу інтернет-спільноту, обіцяючи зміни, щоб один конфігураційний баг не міг викликати такий же ланцюговий реакцію знову.

Чи стають аварії гіршими, чи просто голоснішими?

Якщо вам здається, що ці інциденти відбуваються частіше, ви не єдині. Цей збій Cloudflare стався лише через кілька тижнів після великого інциденту з Amazon Web Services, який вивів з ладу тисячі вебсайтів і додатків, від Snapchat і Reddit до внутрішніх інструментів, на які компанії покладаються щодня.

Фірми, що займаються моніторингом мереж, роками відстежують великомасштабні збої в Інтернеті. Їхні дані вказують на щось тонке:

• Кількість великих збоїв щороку не зростає;
• Але вплив кожного відключення зростає, оскільки все більше послуг залежить від тих самих центральних постачальників.

Двадцять років тому, якщо сервер електронної пошти вашого роботодавця виходив з ладу, це псувало ваш день, але лише для вашої компанії. Сьогодні, коли Cloudflare або AWS мають поганий ранок, мільйони людей і підприємств відчувають це одночасно.

Більше того, люди тепер транслюють кожен збій на X, Reddit і TikTok. Інциденти, які колись могли б тихо пройти як “проблеми з обслуговуванням”, тепер виглядають і відчуваються як глобальні кризи.

Менше постачальників, більші ризики

Вимкнення Cloudflare вписується в повторюваний шаблон, який ми бачили з AWS, Azure та іншими великими постачальниками інфраструктури:

• Невелика внутрішня зміна (налаштування конфігурації, оновлення програмного забезпечення, неправильно працюючий скрипт) взаємодіє з деяким прихованим припущенням у системі;
• Обробка помилок не виявляє це достатньо рано;
• Автоматизовані системи посилюють проблему, а не стримують її;
• Інцидент охоплює велику кількість клієнтів, які всі залежать від однієї платформи.

Ми оптимізували інтернет для швидкості, вартості та глобального масштабу. Найпростіший спосіб отримати це - використовувати кілька великих постачальників з дата-центрами скрізь і командами інженерів світового класу.

Компроміс полягає в концентрації. Коли у місцевого провайдера Інтернету виникає проблема, місто відключається. Коли Cloudflare дає збій, здається, що весь Інтернет просто зник.

Що кажуть технологічні лідери про крах

Хоча Ілон Маск не прокоментував безпосередньо помилку Cloudflare, він неодноразово застерігав щодо надмірно централізованої цифрової інфраструктури, особливо у зв’язку з власною стійкістю X і його переходом до більш самостійних систем. У 2023-2025 роках він часто підкреслював, що покладатися на одного постачальника для управління великими частинами інтернету — це «проблема єдиного пункту відмови», критика, яку він застосовував до AWS, Apple, Google, шарів на кшталт Cloudflare і навіть мобільних операторів.

Головний технічний директор Cloudflare надав найсильнішу та найчіткішу реакцію на відмову. Кнехт публічно вибачився і сказав, що інцидент був “недопустимим”, оскільки багато організацій та користувачів покладаються на інфраструктуру Cloudflare. Він також підкреслив, що причина не була атакою, а конфігураційною помилкою, яка викликала каскадну відмову, що, за його словами, є найвищим пріоритетом для запобігання в майбутньому.

Джефф Барр, головний євангеліст Amazon Web Services, не прокоментував відключення Cloudflare, але він часто обговорює відключення AWS та загальний шаблон, що стоїть за глобальними збої. Його давнє послання: чим більше система взаємопов'язана, і чим більш автоматизовані процеси, тим більший ризик каскадних помилок.

І, нарешті, генеральний директор Cloudflare, Метт Прінс, висловився. Він роками говорить про тонку архітектуру Інтернету, особливо про ті частини, які ніхто не помічає, поки не зламаються. Він часто стверджує, що основне здоров'я вебу залежить від стійкості, а не від досконалості.

Він повторює такі теми, як:

• Найбільші загрози походять від внутрішніх неправильних налаштувань, а не від атакуючих;
• Резервування повинно бути закладене в кожному шарі;
• Інтернет тримається на “вражаючій кількості ізоляційної стрічки”.

Він не видав довгу публічну заяву під час ранніх наслідків цього збою, але теми з його минулих інтерв'ю безпосередньо стосуються.