{"canonical_url":"https://engineer.company/uk/glossary/chaos-engineering/","content_markdown":"# Хаос-інженерія\n\n## Що це таке\n\nХаос-інженерія — це практика навмисно й під контролем вносити в робочу систему\nті збої, що трапляються в реальному житті, щоб перевірити, чи вона з ними\nвпорається. Principles of Chaos Engineering, короткий документ, на який\nпосилається більшість практиків, описує її як «дисципліну експериментування з\nсистемою, щоб здобути впевненість» у тому, що система витримає неспокійні умови\nв продакшні. Головне слово тут — експериментування. Хаос-експеримент не звіряє\nфункцію зі специфікацією; він ставить запитання системі в цілому й приймає ту\nвідповідь, яку отримає.\n\nАргументи на її користь починаються з розподілених систем. Кожен окремий сервіс\nможе працювати правильно, а взаємодія між ними все одно дасть результат, якого\nніхто не передбачив, і рідкісні події на кшталт сервера, що впав, чи розірваного\nмережевого з'єднання лише погіршують справу. Принципи перелічують слабкі місця,\nякі там ховаються: неправильну резервну поведінку, коли сервіс недоступний,\nшторми повторних спроб через погано налаштовані тайм-аути, відмови, коли\nзалежний сервіс нижче в ланцюжку отримує більше трафіку, ніж може обробити, і\nкаскадні збої, коли відмова одного компонента зупиняє кілька інших. Жодне з цього не проявляється,\nколи кожну частину перевіряють окремо.\n\nЕксперимент у версії принципів має чотири кроки:\n\n1. Визначити усталений стан як вимірюваний вихід системи, що свідчить про\n   нормальну поведінку: пропускну здатність, частку помилок або перцентиль\n   затримки.\n2. Висунути гіпотезу, що усталений стан збережеться і в контрольній, і в\n   експериментальній групі.\n3. Внести змінні, що відображають реальні події: сервери, які падають, диски,\n   які виходять з ладу, мережеві з'єднання, які обриваються.\n4. Спробувати спростувати гіпотезу, шукаючи різницю в усталеному стані між\n   двома групами.\n\nЩо важче порушити усталений стан, то більше впевненості команда може мати в\nсистемі. Якщо гіпотеза не встояла, команда знайшла слабке місце, поки воно ще\nмале і поки всі пильнують, а не під час нічної аварії.\n\nНайвідоміший інструмент — Chaos Monkey від Netflix, який випадково завершує\nекземпляри віртуальних машин і контейнери в продакшні. README проєкту називає\nйого прикладом інструмента, що дотримується цих принципів, а його мета —\nзмусити інженерів будувати сервіси, стійкі до втрати окремого екземпляра.\n\n## Чому це важливо\n\nРезервування, перемикання на резерв і запасні шляхи — це обіцянки про те, що\nстанеться, коли щось зламається, а обіцянка, яку ніколи не перевіряли, — лише\nгіпотеза. Резервний сервер, який ніколи не приймав трафіку, політика повторних\nспроб, яка ніколи не стикалася з повільною залежністю, сповіщення, яке ніколи\nне спрацьовувало: кожне з них, можливо, працює, а перший справжній збій — дорогий\nспосіб це з'ясувати. Хаос-інженерія переносить це відкриття на час, який\nкоманда обирає сама.\n\nВона також перевіряє систему, а не її частини. Модульні та інтеграційні тести\nперевіряють поведінку, про яку хтось уже подумав. Принципи кажуть про це прямо:\nхаос-експеримент підтверджує, що система працює, а не намагається довести, як\nсаме вона працює. Тому він дивиться на те, що помітить користувач, — частку\nпомилок і затримку, — а не на внутрішню будову окремого компонента.\n\nДокази лежать у продакшні. Системи поводяться по-різному залежно від середовища\nй характеру трафіку, і принципи наголошують, що лише справжній трафік надійно\nпоказує, яким шляхом проходить запит. Книжка Google про Site Reliability\nEngineering доходить того самого висновку з іншого боку: синтетичне\nнавантаження не завжди показує, де компоненти насправді ламаються, тож коли\nсервіс уже захищений від перевантаження, книжка радить проводити тести на\nвідмову на невеликій частині продакшну, тримаючи напоготові додаткову\nпотужність на випадок, якщо захист не спрацює і перемикатися доведеться вручну.\n\nІ нарешті, вона змінює стимули. README Chaos Monkey формулює це просто: коли\nінженери частіше стикаються зі збоями, у них з'являється причина будувати\nстійкі сервіси. Команда, чиї екземпляри можуть бути завершені будь-якого\nробочого дня, від початку проєктує з урахуванням цього, а не виявляє прогалину\nтого дня, коли машина без попередження перестає існувати.\n\n## Як це виглядає на практиці\n\nХаос-експеримент записують до запуску, як план тестування. Ось приклад для\nвигаданого інтернет-магазину, усі числа в ньому придумані:\n\n```text\nЕксперимент:   платіжний провайдер сповільнюється\nУсталений:     частка успішних оплат і p99 затримки оплати, за 5 хв\nГіпотеза:      з додатковими 300 мс на виклики платіжного провайдера\n               частка успішних оплат в експериментальній групі\n               відрізняється від контрольної не більш ніж на 0,2 п. п.\nГрупи:         по 2% трафіку оплат у кожній, розподіл випадковий\nЗмінна:        300 мс затримки в платіжному клієнті, більше нічого\nЗупинити, якщо: різниця понад 1 п. п. протягом 2 хвилин поспіль\nВікно:         30 хв у робочий час, черговий інженер попереджений\nРезультат:     гіпотезу спростовано; повторні спроби потроїли виклики\n               провайдера, і p99 затримки перевищила тайм-аут в 1 с\nНаслідки:      бюджет повторних спроб на запит; потім повторити тест\n```\n\nСпростована гіпотеза тут і є корисним результатом. Слабке місце знайдено на 2%\nтрафіку за кілька хвилин, з наперед погодженою умовою зупинки, а наслідком стає\nінженерна зміна, а не вибачення.\n\nСаму змінну часто вносять звичайними інструментами. У Linux мережевий емулятор\nnetem, який налаштовують через tc, відтворює властивості реальних мереж, зокрема\nзатримку, втрату, дублювання й пошкодження пакетів. Наприклад:\n\n```sh\n# експеримент 1: додати 100 мс затримки кожному пакету, що виходить з eth0\ntc qdisc add dev eth0 root netem delay 100ms\ntc qdisc del dev eth0 root\n\n# експеримент 2: випадково відкидати один пакет із тисячі\ntc qdisc add dev eth0 root netem loss 0.1%\ntc qdisc del dev eth0 root\n```\n\nНайважливіший тут рядок із `del`, і його місце — у кроці прибирання, який\nвиконується незалежно від того, чи експеримент пройшов, провалився, чи впав на\nпівдорозі. Netem також приймає `seed`, щоб випадкову втрату можна було\nвідтворити, а його довідка попереджає: щоб результати вимірювання швидкодії TCP\nбули реалістичними, netem треба розміщувати на вхідному трафіку хоста, що\nотримує пакети.\n\nНа рівні цілих машин Chaos Monkey показує, як виглядають обережні типові\nналаштування. Одразу після встановлення `enabled` має значення false, а\n`leashed` — true, тобто завершення лише імітуються й записуються в журнал. Коли\nйого вмикають, він працює з групами екземплярів (за застосунком, стеком або\nкластером), із середнім інтервалом між завершеннями у два дні на групу й\nмінімальним в один день, лише в робочі дні й лише з 9:00 до 15:00 у\nналаштованому часовому поясі. Облікові записи, регіони й стеки можна виключити,\nа в конфігурації є місце для outage checker, який повідомляє інструменту, чи\nтриває зараз аварія; реалізації, що постачаються з ним, нічого не роблять, тож\nцю перевірку має забезпечити сама команда експлуатації. Перелік тестів на\nвідмову в продакшні з книжки SRE не менш конкретний: швидко чи повільно\nзменшувати кількість завдань, одразу втратити потужність цілого кластера й\nзмусити бекенди мовчки поглинати запити, зокрема некритичні, чия тиша однаково\nможе загальмувати сервіс, що їх викликає.\n\nНа цьому сайті кейс про те, [як доведено, що блокування вторгнень працює за кожного запуску](/uk/portfolio/proved-the-intrusion-ban-works-every-run/), від вересня 2026 року, не є хаос-експериментом у повному сенсі, але побудований за тією самою схемою. Кожен запуск посилення захисту блокує адресу з діапазону, який стандарти резервують для документації, зчитує створене правило з ядра, а не покладається на власний стан служби, і знімає блокування в блоці очищення, що виконується незалежно від результату перевірки. Оскільки тестова адреса нікому не належить, випадкове блокування, яке залишиться після невдалого запуску, не відріже справжню мережу. Сторінка відверто називає ціну: записувати правило у виробниче середовище за кожного запуску — це справжнє втручання в робочу систему, на яке пішли, бо вже було показано, що альтернатива гірша. [Реалізація резервного копіювання та тестового відновлення](/uk/portfolio/backups-that-have-actually-been-restored/) застосовує цю ідею до відновлення на рівні схеми: щомісячний процес відновлює відомий файл у тимчасове місце й порівнює його байти. У записі про реалізацію від 2026-10-27 зазначено, що таймери були вимкнені за відсутності налаштованого репозиторію; жодного завершеного реального відновлення не зафіксовано. Процес існує в коді; успішне практичне випробування відновлення залишається окремим результатом, який ще потрібно забезпечити.\n\n## Де виникають проблеми\n\n**Ламати без гіпотези.** Вимкнути випадковий сервер і подивитися, що буде, — це\nдемонстрація, а не експеримент. Спершу запишіть усталений стан, гіпотезу й умову\nзупинки. Якщо команда не бачить свого усталеного стану на дашборді в реальному\nчасі, виправити треба саме це, а експеримент зачекає.\n\n**Дивитися на нутрощі, а не на вихід.** Навантаження процесора на одному хості\nчи довжина однієї черги мало що кажуть про те, чи помітили щось користувачі.\nПринципи вимагають вимірюваного виходу всієї системи: пропускної здатності,\nчастки помилок, перцентилів затримки, бо саме про це гіпотеза.\n\n**Необмежений радіус ураження.** Принципи допускають певний короткочасний\nнегативний ефект, але покладають на інженера обов'язок тримати наслідки малими\nй локалізованими. Почніть з одного екземпляра чи невеликого відсотка трафіку,\nмайте аварійний вимикач, що працює без інструмента, який спричинив шкоду, і\nніколи не запускайте експеримент поверх інциденту, що вже триває.\n\n**Не виходити зі стейджингу.** Тестове середовище — розумний перший крок і\nпоганий останній, бо його трафік, дані й сусіди не такі, як у продакшні.\nПереходьте на невелику частку справжнього трафіку, щойно експеримент чисто\nпройшов до продакшну, а не вважайте результати стейджингу остаточною відповіддю.\n\n**Запустити один раз.** Систему, яка витримала експеримент у березні, відтоді\nзмінювали багато разів. Принципи називають ручні експерименти трудомісткими й\nзрештою нежиттєздатними та закликають автоматизувати їх для безперервного\nзапуску, щоб втрата стійкості виявлялася того самого тижня, коли її внесли.\n\n**Лише вбивати машини.** Чисті падіння — найпростіший випадок, бо їх хтось\nпомічає. Принципи також називають програмні збої на кшталт неправильно\nсформованих відповідей і події, що не є збоями, як-от сплеск трафіку чи\nмасштабування, а книжка SRE додає бекенд, який приймає запити й ніколи не\nвідповідає, що однаково шкодить сервісу, який його викликає, коли запити мають\nдовгі дедлайни.\nОбирайте змінні за ймовірним впливом або за тим, як часто вони трапляються.\n\n**Висновки, що нікуди не ведуть.** Спростована гіпотеза — це слабке місце з\nім'ям. Призначте йому відповідального й пріоритет у тому самому трекері, що й\nрешту роботи, а після виправлення повторіть експеримент і переконайтеся, що\nусталений стан тепер тримається.\n\n## Що почитати далі\n\n- [Principles of Chaos Engineering](https://principlesofchaos.org/) — визначення,\n  чотири кроки експерименту й п'ять розширених принципів, востаннє оновлено в\n  березні 2019 року.\n- [Chaos Monkey](https://netflix.github.io/chaosmonkey/) — документація Netflix\n  до інструмента, що завершує екземпляри; потребує Spinnaker.\n- [Chaos Monkey: configuring behavior via Spinnaker](https://netflix.github.io/chaosmonkey/Configuring-behavior-via-Spinnaker/)\n  — частота завершень, групування й винятки разом зі значеннями за замовчуванням.\n- [Chaos Monkey: configuration file format](https://netflix.github.io/chaosmonkey/Configuration-file-format/)\n  — усі параметри та їхні типові значення, зокрема `leashed` і вікно робочих\n  годин.\n- [Addressing Cascading Failures](https://sre.google/sre-book/addressing-cascading-failures/)\n  — розділ 22 книжки Google про Site Reliability Engineering, зокрема про\n  тестування до відмови й тести на відмову в продакшні.\n- [tc-netem(8)](https://man7.org/linux/man-pages/man8/tc-netem.8.html) —\n  сторінка довідки Linux про емулятор мережі, яким вносять затримку, втрату й\n  пошкодження пакетів.\n\n\u003chttps://engineer.company/uk/glossary/chaos-engineering/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Що таке хаос-інженерія, як побудований експеримент щодо усталеного стану, що роблять Chaos Monkey і netem та де ця практика дає збій.","formats":{"gemtext":"https://engineer.company/uk/glossary/chaos-engineering/index.gmi","gopher":"https://engineer.company/uk/glossary/chaos-engineering/gophermap","html":"https://engineer.company/uk/glossary/chaos-engineering/","json":"https://engineer.company/uk/glossary/chaos-engineering/index.json","markdown":"https://engineer.company/uk/glossary/chaos-engineering/index.md","pdf":"https://engineer.company/uk/glossary/chaos-engineering/index.pdf"},"kind":"page","language":"uk","title":"Що таке хаос-інженерія?","url":"https://engineer.company/uk/glossary/chaos-engineering/","version":1}