{"canonical_url":"https://engineer.company/uk/glossary/alert/","content_markdown":"# Тривога\n\n## Що це таке\n\nТривога — це автоматичний сигнал про те, що умова, за якою стежить система, трималася достатньо\nдовго, щоб заради неї варто було відірвати людину від справ. В українських командах часто кажуть\nпросто «алерт», а тривогу, через яку будять чергового серед ночі, англійською називають page.\n\nЗа цим словом стоять два різні об'єкти, і Prometheus розводить їх настільки чітко, що різницю легко\nпомітити. Правило тривоги в Prometheus породжує тривоги, по одній на кожен окремий набір міток, для\nякого вираз повертає результат. Далі вони надходять до окремої програми, Alertmanager, а та\nперетворює їх на сповіщення: лист, повідомлення в чаті, дзвінок через сервіс чергувань. Сам проєкт\nпрямо пише, що правила тривог самі по собі ще не є повноцінною системою сповіщень. Розрізняти ці дві\nречі доводиться тому, що їхня кількість розходиться. П'ятдесят тривог можуть прийти одним листом,\nодна тривога може нагадувати про себе кожні кілька годин, а тривога, якій вимкнули звук, до людей не\nдоходить, хоча й далі спрацьовує.\n\nЖиттєвий цикл у тривоги короткий. Поки вираз нічого не повертає, тривога неактивна. Щойно він уперше\nдає результат, тривога переходить у стан очікування (pending) і лишається в ньому стільки, скільки\nвимагає параметр `for` у правилі. Якщо наприкінці цього проміжку умова все ще виконується, тривога\nспрацьовує (firing) і йде далі на доставку. Коли умова перестає виконуватися, тривога завершується\n(resolved). Новіший параметр `keep_firing_for` утримує тривогу в стані спрацювання ще деякий час\nпісля того, як умова зникла; документація пояснює його як захист від мерехтіння та хибних\nповідомлень про те, що все вже гаразд. Крім того, Prometheus записує стани очікування й спрацювання\nяк часовий ряд `ALERTS`, тож до самих тривог можна робити запити й показувати їх на графіках.\n\nПравило, яке чекає двадцять хвилин, перш ніж спрацювати, і ще десять, перш ніж відпустити, має такий\nвигляд:\n\n```yaml\ngroups:\n    - name: exports\n      rules:\n          - alert: ExportQueueStalled\n            expr: exports_waiting \u003e 0 and rate(exports_done_total[15m]) == 0\n            for: 20m\n            keep_firing_for: 10m\n            labels:\n                severity: page\n                team: billing\n            annotations:\n                summary: \"{{ $value }} exports queued and none finishing\"\n```\n\nМітки й анотації схожі на вигляд, але виконують різну роботу. Мітки входять до того, що робить\nтривогу саме цією тривогою, і Alertmanager читає їх, щоб вирішити, куди її надіслати: `severity:\npage` може потрапити на телефон, а `severity: ticket` — у чергу заявок. Анотації несуть слова,\nпотрібні людині, коли повідомлення вже надійшло: короткий підсумок, довший опис, посилання на\nінструкцію з першими кроками. Анотації можна складати з шаблонів, що підставляють мітки тривоги та\nзначення, яке її викликало, і саме тому підсумок у прикладі вище здатен назвати число.\n\nТривога й інцидент — різні поняття. Тривога повідомляє, що умова справдилася, а чи є те, що\nвідбувається, інцидентом, вирішує людина.\n\n## Чому це важливо\n\nТривога — єдина частина моніторингу, яка не чекає, поки на неї подивляться. Метрика лежить у\nсховищі, дашборд висить на екрані, журнал чекає на пошуковий запит, а тривога вривається в чийсь\nвечір. Тож кожне правило тривоги — це невелика постійна заявка на чиюсь увагу, і вона справедлива\nлише тоді, коли людина може щось із цим зробити. Настанови Prometheus щодо тривог радять не будити\nлюдей, коли робити нічого, і тримати систему тривог нескладною.\n\nДруге — звичайна арифметика. Одна несправність зазвичай зачіпає багато правил водночас. Якщо через\nрозділення мережі половина екземплярів сервісу втрачає зв'язок із базою даних, кожен екземпляр може\nнадіслати власну тривогу, і документація Alertmanager саме на цьому прикладі показує, як сотні\nтривог стають одним сповіщенням. Alertmanager збирає разом тривоги зі спільними мітками,\nпереліченими в `group_by`, чекає `group_wait` (типово 30 секунд), щоб перше повідомлення вмістило\nвсю групу, надсилає оновлення для групи не частіше ніж раз на `group_interval` (5 хвилин) і повторює\nповідомлення про тривогу, що досі спрацьовує, через `repeat_interval` (4 години). Пригнічення йде ще\nдалі й приглушує одні тривоги, поки спрацьовує інша, тож тривога про недоступність усього кластера\nможе заглушити тривоги окремих сервісів у ньому. Silence, як це називає Alertmanager, вимикає звук\nдля тривог із певними мітками на визначений час, зазвичай на період планових робіт.\n\nТретє — кінець історії. Більшість каналів сповіщення надсилає повідомлення про завершення тривоги, але\nдля поштового каналу параметр `send_resolved` типово має значення false. Команда, яка отримує\nтривоги поштою, може побачити, як проблема почалася, і так і не дізнатися, коли вона скінчилася.\n\n## Як це виглядає на практиці\n\nВласний хост компанії використовує тривогу за відсутності сигналу. Він має\n464 МБ пам'яті й обслуговує вебсервер і git-сервер, а вичерпання пам'яті та\nзаповнення диска — два важливі ризики відмови. [Таймер на хості пінгує\nзовнішній сервіс лише тоді, коли перевірки доступної пам'яті й вільного місця\nна диску проходять за встановленими порогами](/uk/portfolio/built-dead-mans-switch-host-monitoring/)\nкожні п'ятнадцять хвилин із випадковим зсувом, а зовнішній сервіс надсилає\nтривогу, коли очікувані пінги перестають надходити. Відмови, що не дають\nскрипту виконатися чи з'єднатися із цим сервісом, зокрема втрата мережі або\nневдале завантаження, спричиняють відсутність пінгу. Отриманий сигнал\nпідтверджує, що скрипт виконався, а перевірки доступної пам'яті й вільного\nмісця на диску пройдено за встановленими порогами; він не засвідчує загальної\nсправності хоста чи того, що сайт обслуговує запити. Моніторинг може виявляти\nтривожні ознаки, хоча час їх появи залежить від навантаження й умов\nспостереження.\n\nТе саме обернення може захищати заплановані завдання. У\n[реалізації резервного копіювання сигнали успіху для копіювання та відновлення розділено](/uk/portfolio/backups-that-have-actually-been-restored/).\nСкрипти й модулі systemd підтримують зашифровані знімки поза хостом, перевірки цілісності та\nщомісячний тест відновлення відомого файла; сигнал успіху надсилається лише після успішного\nзавершення відповідного процесу. Це схема сповіщення, а не доказ того, що вона була активною.\nУ записі про реалізацію від 2026-10-27 зазначено, що таймери були вимкнені без налаштованого\nсховища, і не зафіксовано жодного завершеного відновлення в реальних\nумовах. Відсутність сигналу може викликати зовнішнє сповіщення після активації процесу та\nйого моніторингу; сама конфігурація не доводить, що вони працюють.\n\nІнвертовані тривоги мають власний спосіб зламатися, і він проявився, коли платформа мала вирости з\nодного хоста до двох. Якби обидва хости ділили один перемикач, це\n[послабило б саме ту систему тривог, яку мали розширити](/uk/portfolio/split-every-operational-secret-per-host/):\nпоки пінгує хоча б один хост, перевірка лишається зеленою для обох, навіть коли другий уже мертвий.\nКожен перемикач став окремим значенням для свого хоста, а поля перемикача для наявного хоста свідомо\nзалишили порожніми, тож конфігурація показує, що з'єднання передбачене, а значення ще треба вписати.\n\n## Де виникають проблеми\n\n**Виміряне значення потрапляє в мітку.** Оскільки мітки визначають тривогу, мітка з поточним числом\nперетворює кожну зміну цього числа на нову тривогу й завершує попередню. Отримувач бачить потік пар\n«спрацювала — завершилася» через одну проблему. Залишайте мітки для ідентичності й маршрутизації, а\nчисла виносьте в анотації.\n\n**Тривога мерехтить.** Умова, що коливається біля порогу, спрацьовує, завершується й знову\nспрацьовує кожні кілька хвилин, і кожне повідомлення про завершення каже читачеві неправду. Подовжте\n`for`, щоб короткий сплеск минав раніше, ніж про нього хтось дізнається, і додайте\n`keep_firing_for`, щоб коротке падіння нижче порогу не закривало тривогу.\n\n**Silence живе довше за свою причину.** Хтось вимикає звук тривоги на час робіт із надто широкою\nумовою та щедрим часом завершення, і справжній збій наступного тижня надходить беззвучно. Обмежуйте\nsilence так вузько, як дозволяє робота, ставте кінець близько до того часу, коли роботу мають\nзавершити, і пишіть у полі коментаря, хто його створив і навіщо.\n\n**Широкий маршрут поглинає вужчі.** Alertmanager обходить дерево маршрутизації по черзі і, якщо\nмаршрут не має `continue: true`, зупиняється на першому дочірньому маршруті, що підходить. Загальний\nмаршрут, поставлений над маршрутом окремої команди, забирає тривоги цієї команди з собою. Ставте\nнайвужчі маршрути першими й перевіряйте дерево на прикладах міток, перш ніж на нього покладатися.\n\n**Усе стає терміновим.** Диск, заповнений на 70%, сертифікат, що спливає наступного місяця, і\nплатіжний сервіс, який повертає помилки, дзвонять на той самий телефон, і незабаром на телефон\nперестають зважати. Будіть людей лише через умови, які вимагають дій негайно, решту надсилайте в\nчергу заявок чи щоденне зведення, а правило, яке місяцями спрацьовує без жодної реакції, видаляйте.\n\n## Що почитати далі\n\n- [Alerting overview](https://prometheus.io/docs/alerting/latest/overview/) — як правила тривог у\n  Prometheus і Alertmanager ділять між собою роботу та з яких кроків складається їхнє налаштування.\n- [Alerting rules](https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/) —\n  синтаксис правил, зокрема `for`, `keep_firing_for`, мітки, анотації та шаблони.\n- [Alertmanager](https://prometheus.io/docs/alerting/latest/alertmanager/) — групування,\n  пригнічення, silences і робота кількох екземплярів Alertmanager для високої доступності.\n- [Alertmanager configuration](https://prometheus.io/docs/alerting/latest/configuration/) — дерево\n  маршрутизації, таймери групування, правила пригнічення й налаштування кожного отримувача, серед\n  них `send_resolved`.\n- [Alerting practices](https://prometheus.io/docs/practices/alerting/) — власні поради проєкту про\n  те, заради чого варто будити людей, а що має йти іншими каналами.\n\n\u003chttps://engineer.company/uk/glossary/alert/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Як тривога переходить від очікування до спрацювання й завершення, для чого їй мітки й анотації і чому на малому хості найнадійніший сигнал — тиша.","formats":{"gemtext":"https://engineer.company/uk/glossary/alert/index.gmi","gopher":"https://engineer.company/uk/glossary/alert/gophermap","html":"https://engineer.company/uk/glossary/alert/","json":"https://engineer.company/uk/glossary/alert/index.json","markdown":"https://engineer.company/uk/glossary/alert/index.md","pdf":"https://engineer.company/uk/glossary/alert/index.pdf"},"kind":"page","language":"uk","title":"Що таке тривога?","url":"https://engineer.company/uk/glossary/alert/","version":1}