{"canonical_url":"https://engineer.company/uk/glossary/pipeline/","content_markdown":"# Конвеєр\n\n## Що це таке\n\nКонвеєр, повніше конвеєр даних, а в професійному мовленні часто пайплайн (від\nанглійського pipeline), — це набір завдань, які виконуються в чітко заданому\nпорядку, причому кожне бере те, що підготувало попереднє, аж поки сирі записи із\nсистем, де вони виникають, не опиняться очищеними, зведеними й збереженими там,\nзвідки їх читають звіти, дашборди чи інші програми. Назва прийшла з оболонки\nUnix, де символ `|` передає вивід однієї команди на вхід наступної. Більшість\nконвеєрів працює без нагляду: за розкладом або щойно надходить новий файл.\n\nРідко який конвеєр є прямою лінією. Завданню, що завантажує денні продажі,\nможуть спершу знадобитися і курси валют, і список клієнтів, тоді як ці два\nзавдання цілком можуть виконуватися паралельно. Завдання разом зі стрілками «має\nзавершитися раніше» між ними утворюють орієнтований ациклічний граф: кожна\nстрілка вказує в один бік, і жодне завдання не може опинитися в очікуванні\nсамого себе. Apache Airflow, платформа з відкритим кодом для планування й\nмоніторингу таких робочих процесів, називає кожен такий граф Dag — саме так, а\nне DAG, бо значення цього терміна в Airflow давно вийшло за межі суто\nматематичної структури.\n\nПакетний (batch) конвеєр прокидається за розкладом чи за подією, обробляє\nобмежений зріз даних, наприклад показання лічильників за один день, і\nзупиняється. Потоковий (streaming) конвеєр працює безперервно й передає кожну\nподію далі, щойно вона надходить. Airflow описує себе як платформу для\nоркестрування пакетних робочих процесів, призначену насамперед для роботи з\nчітким початком і кінцем, що виконується за розкладом.\n\nНайпростіший конвеєр — це рядок у crontab, що о другій ночі запускає скрипт.\nЦього досить, поки скрипти незалежні. Щойно кілька з них мають іти по черзі, а\nодин падає, комусь доводиться з'ясовувати, що встигло виконатися і що запускати\nзнову. Оркестратор бере цю облікову роботу на себе: він тримає граф, запускає\nкожне завдання, щойно успішно завершилися ті, від яких воно залежить, повторює\nзавдання, що впали, веде журнал для кожного завдання й кожного запуску і фіксує,\nякі періоди даних охопив кожен запуск. В Airflow кожен запуск за розкладом\nохоплює інтервал даних (data interval). Щоденний запуск за 1 січня починається\nодразу після півночі 2 січня, коли день уже минув, і його завдання можуть\nпрочитати межі на кшталт `data_interval_start`, щоб точно знати, який зріз даних\nїхній.\n\n## Чому це важливо\n\nКонвеєр перетворює процедуру на код. Порядок завдань, перевірки між ними, те, що\nвідбувається, коли одне з них падає, і як часто все це запускається, переходять\nіз пам'яті однієї людини у файли, які можна переглядати, зберігати в системі\nконтролю версій і тестувати, як будь-яке інше програмне забезпечення. Airflow\nописує робочі процеси повністю на Python — підхід, який проєкт називає workflows\nas code, — і серед переваг називає контроль версій і тестування.\n\nЗбій до того ж отримує адресу. Коли весь процес — це один довгий скрипт, падіння\nна сороковій хвилині означає почати з нульової. Якщо ж розбити його на завдання\nіз записаним станом, невдалий запуск показує, яке завдання зупинилося і чому, і\nперезапускати треба лише його та ті, що йдуть після нього. Airflow дає змогу\nоператорові перезапустити тільки завдання, що впали, або виконати backfill для\nпопереднього періоду, і саме так виправлення, зроблене в середу, доходить до\nданих за понеділок.\n\nПовторення стає безпечним лише тоді, коли кожне завдання для цього написано.\nПосібник Airflow з найкращих практик вимагає, щоб кожне завдання поводилося як\nтранзакція бази даних, яка ніколи не залишає часткових результатів, і давало\nоднаковий результат за кожного повторного запуску. Таке завдання планувальник\nможе повторити о третій ночі, людина може перезапустити його після виправлення,\nа за потреби його можна прогнати знову за минулий місяць, і ніхто не мусить\nспершу перевіряти цільову таблицю.\n\nЦіна — ще одне програмне забезпечення, яке треба утримувати. Оркестратор — це\nокремий сервіс із власною базою даних, оновленнями й правами доступу, а кожен\nконвеєр у ньому — код, що потребує рев'ю й тестів. Для двох скриптів з одним\nрозкладом чесною відповіддю можуть бути cron і файл журналу. Аргументи на\nкористь оркестратора зростають разом із кількістю завдань, що залежать одне від\nодного, кількістю людей, яким треба бачити, що виконалося, і ціною ранкового\nзвіту, побудованого на завантаженні, що зупинилося на півдорозі.\n\n## Як це виглядає на практиці\n\n[Двадцять GIS-конвеєрів даних і ETL для даних застосунку](/uk/portfolio/automated-delivery-of-20-gis-data-pipelines/)\nна одній платформі запускали й відстежували вручну, і весь час існував ризик, що\nякийсь із них непомітно зупиниться, а дані в подальших кроках виявляться хибними\nраніше, ніж хтось це помітить. Усі вони перейшли на автоматизоване постачання.\nРозклад, журналювання й обробку збоїв звели до одного стандарту, тож усі\nконвеєри поводилися однаково, а той, що зламався, ставав видимим, і їх включили\nв уже наявну автоматизацію інфраструктури та звітність. Відтоді всі двадцять\nзапускалися самі й поводилися передбачувано, даючи актуальні дані, на які можна\nпокластися, без ручного супроводу.\n\nКонвеєр може також збирати щось ціле однією командою. На одному\nзадокументованому етапі\n[генератор CV і портфоліо на основі бази даних](/uk/portfolio/built-a-database-driven-cv-generator/)\nстворював кожен документ на основі однієї бази даних SQLite із 23 таблицями, яку\nзбирав конвеєр із 19 кроків, що проходив шлях від порожнього файлу до повної\nбази даних. Кроки мали сталий порядок, і кожен був написаний так, щоб його можна\nбуло безпечно повторювати, тож конвеєр можна було запускати й на вже наявній\nбазі без дублювання жодного рядка. Далі 41 модуль Python загальним обсягом\n10 580 рядків створював із цього єдиного джерела шість вихідних форматів,\nпричому генератор мав лише дві залежності під час виконання. Ці числа описують\nреалізацію на тому задокументованому етапі.\n\nУсередині окремого завдання швидкість важить не менше за порядок.\n[Конвеєр погодинного агрегування споживання електроенергії](/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/)\nбере дані JSONL, що надходять щогодини, кожні 15 хвилин або в нерегулярні\nмоменти, вирівнює їх за строгими погодинними інтервалами, підсумовує виробництво\nза міксом, додає імпорт і віднімає експорт, а на виході дає один рядок на годину\nна зону. Його реалізували трьома способами — на Python, на JQ і на SQL у\nPostgreSQL — і кожен варіант перевірили на даних за один день і за 30 днів.\nНайшвидшим виявився Python: 34 мс для одного дня і 180 мс для 30 днів, а його\nкод можна було розширити на більше зон або вбудувати в ETL-конвеєр.\n\n## Де виникають проблеми\n\n**Повторний запуск дає іншу відповідь.** Щоденне завдання дописує свої підсумки\nчерез `INSERT`, падає на півдорозі, планувальник повторює його, і рядки,\nзаписані до збою, тепер лежать двічі. Завдання, що вибирає все від поточного\nмоменту мінус доба, під час повтору читає інший зріз, ніж за першої спроби, а\nзавдання, що читає найновішу версію вхідних даних, підхоплює все, що змінилося в\nпроміжку. Посібник Airflow з найкращих практик називає всі три випадки: замінити\n`INSERT` на upsert, читати й писати конкретну партицію, прив'язану до\n`data_interval_start` запуску, і тримати `now()` подалі від будь-якого\nкритичного обчислення. Для таблиці погодинних підсумків у PostgreSQL один\nпростий спосіб — замінювати весь інтервал однією транзакцією.\n\n```sql\nBEGIN;\nDELETE FROM hourly_load\nWHERE hour_start \u003e= :'start' AND hour_start \u003c :'end';\nINSERT INTO hourly_load (zone, hour_start, mwh)\nSELECT zone, date_trunc('hour', read_at), sum(mwh)\nFROM reading\nWHERE read_at \u003e= :'start' AND read_at \u003c :'end'\nGROUP BY zone, date_trunc('hour', read_at);\nCOMMIT;\n```\n\nЯкщо запускати його як\n`psql -v ON_ERROR_STOP=1 -v start=... -v end=... -f hourly_load.sql`, а початок\nі кінець інтервалу даних запуску передає оркестратор, завдання видаляє й\nпереписує рядки рівно цього інтервалу, тож другий запуск залишає таблицю такою\nсамою, як перший. Форма `:'start'` — це власний синтаксис psql для підстановки\nзмінної, взятої в лапки як SQL-літерал.\n\n**Завдання завершується зеленим, а дані хибні.** Оркестратор бачить, чи процес\nзавдання завершився чисто, і на цьому його знання закінчуються. psql — показовий\nприклад: за замовчуванням він продовжує роботу після помилки у скрипті й\nповертає оболонці 0, тож крок, що виконує `psql -f`, звітує про успіх, навіть\nколи одна з інструкцій усередині впала. Зі встановленою змінною `ON_ERROR_STOP`\npsql зупиняється на першій помилці й завершується з кодом 3, і крок падає там,\nде має. Але й чисте завершення доводить лише, що програма відпрацювала, тому\nпосібник Airflow радить самоперевірки: завдання далі в графі, яке підтверджує,\nщо партицію записано і дані виглядають правильно, перш ніж їх хтось прочитає.\nДля запуску, що зависає, а не падає, є Deadline Alerts, які з'явилися в Airflow\n3.1 на заміну функції SLA, вилученої у 3.0. Вони запускають callback, наприклад\nлист електронною поштою, коли запуск перевищує часовий поріг.\n\n**Повторне ввімкнення конвеєра спричиняє лавину запусків.** З `catchup=True`\nпланувальник створює запуск для кожного інтервалу даних, пропущеного від дати\nпочатку, а документація Airflow додає, що catchup спрацьовує й тоді, коли Dag на\nякийсь час вимкнули, а потім увімкнули знову. Щоденний конвеєр, що місяць\nпростояв на паузі, може повернутися з тридцятьма запусками в черзі до одного й\nтого самого джерела. Значення за замовчуванням, `catchup_by_default=False`,\nзмушує планувальник створювати запуск лише для останнього інтервалу, а\nдокументація каже, що Dag, чиї завдання читають поточний час замість свого\nінтервалу, має тримати catchup вимкненим. Історію краще заповнювати свідомо,\nкомандою `airflow backfill create`, яка приймає діапазон дат і обмеження на\nкількість паралельних запусків через `--max-active-runs`.\n\n**Важкий код на початку файлу з Dag гальмує планувальник.** Airflow розбирає\nкожен файл із Dag знову і знову, щонайменше з інтервалом\n`min_file_process_interval` секунд між розборами, тож код на верхньому рівні\nфайлу, поза будь-яким завданням, виконується значно частіше за сам конвеєр.\nЗапит до бази даних, мережевий виклик чи повільний імпорт там коштують часу під\nчас кожного розбору, і посібник з найкращих практик наводить приклад, у якому\nодин такий виклик додає до розбору Dag ще 1000 секунд. Залишайте на верхньому\nрівні лише оголошення завдань і їхнього порядку, а дорогі імпорти й виклики\nпереносьте всередину функцій завдань, яким вони потрібні.\n\n## Що почитати далі\n\n- [Apache Airflow](https://airflow.apache.org/docs/apache-airflow/stable/index.html)\n  — огляд від самого проєкту: робочі процеси як код на Python, оркестрування\n  пакетних процесів, backfill і перезапуск лише тих завдань, що впали.\n- [Best Practices](https://airflow.apache.org/docs/apache-airflow/stable/best-practices.html)\n  — завдання як транзакції, однаковий результат за кожного повторного запуску,\n  код верхнього рівня й самоперевірки.\n- [Dags](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html)\n  — як Dag оголошує свій розклад, завдання, залежності й типові аргументи на\n  кшталт retries і де місце Deadline Alerts.\n- [Dag Runs](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dag-run.html)\n  — інтервали даних, catchup, backfill і очищення завдань, щоб вони виконалися\n  знову.\n- [Tasks](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/tasks.html)\n  — залежності між завданнями, тайм-аути, політики повторних спроб і перехід від\n  SLA до Deadline Alerts.\n- [psql](https://www.postgresql.org/docs/current/app-psql.html) — змінні та їх\n  взяття в лапки, `ON_ERROR_STOP` і коди завершення, які читає оркестратор.\n\n\u003chttps://engineer.company/uk/glossary/pipeline/\u003e\n","date_modified":"2026-11-09T21:50:25Z","description":"Як конвеєр даних упорядковує, планує й повторює свої завдання, що оркестратор додає до crontab і чотири способи, якими запуск конвеєра дає збій.","formats":{"gemtext":"https://engineer.company/uk/glossary/pipeline/index.gmi","gopher":"https://engineer.company/uk/glossary/pipeline/gophermap","html":"https://engineer.company/uk/glossary/pipeline/","json":"https://engineer.company/uk/glossary/pipeline/index.json","markdown":"https://engineer.company/uk/glossary/pipeline/index.md","pdf":"https://engineer.company/uk/glossary/pipeline/index.pdf"},"kind":"page","language":"uk","title":"Що таке конвеєр?","url":"https://engineer.company/uk/glossary/pipeline/","version":1}