{"canonical_url":"https://engineer.company/uk/glossary/etl/","content_markdown":"# ETL\n\n## Що це таке\n\nETL — скорочення від extract, transform, load, тобто «видобути, перетворити,\nзавантажити», — це робота, у якій дані копіюють із систем, що їх створюють,\nнадають їм форми й значення, яких очікує інша система, і записують туди,\nнайчастіше у сховище даних. Близький варіант, ELT, зберігає ті самі три кроки,\nале спершу завантажує сирі дані, а перетворює їх уже всередині цільової системи,\nтому часто пишуть ETL/ELT, маючи на увазі обидва.\n\nКожна літера — окрема робота. Видобування читає джерело: цілу таблицю, файл\nекспорту, API або лише рядки, змінені після попереднього запуску, які знаходять\nза часовою міткою `updated_at` чи через change data capture (CDC), тобто читання\nвласного журналу змін бази даних. Перетворення — це місце, де дані очищують і\nузгоджують: текст стає датами й числами, одиниці виміру й часові пояси зводять\nдо одного вигляду, дублікати прибирають, коди звіряють із довідковими таблицями,\nа результат переформовують у модель цільової системи, наприклад у таблиці фактів\nі вимірів. Завантаження записує результат — або масовою вставкою в порожню\nтаблицю, або злиттям, яке оновлює наявні рядки й додає нові.\n\nПорядок двох останніх кроків визначає, де виконується робота. Класичний ETL\nперетворює дані на окремому сервері ще до того, як вони потрапляють у цільову\nсистему, і це мало сенс, коли місце й обчислення у сховищі даних були\nдефіцитними й дорогими. ELT складає сирі дані в проміжні (staging) таблиці\nвсередині цільової системи й виконує перетворення там, засобами SQL. Сира копія\nзалишається, тож коли правило змінюється, перетворення можна запустити знову по\nвсій історії без повторного видобування. Ціна в тому, що все надіслане джерелом,\nзокрема стовпці, яких ніхто не просив, тепер лежить у сховищі даних, і цим треба\nтам керувати.\n\nPostgreSQL має інструмент для кожного кроку. `COPY` переносить рядки між\nтаблицею й файлом у текстовому, CSV- чи двійковому форматі й залишається\nнайшвидшим способом завантаження. Щоб прочитати файл на сервері, потрібні права\nсуперкористувача або роль `pg_read_server_files`, а команда psql `\\copy` читає\nфайл на боці клієнта. `INSERT ... ON CONFLICT` і `MERGE` вливають нові рядки в\nнаявні. Логічне декодування перетворює журнал попереднього запису (WAL) на\nпотік змін рядків для CDC, а процедура PL/pgSQL дає змогу тримати перетворення\nпоруч із даними, які воно змінює.\n\n## Чому це важливо\n\nБільшість запитань, які варто ставити бізнесу, потребують даних із кількох\nсистем. Замовлення лежать в одній базі даних, платежі — в експорті провайдера,\nклієнти — у CRM. Поки щось не зведе їх в одне місце за одним набором правил,\nкожну відповідь складають вручну, і вона залежить від того, хто складає. ETL і є\nтим, що їх зводить, а помилка в завантаженні переходить у кожен звіт,\nпобудований на ньому.\n\nПеретворення — це ще й місце, де бізнес записує, що означають його дані. Які\nрядки вважати продажем, до якого дня належить платіж опівночі, який запис\nперемагає, коли два клієнти збігаються: вирішене один раз у завантаженні, це\nправило діє для кожного звіту далі. Якщо залишити це кожному звітові, відповіді\nрозходяться, і два дашборди показують дві суми.\n\nСпосіб видобування визначає, як завантаження зростає. Повне перезавантаження\nщоразу копіює все. Воно просте й виправляє себе саме, бо вчорашню помилку\nсьогодні вночі буде перезаписано, але його вартість зростає разом із загальним\nобсягом даних. Інкрементне завантаження переносить лише змінене, тож його\nвартість зростає з темпом змін. Воно мусить пам'ятати, де зупинився попередній\nзапуск, помічати рядки, видалені в джерелі, і приймати рядки, що надходять пізно\nзі старими часовими мітками. Більшість систем починають із повних\nперезавантажень і переходять на інкрементні таблиця за таблицею, коли ночі\nперестає вистачати.\n\nПостійна ціна полягає в тому, що завантаження — це код, який працює без нагляду,\nзазвичай уночі, проти джерел, що змінюються без попередження. Йому потрібне\nжурналювання, яке показує, що виконалося і скільки рядків перенесено,\nсповіщення, коли запуск зупиняється, і понад усе одна властивість: повторний\nзапуск із тими самими вхідними даними має залишати цільову систему точно такою,\nякою її залишив би один запуск. Завантаження з такою властивістю можна\nперезапустити після будь-якого збою без попередньої перевірки.\n\n## Як це виглядає на практиці\n\nФрагментовані конвеєри затримували критично важливу для бізнесу звітність у кількох середовищах розробки та виробничої експлуатації PostgreSQL, і для їх заміни [написали 600 конвеєрів ETL/ELT на PL/pgSQL](/uk/portfolio/engineered-600-pl-pgsql-etl-elt-pipelines/): ETL у масштабі сотень регулярних завантажень. Обмеження первинного та зовнішнього ключів захищали референційну цілісність під час трансформацій, унікальні й композитні індекси підтримували з'єднання, а обробка винятків із транзакційним контролем відкочувала запуск у разі збою. Інкрементальні завантаження використовували CDC і дельти на основі часових міток, а журналювання виконання й аудит допомагали відстежувати роботу та налагоджувати її. Результат роботи охоплює логіку трансформацій, обмеження, інкрементальне завантаження та журналювання виконання; запис не підтверджує результатів порівняльного бенчмарку чи розрахунку частоти помилок.\n\nПереїзд даних на нову систему — це ETL, що виконується один раз. Перенесення\nкартографічного застосунку з Microsoft SQL Server на PostgreSQL із PostGIS\nозначало провести\n[понад 50 мільйонів просторових записів через ETL-конвеєри](/uk/portfolio/improved-gis-map-performance-10x-on-postgresql/),\nкроки трансформації яких переводили кожну координату в систему відліку\nEPSG:4326. Самі конвеєри були лише частиною переїзду: разом з індексами GiST і\nSP-GiST та налаштованою конфігурацією на новому боці він дав просторовим запитам\nсередній час відповіді менш ніж 250 мілісекунд замість 2,5 секунди, тобто у 10\nразів швидше, а навантаження на CPU бекенду впало на 65%.\n\nЧерез межу мережі\n[шість конвеєрів ETL/ELT](/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/)\nпоказують у роботі кожну літеру назви. Видобування складалося із запланованого\nотримання стиснутих архівів із сервера, доступного лише через IPsec VPN: скрипти\nна Bash і Python класифікували файли Parquet, CSV і .bak за типом і схемою, а\nрезервні копії .bak відновлювали в локальному екземплярі MSSQL Server. Дані\nзавантажували в проміжні схеми в MSSQL і PostgreSQL за допомогою bcp, psql або\nSSIS залежно від формату, очищали, нормалізували й збагачували процедурами\nPL/pgSQL і T-SQL, потім стискали gzip і через бакет Google Cloud Storage\nпереносили в Google BigQuery. Те, що вимагало щонайменше трьох годин ручної роботи,\nстало займати менш ніж 20 хвилин від початку до кінця, а синхронізація стала\nщоденною замість щотижневої.\n\n## Де виникають проблеми\n\n**Повторний запуск завантажує ті самі рядки двічі.** Завдання вставляє дані\nзвичайним `INSERT`, зупиняється на півдорозі через мережеву помилку, і\nпланувальник завдань запускає його знову з початку. Рядки, що потрапили в\nтаблицю першого разу, тепер лежать там двічі, і кожна сума, побудована на них,\nзавищена. Дайте цільовій таблиці ключ, що визначає рядок у термінах бізнесу, і\nвливайте пакет через `INSERT ... ON CONFLICT DO UPDATE`, який документація\nPostgreSQL описує як атомарну вставку або оновлення навіть за високої\nконкурентності, або через `MERGE`. Є одна пастка: окрема інструкція\n`ON CONFLICT DO UPDATE` відмовляється змінювати той самий рядок двічі й повертає\nпомилку cardinality violation, тож пакет із повторюваними ключами спершу треба\nзвести до одного рядка на ключ.\n\n```sql\nINSERT INTO meter_reading (meter_id, read_at, kwh)\nSELECT DISTINCT ON (meter_id, read_at) meter_id, read_at, kwh\nFROM staging_meter_reading\nORDER BY meter_id, read_at, received_at DESC\nON CONFLICT (meter_id, read_at)\nDO UPDATE SET kwh = EXCLUDED.kwh;\n```\n\n**Масове завантаження зупиняється майже наприкінці й залишає диск заповненішим,\nніж до нього.** `COPY FROM` записує рядки в таблицю по ходу роботи. Коли команда\nзупиняється на поганому рядку, уже записані рядки залишаються у видаленому\nстані: запити їх не бачать, але вони займають диск, доки їх не прибере `VACUUM`,\nі зупинка ближче до кінця великого файлу може коштувати багато місця. PostgreSQL\n17 додав `ON_ERROR ignore`, що пропускає рядки текстового чи CSV-вводу, значення\nяких не перетворюються на тип свого стовпця, а PostgreSQL 18 додав\n`REJECT_LIMIT`, що обмежує, скільки рядків можна пропустити. Це стосується лише\nперетворення типів: рядок, що порушує обмеження, однаково зупиняє команду.\nЗавантажуйте спершу в проміжну таблицю, перевіряйте дані там і переносьте добрі\nрядки в робочу таблицю однією транзакцією — так поганий файл не дістанеться до\nданих, які читають люди.\n\n**Change data capture заповнює диск.** Логічне декодування читає зміни через\nслот реплікації, а слот утримує кожен шматок WAL, який ще потрібен його\nспоживачеві, незалежно від того, чи споживач підключений. Коли читач\nзупиняється, журнал накопичується, доки диск не заповниться, а в крайніх\nвипадках сервер вимикається, щоб запобігти переповненню лічильника транзакцій\n(transaction ID wraparound). Документація PostgreSQL каже про це прямо: слот,\nякий більше не потрібен, слід видалити. Після збою слот також може надіслати\nостанні зміни ще раз, тож споживач мусить витримувати дублікати, а це та сама\nвластивість безпечного повторного запуску.\n\n**Перший ранковий звіт повільний після великого завантаження.** Планувальник\nзапитів вирішує, як виконати запит, на основі статистики кожної таблиці, а\nмасове завантаження змінює дані під цією статистикою. Autovacuum може оновити її\nсам, але не завжди до того, як запуститься перший звіт. Запуск `ANALYZE` як\nостаннього кроку завантаження це виправляє. Для дуже великих завантажень у\nнаявну таблицю посібник PostgreSQL із наповнення бази даних додає, що видалити\nіндекси й зовнішні ключі, а потім створити їх знову може бути вигідно, бо\nпобудувати їх разом швидше, ніж оновлювати рядок за рядком. Поки їх немає,\nзникає й перевірка помилок, тож перед видаленням унікального індексу варто\nподумати двічі.\n\n## Що почитати далі\n\n- [COPY](https://www.postgresql.org/docs/current/sql-copy.html) — команда\n  масового завантаження, її формати й параметри і те, що залишає по собі\n  перерване завантаження.\n- [Populating a Database](https://www.postgresql.org/docs/current/populate.html)\n  — поради PostgreSQL щодо великих завантажень: від однієї транзакції та `COPY`\n  до перебудови індексів і запуску `ANALYZE` наприкінці.\n- [MERGE](https://www.postgresql.org/docs/current/sql-merge.html) — вставка,\n  оновлення й видалення однією інструкцією залежно від того, як кожен рядок\n  джерела збігається з цільовою таблицею.\n- [INSERT](https://www.postgresql.org/docs/current/sql-insert.html) — секція\n  `ON CONFLICT`, її атомарний upsert і заборона змінювати той самий рядок двічі.\n- [Logical Decoding Concepts](https://www.postgresql.org/docs/current/logicaldecoding-explanation.html)\n  — як зміни читаються з WAL і чому непотрібний слот реплікації слід видалити.\n\n\u003chttps://engineer.company/uk/glossary/etl/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Видобування, перетворення й завантаження: три кроки, що наповнюють сховище даних, коли краще спершу завантажити, і чотири слабкі місця нічного запуску.","formats":{"gemtext":"https://engineer.company/uk/glossary/etl/index.gmi","gopher":"https://engineer.company/uk/glossary/etl/gophermap","html":"https://engineer.company/uk/glossary/etl/","json":"https://engineer.company/uk/glossary/etl/index.json","markdown":"https://engineer.company/uk/glossary/etl/index.md","pdf":"https://engineer.company/uk/glossary/etl/index.pdf"},"kind":"page","language":"uk","title":"Що таке ETL?","url":"https://engineer.company/uk/glossary/etl/","version":1}