{"canonical_url":"https://engineer.company/uk/glossary/change-data-capture/","content_markdown":"# Change data capture\n\n## Що це таке\n\nChange data capture, зазвичай скорочено CDC, — це зчитування змін у базі даних\nдля передавання іншим системам у міру того, як ці зміни відбуваються.\nУкраїнською цей підхід також називають захопленням змін даних. Кожна вставка,\nоновлення й видалення стає подією, на яку може відреагувати щось інше: копія для\nзвітності, що залишається актуальною, пошуковий індекс, інший сервіс, якому\nтреба знати, що замовлення оформлено. База даних, де відбувається зміна,\nлишається головним джерелом даних, а решта систем іде за нею.\n\nЗнайти зміни можна двома основними способами. Простіший — питати: кожні кілька\nхвилин виконувати запит, який шукає рядки з часовою міткою «останнього\nоновлення», новішою за попередній запуск. Інший — читати власний запис бази\nданих про те, що вона змінила. PostgreSQL веде такий запис у журналі\nпопереднього запису (WAL), і документація формулює правило, на якому він\nтримається: зміни у файлах даних записують лише тоді, коли записи журналу, що їх\nописують, уже збережено на постійному носії. Оскільки журнал і так містить кожну\nзміну в тому порядку, у якому вона сталася, його читання дає повну історію без\nжодного звернення до таблиць. Саме другий підхід, CDC на основі журналу,\nсьогодні зазвичай і мають на увазі під цим терміном.\n\nУ PostgreSQL цей механізм називається логічним декодуванням. Документація описує\nйого як процес, що витягає всі збережені зміни в таблицях бази даних у зв'язний\nформат, який можна тлумачити без детального знання внутрішнього стану бази.\nРазом працюють три частини. Сервер має записувати в WAL достатньо подробиць, і\nце визначає параметр `wal_level`: його типове значення, `replica`, достатнє для\nкопіювання даних між серверами, а `logical` додає те, що потрібно для\nдекодування. Слот реплікації представляє один потік змін з однієї бази даних,\nякі відтворюються для клієнта в тому порядку, в якому їх було зроблено, і\nпам'ятає, докуди клієнт уже дочитав. Плагін виводу (output plugin) перетворює\nвнутрішні записи WAL на формат, потрібний клієнтові.\n\nБільшість команд не пише клієнта самостійно. Debezium описує себе як набір\nконекторів-джерел для Apache Kafka Connect, кожен з яких читає зміни з певної\nбази даних через її власні механізми CDC. Конектор для PostgreSQL читає через\n`pgoutput`, який документація Debezium називає вбудованим плагіном виводу\nPostgreSQL, або через `decoderbufs`, плагін, який підтримує спільнота Debezium.\nDebezium також може працювати як бібліотека всередині JVM-застосунку або як\nDebezium Server, що надсилає події змін до таких систем, як Amazon Kinesis,\nGoogle Cloud Pub/Sub і Apache Pulsar.\n\n## Чому це важливо\n\nОпитування здається дешевшим, і для невеликої таблиці, що змінюється рідко,\nчасто так і є. Документація Debezium перелічує, що вміє читання журналу і чого\nне вміє опитування. Воно фіксує кожну зміну, тоді як запит бачить лише стан\nрядка на момент виконання, тож рядок, який тричі змінився між двома запусками,\nз'явиться один раз. Воно фіксує видалення, тоді як видаленого рядка просто немає\nв наступному результаті. Воно не потребує додаткового стовпця в моделі даних,\nяк-от поля «Last Updated», яке кожен шлях запису має не забути заповнити. Воно\nможе передати попередній стан рядка й метадані, наприклад ідентифікатор\nтранзакції, що внесла зміну. І воно доставляє зміни з дуже малою затримкою без\nнавантаження на процесор, яке дає часте опитування: для PostgreSQL і MySQL\nDebezium оцінює цю затримку в діапазоні мілісекунд.\n\nДруга причина — узгодженість між базою даних і повідомленнями, які отримують\nінші системи. Debezium називає подвійний запис (dual writes) іншим підходом, з\nяким себе порівнює: застосунок зберігає зміну у своїй базі даних, а потім\nнадсилає про неї повідомлення. Якщо процес зупиниться між цими двома кроками,\nбаза даних і потік повідомлень розійдуться, і ніщо не зафіксує, хто з них\nпомиляється. CDC прибирає другий запис. Застосунок фіксує зміну один раз, а\nповідомлення виводиться з того, що справді було зафіксовано. Патерн outbox іде\nще далі: застосунок записує саме повідомлення в таблицю outbox у тій самій\nтранзакції, що й зміну, а CDC публікує рядки цієї таблиці. Outbox Event Router\nвід Debezium описує мету як уникнення розбіжностей між внутрішнім станом сервісу\nта подіями, які споживають інші сервіси.\n\nТретя причина — порядок. Слот реплікації віддає зміни в тому порядку, у якому їх\nбуло зроблено на сервері-джерелі, згрупованими за транзакцією, що їх зробила, як\nпоказує приклад нижче. Споживач, який застосовує їх у цьому порядку, крок за\nкроком відтворює той самий стан. Для ETL-завантаження це робить інкрементальне\nзавантаження чесним: нічне завдання може взяти саме ті зміни, що надійшли після\nпопереднього запуску, разом із видаленнями, замість перезавантажувати цілі\nтаблиці чи покладатися на стовпець часової мітки, який одна з гілок коду забула\nоновити.\n\n## Як це виглядає на практиці\n\nНайменший робочий приклад використовує лише PostgreSQL. Йому потрібні `wal_level\n= logical` у конфігурації сервера, що набирає чинності лише після перезапуску, і\nвільний слот реплікації; `max_replication_slots` за замовчуванням дорівнює 10.\nСесія нижче працює від імені суперкористувача, як і власний приклад\nдокументації, і використовує `test_decoding` — плагін виводу з того прикладу,\nякий друкує кожну зміну окремим рядком тексту.\n\n```sql\n-- postgresql.conf: wal_level = logical (діє лише після перезапуску)\nSELECT * FROM pg_create_logical_replication_slot('shop_cdc', 'test_decoding');\n\nBEGIN;\nINSERT INTO orders (id, status) VALUES (42, 'pending');\nINSERT INTO outbox (id, event) VALUES (7, 'нове замовлення 42');\nCOMMIT;\n\nSELECT data FROM pg_logical_slot_peek_changes('shop_cdc', NULL, NULL);\n-- BEGIN 10301\n-- table public.orders: INSERT: id[integer]:42 status[text]:'pending'\n-- table public.outbox: INSERT: id[integer]:7 event[text]:'нове замовлення 42'\n-- COMMIT 10301\n\nSELECT data FROM pg_logical_slot_get_changes('shop_cdc', NULL, NULL);\n-- ті самі чотири рядки; виклик їх споживає, тож повторний нічого не поверне\n\nSELECT pg_drop_replication_slot('shop_cdc');\n```\n\nЗамовлення та його повідомлення в outbox виходять разом, у межах транзакції, яка\nїх записала. `pg_logical_slot_peek_changes` читає, не зсуваючи слот, тому\nнаступний виклик поверне ті самі рядки, а `pg_logical_slot_get_changes` їх\nспоживає. `CREATE TABLE` дав би лише порожні `BEGIN` і `COMMIT`, бо логічне\nдекодування не передає DDL. Останній рядок найважливіший: забутий слот і далі\nутримує ресурси сервера.\n\nУ продакшні читачем стає Debezium. Під час першого запуску його конектор для\nPostgreSQL робить узгоджений знімок (snapshot) таблиць, зміни яких відстежує, а\nпотім передає потоком зміни від тієї точки, де знімок було зроблено. Типове\nзначення `snapshot.mode`, `initial`, робить знімок лише тоді, коли збережених\nофсетів ще немає, тож після перезапуску конектор продовжує з останньої\nзафіксованої позиції. Кожна подія містить образи рядка `before` і `after`, блок\n`source`, часову мітку й код `op`: `c` — створення, `u` — оновлення, `d` —\nвидалення, `r` — рядок, прочитаний під час знімка, і `t` — truncate. Після\nвидалення конектор також надсилає tombstone — подію з тим самим ключем і\nзначенням null, щоб log compaction у Kafka міг прибрати попередні повідомлення з\nцим ключем.\n\nОбидва патерни з цієї статті трапляються на власних сторінках компанії. У 2022–2024 роках засновниця [розробила 600 пайплайнів ETL/ELT на PL/pgSQL](/uk/portfolio/engineered-600-pl-pgsql-etl-elt-pipelines/) у кількох середовищах розробки та виробничої експлуатації PostgreSQL, зокрема з інкрементальним завантаженням за допомогою CDC і дельт на основі часових міток. Нотатка [Продати останній квиток рівно один раз](/uk/notes/selling-limited-stock-without-overselling/) будує флеш-розпродаж навколо outbox: кожен крок записує своє повідомлення в outbox у тій самій транзакції, що й зміну, change data capture публікує outbox, а оскільки повідомлення може надійти більше ніж один раз, кожен споживач ідемпотентний, з ідентифікатором замовлення як ключем.\n\n## Де виникають проблеми\n\n**Ніщо не обмежує, скільки може утримувати слот.** Слот тримає кожен шматок WAL,\nякий його споживач ще не підтвердив, і типові налаштування PostgreSQL не\nставлять цьому жодної межі. `max_slot_wal_keep_size` дорівнює `-1`, тобто слоти\nможуть утримувати необмежений обсяг WAL, а `idle_replication_slot_timeout`\nдорівнює `0`, що вимикає анулювання слотів, якими ніхто не користується. Тож\nконектор, який зупинився під час невдалого розгортання, може заповнити диск\nчерез довгий час після того, як про нього всі забули. Стежте за\n`pg_replication_slots`, щоб бачити неактивні слоти, і встановіть\n`max_slot_wal_keep_size` на обсяг, який диск може витримати, пам'ятаючи, що\nспоживач, який відстане сильніше, може вже не змогти продовжити. Відновлення\nозначає новий слот, а новий слот починає з поточного моменту: Debezium\nпопереджає, що видалений і створений заново слот може непомітно пропустити події\nміж ними, тож після цього зробіть свіжий знімок.\n\n**Тиха таблиця тримає журнал.** Документація Debezium описує підступніший\nваріант. Слот належить одній базі даних, і конектор просуває свою підтверджену\nпозицію лише тоді, коли бачить зміни, які відстежує. Якщо відстежувані таблиці\nзмінюються рідко, а інші таблиці чи інші бази даних на тому самому сервері\nзаписують багато, позиція майже не рухається, і WAL за нею продовжує рости.\nРішення — heartbeat: `heartbeat.interval.ms` змушує конектор надсилати\nheartbeat-події із заданим інтервалом, а `heartbeat.action.query` дає змогу\nрегулярно записувати в невелику таблицю у відстежуваній базі даних. Ця таблиця\nмає входити до публікації (publication), яку читає конектор, тож слот\nпросувається, навіть коли більше нічого не відбувається.\n\n**Споживачі вважають, що кожна зміна приходить один раз.** Логічний слот за\nзвичайної роботи надсилає кожну зміну один раз, але його позиція зберігається\nлише на контрольних точках (checkpoints), тож після збою він може повернутися до\nранішої точки й надіслати останні зміни ще раз. Документація PostgreSQL залишає\nнаслідки на відповідальність клієнта. Споживач, що додає кожну суму до\nнакопиченого підсумку, порахує ці зміни двічі. Зробіть кожного споживача\nідемпотентним: застосовуйте кожну зміну як upsert за первинним ключем рядка або\nзаписуйте ідентифікатори вже оброблених подій, щоб повторна доставка нічого не\nзмінювала.\n\n**Оновлення та видалення приходять без старих значень.** Що подія оновлення чи\nвидалення каже про попередній рядок, залежить від replica identity таблиці. З\n`REPLICA IDENTITY DEFAULT` події Debezium містять щонайбільше попередні значення\nпервинного ключа, а для таблиці без первинного ключа конектор узагалі не\nнадсилає подій оновлення чи видалення. `REPLICA IDENTITY FULL` кладе в `before`\nусі попередні стовпці, але має ціну: документація PostgreSQL зазначає, що це\nзбільшує обсяг WAL, особливо коли виконується багато операторів `UPDATE` і\n`DELETE`. Дайте кожній відстежуваній таблиці первинний ключ і перемикайтеся на\n`FULL` лише для тих таблиць, чиїм споживачам потрібні старі значення.\n\n## Що почитати далі\n\n- [Debezium Features](https://debezium.io/documentation/reference/stable/features.html)\n  — що CDC на основі журналу фіксує з того, що пропускають опитування й\n  подвійний запис, а також знімки, фільтри й маскування.\n- [Debezium connector for PostgreSQL](https://debezium.io/documentation/reference/stable/connectors/postgresql.html)\n  — плагіни виводу, знімки, формат подій змін, replica identity і місце на диску\n  для WAL.\n- [Logical Decoding Concepts](https://www.postgresql.org/docs/current/logicaldecoding-explanation.html)\n  — слоти реплікації, плагіни виводу і чому слот, який нікому не потрібен, слід\n  видалити.\n- [Logical Decoding Examples](https://www.postgresql.org/docs/current/logicaldecoding-example.html)\n  — створення слота, перегляд і споживання змін та видалення слота.\n- [Replication (server configuration)](https://www.postgresql.org/docs/current/runtime-config-replication.html)\n  — `max_replication_slots`, `max_slot_wal_keep_size` і\n  `idle_replication_slot_timeout`.\n- [Outbox Event Router](https://debezium.io/documentation/reference/stable/transformations/outbox-event-router.html)\n  — патерн outbox і те, як Debezium спрямовує рядки outbox у топіки.\n\n\u003chttps://engineer.company/uk/glossary/change-data-capture/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Як change data capture читає журнал змін бази даних і передає його далі, чому це краще за опитування і чотири способи, як воно непомітно ламається.","formats":{"gemtext":"https://engineer.company/uk/glossary/change-data-capture/index.gmi","gopher":"https://engineer.company/uk/glossary/change-data-capture/gophermap","html":"https://engineer.company/uk/glossary/change-data-capture/","json":"https://engineer.company/uk/glossary/change-data-capture/index.json","markdown":"https://engineer.company/uk/glossary/change-data-capture/index.md","pdf":"https://engineer.company/uk/glossary/change-data-capture/index.pdf"},"kind":"page","language":"uk","title":"Що таке change data capture?","url":"https://engineer.company/uk/glossary/change-data-capture/","version":1}