{"canonical_url":"https://engineer.company/uk/glossary/data-lake/","content_markdown":"# Озеро даних\n\n## Що це таке\n\nОзеро даних — англійською data lake — це сховище, яке зберігає сирі дані в тому\nвигляді, в якому вони надходять із джерела, і на найдетальнішому рівні, який це\nджерело дає, щоб пізніше з них можна було відповісти й на питання, яких ніхто\nзаздалегідь не ставив. На практиці дані лежать у файлах, часто в стовпцевому\nформаті на кшталт Apache Parquet, у розподіленій файловій системі або в\nоб'єктному сховищі, а рушії запитів читають ці файли безпосередньо.\n\nТермін запропонував Джеймс Діксон із Pentaho. У дописі в блозі від 14 жовтня\n2010 року, написаному того тижня, коли Pentaho оголосила свій перший реліз для\nHadoop, він підсумував те, що почув від компаній, які користувалися Hadoop.\nВісім-дев'ять компаній із десяти мали справу зі структурованими або\nнапівструктурованими, а не неструктурованими даними, і ці дані зазвичай\nнадходили з одного застосунку чи однієї системи. Кілька питань до них були\nвідомі заздалегідь, значно більше мало з'явитися згодом, ставити їх хотіли\nкілька груп користувачів, а обсяг не вміщувався в реляційну базу даних ні\nтехнічно, ні за розумну ціну. Звичною відповіддю було вибрати найцікавіші\nатрибути й агрегувати їх у вітрину даних (data mart). Так можна відповісти лише\nна питання, обрані наперед, а агрегування назавжди ховає найнижчий рівень\nдеталізації.\n\nДіксон запропонував натомість образ. Вітрина даних — як бутильована вода:\nочищена, упакована й подана у формі, яку легко спожити. Озеро даних, за його\nсловами, — це «велика водойма в природнішому стані». Джерело наповнює\nйого, і кожен, хто має питання, може прийти подивитися, пірнути чи набрати\nпробу.\n\nЧерез чотири роки Діксон повернувся до терміна, бо його широко вживали, але\nвизначали дуже по-різному. Він повторив своє визначення: озеро містить дані з\nодного джерела, не агреговані заздалегідь, і в організації може бути кілька\nозер. Якщо зберігати дані з багатьох систем і поєднувати їх між собою, писав\nвін, вийде водний сад (water garden), а не озеро. Так само чітко він\nнаголошував, що в 2010 році озеро не замінювало ні бази даних, ні вітрини даних,\nні сховища даних. Кілька визначень, на які він відповідав, описували одне\nспільне сховище сирих даних із багатьох систем. Це ширше значення слова, і варто\nзнати, яке з двох має на увазі колега.\n\n## Чому це важливо\n\nКожен підсумок — це вибір того, які питання важливі. Щоденна сума продажів по\nкожному магазину показує, скільки продав кожен магазин. Вона не скаже, яка\nгодина була найнапруженішою, які товари люди переглядали, але не купили, чи\nповертався той самий покупець тричі, перш ніж замовити. Коли зберігається лише\nсума, ці питання зникають назавжди, бо рядки, які могли б на них відповісти,\nвикинули, щойно суму обчислили. Діксон доводив, що питання з'являються після\nданих, тож сирі записи варто зберігати на найдетальнішому рівні, а агрегувати\nтоді, коли питання вже відоме.\n\nСховище даних від цього не стає зайвим. Діксон описував, як усталені вітрини й\nсховища даних організації наповнюють агрегатами, взятими з озера, а\nнерегламентовані (ad hoc) запити йдуть прямо до озера. Сховище лишається місцем\nдля цифр, щодо яких організація домовилася. До озера звертаються, коли нове\nпитання потребує деталей, яких сховище ніколи не зберігало, і саме з нього\nперебудовують таблицю сховища, коли змінюється її визначення.\n\nФормат файлів важить не менше за саму ідею. Parquet зберігає кожен стовпець\nгрупи рядків (row group) окремим блоком, а метадані в кінці файлу фіксують, де\nпочинається кожен блок. Програма, яка читає файл, спершу переглядає ці метадані,\nа потім завантажує лише ті блоки стовпців, які їй потрібні, тож запит, що\nзачіпає три стовпці із сорока, не читає решти тридцяти семи. Оскільки Parquet —\nвідкритий формат і кожен файл несе власні метадані, будь-який рушій, що читає\nParquet, може робити запити до тієї самої теки, зокрема й DuckDB на ноутбуці,\nбез жодного кроку експорту.\n\n## Як це виглядає на практиці\n\nІнтернет-магазин реєструє кожен перегляд товару, кожне додавання в кошик і кожну\nпокупку. Замість того щоб зводити їх у щоденні суми, він зберігає кожну подію\nокремо й записує події у файли Parquet, по одній теці на день. У DuckDB 2.0\nобидва кроки — звичайний SQL:\n\n```sql\nCREATE TABLE shop_events AS\nSELECT * FROM (VALUES\n  (TIMESTAMP '2026-10-26 09:14:03', 'view',     'boots-41', NULL::INTEGER),\n  (TIMESTAMP '2026-10-26 09:15:40', 'cart',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-26 09:17:12', 'purchase', 'boots-41', 1200),\n  (TIMESTAMP '2026-10-27 11:02:55', 'view',     'jacket-m', NULL),\n  (TIMESTAMP '2026-10-27 11:03:30', 'view',     'boots-41', NULL),\n  (TIMESTAMP '2026-10-27 11:05:01', 'cart',     'jacket-m', NULL)\n) t(occurred_at, event, product, amount);\n\nCOPY (SELECT *, CAST(occurred_at AS DATE) AS day FROM shop_events)\nTO 'events' (FORMAT parquet, PARTITION_BY (day));\n```\n\n`PARTITION_BY` приймає лише назви стовпців, а не вирази, тому день обчислюється\nв `SELECT`. DuckDB записує по одній теці на кожне значення й дає їй назву у\nформаті key=value, який документація називає Hive partitioning:\n\n```text\nevents/day=2026-10-26/data_0.parquet\nevents/day=2026-10-27/data_0.parquet\n```\n\nПитання про один день фільтрує за цим стовпцем:\n\n```sql\nSELECT event, count(*) AS n\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  day = DATE '2026-10-27'\nGROUP  BY event\nORDER  BY n DESC;\n-- view 2, cart 1\n```\n\nDuckDB передає фільтр за стовпцем партиції аж до назв тек і пропускає файли, які\nне можуть дати збігу. `EXPLAIN ANALYZE` для цього запиту показує, що з двох\nфайлів проскановано один. Якби тек було за цілий рік, те саме питання відкрило б\nодну теку з 365. Стовпець `day` повертається як `DATE` без жодних вказівок, бо\nDuckDB за замовчуванням розпізнає в назвах тек дати, часові мітки та великі цілі\nчисла. Він також сам вмикає Hive partitioning, коли теки відповідають шаблону\nkey=value, тож прапорець у цих запитах лише робить намір явним.\n\nТепер питання, якого ніхто не планував: які товари переглядали найчастіше?\n\n```sql\nSELECT product, count(*) AS views\nFROM   read_parquet('events/*/*.parquet', hive_partitioning = true)\nWHERE  event = 'view'\nGROUP  BY product\nORDER  BY views DESC, product;\n-- boots-41 2, jacket-m 1\n```\n\nТаблиця щоденних сум покупок ніколи б на це не відповіла. Сирі події\nвідповідають на нього ще одним запитом до тієї самої теки, бо кожну подію\nзберегли ще на вході.\n\n[Послуга компанії з проєктування сховищ даних](/uk/services/data-warehousing/)\nописує мету як одне місце, де всі цифри збігаються, щоб два відділи не приносили\nна одну нараду дві різні відповіді. Озеро на кшталт цього розташоване вище за\nтечією від такого сховища: сховище містить узгоджені цифри, а сирі події\nлишаються під рукою для наступного питання.\n\n## Де виникають проблеми\n\n**Файли, які ніхто не може пояснити.** Тека з файлами Parquet без жодного запису\nпро те, звідки вони взялися, хто ними володіє і що означає кожен стовпець, — це\nозеро, яким може користуватися лише той, хто його збудував. Коли критики у 2014\nроці стверджували, що в озера даних немає метаданих, Діксон відповів, що в самій\nідеї нічого такого немає, а згодом додав, що метадані знадобляться кожному, хто\nпоєднує дані з різних джерел або відстежує їхнє походження (lineage). Ведіть у\nкаталозі даних по одному запису на кожен набір даних — джерело, власник,\nстовпці, час завантаження й строк зберігання — і зробіть створення цього запису\nчастиною завдання завантаження.\n\n**Тисячі дрібних файлів.** Кожен файл Parquet має власний блок метаданих, і\nпрограма, що його читає, мусить прочитати цей блок, перш ніж дістатися до даних.\nПотік, який щохвилини записує один невеликий файл, за 30-денний місяць залишає\nпонад сорок тисяч файлів, і кожен із них відкривається й розбирається під час\nкожного повного сканування. Збирайте записи в меншу кількість більших файлів і\nза розкладом об'єднуйте старі партиції (compaction). Табличний формат Apache\nIceberg фіксує таке об'єднання як знімок типу `replace`: кілька файлів замінено\nодним, що містить ті самі рядки.\n\n**Запити, які бачать незавершене завантаження.** Завдання, яке записує десять\nфайлів і зупиняється після шостого, залишає в теці шість файлів, і все, що\nпереглядає вміст теки, їх прочитає. Звичайна тека не має поняття коміту. Цю\nпроблему розв'язує табличний формат. Iceberg відстежує в метаданих окремі файли\nданих, а не цілі теки, і фіксує зміну, атомарно замінюючи один файл метаданих\nнаступним. Читання завжди відбувається з уже зафіксованого знімка, записи ніколи\nне видно частково, а для читання не потрібні жодні блокування.\n\n**Перейменовані стовпці, що розколюють історію.** Старі файли зберігають стару\nназву стовпця, і кожен запит мусить знати обидві. Iceberg обирає стовпці у\nфайлах даних за ідентифікатором поля, а не за назвою, тож стовпець можна\nперейменувати, додати, видалити чи перемістити, навіть усередині вкладених\nструктур, не переписуючи вже записаних файлів.\n\n**Одне озеро для всіх систем.** Злити всі бази даних організації в одне місце й\nпоєднувати все між собою — це те, що Діксон назвав водним садом. Він радив\nпідприємству використовувати різні види сховищ, добираючи кожен під дані й\nзапити, які воно обробляє. Його\nпорада — брати найкращий інструмент для кожного завдання: транзакційну базу\nданих для транзакційних цілей, а аналітичну — для аналітичних. Починайте озеро з\nодного джерела, на дані якого вже чекають реальні питання, а узгоджені зведені\nцифри будуйте в сховищі даних, яке наповнюється з озера.\n\n**Персональні дані, що зберігаються вічно.** Сховище, задумане для того, щоб\nзберігати все, стикається з вимогами видалити дані та з обмеженнями строку\nзберігання. Iceberg версії 2 може видаляти окремі рядки, записуючи файли\nвидалень (delete files), без переписування файлів даних, а отже, початкові байти\nлишаються в сховищі. Вони зникають тільки тоді, коли файли даних переписано, а\nстаріші знімки, які ще на них посилаються, втратили чинність (expire), після\nчого файли можна фізично видалити. Не тримайте прямих ідентифікаторів у сирих\nподіях, де це можливо, партиціонуйте так, щоб дані з вичерпаним строком\nзберігання видалялися цілими теками, і плануйте об'єднання файлів та закінчення\nстроку дії знімків після видалень.\n\n## Що почитати далі\n\n- [Pentaho, Hadoop, and Data Lakes](https://jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/)\n  — допис Джеймса Діксона за жовтень 2010 року, у якому з'явилися термін і\n  порівняння з бутильованою водою.\n- [Data Lakes Revisited](https://jamesdixon.wordpress.com/2014/09/25/data-lakes-revisited/)\n  — продовження Діксона 2014 року: одне джерело на озеро, водний сад і його\n  відповіді критикам.\n- [File Format](https://parquet.apache.org/docs/file-format/) — будова Parquet:\n  групи рядків, блоки стовпців і метадані файлу, записані після даних.\n- [Iceberg Table Spec](https://iceberg.apache.org/spec/) — специфікація Apache\n  Iceberg: знімки, атомарні коміти, еволюція схеми за ідентифікаторами полів,\n  файли видалень і закінчення строку дії знімків.\n- [Hive Partitioning](https://duckdb.org/docs/2.0/data/partitioning/hive_partitioning.html)\n  — документація DuckDB про теки key=value, filter pushdown і визначення типів\n  партицій.\n\n\u003chttps://engineer.company/uk/glossary/data-lake/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Що таке озеро даних: ідея Джеймса Діксона 2010 року, сирі дані в повній деталізації, приклад із партиціонованим Parquet у DuckDB і типові помилки.","formats":{"gemtext":"https://engineer.company/uk/glossary/data-lake/index.gmi","gopher":"https://engineer.company/uk/glossary/data-lake/gophermap","html":"https://engineer.company/uk/glossary/data-lake/","json":"https://engineer.company/uk/glossary/data-lake/index.json","markdown":"https://engineer.company/uk/glossary/data-lake/index.md","pdf":"https://engineer.company/uk/glossary/data-lake/index.pdf"},"kind":"page","language":"uk","title":"Що таке озеро даних?","url":"https://engineer.company/uk/glossary/data-lake/","version":1}