{"canonical_url":"https://engineer.company/uk/glossary/dataset/","content_markdown":"# Набір даних\n\n## Що це таке\n\nНабір даних, англійською dataset, — це обмежений масив даних, з яким поводяться\nяк з однією річчю: він має назву, джерело, період, який охоплює, і форму,\nспільну для всіх його записів, і ці чотири ознаки визначають, де він починається\nй де закінчується. Показання лічильників за місяць в одному файлі — набір даних;\nтак само й нічний експорт трьох пов'язаних таблиць. Слово нічого не каже про\nрозмір чи формат, лише про те, що дані всередині належать одне до одного.\n\nСторінки цього сайту вживають слово саме в такому робочому значенні. Одна\nговорить про історичний набір даних у форматі JSONL і про набори даних за 1 день\nі за 30 днів для тестів продуктивності, друга — про впорядковані набори даних і\nтаблиці, експортовані для завантаження деінде, третя — про величезні набори\nданих від розумних лічильників. Щоразу слово проводить межу навколо даних, перш\nніж із ними щось робитимуть.\n\nСловник W3C Data Catalog Vocabulary, DCAT, дає слову формальну рамку. Версія 3\nстала рекомендацією W3C 22 серпня 2024 року й визначає набір даних як зібрання\nданих, оприлюднене або впорядковане одним агентом і доступне для отримання чи\nзавантаження в одній або кількох серіалізаціях або форматах. Поняття навмисно\nшироке: числа, текст, зображення й звук — усе підходить. Далі DCAT розводить три\nречі, які в щоденному мовленні змішуються:\n\n- **Dataset**: дані як ідея, наприклад погодинне споживання за зонами за 2024\n  рік.\n- **Distribution**: одна доступна форма набору, наприклад CSV-файл для\n  завантаження; в одного набору даних їх може бути кілька.\n- **Dataset series**: набори даних, які оприлюднюють окремо, але які мають\n  досить спільного, щоб їх згрупувати, наприклад по одному файлу на місяць.\n\nТож два файли в різних форматах можуть бути одним набором даних, а два місячні\nфайли під однією назвою — двома членами серії.\n\nУ Google BigQuery слово має друге, вужче значення. Там набір даних — це\nконтейнер для таблиць, подань та інших ресурсів, і він міститься всередині\nпроєкту. Таблиця мусить належати до набору даних, тож набір створюють до\nзавантаження будь-яких даних, а звертаються до нього як `project.dataset` у\nGoogleSQL і як `project:dataset` в інструменті командного рядка bq. Яке значення\nмається на увазі, вирішує контекст.\n\n## Чому це важливо\n\nМежа робить дані порівнянними. Два масиви показань можна порівняти лише тоді,\nколи обидва охоплюють той самий період, ті самі місця й той самий крок між\nзаписами, а назва набору даних і є способом закріпити ці умови. DCAT виділяє для\nкроку окрему властивість, temporal resolution, тобто мінімальну відстань між\nелементами в наборі даних, записану як тривалість, наприклад `P1D` для одного\nдня. Набір, що вказує свою роздільність, ще до першої суми каже читачеві, чи\nйого рядки — це години, чверті години чи щось нерегулярне.\n\nОпис має подорожувати разом із даними. DCAT перелічує, що дистрибуція може\nсказати про себе: тип медіа, формат, формат стиснення, формат пакування, розмір\nу байтах і контрольну суму, остання з яких дає отримувачеві змогу перевірити, що\nвміст лишився незмінним. Власний приклад формату стиснення в специфікації —\ngzip. Файл, що приходить із цими відомостями, можна перевірити й відкрити; файл,\nщо приходить голим, доводиться розгадувати.\n\nФормат дистрибуції визначає, хто зможе її прочитати. Поширені три:\n\n- **CSV.** RFC 4180 від 2005 року описує розкладку, якої, схоже, дотримується\n  більшість реалізацій: один запис на рядок, необов'язковий рядок заголовка,\n  подвійні лапки навколо будь-якого поля з комою, розривом рядка чи подвійною\n  лапкою, а подвійна лапка всередині поля записується двічі.\n  Файли CSV можна відкрити майже будь-яким інструментом.\n- **JSON Lines.** Одне коректне значення JSON на рядок у кодуванні UTF-8, із\n  `\\n` між рядками. Файл зберігають як `.jsonl` або, стиснувши gzip, як\n  `.jsonl.gz`. Після останнього значення JSON у файлі настійно рекомендовано\n  додати символ нового рядка, але це не обов'язково. Програми читають його по\n  одному запису, а текстові інструменти в стилі Unix і конвеєри командної\n  оболонки добре з ним працюють.\n- **Parquet.** Відкритий стовпцево орієнтований формат файлів даних, створений\n  для ефективного зберігання й отримання даних, зі схемами стиснення й кодування\n  для роботи зі складними даними у великих обсягах.\n\nОсь один запис у перших двох форматах; кома в примітці змушує взяти поле CSV в\nлапки:\n\n```text\nid,read_at,kwh,note\nM-17,2024-01-08T10:00:00Z,3.21,\"late, manual\"\n\n{\"id\":\"M-17\",\"read_at\":\"2024-01-08T10:00:00Z\",\"kwh\":3.21,\"note\":\"late, manual\"}\n```\n\n## Як це виглядає на практиці\n\nНабір даних про електроенергію спершу треба було сформувати: дані надходили з\nкількох джерел, кожне з власною частотою звітності, від погодинних до\n15-хвилинних інтервалів, а подекуди з нерегулярними часовими мітками, тож\nскласти цілісний, порівнянний набір даних було важко. Звідси й завдання:\n[перетворити сирі дані про події з історичного набору JSONL на погодинне споживання](/uk/portfolio/a-month-of-meter-readings-in-180-milliseconds/),\nпо одному рядку на кожну годину й зону: підсумувати мікс виробництва в кожному\nінтервалі, додати імпорт і відняти експорт. Написано три варіанти — на Python,\nJQ і SQL. Пайплайн на Python парсив файли JSONL у датафрейми, зводив часові ряди\nдо погодинних інтервалів і експортував результати у CSV або завантажував їх у\nлегку базу даних SQLite для перевірки. На історичних наборах даних за 1 день і\nза 30 днів він виявився найшвидшим із трьох: 34 мс на один день і 180 мс на\nтридцять. Робота між входом і виходом — це зміна зернистості: від власного кроку\nкожного джерела до одного фіксованого рядка на годину й зону.\n\nПереміщення — окрема робота:\n[шість ETL/ELT-пайплайнів переносили дані з віддаленого сховища даних за IPsec VPN у Google BigQuery](/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/).\nДані надходили як стиснуті архіви з файлами Parquet, CSV і .bak, а скрипти на\nBash і Python класифікували кожен файл за типом і схемою. Коли процедури\nочистили, нормалізували й збагатили рядки, впорядковані набори даних і таблиці\nекспортували в проміжні формати, стиснули gzip і передали в бакет Google Cloud\nStorage, звідки bq CLI і скрипти на Python завантажували їх у BigQuery. Понад 3\nгодини ручної роботи перетворилися на менш ніж 20 хвилин на весь цикл, а\nсинхронізація стала щоденною замість щотижневої.\n\nРозумні лічильники в кількох географічних регіонах давали\n[величезні набори даних, на яких трималися понад 500 аналітичних звітів на чистому SQL](/uk/portfolio/released-500-electricity-and-gis-data-reports/)\nу PostgreSQL і BigQuery. Дані охоплювали геолокаційні координати, ідентифікатори\nлічильників, дані про споживання енергії з часовими мітками та метадані про\nдовкілля. Кожен звіт містив анотований SQL, щоб колеги могли відтворити й\nперевірити його, а нотатки з усунення несправностей документували типові\nпроблеми якості даних, як-от відсутні GPS-координати або пошкоджені значення\nлічильників, разом із рекомендованою обробкою. Сторінка пов'язує цю роботу з\nпідвищенням ефективності операційного планування на 10–15%.\n\n## Де виникають проблеми\n\nБільшість проблем із наборами даних — це факт про дані, що залишився в голові\nоднієї людини.\n\n**Зернистість лишається незаписаною.** Якщо скласти погодинні рядки з\nп'ятнадцятихвилинними, частина інтервалів порахується вчетверо. Запишіть\nзернистість одним реченням, наприклад один рядок на годину на зону в UTC, і\nвирівняйте за нею кожне джерело, перш ніж підсумовувати.\n\n**Пропуск читається як нуль.** Порожнє поле, null і 0 означають три різні речі,\nа сума непомітно вважає відсутнє показання нульовим споживанням. Відсутні\nGPS-координати й пошкоджені значення лічильників були в проєкті з лічильниками\nнастільки типовими, що для них задокументували процедури обробки. Для кожного\nстовпця вирішіть, чи пропуск відкидають, заповнюють чи позначають, і запишіть\nвибір у примітках до набору даних.\n\n**Діалект CSV дрейфує.** RFC 4180 описує поширену розкладку, а реальні файли від\nнеї відходять: інший роздільник, пропущений заголовок, поле з комою, але без\nлапок. RFC робить рядок заголовка необов'язковим і дозволяє сигналізувати про\nнього параметром MIME, який губиться, щойно файл скопіювали на диск. Перед\nзавантаженням звіряйте перший рядок кожного нового файлу з очікуваним\nзаголовком.\n\n**Копія забуває, звідки взялася.** Впорядкований витяг, завантажений в іншу\nсистему, за місяць уже виглядає точнісінько як оригінал. Біля кожної копії\nзаписуйте джерело, період, час вивантаження й контрольну суму, щоб звіт міг\nназвати витяг, який він прочитав.\n\n**Набір даних BigQuery опиняється не там.** Розташування набору даних задають\nпід час створення, і змінити його потім можна лише копіюванням або повторним\nстворенням набору. Усі таблиці в одному запиті мають лежати в наборах даних з\nоднаковим розташуванням, тож обирайте розташування до першого завантаження.\n\n## Що почитати далі\n\n- [Data Catalog Vocabulary (DCAT) - Version 3](https://www.w3.org/TR/vocab-dcat-3/)\n  — визначення набору даних, дистрибуції й серії наборів даних від W3C разом із\n  властивостями, що описують кожне з них.\n- [BigQuery: Introduction to datasets](https://cloud.google.com/bigquery/docs/datasets-intro)\n  — значення слова як контейнера: проєкти, розташування, іменування й обмеження.\n- [JSON Lines](https://jsonlines.org/) — три правила формату та домовленості про\n  назви файлів.\n- [RFC 4180: Common Format and MIME Type for CSV Files](https://www.rfc-editor.org/rfc/rfc4180)\n  — розкладка CSV, якої дотримується більшість інструментів, правила лапок і тип\n  text/csv.\n- [Apache Parquet: Overview](https://parquet.apache.org/docs/overview/) — що\n  таке цей стовпцевий формат файлів і де лежить його специфікація.\n\n\u003chttps://engineer.company/uk/glossary/dataset/\u003e\n","date_modified":"2026-11-08T05:31:18Z","description":"Що робить масив даних набором даних, як це слово вживають DCAT і BigQuery, які формати файлів його переносять і де спільні дані втрачають зміст.","formats":{"gemtext":"https://engineer.company/uk/glossary/dataset/index.gmi","gopher":"https://engineer.company/uk/glossary/dataset/gophermap","html":"https://engineer.company/uk/glossary/dataset/","json":"https://engineer.company/uk/glossary/dataset/index.json","markdown":"https://engineer.company/uk/glossary/dataset/index.md","pdf":"https://engineer.company/uk/glossary/dataset/index.pdf"},"kind":"page","language":"uk","title":"Що таке набір даних?","url":"https://engineer.company/uk/glossary/dataset/","version":1}