{"canonical_url":"https://engineer.company/uk/glossary/data-warehouse/","content_markdown":"# Сховище даних\n\n## Що це таке\n\nСховище даних, англійською data warehouse, — це база даних, яку будують, щоб\nвідповідати на запитання про бізнес, а не щоб вести його. Системи, які приймають\nзамовлення, оформлюють відправлення, виставляють рахунки й реєструють звернення\nдо підтримки, тримають кожна свої дані у своїй формі. Сховище даних отримує\nкопії з усіх них, зберігає їх роками й упорядковує так, щоб запитання, яке\nзачіпає кілька систем, ставало одним запитом, а не тижнем вивантажень у\nелектронні таблиці. Саму роботу з побудови й супроводу такої системи англійською\nназивають data warehousing.\n\nВідмінність від баз, з яких копіюють дані, — у навантаженні. Система замовлень\nчитає й записує кілька рядків за раз, тисячі разів на хвилину, і тримає лише\nтеперішнє: коли клієнт переїжджає, стару адресу перезаписують. Сховище даних\nнаповнюють великими порціями, читають запитами, що проглядають мільйони рядків\nза раз, а минуле в ньому зберігають навмисно, щоб торішні цифри можна було\nрозкласти так, як бізнес виглядав торік.\n\nРальф Кімбол приніс вимірне моделювання в галузь 1996 року, і Kimball Group\nділить таку систему на дві частини: технічну (back room) та користувацьку (front room). У back\nroom працює ETL-система, яку вони розкладають на 34 підсистеми за чотирма\nзавданнями: видобути дані з джерел, очистити й узгодити їх, доставити до\nпрезентаційної зони (presentation area) і керувати всім процесом. Front room —\nце сама презентаційна зона, тобто те, до чого люди справді звертаються із\nзапитами. Вона впорядкована за бізнес-процесами, тримає дані на\nнайдетальнішому рівні, який фіксує кожен процес, має агреговані підсумки для\nшвидкості й побудована з таблиць фактів і вимірів. Навколо неї стоять\nBI-застосунки: довільні (ad hoc) запити, стандартні звіти, дашборди, картки\nпоказників і аналітичні застосунки. Front room, за словами Kimball Group, — це\nте, чим уся система повернута до людей.\n\nЦе не єдиний варіант устрою. Сторінка Kimball Group про архітектуру описує й\nCorporate Information Factory — побудову за принципом hub-and-spoke, де атомарні\nдані лежать у нормалізованому корпоративному сховищі в третій нормальній формі,\nа другий крок ETL завантажує з нього вимірні таблиці для звітності, — і гібрид,\nу якому наявне нормалізоване сховище постачає дані до вимірної презентаційної\nзони. Спільне для всіх варіантів — розділення: системи, що ведуть бізнес, не є\nтим місцем, де його аналізують.\n\nСховище даних — це роль, а не продукт. Ним може бути база PostgreSQL чи\nMicrosoft SQL Server на сервері, який команда обслуговує сама, або керований\nсервіс на кшталт Google BigQuery, який Google описує як повністю керовану\nплатформу даних, що поєднує хмарне сховище даних з аналітичними інструментами.\nBigQuery тримає зберігання й обчислення окремо, тож кожне масштабується\nнезалежно, зберігає дані за стовпцями, а не за рядками, і приймає запити\nстандартним ANSI SQL.\n\n## Чому це важливо\n\nБізнес, який ставить те саме запитання двом системам, отримує дві відповіді.\nВідділ продажів рахує клієнта, коли оформлено замовлення, фінанси — коли\nоплачено рахунок, підтримка — щоразу, коли надходить звернення. Ніхто з них не\nпомиляється щодо власних цілей, і ніхто не сходиться з рештою. Сховище даних —\nмісце, де одне визначення погоджують і записують у завантаження, щоб кожен звіт,\nпобудований на ньому, рахував однаково.\n\nІнструмент Kimball Group для цього — узгоджений вимір (conformed dimension):\nодин клієнт, один продукт, один календар, які централізовано підтримують в\nETL-системі й спільно використовують усі таблиці фактів, яким вони потрібні.\nТаблицю фактів продажів і таблицю фактів звернень, що посилаються на той самий\nвимір клієнтів, можна порівнювати рядок за рядком. Їхня шинна архітектура (bus\narchitecture) зводить бізнес-процеси й спільні для них виміри в матрицю, яку\nKimball Group називає архітектурним кресленням, і дає змогу будувати сховище по\nодному бізнес-процесу за раз, що, за їхніми словами, скорочує час до виходу на\nринок. Команда може цього кварталу здати замовлення, а наступного — повернення,\nне переробляючи вже зробленого, доки обидва процеси використовують ті самі\nвиміри.\n\nІсторія — друга причина. Операційні системи тримають поточний стан; сховище\nданих може тримати кожен. Техніка Kimball для атрибута, що змінюється, відома як\nтип 2, додає до виміру новий рядок із новими значеннями й новим сурогатним\nключем, і кожен факт, завантажений від цієї миті, вказує на новий рядок. Продажі\nдо переїзду клієнта лишаються за старим регіоном, продажі після нього йдуть до\nнового. Щонайменше три додаткові стовпці — дата початку дії, дата завершення дії\nй позначка поточного рядка — дають змогу спитати, що було правдою на будь-яку\nдату.\n\nТретя причина — звичайне навантаження. Звітові, який проглядає замовлення за\nтри роки, не місце в базі, що приймає сьогоднішні замовлення: там він змагається\nз оформленням покупок за ту саму пам'ять, ті самі диски й ті самі блокування.\nКоли аналітика переїжджає в окрему базу, кожну сторону можна налаштувати під її\nвласну роботу.\n\nЦіна в тому, що сховище даних — копія. Воно таке свіже, як останнє\nзавантаження, і таке правильне, як правила в ньому, тож хтось мусить\nвідповідати за обидва: за розклад запусків і за визначення продажу, клієнта й\nмісяця, про які домовився бізнес.\n\n## Як це виглядає на практиці\n\nСерце вимірного сховища — таблиця фактів, чию гранулярність (grain) визначають\nпершою, тут один запис на кожну позицію замовлення, а навколо неї — виміри, що її\nописують. Вимір клієнтів має стовпці для типу 2, тож клієнт, який переїхав,\nотримує другий рядок, а не перезаписаний.\n\n```sql\nCREATE TABLE dim_customer (\n    customer_key bigint PRIMARY KEY,   -- сурогатний ключ, належить сховищу\n    customer_id  text NOT NULL,        -- ключ у системі-джерелі\n    region       text NOT NULL,\n    valid_from   date NOT NULL,\n    valid_to     date,                 -- порожньо, поки рядок поточний\n    is_current   boolean NOT NULL\n);\n\nCREATE TABLE fact_order_line (\n    date_key     integer NOT NULL REFERENCES dim_date,\n    customer_key bigint  NOT NULL REFERENCES dim_customer,\n    product_key  bigint  NOT NULL REFERENCES dim_product,\n    quantity     integer NOT NULL,\n    net_amount   numeric(12, 2) NOT NULL\n);\n\nSELECT d.year, c.region, sum(f.net_amount) AS revenue\nFROM fact_order_line AS f\nJOIN dim_date AS d USING (date_key)\nJOIN dim_customer AS c USING (customer_key)\nGROUP BY d.year, c.region\nORDER BY d.year, c.region;\n```\n\nКожну позицію замовлення завантажено з тим рядком клієнта, який був поточним на\nтой момент, тому запит показує виручку за регіоном, де клієнт жив, коли\nкупував. Якщо натомість з'єднувати за `customer_id` і фільтрувати за\n`is_current`, уся історія перераховується за сьогоднішніми регіонами. Обидва\nзапитання доречні, і модель відповідає на кожне без другої копії даних.\n\nОбіцянка послуги [Проєктування сховищ даних](/uk/services/data-warehousing/) — саме ця перша причина: дані продажів, операцій і фінансів зведені разом, щоб два відділи не приносили на одну нараду дві різні відповіді. У більшому масштабі з 2022 по 2024 рік засновниця [спроєктувала й експлуатувала 100 сховищ даних](/uk/portfolio/ran-100-postgresql-ms-sql-bigquery-warehouses/) на PostgreSQL, Microsoft SQL Server і Google BigQuery, переважно з GIS-даними та часовими рядами, як-от просторові координати й показання сенсорів. Робота поєднувала нормалізовані й денормалізовані структури таблиць із просторовою індексацією (PostGIS у PostgreSQL) і партиціонуванням часових рядів на перших двох платформах, а в BigQuery — партиціоновані за часом і кластеризовані таблиці зі стисненням і колонковим зберіганням. Час відповіді на запити для GIS-даних і часових рядів скоротився на 40–60%, а оптимізована інфраструктура дала змогу організації, яка використовувала ці бази даних, запустити нові продукти на основі даних, наприклад дашборди аналітики в реальному часі.\n\n## Де виникають проблеми\n\n**Одна таблиця фактів змішує дві гранулярності, і кожен підсумок рахує частину\nгрошей двічі.** Замовлення має позиції, а ще має плату за доставку, яка належить\nзамовленню загалом. Якщо записати плату в кожну позицію, сума за позиціями\nврахує її стільки разів, скільки є позицій. У чотирикроковому процесі\nпроєктування Kimball Group визначення гранулярності стоїть другим, одразу після\nвибору бізнес-процесу й до того, як названо бодай один вимір чи факт, а їхнє\nправило таке: різні гранулярності не можна змішувати в одній таблиці фактів.\nТримайте окрему таблицю фактів на рівні замовлення для сум, що належать усьому\nзамовленню, або розподіліть плату між позиціями за правилом, яке погодить\nбізнес.\n\n**Клієнт переїжджає, і торішній звіт змінюється.** Коли регіон у рядку клієнта\nпросто перезаписують, усі минулі продажі переходять разом із клієнтом до нового\nрегіону, і звіт, затверджений у січні, у червні розповідає іншу історію.\nАтрибути, історія яких має значення, ведіть за типом 2: закрийте поточний рядок\nі додайте новий із новим сурогатним ключем в одній транзакції бази даних, щоб\nжодне завантаження не побачило двох поточних рядків одночасно.\n\n```sql\nBEGIN;\nUPDATE dim_customer\nSET valid_to = current_date, is_current = false\nWHERE customer_id = 'C-1042' AND is_current;\nINSERT INTO dim_customer\n    (customer_key, customer_id, region, valid_from, valid_to, is_current)\nVALUES (90731, 'C-1042', 'Північ', current_date, NULL, true);\nCOMMIT;\n```\n\n**Дві команди будують два виміри клієнтів, і сховище повторює суперечку, яку\nмало завершити.** Кожну нову предметну область швидше здати з власною копією\nсписку клієнтів чи продуктів, і кожна копія поступово розходиться з іншими: одна\nвідкидає закриті облікові записи, інша інакше зливає дублікати. Побудуйте спільні\nвиміри один раз в ETL-системі й подбайте, щоб кожна нова таблиця фактів\nвикористовувала саме їх. Матриця шини і є контрольним списком: перш ніж додати\nбізнес-процес, вона показує, на які наявні виміри має посилатися нова таблиця\nфактів.\n\n**Звіти спрямовано на проміжні (staging) таблиці.** Сирі копії джерел спершу\nпотрапляють у back room, і коли вони вже там, кортить надсилати запити просто до\nних, бо дані вже завантажено. Ці таблиці несуть власні коди кожного джерела,\nдублікати й прогалини та змінюються щоразу, коли змінюється джерело, тож кожен\nзвіт на них успадковує саме ту проблему, яку сховище даних мало розв'язати.\nЗалиште back room тільки для ETL-системи, а звітам, дашбордам і аналітикам\nдайте лише презентаційну зону, де узгоджені виміри й визначена гранулярність і\nзмушують цифри сходитися.\n\n## Що почитати далі\n\n- [Kimball Technical DW/BI System Architecture](https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/technical-dw-bi-system-architecture/)\n  — back room і front room, підсистеми ETL, метадані та альтернативи:\n  hub-and-spoke і гібрид.\n- [Enterprise Data Warehouse Bus Architecture](https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/kimball-data-warehouse-bus-architecture/)\n  — узгоджені виміри, матриця шини й побудова по одному бізнес-процесу за раз.\n- [Four-Step Dimensional Design Process](https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/dimensional-modeling-techniques/four-4-step-design-process/)\n  — бізнес-процес, гранулярність, виміри й факти, саме в такому порядку.\n- [Type 2: Add New Row](https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/dimensional-modeling-techniques/type-2/)\n  — історія атрибута, що змінюється, через новий рядок, новий сурогатний ключ і\n  три додаткові стовпці.\n- [BigQuery overview](https://docs.cloud.google.com/bigquery/docs/introduction)\n  — кероване сховище даних Google, у якому зберігання й обчислення розділено, а\n  дані зберігаються за стовпцями.\n\n\u003chttps://engineer.company/uk/glossary/data-warehouse/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"База даних для аналізу, а не щоденної роботи бізнесу: технічна й користувацька частини, навмисно збережена історія й чотири типові помилки.","formats":{"gemtext":"https://engineer.company/uk/glossary/data-warehouse/index.gmi","gopher":"https://engineer.company/uk/glossary/data-warehouse/gophermap","html":"https://engineer.company/uk/glossary/data-warehouse/","json":"https://engineer.company/uk/glossary/data-warehouse/index.json","markdown":"https://engineer.company/uk/glossary/data-warehouse/index.md","pdf":"https://engineer.company/uk/glossary/data-warehouse/index.pdf"},"kind":"page","language":"uk","title":"Що таке сховище даних?","url":"https://engineer.company/uk/glossary/data-warehouse/","version":1}