{"canonical_url":"https://engineer.company/uk/glossary/data-mesh/","content_markdown":"# Data mesh\n\n## Що це таке\n\nData mesh — це спосіб організувати аналітичні дані у великій організації так,\nщоб команди, які ведуть кожну частину бізнесу, самі володіли даними цієї\nчастини, публікували їх і відповідали за них. Ідею запропонувала Жамак Дегані\n(Zhamak Dehghani), тоді провідна технічна консультантка у Thoughtworks, у статті\nна сайті Мартіна Фаулера (Martin Fowler), яка виходила частинами в травні 2019\nроку. У грудні 2020 року вона сформулювала її заново як чотири принципи: доменне\nволодіння даними та архітектурою навколо них, дані як продукт, інфраструктура\nданих самообслуговування як платформа і федеративне управління, правила якого\nперевіряються автоматично (англійською federated computational governance). На\nїї думку, ці чотири принципи разом і необхідні, і достатні, а практики та\nінструменти змінюватимуться, тоді як самі принципи залишаться.\n\nІдея стосується аналітичних даних, а не операційних. Дегані розмежовує їх так:\nопераційні дані живуть у базах даних за системами, на яких тримається щоденна\nробота бізнесу; вони транзакційні й показують, як усе стоїть саме зараз.\nАналітичні дані — це історія бізнесу в часі, агрегована й змодельована; на них\nбудують звіти й навчають моделі. Операційні дані вона залишає там, де вони є,\nусередині кожного сервісу. Змінити вона хоче саме аналітичний бік, бо саме там,\nна її думку, виникає тертя, коли бізнес росте.\n\n**Доменне володіння.** Data mesh ділиться вздовж меж, які в організації вже є.\nНаскрізний приклад у Дегані — цифрова медіакомпанія з доменами на кшталт\nподкастів і виконавців. Команда, яка веде подкасти й надає інтерфейси для їх\nпублікації, має також постачати історію опублікованих подкастів і того, скільки\nлюдей їх слухали з часом. Межі взято з предметно-орієнтованого проєктування\n(domain-driven design), де обмежений контекст (bounded context) кожного домену\nокреслює ту ділянку, у межах якої зміна залишається локальною. Тому саме там\nдоречно закріпити й володіння даними.\n\n**Дані як продукт.** Коли дані розходяться між багатьма командами, їх стає важче\nзнайти і важче їм довіряти. Тому кожна команда має ставитися до даних, якими\nділиться, як до продукту, а до тих, хто ними користується, — як до клієнтів.\nСтаття 2019 року перелічує, що для цього потрібно: продукт даних має бути таким,\nщоб його можна було знайти, мати сталу адресу, заслуговувати на довіру,\nописувати сам себе, сполучатися з іншими за спільними стандартами й підлягати\nспільному контролю доступу. Власник продукту в домені відповідає за такі\nпоказники, як якість, час, який споживачі чекають на дані, і їхнє задоволення.\nВідповідальність за якість переходить вище за течією, якомога ближче до джерела.\nЗ погляду архітектури продукт даних — найменша одиниця, яку можна розгортати\nокремо, і складається він із трьох частин: коду, який перетворює й віддає дані\nта застосовує до них правила, самих даних разом із метаданими та інфраструктури,\nна якій усе це працює.\n\n**Платформа самообслуговування.** Щоб збудувати продукт даних, експлуатувати\nйого й стежити за ним, потрібні вузькоспеціалізовані знання інфраструктури, і\nвідтворити їх у кожному домені не вийде. Тому команда платформи пропонує\nінструменти вищого рівня — зокрема для зберігання, схем продуктів, декларативних\nпайплайнів і відстеження того, звідки походять дані, — щоб розробник широкого\nпрофілю міг збудувати продукт даних без цих спеціальних знань.\n\n**Федеративне управління.** Продукти все одно мають пасувати один до одного,\nінакше ніхто не зможе їх поєднати. Група власників продуктів із доменів і з\nплатформи вирішує, які правила діють усюди, а які лишаються на розсуд окремого\nдомену, і платформа автоматично стежить за виконанням спільних правил. Приклад\nДегані — дані про прослуховування: як домен подкастів їх моделює, — його власна\nсправа, але як ідентифікувати слухача, — спільне питання, бо та сама людина\nз'являється як користувач і в інших доменах.\n\n## Чому це важливо\n\nАргумент Дегані починається з того, що йде не так, коли велика компанія тримає\nцентральне озеро даних або центральне сховище даних. Дані з усіх доменів\nстікаються на одну платформу, яка володіє ними всіма, а обслуговує її команда\nфахівців з інструментів для даних, далека і від тих, хто дані створює, і від\nтих, хто ними користується. Дегані називає три способи, якими це ламається.\nПлатформа централізована й монолітна, тож що більше стає джерел і споживачів, то\nважче їй дається. Вона поділена на етапи пайплайна — завантаження, очищення,\nагрегування, видачу, — тож навіть один новий показник, скажімо, як часто\nвмикають подкасти, вимагає змін на кожному етапі й випуску, який доводиться\nузгоджувати між командами. І володіння розбите на ізольовані,\nвузькоспеціалізовані групи: інженери, які мають видобути з даних сенс, погано\nзнають домени, звідки ці дані надходять, а команди, які дані створюють, не мають\nжодного стимулу робити їх правильними.\n\nData mesh змінює те, хто прибирає. У старій моделі дані надходять разом зі\nсвоїми помилками, і центральна команда очищає їх уже після завантаження. У data\nmesh набір даних домену стає продуктом даних лише тоді, коли сам домен перевірив\nйого на відповідність узгодженим цілям якості та спільним правилам. Ті, хто\nзнає, що має означати поле, за нього й ручаються.\n\nУправління теж змінює форму. Стаття 2020 року зіставляє дві моделі в таблиці.\nЦентральна команда сама відповідає за якість, безпеку й дотримання регуляторних\nвимог. Федеративна команда визначає, як моделювати якість і які вимоги безпеки\nта законодавства платформа має вбудувати й відстежувати. Раніше успіх вимірювали\nкількістю таблиць під управлінням. У data mesh його вимірюють тим, наскільки\nактивно продуктами справді користуються. Ручні перевірки, які намагаються\nзапобігти помилкам, поступаються автоматизованим процесам, що виявляють помилки\nй виправляють їхні наслідки.\n\nНіщо з цього не подається як універсальна відповідь. У статті 2019 року Дегані\nвизнає, що централізована модель може працювати в організаціях із простішим\nдоменом і меншою кількістю типів споживачів, і пише, що вона не витримує в\nбізнесі з багатими доменами, великою кількістю джерел і споживачами з дуже\nрізними потребами. Чи вартий data mesh зусиль, залежить від того, до якого з\nдвох типів належить організація.\n\n## Як це виглядає на практиці\n\nСправжній data mesh охоплює багато команд і багато сховищ. Нарис нижче\nобмежується однією базою даних PostgreSQL, щоб кожну SQL-інструкцію можна було\nзвірити з документацією, і показує два найменші кроки: домен публікує продукт, а\nплатформа стежить за одним спільним правилом.\n\nКоманда замовлень володіє операційними таблицями у схемі `orders`. Аналітичні\nдані вона публікує в окремій схемі — як версіоноване представлення (view) з\nописом і явно наданими правами:\n\n```sql\n-- команда замовлень володіє цією схемою і всім, що в ній лежить\nCREATE SCHEMA order_data;\n\nCREATE VIEW order_data.orders_by_day_v1 AS\nSELECT order_date, currency, count(*) AS orders, sum(total) AS revenue\nFROM orders.orders\nWHERE status = 'paid'\nGROUP BY order_date, currency;\n\nCOMMENT ON VIEW order_data.orders_by_day_v1 IS\n  'Оплачені замовлення за днями й валютами. Власник: команда замовлень.';\n\nGRANT USAGE ON SCHEMA order_data TO analysts;\nGRANT SELECT ON order_data.orders_by_day_v1 TO analysts;\n```\n\nДокументація PostgreSQL пояснює, чому з боку споживача цього досить: тому, хто\nкористується представленням, потрібен привілей USAGE лише на схему, у якій це\nпредставлення лежить, а не на схеми, з яких читає його запит. Отже, аналітикам\nвідкрито дані продукту, а операційні таблиці за ним для них залишаються\nзакритими. Ерік Еванс (Eric Evans), зі свого боку, зараховує схеми баз даних до\nфізичних форм, яких може набувати межа обмеженого контексту.\n\nЧастина платформи — це правило, яке діє для всіх доменів. Воно записане як\nSQL‑запит і виконується під час кожного випуску: жодна схема продукту не може\nмістити представлення без опису. `obj_description` повертає коментар, збережений\nдля об'єкта, а в `pg_class` значення `v` у стовпці `relkind` означає, що об'єкт\nє представленням:\n\n```sql\n-- спільне правило: кожне опубліковане представлення має опис\nSELECT n.nspname, c.relname\nFROM pg_class AS c\nJOIN pg_namespace AS n ON n.oid = c.relnamespace\nWHERE c.relkind = 'v'\n  AND n.nspname ~ '_data$'\n  AND obj_description(c.oid, 'pg_class') IS NULL;\n-- кожен повернений рядок зупиняє випуск\n```\n\nТакий поділ — це федеративна частина в мініатюрі. Що вважати оплаченим\nзамовленням, вирішує команда замовлень. Те, що кожен продукт описує сам себе, а\nназви схем продуктів закінчуються на `_data`, — спільні домовленості, які\nплатформа перевіряє сама, і нікому не треба про них пам'ятати.\n\nСторінка послуги\n[Управління даними та їх якість](/uk/services/data-governance/) обіцяє, що в\nкожної цифри буде відомий власник і відоме джерело, а саме за це має вміти\nвідповісти власник продукту даних. Серед виконаної роботи там названо функційний\nрівень даних у PostgreSQL, у якому всі операції читання й запису проходять через\nфункції, доступ до яких база даних видає окремо, а не безпосередньо через\nтаблиці. Це та сама думка, що й у представленні вище: споживач отримує інтерфейс\nзі своїм доступом, а не таблиці під ним.\n\nПроєкт\n[Один інфраструктурний план для 14 підрозділів](/uk/portfolio/one-infrastructure-plan-for-14-departments/)\nне описано як data mesh, але він стикається з тією самою напругою, з якою живе\nгрупа управління в data mesh. У науково-дослідному інституті 14 дослідницьких\nгруп працювали кожна зі своїми джерелами даних, форматами, масштабами й\nінструментами, а технічна підготовка та ІТ-ресурси в них дуже різнилися: кілька\nгруп збудували власні рішення, тоді як багато інших не давали собі ради. План\nмав дати науковцям змогу зосередитися на дослідженнях і шукав рівновагу між\nгнучкістю та стандартизацією: модульна архітектура, шляхи інтеграції для дуже\nрізних джерел даних, зручні інтерфейси для різного рівня технічних навичок,\nмасштабовані рішення для зберігання й обробки даних, а також стратегії\nонбордингу, підтримки та управління. Вирішувати, що кожна група залишає собі, а\nщо всі мають спільним, — це саме той вибір, який Дегані покладає на федеративне\nуправління, а знижувати поріг знань для групи — саме те, чого вона вимагає від\nплатформи самообслуговування.\n\n## Де виникають проблеми\n\n**Центральна команда під новою назвою.** Нічого не зміниться, якщо назвати\nкоманду платформи даних data mesh, а вона й далі прийматиме сирі дані з усіх\nдоменів, очищатиме їх і відповідатиме за якість. Таблиця управління зі статті\nДегані працює як чекліст: хто відповідає за якість, хто визначає правила безпеки\nі чи досі успіх вимірюють кількістю таблиць під управлінням? Передайте володіння\nкожним продуктом даних доменові, який ці дані створює, а за центральною командою\nзалиште платформу й правила.\n\n**Продукти, за які ніхто не відповідає.** Домен, який вивантажує таблиці без\nвласника, опису чи обіцянки щодо свіжості даних, просто переніс стару проблему у\nсвій куток. Дегані просить, щоб кожен продукт даних описував свою якість мовою\nцілей рівня обслуговування, наприклад свіжістю й часткою помилок, і зауважує, що\nдомен може пропонувати два продукти з тими самими подіями: один майже в\nреальному часі, який може губити або дублювати події, і другий, що надходить\nпізніше, зате точніший. Призначте кожному продукту власника, опублікуйте цілі й\nперевіряйте якість там, де дані виникають.\n\n**Немає спільних ідентифікаторів.** Якщо кожен домен ідентифікує ті самі речі\nпо-своєму, жодні два продукти не вдасться поєднати. У прикладі 2019 року\nвиконавець виглядає по-різному в домені, що фіксує відтворення, і в домені, що\nвиплачує виконавцям гроші. Домовтеся між доменами, як ідентифікувати такі\nспільні сутності — Дегані називає їх полісемами, — а решту моделі залиште\nкожному доменові. Формати полів, правила адресації та спільні поля метаданих\nналежать до того самого спільного переліку.\n\n**Кожен домен заново будує весь стек.** Без платформи самообслуговування кожен\nдомен мусить сам налаштовувати зберігання, пайплайни й моніторинг, а\nвузькоспеціалізовані знання, яких бракувало навіть одній центральній команді,\nтепер потрібні в кожній команді. Збудуйте платформу, перш ніж просити домени\nпублікувати продукти, і оцінюйте її тим, як мало спеціальних знань потрібно доменові, щоб\nвипустити продукт.\n\n**Продукт, що змінюється під споживачами.** Продукт даних — це інтерфейс, і якщо\nзмінити його на місці, звіти, які на ньому тримаються, зламаються. У PostgreSQL\n`CREATE OR REPLACE VIEW` відхиляє частину таких змін: новий запит має повертати\nті самі стовпці з тими самими назвами, у тому самому порядку й тих самих типів,\nі може лише додавати нові стовпці в кінці. Змінене значення він не помітить, бо\nобчислення за стовпцем може бути вже зовсім іншим. Виносьте кожну зміну, яка\nперейменовує, прибирає або переозначує стовпець, у нове представлення\n`orders_by_day_v2` поруч зі старим, а старе виводьте з ужитку, коли споживачі\nперейдуть.\n\n**Data mesh там, де він не потрібен.** Чотири принципи, команда платформи,\nфедеративна група управління й власник продукту в кожному домені — це чимало\nмеханізмів. Наприкінці статті 2019 року Дегані визнає, що «до впровадження в масштабах підприємств\nще далеко». Якщо вистачає кількох джерел і однієї\nкоманди, залиште добре налагоджене центральне сховище з названим власником\nкожної таблиці й позичте те, що окупається за будь-якого масштабу: власників,\nописані набори даних і правила, які перевіряє машина.\n\n## Що почитати далі\n\n- [Data Mesh Principles and Logical Architecture](https://martinfowler.com/articles/data-mesh-principles.html)\n  — Жамак Дегані, 2020: чотири принципи, складники продукту даних і таблиця, що\n  зіставляє централізоване й федеративне управління.\n- [How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh](https://martinfowler.com/articles/data-monolith-to-mesh.html)\n  — первісна стаття травня 2019 року: три вади центральної платформи даних і\n  властивості, які має мати продукт даних.\n- [Domain-Driven Design Reference](https://www.domainlanguage.com/wp-content/uploads/2016/05/DDD_Reference_2015-03.pdf)\n  — стислий виклад шаблонів від Еріка Еванса, серед них обмежений контекст,\n  уздовж меж якого data mesh розподіляє володіння.\n- [PostgreSQL: CREATE VIEW](https://www.postgresql.org/docs/current/sql-createview.html)\n  — правила заміни представлення і привілеї, потрібні його користувачам, саме в\n  тому вигляді, у якому їх використано в прикладі.\n- [PostgreSQL: COMMENT](https://www.postgresql.org/docs/current/sql-comment.html)\n  — як опис зберігається на об'єкті бази даних, щоб `obj_description` міг\n  прочитати його назад.\n\n\u003chttps://engineer.company/uk/glossary/data-mesh/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Як data mesh передає аналітичні дані командам, які їх створюють, подає їх як продукти на спільній платформі і де ця ідея дає збій.","formats":{"gemtext":"https://engineer.company/uk/glossary/data-mesh/index.gmi","gopher":"https://engineer.company/uk/glossary/data-mesh/gophermap","html":"https://engineer.company/uk/glossary/data-mesh/","json":"https://engineer.company/uk/glossary/data-mesh/index.json","markdown":"https://engineer.company/uk/glossary/data-mesh/index.md","pdf":"https://engineer.company/uk/glossary/data-mesh/index.pdf"},"kind":"page","language":"uk","title":"Що таке data mesh?","url":"https://engineer.company/uk/glossary/data-mesh/","version":1}