# Data mesh

## Qué es

Un data mesh es una forma de organizar los datos analíticos de una organización grande para que los equipos que gestionan cada parte del negocio también se hagan responsables de los datos que esa parte produce, los publiquen y respondan por ellos. Zhamak Dehghani, entonces consultora principal de tecnología en Thoughtworks, expuso la idea en el sitio de Martin Fowler en una serie de entregas en mayo de 2019 y la reformuló en diciembre de 2020 como cuatro principios: responsabilidad orientada a dominios sobre los datos y su arquitectura, datos como producto, infraestructura de datos de autoservicio como plataforma y gobernanza computacional federada. Consideraba que los cuatro eran necesarios y suficientes en conjunto, y esperaba que las prácticas y las herramientas cambiaran mientras los principios permanecían.

El mesh trata de datos analíticos, no de datos operativos. Dehghani establece así la distinción. Los datos operativos están en las bases de datos de los sistemas que hacen funcionar el negocio, son transaccionales y contienen el estado actual. Los datos analíticos son el historial del negocio a lo largo del tiempo, agregado y modelado, y se utilizan para elaborar informes y entrenar modelos. Deja los datos operativos donde están, dentro de cada servicio, y dirige el mesh al ámbito analítico, donde sitúa las dificultades al aumentar la escala.

**Responsabilidad por dominio.** El mesh se divide siguiendo límites que la organización ya tiene. El ejemplo recurrente de Dehghani es una empresa de medios digitales con dominios como pódcast y artistas. El equipo que gestiona los pódcast y ofrece las interfaces para publicarlos también debería proporcionar el historial de pódcast publicados y el número de personas que los escucharon a lo largo del tiempo. El límite procede del diseño guiado por el dominio, donde el contexto delimitado de cada dominio es el ámbito dentro del cual los cambios permanecen locales, por lo que también es un buen lugar para situar la responsabilidad por los datos.

**Datos como producto.** Repartir los datos entre muchos equipos dificulta encontrarlos y confiar en ellos, así que cada equipo tiene que tratar los datos que comparte como un producto y a las personas que los utilizan como clientes. El artículo de 2019 enumera lo que eso exige: un producto de datos debe poder descubrirse y localizarse mediante una dirección, ser fiable, describirse a sí mismo, ser interoperable bajo estándares globales y estar protegido por un control de acceso global. Un responsable de producto de datos del dominio responde por medidas como la calidad, cuánto esperan los consumidores para disponer de los datos y su grado de satisfacción. La responsabilidad por la calidad se desplaza hacia el origen, lo más cerca posible de la fuente. En la arquitectura, un producto de datos es la unidad más pequeña que puede desplegarse de forma independiente e incorpora tres partes: el código que transforma y sirve los datos y aplica sus políticas, los datos junto con sus metadatos y la infraestructura que lo ejecuta.

**Una plataforma de autoservicio.** Construir, ejecutar y supervisar un producto de datos requiere conocimientos especializados de infraestructura que no pueden reproducirse en todos los dominios. Por eso, un equipo de plataforma ofrece herramientas de un nivel de abstracción mayor que abarcan cuestiones como almacenamiento, esquemas de producto, flujos de procesamiento declarados y linaje, para que un desarrollador generalista de un dominio pueda construir un producto de datos sin esos conocimientos especializados.

**Gobernanza computacional federada.** Los productos tienen que seguir encajando entre sí, o nadie podrá combinarlos. Un grupo de responsables de productos de dominio y de plataforma decide qué reglas se aplican en todas partes y cuáles se dejan a cada dominio, y la plataforma aplica automáticamente las globales. El ejemplo de Dehghani son las cifras de escucha: cómo las modela el dominio de pódcast es asunto suyo, pero cómo se identifica a un oyente es una cuestión global, porque la misma persona también aparece como usuario en otros dominios.

## Por qué importa

El planteamiento de Dehghani parte de lo que falla cuando una empresa grande utiliza un lago o un almacén de datos central. Los datos de todos los dominios se llevan a una plataforma que se hace responsable de todos ellos, gestionada por un equipo de especialistas en herramientas de datos separado tanto de quienes los crean como de quienes los utilizan. Identifica tres formas de fallo. La plataforma es centralizada y monolítica, por lo que tiene dificultades cuando se multiplican las fuentes y los consumidores. Está dividida en etapas de procesamiento, como ingesta, limpieza, agregación y servicio de datos, por lo que una única cifra nueva, como la frecuencia con que se reproducen los pódcast, necesita un cambio en cada etapa y un lanzamiento coordinado entre equipos. Y su responsabilidad está compartimentada e hiperespecializada: los ingenieros que deben entender los datos saben poco de los dominios de los que proceden, mientras que los equipos que los producen no tienen incentivos para hacerlo bien.

El mesh cambia quién se encarga de la limpieza. En el modelo antiguo, los datos llegan con sus errores y un equipo central los limpia después de la ingesta. En un mesh, el conjunto de datos de un dominio solo se convierte en producto de datos después de que el propio dominio lo haya comprobado frente a las medidas de calidad acordadas y las reglas globales. Las personas que saben qué debería significar un campo son quienes responden por él.

La gobernanza también cambia de forma. El artículo de 2020 compara ambos modelos en una tabla. Un equipo central es responsable directo de la calidad, la seguridad y el cumplimiento; un equipo federado define cómo se modela la calidad y qué reglas de seguridad y normativas debe incorporar y supervisar la plataforma. Antes se medía el éxito por el número de tablas bajo gobernanza; en un mesh se mide por cuánto se consumen realmente los productos. La revisión manual que intenta prevenir errores da paso a procesos automatizados que los detectan y se recuperan de ellos.

Nada de esto se presenta como una respuesta universal. En el artículo de 2019, Dehghani reconoce que el modelo central puede funcionar en organizaciones con un dominio más sencillo y menos tipos de consumidor, y afirma que falla en empresas con dominios complejos, muchas fuentes y consumidores diversos. Que la sobrecarga de un mesh compense depende de a cuál de esos dos tipos pertenezca la organización.

## Cómo se aplica en la práctica

Un mesh real abarca muchos equipos y muchos almacenamientos. El siguiente esquema se limita a una base de datos PostgreSQL, para poder contrastar cada sentencia con el manual, y muestra los dos pasos más pequeños: un dominio que publica un producto y una plataforma que aplica una regla global.

El equipo de pedidos se hace responsable de las tablas operativas del esquema `orders`. Publica sus datos analíticos en un esquema propio, como una vista con versión, una descripción y una concesión explícita de permisos:

```sql
-- the orders team owns this schema and everything in it
CREATE SCHEMA order_data;

CREATE VIEW order_data.orders_by_day_v1 AS
SELECT order_date, currency, count(*) AS orders, sum(total) AS revenue
FROM orders.orders
WHERE status = 'paid'
GROUP BY order_date, currency;

COMMENT ON VIEW order_data.orders_by_day_v1 IS
  'Paid orders per day and currency. Owner: orders team.';

GRANT USAGE ON SCHEMA order_data TO analysts;
GRANT SELECT ON order_data.orders_by_day_v1 TO analysts;
```

El manual de PostgreSQL explica por qué esto basta para quien consume los datos: para utilizar una vista, el privilegio USAGE solo es necesario sobre el esquema que la contiene, no sobre los esquemas de los que lee. Los analistas pueden consultar el producto mientras las tablas operativas que hay detrás siguen cerradas para ellos. Evans, por su parte, enumera los esquemas de base de datos entre las formas físicas que puede adoptar el límite de un contexto delimitado.

La parte de la plataforma es una regla aplicable a todos los dominios, escrita como consulta y ejecutada en cada lanzamiento: ningún esquema de producto puede contener una vista sin descripción. `obj_description` devuelve el comentario almacenado sobre un objeto, y un `relkind` de `v` identifica una vista en `pg_class`:

```sql
-- global rule: every published view carries a description
SELECT n.nspname, c.relname
FROM pg_class AS c
JOIN pg_namespace AS n ON n.oid = c.relnamespace
WHERE c.relkind = 'v'
  AND n.nspname ~ '_data$'
  AND obj_description(c.oid, 'pg_class') IS NULL;
-- any row returned stops the release
```

Esa separación representa la parte federada en miniatura. Qué cuenta como pedido pagado es decisión del equipo de pedidos. Que cada producto se describa a sí mismo y que los esquemas de producto terminen en `_data` son convenciones globales que la plataforma comprueba sin que nadie tenga que recordarlas.

La página del servicio de [gobernanza y calidad de los datos](/es/services/data-governance/) promete que quedará claro quién responde por cada cifra y cuál es su fuente, justo lo que debe poder explicar un responsable de producto de datos. Entre los trabajos entregados enumera una capa de datos PostgreSQL basada en funciones, diseñada para que las lecturas y escrituras pasen por funciones a las que la base de datos puede conceder acceso, nunca por las propias tablas. Es el mismo criterio que hay detrás de la vista anterior: los consumidores reciben una interfaz con permisos concedidos, no las tablas que hay debajo.

El caso práctico de la cartera de trabajos [Un plan de infraestructura para 14 departamentos](/es/portfolio/one-infrastructure-plan-for-14-departments/) no se presenta como un data mesh, pero se enfrenta a la tensión con la que convive el grupo de gobernanza de un mesh. En un instituto de investigación, 14 grupos trabajaban con distintas fuentes, formatos, escalas y herramientas de datos, y sus conocimientos técnicos y recursos informáticos diferían mucho: unos pocos habían construido sus propias soluciones, mientras que muchos tenían dificultades. El plan pretendía que los investigadores pudieran concentrarse en investigar y equilibraba flexibilidad y estandarización, con una arquitectura modular, vías de entrada para fuentes de datos muy distintas, interfaces adecuadas a diferentes niveles de conocimientos, almacenamiento y procesamiento escalables, y estrategias de incorporación, soporte y gobernanza. Decidir qué conserva cada grupo para sí y qué comparte todo el mundo es el equilibrio que Dehghani asigna a la gobernanza federada, y reducir los conocimientos que necesita un grupo es lo que pide a una plataforma de autoservicio.

## Dónde surgen los problemas

**Un equipo central con otro nombre.** Llamar mesh al equipo de plataforma de datos no cambia nada si ese mismo equipo sigue recibiendo los datos originales de todos los dominios, limpiándolos y respondiendo por su calidad. La tabla de gobernanza de Dehghani ofrece una lista de comprobación útil: quién responde por la calidad, quién decide las reglas de seguridad y si el éxito sigue midiéndose en tablas bajo gobernanza. Traslade la responsabilidad por cada producto de datos al dominio que produce los datos y reserve el equipo central para la plataforma y las reglas.

**Productos por los que nadie responde.** Un dominio que exporta tablas sin un responsable, una descripción ni un compromiso de actualización solo ha trasladado el problema antiguo a su propio rincón. Dehghani pide que cada producto de datos exprese su calidad como objetivos de nivel de servicio, por ejemplo puntualidad y tasas de error, y señala que un dominio puede ofrecer dos productos sobre los mismos eventos: uno casi en tiempo real que puede omitir o repetir eventos, y otro que llega más tarde y es más preciso. Asigne un responsable a cada producto, publique sus objetivos y compruebe la calidad donde se producen los datos.

**Sin identificadores compartidos.** Si cada dominio identifica las mismas cosas a su manera, no se puede cruzar ningún par de productos. En el ejemplo de 2019, un artista aparece de forma distinta en el dominio que registra reproducciones y en el que paga a los artistas. Acuerde globalmente cómo se identifican esas entidades compartidas, que Dehghani denomina polisemas, y deje el resto de cada modelo a su dominio. Los formatos de campo, las convenciones de direcciones y los campos de metadatos comunes pertenecen a la misma lista global.

**Cada dominio reconstruye toda la infraestructura.** Sin una plataforma de autoservicio, cada dominio tiene que aprovisionar su propio almacenamiento, flujos de procesamiento y monitorización, y los conocimientos especializados que escaseaban en un equipo central pasan a necesitarse en todos. Construya la plataforma antes de pedir a los dominios que publiquen, y evalúela por lo pocos conocimientos especializados que necesita un dominio para entregar un producto.

**Cambiar un producto mientras otros lo consumen.** Un producto de datos es una interfaz y modificarla directamente rompe los informes construidos sobre ella. En PostgreSQL, `CREATE OR
REPLACE VIEW` impide parte de este error: la nueva consulta debe producir las mismas columnas, con los mismos nombres, orden y tipos de datos, y solo puede añadir columnas al final. No detecta un cambio de significado, porque el cálculo que hay detrás de una columna puede ser completamente distinto. Lleve cualquier cambio que renombre, elimine o redefina una columna a una vista nueva, `orders_by_day_v2`, junto a la antigua, y retire esta una vez que sus consumidores hayan migrado.

**Un mesh donde no hace falta.** Cuatro principios, un equipo de plataforma, un grupo de gobernanza federada y un responsable de producto en cada dominio suponen mucha estructura. Hacia el final, el artículo de Dehghani de 2019 admite que «la adopción a escala empresarial todavía tiene un largo camino por recorrer». Si unas pocas fuentes y un equipo cubren las necesidades, mantenga un almacenamiento central bien gestionado con un responsable identificado para cada tabla y tome prestadas las partes que compensan a cualquier escala: responsables, conjuntos de datos descritos y reglas que comprueba la máquina.

## Lecturas adicionales

- [Principios y arquitectura lógica del data mesh](https://martinfowler.com/articles/data-mesh-principles.html)
  — Zhamak Dehghani, 2020: los cuatro principios, las partes de un producto de datos y la tabla que compara la gobernanza central con la federada.
- [Cómo pasar de un lago de datos monolítico a un data mesh distribuido](https://martinfowler.com/articles/data-monolith-to-mesh.html)
  — el artículo original de mayo de 2019, con las tres formas de fallo de una plataforma de datos central y las cualidades que necesita un producto de datos.
- [Referencia de diseño guiado por el dominio](https://www.domainlanguage.com/wp-content/uploads/2016/05/DDD_Reference_2015-03.pdf)
  — el resumen de patrones de Eric Evans, incluido el contexto delimitado cuyos límites dividen las responsabilidades en un mesh.
- [PostgreSQL: CREATE VIEW](https://www.postgresql.org/docs/current/sql-createview.html)
  — las reglas para sustituir una vista y los privilegios que necesitan sus usuarios, tal como se utilizan en el ejemplo.
- [PostgreSQL: COMMENT](https://www.postgresql.org/docs/current/sql-comment.html)
  — cómo se almacena una descripción sobre un objeto de base de datos, que `obj_description` recupera después.

<https://engineer.company/es/glossary/data-mesh/>
