Saltar al contenido

Diseño y operación de 6 flujos ETL/ELT

Diseñé, implementé y administré 6 flujos ETL/ELT con Google BigQuery, MSSQL, PostgreSQL, scripts de Shell, PL/pgSQL y Transact‑SQL, integrando los datos para su procesamiento eficiente mediante una API en Python.

6 flujos ETL en tres motores de bases de datos

Situación. La organización necesitaba consolidar y procesar grandes volúmenes de datos tabulares procedentes de un almacén remoto situado detrás de una VPN IPsec. Estos datos eran esenciales para los paneles analíticos internos y las API Python externas utilizadas por clientes y socios.

Tarea. El objetivo consistía en diseñar, implementar y mantener flujos ETL/ELT sólidos y automatizados para recuperar, transformar y cargar datos en Google BigQuery de forma segura, manteniendo precisión, rendimiento y escalabilidad entre sistemas.

Acción. Se diseñaron, implementaron y administraron 6 flujos ETL/ELT completos con Google BigQuery, MSSQL, PostgreSQL, scripts de Shell, PL/pgSQL y Transact‑SQL.

  • Se establecieron conexiones seguras con un servidor remoto protegido por una VPN IPsec para automatizar la recuperación de datos.
  • Se programaron y ejecutaron descargas de archivos comprimidos con datos Parquet, CSV y .bak.
  • Se desarrollaron scripts Bash y Python para extraer y clasificar los archivos según su tipo y esquema.
  • Las copias .bak se restauraron en una instancia local MSSQL Server mediante procesos RESTORE DATABASE y se validó la integridad del esquema.
  • Se cargaron datos tabulares en esquemas intermedios de MSSQL y PostgreSQL con bcp, psql y SSIS, según el formato de origen.
  • Se escribieron procedimientos modulares y reutilizables PL/pgSQL y T‑SQL para limpiar, normalizar y enriquecer los datos conforme a la lógica de negocio.
  • Se exportaron las tablas y conjuntos depurados a formatos intermedios, se comprimieron con gzip y se transfirieron de forma segura a un bucket Google Cloud Storage.
  • Se automatizaron la carga y la correspondencia de esquemas en Google BigQuery mediante bq CLI y scripts de ingesta Python.

Resultado. Los flujos automatizados redujeron considerablemente el esfuerzo manual y el tiempo de procesamiento: de más de 3 horas de trabajo manual a menos de 20 minutos de principio a fin, mejorando además la actualidad de los datos al pasar de sincronizaciones semanales a diarias. Las API Python que consumían los datos mejoraron su rendimiento un 30 % y la mayor visibilidad permitió a los analistas de negocio proporcionar información con más rapidez a las partes interesadas. La solución sigue siendo escalable y ampliable para incorporar nuevas fuentes a medida que crece el negocio.

  • Refinería, petróleo e industria
    Foto: SatyaPrem / Pixabay
  • Acueducto de Kamares, arquitectura
    Foto: dimitrisvetsikas1969 / Pixabay

Aplique esta experiencia a su proyecto

Utilice «Diseño y operación de 6 flujos ETL/ELT» como punto de partida para un reto similar en su organización. Los servicios que respaldan este trabajo están disponibles para su proyecto. La parte que el usuario no ve: dónde se guardan los datos, qué reglas se aplican y cómo pueden comunicarse otros sistemas con ella.

Explore nuestros servicios Póngase en contacto

Mire más allá del resultado

Lea la situación, las decisiones y el resultado de este ejemplo. Podemos hablar de qué partes se adaptan a sus restricciones y cuáles necesitan otro enfoque. Diseño y operación de 6 flujos ETL/ELT — 6 flujos ETL en tres motores de bases de datos

Explore nuestros servicios Póngase en contacto

Una parte de una trayectoria más amplia — y toda ella está en este sitio.

Cada entrada sigue la misma estructura: la situación, la tarea, lo que hicimos y lo que cambió.

Vea la trayectoria completa

Defina la mejora que necesita

Describa el flujo de trabajo, las interfaces existentes y los usuarios que necesitan el cambio. Podemos definir una entrega comprobable y un traspaso que permita a su equipo mantener lo entregado.

Vea cuánto cuesta Póngase en contacto

¿Necesita reunir datos de muchas fuentes?

Pregunte por las decisiones detrás de «Diseño y operación de 6 flujos ETL/ELT». Hablará con las personas que pueden explicar el trabajo y valorar su propio proyecto.

Explore nuestros servicios
welcome@engineer.company +45 50 10 61 84 Copenhague, Dinamarca
Código QR de Diseñé, implementé y administré 6 flujos ETL/ELT con Google BigQuery, MSSQL, PostgreSQL, scripts de Shell, PL/pgSQL y Transact‑SQL, integrando los datos para su procesamiento eficiente mediante una API en Python.
Llévese esta páginahttps://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/