{"canonical_url":"https://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/","content_markdown":"# Diseño y operación de 6 flujos ETL/ELT\n\nDiseñé, implementé y administré 6 flujos ETL/ELT con Google BigQuery, MSSQL, PostgreSQL, scripts de Shell, PL/pgSQL y Transact‑SQL, integrando los datos para su procesamiento eficiente mediante una API en Python.\n\n2022 – 2024\n\n**Situación.** La organización necesitaba consolidar y procesar grandes volúmenes de datos tabulares procedentes de un almacén remoto situado detrás de una VPN IPsec. Estos datos eran esenciales para los paneles analíticos internos y las API Python externas utilizadas por clientes y socios.\n\n**Tarea.** El objetivo consistía en diseñar, implementar y mantener flujos ETL/ELT sólidos y automatizados para recuperar, transformar y cargar datos en Google BigQuery de forma segura, manteniendo precisión, rendimiento y escalabilidad entre sistemas.\n\n**Acción.** Se diseñaron, implementaron y administraron 6 flujos ETL/ELT completos con Google BigQuery, MSSQL, PostgreSQL, scripts de Shell, PL/pgSQL y Transact‑SQL.\n\n- Se establecieron conexiones seguras con un servidor remoto protegido por una VPN IPsec para automatizar la recuperación de datos.\n- Se programaron y ejecutaron descargas de archivos comprimidos con datos Parquet, CSV y .bak.\n- Se desarrollaron scripts Bash y Python para extraer y clasificar los archivos según su tipo y esquema.\n- Las copias .bak se restauraron en una instancia local MSSQL Server mediante procesos RESTORE DATABASE y se validó la integridad del esquema.\n- Se cargaron datos tabulares en esquemas intermedios de MSSQL y PostgreSQL con bcp, psql y SSIS, según el formato de origen.\n- Se escribieron procedimientos modulares y reutilizables PL/pgSQL y T‑SQL para limpiar, normalizar y enriquecer los datos conforme a la lógica de negocio.\n- Se exportaron las tablas y conjuntos depurados a formatos intermedios, se comprimieron con gzip y se transfirieron de forma segura a un bucket Google Cloud Storage.\n- Se automatizaron la carga y la correspondencia de esquemas en Google BigQuery mediante bq CLI y scripts de ingesta Python.\n\n**Resultado.** Los flujos automatizados redujeron considerablemente el esfuerzo manual y el tiempo de procesamiento: de más de 3 horas de trabajo manual a menos de 20 minutos de principio a fin, mejorando además la actualidad de los datos al pasar de sincronizaciones semanales a diarias. Las API Python que consumían los datos mejoraron su rendimiento un 30 % y la mayor visibilidad permitió a los analistas de negocio proporcionar información con más rapidez a las partes interesadas. La solución sigue siendo escalable y ampliable para incorporar nuevas fuentes a medida que crece el negocio.\n\n---\n\n- Función: Ingeniera de datos\n- Categorías: [Bases de datos](https://engineer.company/es/categories/databases/), [PostgreSQL](https://engineer.company/es/categories/postgresql/), [SQL](https://engineer.company/es/categories/sql/), [Almacenes de datos](https://engineer.company/es/categories/data-warehousing/), [Ingeniería de datos](https://engineer.company/es/categories/data-engineering/), [Flujos de datos (ETL/ELT)](https://engineer.company/es/categories/data-pipelines/), [Nube](https://engineer.company/es/categories/cloud/), [Automatización y CI/CD](https://engineer.company/es/categories/automation/), [Redes y VPN](https://engineer.company/es/categories/networking/), [Python](https://engineer.company/es/categories/python/)\n- Servicios: [Desarrollo de backend y API](https://engineer.company/es/services/backend-development/), [Diseño y modelado de bases de datos](https://engineer.company/es/services/database-design/), [Desarrollo de flujos de datos (ETL/ELT)](https://engineer.company/es/services/data-pipeline-development/), [Diseño de almacenes de datos](https://engineer.company/es/services/data-warehousing/), [Preparación de datos para IA](https://engineer.company/es/services/ai-data/)\n\n\u003chttps://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/\u003e\n","date_modified":"2026-11-08T02:20:12Z","description":"6 flujos ETL/ELT en BigQuery, MSSQL y PostgreSQL: una tarea manual de 3 horas pasa a menos de 20 minutos con sincronización diaria.","formats":{"gemtext":"https://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/index.gmi","gopher":"https://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/gophermap","html":"https://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/","json":"https://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/index.json","markdown":"https://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/index.md","pdf":"https://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/index.pdf"},"kind":"page","language":"es","title":"Diseño y operación de 6 flujos ETL/ELT","url":"https://engineer.company/es/portfolio/designed-and-ran-6-etl-elt-pipelines/","version":1}