6 ETL/ELT‑Pipelines entworfen und betrieben
6 ETL/ELT‑Pipelines mit Google BigQuery, MSSQL, PostgreSQL,
Shell‑Skripten, PL/pgSQL und Transact‑SQL entworfen, umgesetzt und
administriert sowie Daten für eine effiziente Verarbeitung durch die
Python‑API integriert.
2022 – 2024

Situation. Das Unternehmen musste große Mengen tabellarischer Daten
aus einem entfernten Data Warehouse hinter einem IPsec‑VPN
zusammenführen und verarbeiten. Diese Daten waren wesentlich für
interne Analysedashboards und externe Python‑APIs für Kunden und
Partner.

Aufgabe. Belastbare, automatisierte ETL/ELT‑Pipelines sollten
entworfen, umgesetzt und gepflegt werden, um Daten sicher abzurufen,
zu transformieren und nach Google BigQuery zu laden.
Datenrichtigkeit, Performance und systemübergreifende Skalierbarkeit
mussten gewährleistet sein.

Massnahmen. 6 durchgängige ETL/ELT‑Pipelines wurden entworfen,
umgesetzt und administriert. Sie verbanden Google BigQuery, MSSQL,
PostgreSQL, Shell‑Skripte, PL/pgSQL und Transact‑SQL.

  * Sichere Verbindungen zu einem durch IPsec‑VPN geschützten
entfernten Server automatisierten den Datenabruf.

  * Downloads komprimierter Archive mit Parquet-, CSV- und
i.bak‑Dateien wurden geplant und ausgeführt.		engineer.company	70

  * Bash- und Python‑Skripte entpackten und klassifizierten Dateien
nach Typ und Schema.

  * .bak‑Sicherungen wurden mit RESTORE‑DATABASE‑Abläufen in einer
lokalen MSSQL‑Server‑Instanz wiederhergestellt; die Schemaintegrität
wurde geprüft.

  * Tabellarische Daten wurden abhängig vom Quellformat mit bcp,
psql und SSIS in Staging‑Schemata von MSSQL und PostgreSQL geladen.

  * Modulare, wiederverwendbare PL/pgSQL- und T‑SQL‑Prozeduren
bereinigten, normalisierten und ergänzten die Daten gemäß der
Geschäftslogik.

  * Aufbereitete Datensätze und Tabellen wurden in Zwischenformate
exportiert, mit gzip komprimiert und sicher in einen
Google‑Cloud‑Storage‑Bucket übertragen.

  * Upload und Schemazuordnung nach Google BigQuery wurden mit der
bq‑CLI und Python‑Skripten zur Datenübernahme automatisiert.

Ergebnis. Die automatisierten Pipelines verringerten manuellen
Aufwand und Verarbeitungszeit erheblich — von über 3 Stunden
Handarbeit auf unter 20 Minuten für den gesamten Ablauf. Zugleich
wurden die Daten statt wöchentlich nun täglich abgeglichen. Die
Performance der nutzenden Python‑APIs verbesserte sich um 30 %, und
die bessere Transparenz half Geschäftsanalysten, Stakeholder
schneller mit Erkenntnissen zu versorgen. Die Lösung bleibt
skalierbar und erweiterbar, wenn mit dem Unternehmenswachstum neue
Datenquellen hinzukommen.

Kategorien:
1Datenbanken	/de/categories/databases/	engineer.company	70
1PostgreSQL	/de/categories/postgresql/	engineer.company	70
1SQL	/de/categories/sql/	engineer.company	70
1Data Warehousing	/de/categories/data-warehousing/	engineer.company	70
1Data Engineering	/de/categories/data-engineering/	engineer.company	70
1Datenpipelines (ETL/ELT)	/de/categories/data-pipelines/	engineer.company	70
1Cloud	/de/categories/cloud/	engineer.company	70
1Automatisierung und CI/CD	/de/categories/automation/	engineer.company	70
1Netzwerke und VPN	/de/categories/networking/	engineer.company	70
1Python	/de/categories/python/	engineer.company	70

Leistungen:
1Backend- und API‑Entwicklung	/de/services/backend-development/	engineer.company	70
1Datenbankdesign und Datenmodellierung	/de/services/database-design/	engineer.company	70
1Entwicklung von Datenpipelines (ETL/ELT)	/de/services/data-pipeline-development/	engineer.company	70
1Data‑Warehouse‑Design	/de/services/data-warehousing/	engineer.company	70
1Daten für KI nutzbar machen	/de/services/ai-data/	engineer.company	70

hDiese Seite im Web	URL:https://engineer.company/de/portfolio/designed-and-ran-6-etl-elt-pipelines/	engineer.company	70
