Entwicklung von Datenpipelines (ETL/ELT)
Ihre Daten gelangen von selbst von A nach B
Zahlen kommen termingerecht dort an, wo sie gebraucht werden, ohne dass am Monatsende jemand eine Tabelle kopieren muss.
Ausgewählte Arbeiten, die diese Leistung zeigen.

Foto: fotolehrling / Pixabay 
Foto: wal_172619 / Pixabay
Die Leistung in ein Ergebnis überführen
Machen Sie „Entwicklung von Datenpipelines (ETL/ELT)“ für ein Geschäftsergebnis nutzbar. Wir können die technische Arbeit mit den Nutzern, Betriebsabläufen und Entscheidungen verbinden, die sie unterstützen soll. Zahlen kommen termingerecht dort an, wo sie gebraucht werden, ohne dass am Monatsende jemand eine Tabelle kopieren muss.
Die passenden Arbeiten prüfen
Prüfen Sie unser Vorgehen anhand der zugehörigen Arbeiten auf dieser Seite. Fragen Sie nach den Abwägungen und den Bedingungen hinter jedem Ergebnis. Ein Infrastrukturplan für 14 Abteilungen — 14 Forschungsabteilungen mit einem gemeinsamen Infrastrukturplan
-
Ein Infrastrukturplan für 14 Abteilungen
Ein umfassendes Infrastrukturrahmenwerk für ein Forschungsinstitut mit 14 Abteilungen entworfen, mit flexiblen Modulen, einheitlichen Datenpipelines und strukturierten Supportstrategien für eine langfristige Nutzung.
-
30 Tage Stromdaten in 180 ms
Varianten zur stündlichen Aggregation des Stromverbrauchs in Python, SQL und Bash + Jq entwickelt; der Python‑Benchmark verarbeitete einen 30‑Tage‑JSONL‑Datensatz in 180 ms.
-
Geografische Datenpipeline 50‑mal schneller
Eine 50‑fache Verbesserung der geografischen Datenpipeline bei der Arbeit der Gründerin für Utiligize durch Änderungen an SQL und Datenmodellen in PostgreSQL, MS SQL und Google Cloud BigQuery dokumentiert.
-
1.000 Fehler in geografischen Daten behoben
1.000 Probleme in geografischen Daten und Zeitreihendaten mit GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) und Bash behoben und eine hochwertige Big‑Data‑Verarbeitung sichergestellt.
-
6 ETL/ELT‑Pipelines entworfen und betrieben
6 ETL/ELT‑Pipelines mit Google BigQuery, MSSQL, PostgreSQL, Shell‑Skripten, PL/pgSQL und Transact‑SQL entworfen, umgesetzt und administriert sowie Daten für eine effiziente Verarbeitung durch die Python‑API integriert.
-
GIS‑SaaS‑Deployments mit GitHub automatisiert
Bereitstellung, Datenverarbeitung und Berichtswesen einer GIS‑SaaS‑Anwendung mit GitHub Actions CI/CD, Python, Bash und SQL automatisiert.
-
20 GIS‑Datenpipelines automatisiert ausgeliefert
Die Bereitstellung von 20 GIS‑Datenpipelines und ETL‑Prozessen für Anwendungsdaten automatisiert und dadurch Infrastrukturautomatisierung und Berichterstattung vereinfacht.
-
30+ GIS‑Projekte von Entwicklung bis Support
Entwicklung, Bereitstellung und Support von über 30 GIS‑Projekten geleitet und dabei Fachwissen zu PostgreSQL, Bash, Python, JavaScript, GDAL, ArcGIS, PostGIS und Mapbox eingesetzt.
-
4.000 Stunden durch GitHub-/GitLab‑CI/CD gespart
Datenanalyse und Softwareentwicklung durch CI/CD‑Praktiken mit GitHub, GitLab, Bash und Python verbessert und 4.000 Stunden eingespart.
-
Datenarbeit mit Python und PL/pgSQL automatisiert
Datenverarbeitungsaufgaben mit Shell‑Skripten, PL/pgSQL, Python und Transact‑SQL automatisiert und Produktivität sowie Effizienz gesteigert.
-
600 PL/pgSQL‑ETL/ELT‑Pipelines entwickelt
600 PL/pgSQL‑basierte ETL/ELT‑Pipelines für effizientere komplexe Datenverarbeitung in mehreren PostgreSQL‑Entwicklungs- und Produktivumgebungen entwickelt.
-
Ein Kartenprodukt durchgängig verantwortet
Infrastruktur, Datenverarbeitung und eine Kartenanwendung über 2 Jahre konzipiert, entwickelt und betreut, einschließlich Softwareauslieferung und betrieblicher Wartung.
-
Eigene Analysen in PostgreSQL entwickelt
Eigene Produktanalysen in PostgreSQL entwickelt — 47 Funktionen über partitionierten Ereignistabellen mit automatischer Bereinigung — pseudonymisiert mit wechselndem Salt und nur mit Einwilligung des Besuchers.
-
495 Seiten aus einem SQLite‑Export erzeugt
495 Leistungsseiten in drei Sprachen aus einem schreibgeschützten SQLite‑Export erzeugt und die Seitenadresse als eigene Daten festgehalten, damit eine Satzkorrektur nicht länger die Seite verschiebt und Links bricht.

