Datenpipelines (ETL/ELT)
13 Leistungen
Diese Arbeit gehört zu unserem Angebot im Bereich Entwicklung von Datenpipelines (ETL/ELT), GIS- und Geodatenlösungen, DevOps- und CI/CD‑Automatisierung, Daten für KI nutzbar machen, Data Governance und Datenqualität, Datenbank‑Performanceoptimierung, Datenanalyse und BI‑Dashboards und Data‑Warehouse‑Design.

Foto: Lsspng / Pixabay 
Foto: spalla67 / Pixabay
Die Teile Ihres Systems verbinden
Die unter „Datenpipelines (ETL/ELT)“ gesammelten Arbeiten zeigen einen Teil eines funktionierenden Systems. Wir können helfen, diesen Teil mit dem Rest Ihres Betriebs zu verbinden. Zahlen kommen termingerecht dort an, wo sie gebraucht werden, ohne dass am Monatsende jemand eine Tabelle kopieren muss.
Eine vergleichbare Herausforderung finden
Folgen Sie einem Beispiel, das Ihrer Situation ähnelt. Die Rückschau beschreibt die Entscheidungen hinter dem Ergebnis und geht über die bloße Technologiebezeichnung hinaus. Ein Infrastrukturplan für 14 Abteilungen — 14 Forschungsabteilungen mit einem gemeinsamen Infrastrukturplan
-
Ein Infrastrukturplan für 14 Abteilungen
Ein umfassendes Infrastrukturrahmenwerk für ein Forschungsinstitut mit 14 Abteilungen entworfen, mit flexiblen Modulen, einheitlichen Datenpipelines und strukturierten Supportstrategien für eine langfristige Nutzung.
-
30 Tage Stromdaten in 180 ms
Varianten zur stündlichen Aggregation des Stromverbrauchs in Python, SQL und Bash + Jq entwickelt; der Python‑Benchmark verarbeitete einen 30‑Tage‑JSONL‑Datensatz in 180 ms.
-
Geografische Datenpipeline 50‑mal schneller
Eine 50‑fache Verbesserung der geografischen Datenpipeline bei der Arbeit der Gründerin für Utiligize durch Änderungen an SQL und Datenmodellen in PostgreSQL, MS SQL und Google Cloud BigQuery dokumentiert.
-
GIS‑Karte mit PostgreSQL 10‑mal schneller
Die Performance einer geografischen Kartenanwendung durch einen gezielten Datenbankwechsel von MSSQL zu PostgreSQL einschließlich Datenumschaltung um das 10‑Fache verbessert und dabei Verarbeitung und Datensicherheit optimiert.
-
1.000 Fehler in geografischen Daten behoben
1.000 Probleme in geografischen Daten und Zeitreihendaten mit GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) und Bash behoben und eine hochwertige Big‑Data‑Verarbeitung sichergestellt.
-
6 ETL/ELT‑Pipelines entworfen und betrieben
6 ETL/ELT‑Pipelines mit Google BigQuery, MSSQL, PostgreSQL, Shell‑Skripten, PL/pgSQL und Transact‑SQL entworfen, umgesetzt und administriert sowie Daten für eine effiziente Verarbeitung durch die Python‑API integriert.
-
GIS‑SaaS‑Deployments mit GitHub automatisiert
Bereitstellung, Datenverarbeitung und Berichtswesen einer GIS‑SaaS‑Anwendung mit GitHub Actions CI/CD, Python, Bash und SQL automatisiert.
-
20 GIS‑Datenpipelines automatisiert ausgeliefert
Die Bereitstellung von 20 GIS‑Datenpipelines und ETL‑Prozessen für Anwendungsdaten automatisiert und dadurch Infrastrukturautomatisierung und Berichterstattung vereinfacht.
-
4.000 Stunden durch GitHub-/GitLab‑CI/CD gespart
Datenanalyse und Softwareentwicklung durch CI/CD‑Praktiken mit GitHub, GitLab, Bash und Python verbessert und 4.000 Stunden eingespart.
-
Datenarbeit mit Python und PL/pgSQL automatisiert
Datenverarbeitungsaufgaben mit Shell‑Skripten, PL/pgSQL, Python und Transact‑SQL automatisiert und Produktivität sowie Effizienz gesteigert.
-
600 PL/pgSQL‑ETL/ELT‑Pipelines entwickelt
600 PL/pgSQL‑basierte ETL/ELT‑Pipelines für effizientere komplexe Datenverarbeitung in mehreren PostgreSQL‑Entwicklungs- und Produktivumgebungen entwickelt.
-
Ein Kartenprodukt durchgängig verantwortet
Infrastruktur, Datenverarbeitung und eine Kartenanwendung über 2 Jahre konzipiert, entwickelt und betreut, einschließlich Softwareauslieferung und betrieblicher Wartung.
-
495 Seiten aus einem SQLite‑Export erzeugt
495 Leistungsseiten in drei Sprachen aus einem schreibgeschützten SQLite‑Export erzeugt und die Seitenadresse als eigene Daten festgehalten, damit eine Satzkorrektur nicht länger die Seite verschiebt und Links bricht.
Sie entwickeln etwas, das dies benötigt? Kontakt aufnehmen.

