# Utformade och drev 6 ETL/ELT‑pipelines

Utformade, implementerade och administrerade 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL och integrerade data för effektiv bearbetning i ett Python‑API.

2022 – 2024

Situation. Organisationen behövde konsolidera och bearbeta stora volymer tabelldata från ett fjärrbeläget datalager bakom ett IPsec‑VPN. Dessa data var avgörande för att driva interna analysdashboards och externa Python‑API:er som användes av kunder och partner.

Uppgift. Målet var att utforma, implementera och underhålla en uppsättning robusta och automatiserade ETL/ELT‑pipelines för att på ett säkert sätt hämta, transformera och läsa in data i Google BigQuery, och samtidigt säkerställa korrekta data, prestanda och skalbarhet i alla system.

Handling. 6 kompletta ETL/ELT‑pipelines utformades, implementerades och administrerades, med en rad tekniker som Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL.
* Etablerade säkra anslutningar till en fjärrserver skyddad av ett IPsec‑VPN för att automatisera datahämtningen.
* Schemalade och körde nedladdningar av komprimerade dataarkiv med Parquet-, CSV- och .bak‑filer.
* Utvecklade Bash- och Python‑skript för att extrahera och klassificera filer efter typ och schema.
* För .bak‑filerna återställdes säkerhetskopiorna till en lokal MSSQL‑instans med arbetsflöden baserade på RESTORE DATABASE, och schemaintegriteten validerades.
* Läste in tabelldata i staging‑scheman i MSSQL och PostgreSQL med verktygen bcp, psql och SSIS, beroende på källformatet.
* Skrev modulära och återanvändbara PL/pgSQL- och T‑SQL‑procedurer för att rensa, normalisera och berika data utifrån affärslogiken.
* Exporterade kurerade dataset och tabeller till mellanformat, komprimerade dem med gzip och överförde dem säkert till en bucket i Google Cloud Storage.
* Automatiserade uppladdningen och schemamappningen till Google BigQuery med bq CLI och Python‑baserade skript för datainläsning.

Resultat. Dessa automatiserade pipelines minskade avsevärt det manuella merarbetet och bearbetningstiden — från över 3 timmars manuellt arbete till under 20 minuter för hela flödet, samtidigt som datafärskheten förbättrades från veckovis till daglig synkronisering. De Python‑API:er som använde dessa data fick 30 % bättre prestanda, och den ökade insynen hjälpte affärsanalytikerna att snabbare leverera insikter till intressenterna. Lösningen är fortfarande skalbar och utbyggbar, så att nya datakällor kan anslutas i takt med att verksamheten växer.

Roll: Dataingenjör
=> /sv/categories/databases/ Kategorier: Databaser
=> /sv/categories/postgresql/ Kategorier: PostgreSQL
=> /sv/categories/sql/ Kategorier: SQL
=> /sv/categories/data-warehousing/ Kategorier: Datalager
=> /sv/categories/data-engineering/ Kategorier: Data engineering
=> /sv/categories/data-pipelines/ Kategorier: Datapipelines (ETL/ELT)
=> /sv/categories/cloud/ Kategorier: Molntjänster
=> /sv/categories/automation/ Kategorier: Automatisering och CI/CD
=> /sv/categories/networking/ Kategorier: Nätverk och VPN
=> /sv/categories/python/ Kategorier: Python
=> /sv/services/backend-development/ Tjänster: Backend- och API‑utveckling
=> /sv/services/database-design/ Tjänster: Databasdesign och datamodellering
=> /sv/services/data-pipeline-development/ Tjänster: Utveckling av datapipelines (ETL/ELT)
=> /sv/services/data-warehousing/ Tjänster: Design av datalager
=> /sv/services/ai-data/ Tjänster: Dataförberedelse för AI

=> https://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/ Den här sidan på webben
