{"canonical_url":"https://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/","content_markdown":"# Utformade och drev 6 ETL/ELT‑pipelines\n\nUtformade, implementerade och administrerade 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL och integrerade data för effektiv bearbetning i ett Python‑API.\n\n2022 – 2024\n\n**Situation.** Organisationen behövde konsolidera och bearbeta stora volymer tabelldata från ett fjärrbeläget datalager bakom ett IPsec‑VPN. Dessa data var avgörande för att driva interna analysdashboards och externa Python‑API:er som användes av kunder och partner.\n\n**Uppgift.** Målet var att utforma, implementera och underhålla en uppsättning robusta och automatiserade ETL/ELT‑pipelines för att på ett säkert sätt hämta, transformera och läsa in data i Google BigQuery, och samtidigt säkerställa korrekta data, prestanda och skalbarhet i alla system.\n\n**Handling.** 6 kompletta ETL/ELT‑pipelines utformades, implementerades och administrerades, med en rad tekniker som Google BigQuery, MSSQL, PostgreSQL, Shell‑skript, PL/pgSQL och Transact‑SQL.\n\n- Etablerade säkra anslutningar till en fjärrserver skyddad av ett IPsec‑VPN för att automatisera datahämtningen.\n- Schemalade och körde nedladdningar av komprimerade dataarkiv med Parquet-, CSV- och .bak‑filer.\n- Utvecklade Bash- och Python‑skript för att extrahera och klassificera filer efter typ och schema.\n- För .bak‑filerna återställdes säkerhetskopiorna till en lokal MSSQL‑instans med arbetsflöden baserade på RESTORE DATABASE, och schemaintegriteten validerades.\n- Läste in tabelldata i staging‑scheman i MSSQL och PostgreSQL med verktygen bcp, psql och SSIS, beroende på källformatet.\n- Skrev modulära och återanvändbara PL/pgSQL- och T‑SQL‑procedurer för att rensa, normalisera och berika data utifrån affärslogiken.\n- Exporterade kurerade dataset och tabeller till mellanformat, komprimerade dem med gzip och överförde dem säkert till en bucket i Google Cloud Storage.\n- Automatiserade uppladdningen och schemamappningen till Google BigQuery med bq CLI och Python‑baserade skript för datainläsning.\n\n**Resultat.** Dessa automatiserade pipelines minskade avsevärt det manuella merarbetet och bearbetningstiden — från över 3 timmars manuellt arbete till under 20 minuter för hela flödet, samtidigt som datafärskheten förbättrades från veckovis till daglig synkronisering. De Python‑API:er som använde dessa data fick 30 % bättre prestanda, och den ökade insynen hjälpte affärsanalytikerna att snabbare leverera insikter till intressenterna. Lösningen är fortfarande skalbar och utbyggbar, så att nya datakällor kan anslutas i takt med att verksamheten växer.\n\n---\n\n- Roll: Dataingenjör\n- Kategorier: [Databaser](https://engineer.company/sv/categories/databases/), [PostgreSQL](https://engineer.company/sv/categories/postgresql/), [SQL](https://engineer.company/sv/categories/sql/), [Datalager](https://engineer.company/sv/categories/data-warehousing/), [Data engineering](https://engineer.company/sv/categories/data-engineering/), [Datapipelines (ETL/ELT)](https://engineer.company/sv/categories/data-pipelines/), [Molntjänster](https://engineer.company/sv/categories/cloud/), [Automatisering och CI/CD](https://engineer.company/sv/categories/automation/), [Nätverk och VPN](https://engineer.company/sv/categories/networking/), [Python](https://engineer.company/sv/categories/python/)\n- Tjänster: [Backend- och API‑utveckling](https://engineer.company/sv/services/backend-development/), [Databasdesign och datamodellering](https://engineer.company/sv/services/database-design/), [Utveckling av datapipelines (ETL/ELT)](https://engineer.company/sv/services/data-pipeline-development/), [Design av datalager](https://engineer.company/sv/services/data-warehousing/), [Dataförberedelse för AI](https://engineer.company/sv/services/ai-data/)\n\n\u003chttps://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Utformade och drev 6 ETL/ELT-pipelines (BigQuery, MSSQL, PostgreSQL) och kortade ett manuellt jobb på 3 timmar till under 20 minuter med daglig synk.","formats":{"gemtext":"https://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/index.gmi","gopher":"https://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/gophermap","html":"https://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/","json":"https://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/index.json","markdown":"https://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/index.md","pdf":"https://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/index.pdf"},"kind":"page","language":"sv","title":"Utformade och drev 6 ETL/ELT-pipelines","url":"https://engineer.company/sv/portfolio/designed-and-ran-6-etl-elt-pipelines/","version":1}