# Data engineering

> Utvalgt arbeid fra Engineer ApS som viser Data engineering — resultatene som beviser det.

- [Designet et helhetlig infrastrukturrammeverk for et forskningsinstitutt som berørte 14 avdelinger, med fleksible moduler, samlede datapipelines og strukturerte støttestrategier for varig innføring.](https://engineer.company/nb/portfolio/designed-a-comprehensive-infrastructure-framework-for-a-research-institute-3/)
- [Utviklet en pipeline for timesaggregering av strømforbruk i Python / SQL / Bash + Jq som oppnådde 180 ms for datasett på 30 dager fra heterogene JSONL‑kilder.](https://engineer.company/nb/portfolio/engineered-hourly-electricity-consumption-aggregation-pipeline-in-python-4/)
- [Økte ytelsen i geografiske datapipelines 50 ganger ved å forbedre SQL‑programmeringen og datamodelleringen i PostgreSQL, MS SQL og Google Cloud BigQuery.](https://engineer.company/nb/portfolio/accelerated-geographical-data-pipeline-performance-by-50x-by-5/)
- [Forbedret ytelsen i en geografisk kartapplikasjon 10 ganger gjennom et strategisk databaseskifte fra MSSQL til PostgreSQL, inkludert omleggingen av dataene, og optimaliserte samtidig behandlingen og datasikkerheten.](https://engineer.company/nb/portfolio/improved-geographical-map-application-performance-by-10x-through-6/)
- [Løste 1 000 problemer i geografiske data og tidsseriedata med GDAL, ArcGIS, PostGIS, Mapbox, QGIS, SQL (PL/pgSQL, Transact‑SQL) og Bash, og sikret behandling av stordata med høy kvalitet.](https://engineer.company/nb/portfolio/resolved-1-000-issues-in-geographical-data-and-7/)
- [Designet, implementerte og administrerte 6 ETL/ELT‑pipelines med Google BigQuery, MSSQL, PostgreSQL, Shell‑skripting, PL/pgSQL og Transact‑SQL, og integrerte data for effektiv behandling i et Python‑API.](https://engineer.company/nb/portfolio/designed-implemented-and-administered-6-etl-elt-pipelines-8/)
- [Leverte 8 Power BI‑prosjekter med grundige brukerveiledninger, og integrerte Microsoft Power BI‑verktøy med et NodeJS‑API og Python FastAPI for effektiv dataanalyse og visualisering.](https://engineer.company/nb/portfolio/delivered-8-power-bi-projects-with-comprehensive-manuals-10/)
- [Utformet, opprettet og administrerte 100 databaser for datavarehus i PostgreSQL, MS SQL og Google BigQuery, hovedsakelig med GIS- og tidsseriedata, og optimaliserte ytelse og skalerbarhet.](https://engineer.company/nb/portfolio/architected-created-and-managed-100-postgresql-ms-sql-12/)
- [Økte PostgreSQL‑ytelsen 10 ganger gjennom strategisk indeksering, partisjonering og spørringsoptimalisering, og gjorde databasen mer effektiv for bruker- og tenantdata, geodata og elektriske tidsseriedata.](https://engineer.company/nb/portfolio/accelerated-postgresql-performance-by-10x-via-strategic-indexing-15/)
- [Automatiserte produksjonssettingen, databehandlingen og rapporteringssystemet for en GIS SaaS‑applikasjon med GitHub Actions CI/CD, Python, Bash og SQL.](https://engineer.company/nb/portfolio/automated-gis-saas-application-deployment-data-processing-and-16/)
- [Automatiserte leveransen av 20 GIS‑datapipelines og ETL‑prosesser for applikasjonsdata, og effektiviserte infrastrukturautomatisering og rapportering.](https://engineer.company/nb/portfolio/automated-delivery-of-20-gis-data-pipelines-and-17/)
- [Optimaliserte prognose- og investeringsstrategier for 11 nettselskaper og økte driftseffektiviteten gjennom datadrevne GIS‑løsninger.](https://engineer.company/nb/portfolio/optimized-forecasting-and-investment-strategies-for-11-electricity-27/)
- [Ledet utvikling, produksjonssetting og støtte for over 30 GIS‑prosjekter, med ekspertise i teknologiene PostgreSQL, Bash, Python, JavaScript, GDAL, ArcGIS, PostGIS og Mapbox.](https://engineer.company/nb/portfolio/led-the-development-deployment-and-support-of-over-35/)
- [Effektiviserte prosessene for dataanalyse og programvareutvikling og sparte 4 000 timer ved å innføre CI/CD‑praksis med GitHub, GitLab, Bash og Python.](https://engineer.company/nb/portfolio/streamlined-data-analysis-and-software-development-processes-saving-43/)
- [Utviklet et rapporteringssystem for dataanalyse og økte kvartalsinntektene fra programvaren med 400 % gjennom Python‑baserte PDF‑rapporter.](https://engineer.company/nb/portfolio/developed-a-data-analytics-reporting-system-increasing-quarterly-44/)
- [Automatiserte databehandlingsoppgaver med Shell‑skripting, PL/pgSQL, Python og Transact‑SQL, og økte produktiviteten og effektiviteten.](https://engineer.company/nb/portfolio/automated-data-processing-tasks-using-shell-scripting-pl-45/)
- [Utviklet 600 PL/pgSQL‑baserte ETL/ELT‑pipelines for å effektivisere komplekse arbeidsflyter for databehandling på tvers av flere utviklings- og produksjonsmiljøer i PostgreSQL.](https://engineer.company/nb/portfolio/engineered-600-pl-pgsql-based-etl-elt-pipelines-54/)
- [Utformet, utviklet, implementerte og støttet infrastruktur, databehandling og kartapplikasjonen i 2 år uten stopp, uten helger, helligdager eller ferier, 10–14 timer om dagen.](https://engineer.company/nb/portfolio/architected-developed-implemented-supported-infrastructure-data-processing-and-55/)
- [Tok i bruk tidsordnede UUID v7‑identifikatorer (PostgreSQL 18) som entitetsnøkler for å redusere fragmenteringen i B‑tre‑indekser og gjøre spørringene raskere.](https://engineer.company/nb/portfolio/adopted-uuid-v7-time-ordered-identifiers-postgresql-18-64/)
- [Modellerte det maritime domenet i 348 normaliserte tabeller fordelt på 34 PostgreSQL‑skjemaer — fagfolk, selskaper, skip, stillinger, omtaler og resten — med SMALLINT‑oppslag og UUID v7‑nøkler.](https://engineer.company/nb/portfolio/modeled-the-maritime-domain-professionals-companies-ships-jobs-67/)
- [Bygde egen produktanalyse i PostgreSQL — 47 funksjoner over partisjonerte hendelsestabeller som rydder seg selv — pseudonymisert bak et roterende salt og betinget av den besøkendes samtykke.](https://engineer.company/nb/portfolio/built-first-party-product-analytics-in-postgresql-101/)

<https://engineer.company/nb/categories/data-engineering/>
