{"canonical_url":"https://engineer.company/nb/glossary/pipeline/","content_markdown":"# Pipeline\n\n## Hva det er\n\nEn pipeline, fullt ut en datapipeline, er et sett jobber som kjører i en fast\nrekkefølge, der hver tar imot det jobben før den produserte, slik at rådata fra\nsystemene som skaper dem, ender opp renset, satt sammen og lagret der rapporter,\ndashbord eller andre programmer kan lese dem. På norsk brukes det engelske ordet, med\nflertall pipelines eller pipeliner. Navnet kommer fra Unix-skallet, der `|` sender\nutdataene fra én kommando inn i den neste. De fleste pipelines kjører uten tilsyn, etter\nen tidsplan eller hver gang en ny fil kommer inn.\n\nFå pipelines er en rett linje. En jobb som laster inn dagens salg, kan trenge både\nvalutakursene og kundelisten først, mens de to kan kjøre side om side. Jobbene og pilene\n«må bli ferdig først» mellom dem danner en rettet asyklisk graf: hver pil peker én vei,\nog ingen jobb kan ende opp med å vente på seg selv. Apache Airflow, en plattform med\nåpen kildekode for å planlegge og overvåke slike arbeidsflyter, kaller hver graf en Dag,\nskrevet slik og ikke DAG, fordi betydningen i Airflow har vokst ut over den rene\nmatematiske strukturen.\n\nEn batchpipeline våkner etter en tidsplan eller ved en hendelse, behandler et avgrenset\nutsnitt av data, f.eks. én dags måleravlesninger, og stopper. En strømmepipeline kjører\nhele tiden og sender hver hendelse videre etter hvert som den kommer. Airflow beskriver\nseg selv som en plattform for å orkestrere batcharbeidsflyter, best egnet til arbeid med\nen klar start og slutt som kjører etter en tidsplan.\n\nDen enkleste pipelinen er en linje i crontab som starter et skript klokken to om natten.\nDet holder helt til flere skript må kjøre i rekkefølge, ett av dem knekker, og noen må\nfinne ut hvilke som kjørte og hva som må startes på nytt. En orkestrator tar over den\nbokføringen: den holder grafen, starter hver jobb når jobbene oppstrøms for den har\nlyktes, prøver på nytt de som knekker, fører en logg per jobb og per kjøring og\nregistrerer hvilke perioder med data hver kjøring dekket. I Airflow dekker hver\nplanlagte kjøring et dataintervall (data interval). En daglig kjøring for 1. januar\nstarter like etter midnatt den 2., når døgnet er over, og jobbene i den kan lese grenser\nsom `data_interval_start` for å vite nøyaktig hvilket utsnitt av data som er deres.\n\n## Hvorfor det er viktig\n\nEn pipeline gjør en prosedyre om til kode. Rekkefølgen på jobbene, kontrollene mellom\ndem, hva som skjer når én knekker, og hvor ofte alt kjører, flytter ut av hukommelsen\ntil én person og inn i filer som kan gjennomgås, versjoneres og testes som all annen\nprogramvare. Airflow definerer arbeidsflytene sine helt i Python, en tilnærming\nprosjektet kaller workflows as code, arbeidsflyter som kode, og nevner versjonskontroll\nog testing blant fordelene.\n\nEn feil får også en adresse. Når hele prosessen er ett langt skript, betyr et krasj\netter førti minutter å begynne på nytt fra minutt null. Delt opp i jobber med registrert\ntilstand viser en knekt kjøring hvilken jobb som stoppet og hvorfor, og bare den jobben\nog de etter den må kjøres igjen. Airflow lar en operatør kjøre bare de mislykkede\noppgavene (tasks) på nytt, eller etterfylle (backfill) kjøringer for en tidligere\nperiode, og det er slik en rettelse gjort på onsdag når mandagens data.\n\nGjentakelse blir trygg først når hver jobb er skrevet for det. Veiledningen for beste\npraksis i Airflow ber om at hver oppgave oppfører seg som en databasetransaksjon som\naldri etterlater delvise resultater, og at den gir det samme utfallet ved hver ny\nkjøring; en jobb med den egenskapen kalles idempotent. En jobb bygd slik kan prøves på\nnytt av planleggeren klokken tre om natten, kjøres igjen etter en rettelse eller spilles\nav på nytt for forrige måned, uten at noen må inspisere målet først.\n\nPrisen er programvare å eie. En orkestrator er én tjeneste til, med egen database, egne\noppgraderinger og egne tilganger, og hver pipeline i den er kode som trenger gjennomgang\nog tester. For to skript på én tidsplan kan cron og en loggfil være det ærlige svaret.\nArgumentet for en orkestrator vokser med antallet jobber som er avhengige av hverandre,\nantallet folk som må se hva som kjørte, og hva det koster når en morgenrapport bygger på\nen innlasting som stoppet halvveis.\n\n## Slik ser det ut i praksis\n\nTre prosjekter viser pipelines fra hver sin side: å kjøre mange av dem likt, å bygge én\nsom tåler å kjøres igjen, og å gjøre én rask.\n\nPå én plattform ble\n[tjue GIS-datapipelines og ETL-en for applikasjonsdata](/nb/portfolio/automated-delivery-of-20-gis-data-pipelines/)\nlevert og fulgt opp for hånd, med en konstant risiko for at én av dem stoppet i det\nstille og etterlot dataene lenger ned i kjeden feil før noen merket det. Alle ble lagt\nunder automatisert leveranse, med planlegging, logging og feilhåndtering standardisert\nslik at alle pipelines oppførte seg likt og en som knakk, ble synlig, og de ble\ninnlemmet i den eksisterende infrastrukturautomatiseringen og rapporteringen. Etterpå\nkjørte alle tjue automatisk og forutsigbart, med oppdaterte data og uten at noen måtte\nlose dem gjennom for hånd.\n\nEn pipeline kan også bygge noe helt med én kommando. På et dokumentert stadium i\nutviklingen hentet en\n[databasedrevet generator for CV og portefølje](/nb/portfolio/built-a-database-driven-cv-generator/)\nhvert dokument fra én SQLite-database med 23 tabeller, som ble satt sammen av en\npipeline i 19 trinn som gikk fra en tom fil til en komplett database. Trinnene\nhadde en fast rekkefølge, og hvert av dem var skrevet slik at det var trygt å gjenta, så\npipelinen kunne kjøres mot en eksisterende database uten å duplisere en rad.\nFørtien Python-moduler, 10 580 linjer i alt, gjengav så seks utdataformater fra\nden ene kilden, med bare to avhengigheter under kjøring. Disse tallene beskriver\nimplementasjonen på det dokumenterte stadiet.\n\nInne i én enkelt jobb betyr fart like mye som rekkefølge. En\n[pipeline for timesaggregering av strømforbruk](/nb/portfolio/a-month-of-meter-readings-in-180-milliseconds/)\ntar JSONL-data som rapporteres hver time, hvert 15. minutt eller på uregelmessige\ntidspunkter, justerer dem til strenge timesintervaller, summerer produksjonsmiksen,\nlegger til import og trekker fra eksport, og lager én rad per time per sone. Den ble\nbygd på tre måter, i Python, i JQ og i SQL på PostgreSQL, og hver versjon ble\nbenchmarket på én dag og tretti dager med data. Python-versjonen var raskest, med 34 ms\nfor én dag og 180 ms for tretti, og koden ble skrevet slik at den kunne utvides til\nflere soner eller integreres i en ETL-pipeline.\n\n## Hvor det går galt\n\n**En ny kjøring gir et annet svar.** En daglig jobb legger til summene sine med\n`INSERT`, knekker halvveis, og planleggeren prøver igjen, så radene som ble skrevet før\nbruddet, ligger der nå to ganger. En jobb som velger alt siden nåtiden minus ett døgn,\nleser et annet utsnitt ved det nye forsøket enn ved det første, og en jobb som leser den\nnyeste versjonen av en inndatakilde, får med seg det som endret seg i mellomtiden.\nVeiledningen for beste praksis i Airflow nevner alle tre: erstatt `INSERT` med en\nupsert, les og skriv en bestemt partisjon med kjøringens `data_interval_start` som\nnøkkel, og hold `now()` unna alle kritiske beregninger. En enkel løsning for en sammendragstabell per time i PostgreSQL er å erstatte hele intervallet innenfor én transaksjon.\n\n```sql\nBEGIN;\nDELETE FROM hourly_load\nWHERE hour_start \u003e= :'start' AND hour_start \u003c :'end';\nINSERT INTO hourly_load (zone, hour_start, mwh)\nSELECT zone, date_trunc('hour', read_at), sum(mwh)\nFROM reading\nWHERE read_at \u003e= :'start' AND read_at \u003c :'end'\nGROUP BY zone, date_trunc('hour', read_at);\nCOMMIT;\n```\n\nKjørt som `psql -v ON_ERROR_STOP=1 -v start=... -v end=... -f hourly_load.sql`, med\nstart og slutt på kjøringens dataintervall sendt inn av orkestratoren, sletter jobben og\nskriver på nytt nøyaktig radene i det intervallet, så en ny kjøring etterlater tabellen\nslik den første gjorde. Formen `:'start'` er psqls egen syntaks for å sette inn en\nvariabel sitert som en SQL-literal.\n\n**En jobb blir grønn, og dataene er feil.** En orkestrator ser om prosessen til en jobb\navsluttet rent, og det er alt den ser. Verktøyet psql er et tydelig eksempel: som\nstandard fortsetter det etter en feil i et skript og returnerer 0 til skallet, så et\ntrinn som kjører `psql -f`, melder suksess selv når en setning inne i det knakk. Med\n`ON_ERROR_STOP` satt stopper psql ved første feil og avslutter med kode 3, så trinnet\nfeiler der det skal. En ren avslutning beviser likevel bare at programmet kjørte, og\nderfor foreslår Airflow-veiledningen egenkontroller: en oppgave nedstrøms som bekrefter\nat partisjonen ble skrevet og at dataene ser riktige ut, før noe leser dem. For en\nkjøring som henger i stedet for å knekke, utløser Deadline Alerts, lagt til i Airflow\n3.1 for å erstatte SLA-funksjonen som ble fjernet i 3.0, et tilbakekall (callback),\nf.eks. en e-post, når en kjøring passerer en tidsgrense.\n\n**En pipeline som slås på igjen, starter en flom av kjøringer.** Med `catchup=True`\noppretter planleggeren en kjøring for hvert dataintervall den hoppet over siden\nstartdatoen, og Airflow-dokumentasjonen legger til at catchup også utløses når en Dag\nslås av en stund og så aktiveres igjen. En daglig pipeline som har stått på pause i en\nmåned, kan komme tilbake med tretti kjøringer som venter på å treffe den samme kilden.\nStandardverdien, `catchup_by_default=False`, får planleggeren til å opprette en kjøring\nbare for det siste intervallet, og dokumentasjonen sier at en Dag der jobbene leser\nnåtiden i stedet for intervallet sitt, bør ha catchup slått av. Historikk fylles heller\nut med vilje med `airflow backfill create`, som tar et datointervall og en grense for\nparallelle kjøringer gjennom `--max-active-runs`.\n\n**Tung kode øverst i en Dag-fil gjør planleggeren treg.** Airflow parser hver Dag-fil\nigjen og igjen, med minst `min_file_process_interval` sekunder mellom hver gang, så kode\npå toppnivået i filen, utenfor alle oppgaver, kjører langt oftere enn selve pipelinen.\nEn databasespørring, et nettverkskall eller en treg import der koster tid ved hver\nparsing, og veiledningen for beste praksis viser et eksempel der ett slikt kall gjør at\nen Dag bruker 1 000 sekunder ekstra på å bli parset. Hold toppnivået til å deklarere\noppgavene og rekkefølgen deres, og flytt dyre importer og kall inn i oppgavefunksjonene\nsom trenger dem.\n\n## Les mer\n\n- [Apache Airflow](https://airflow.apache.org/docs/apache-airflow/stable/index.html) —\n  prosjektets egen oversikt: arbeidsflyter som Python-kode, orkestrering av batcher,\n  etterfylling og nye kjøringer av bare de mislykkede oppgavene.\n- [Best Practices](https://airflow.apache.org/docs/apache-airflow/stable/best-practices.html)\n  — oppgaver behandlet som transaksjoner, det samme utfallet ved hver ny kjøring, kode\n  på toppnivå og egenkontroller.\n- [Dags](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html)\n  — hvordan en Dag deklarerer tidsplan, oppgaver, avhengigheter og standardargumenter\n  som nye forsøk, og hvor Deadline Alerts passer inn.\n- [Dag Runs](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dag-run.html)\n  — dataintervaller, catchup, backfill og nullstilling av oppgaver så de kjører igjen.\n- [Tasks](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/tasks.html)\n  — avhengigheter mellom oppgaver, tidsavbrudd, regler for nye forsøk og overgangen fra\n  SLA-er til Deadline Alerts.\n- [psql](https://www.postgresql.org/docs/current/app-psql.html) — variabler og\n  siteringen av dem, `ON_ERROR_STOP` og avslutningskodene en orkestrator leser.\n\n\u003chttps://engineer.company/nb/glossary/pipeline/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Jobber i fast rekkefølge, en orkestrator som fører regnskap, og kjøringer som tåler å gjentas: slik bygges en pipeline som gir samme svar to ganger.","formats":{"gemtext":"https://engineer.company/nb/glossary/pipeline/index.gmi","gopher":"https://engineer.company/nb/glossary/pipeline/gophermap","html":"https://engineer.company/nb/glossary/pipeline/","json":"https://engineer.company/nb/glossary/pipeline/index.json","markdown":"https://engineer.company/nb/glossary/pipeline/index.md","pdf":"https://engineer.company/nb/glossary/pipeline/index.pdf"},"kind":"page","language":"nb","title":"Hva er en pipeline?","url":"https://engineer.company/nb/glossary/pipeline/","version":1}