{"canonical_url":"https://engineer.company/da/glossary/pipeline/","content_markdown":"# Pipeline\n\n## Hvad det er\n\nEn pipeline, fuldt ud en datapipeline, er en kæde af job, der kører i fast\nrækkefølge, hvor hvert job arbejder videre på det, jobbet før det afleverede,\nindtil rådata fra de systemer, der skaber dem, ligger renset, samlet og gemt\ndér, hvor rapporter, dashboards og andre programmer kan læse dem. Ordet stammer\nfra Unix-shellen, hvor tegnet `|` sender én kommandos output videre som den\nnæstes input. De fleste pipelines kører uden opsyn, efter en tidsplan eller når\nen ny fil dukker op.\n\nSjældent er en pipeline en lige linje. Et job, der indlæser dagens salg, kan\nhave brug for både valutakurserne og kundelisten først, mens de to sagtens kan\nkøre samtidig. Jobbene og pilene imellem dem, der betyder »skal være færdig\nfør«, danner en rettet acyklisk graf: alle pile peger én vej, og intet job kan\nende med at vente på sig selv. Apache Airflow, en open source-platform til at\nplanlægge og overvåge den slags arbejdsgange, kalder hver graf en Dag, skrevet\nsådan frem for DAG, fordi begrebet i Airflow er vokset ud over den rene\nmatematiske struktur.\n\nEn batch-pipeline vågner på et fast tidspunkt eller ved en hændelse, behandler\net afgrænset udsnit af data, for eksempel én dags målerdata, og stopper igen. En\nstreaming-pipeline kører hele tiden og sender hver hændelse videre, efterhånden\nsom den kommer. Airflow beskriver sig selv som en platform til at orkestrere\nbatch-arbejdsgange, bedst egnet til arbejde med en klar start og slutning, der\nkører efter en tidsplan.\n\nDen enkleste pipeline er en linje i en crontab, der starter et script klokken to\nom natten. Det holder, så længe scriptene er uafhængige. Skal flere af dem køre\ni rækkefølge, og fejler ét af dem, må nogen finde ud af, hvad der nåede at køre,\nog hvad der skal startes igen. En orkestrator overtager det bogholderi: den\nkender grafen, starter hvert job, når jobbene før det er lykkedes, prøver igen,\nnår et job fejler, fører log pr. job og pr. kørsel og noterer, hvilke perioder\naf data hver kørsel dækkede. I Airflow dækker hver planlagt kørsel et\ndatainterval. En daglig kørsel for 1. januar starter lige efter midnat den 2.,\nnår dagen er omme, og dens job kan læse grænser som `data_interval_start` og\nvide præcis, hvilket udsnit af data der er deres.\n\n## Hvorfor det betyder noget\n\nEn pipeline gør en fremgangsmåde til kode. Rækkefølgen af job, kontrollerne\nimellem dem, hvad der sker, når et af dem fejler, og hvor ofte det hele kører,\nflytter ud af én persons hukommelse og ind i filer, der kan gennemgås,\nversionsstyres og testes som al anden software. Airflow definerer sine\narbejdsgange udelukkende i Python, en tilgang projektet kalder workflows as\ncode, og nævner versionsstyring og test blandt fordelene.\n\nEn fejl får også en adresse. Er hele processen ét langt script, betyder et\nnedbrud efter fyrre minutter, at man starter forfra fra minut nul. Deles den op\ni job med registreret tilstand, viser en mislykket kørsel, hvilket job der\nstoppede og hvorfor, og kun det job og dem efter det skal køre igen. Airflow\nlader en operatør køre kun de fejlede opgaver igen eller lave backfill for en\ntidligere periode, og sådan når en rettelse fra onsdag frem til mandagens data.\n\nGentagelse bliver først sikker, når hvert job er skrevet til det. Airflows\nvejledning i god praksis beder om, at hver opgave opfører sig som en\ndatabasetransaktion, der aldrig efterlader halve resultater, og giver samme\nudfald ved hver genkørsel. Et job bygget sådan kan scheduleren prøve igen\nklokken tre om natten, en person kan køre det igen efter en rettelse, og det kan\ngenafspilles for sidste måned, uden at nogen først skal undersøge målet.\n\nPrisen er software, der skal passes. En orkestrator er én tjeneste mere med egen\ndatabase, opgraderinger og rettigheder, og hver pipeline i den er kode, der skal\ngennemgås og testes. Til to scripts på én tidsplan kan cron og en logfil være\ndet ærlige svar. Argumentet for en orkestrator vokser med antallet af job, der\nafhænger af hinanden, antallet af mennesker, der skal kunne se, hvad der kørte,\nog prisen for en morgenrapport bygget på en indlæsning, der stoppede halvvejs.\n\n## Sådan ser det ud i praksis\n\n[Tyve GIS-datapipelines og ETL-processerne for appdata](/da/portfolio/automated-delivery-of-20-gis-data-pipelines/)\npå én platform blev startet og fulgt manuelt, og der var hele tiden en risiko\nfor, at én af dem gik i stå i det stille, så data længere nede i kæden var\nforkerte, før nogen opdagede det. Alle sammen blev lagt over på automatiseret\nlevering. Tidsplaner, logning og fejlhåndtering fik én fælles standard, så\npipelines opførte sig ens, og en, der fejlede, kunne ses, og de indgik derefter\ni den infrastrukturautomatisering og rapportering, der allerede fandtes.\nHerefter kørte alle tyve af sig selv og forudsigeligt, og dataene var aktuelle\nog til at stole på, uden at nogen skulle skubbe dem igennem.\n\nEn pipeline kan også bygge noget helt med én kommando. På et dokumenteret\nstadium i udviklingen hentede en\n[databasedrevet generator af CV og portefølje](/da/portfolio/built-a-database-driven-cv-generator/)\nhvert dokument fra én SQLite-database med 23 tabeller, som blev samlet af en\npipeline på 19 trin, der gik fra en tom fil til en færdig database. Trinnene\nfulgte en fast rækkefølge, og hvert af dem var skrevet, så det kunne køres\nsikkert igen. Derfor kunne hele pipelinen køres mod en database, der allerede\nfandtes, uden at en eneste række blev duplikeret. Ud fra den ene kilde lavede 41\nPython-moduler på tilsammen 10.580 linjer derefter seks outputformater, og\nprogrammet havde kun to afhængigheder under kørsel. Disse tal beskriver\nimplementeringen på det dokumenterede udviklingsstadium.\n\nInde i et enkelt job tæller hastighed lige så meget som rækkefølge. En\n[pipeline, der samler elforbrug time for time](/da/portfolio/a-month-of-meter-readings-in-180-milliseconds/),\ntager JSONL-data, der kommer hver time, hvert kvarter eller på uregelmæssige\ntidspunkter, lægger dem til rette i faste timeintervaller, summerer\nproduktionsmikset, lægger import til og trækker eksport fra og afleverer én\nrække pr. time pr. zone. Den blev lavet på tre måder, i Python, i JQ og i SQL i\nPostgreSQL, og hver udgave blev målt på data for én dag og for 30 dage.\nPython-udgaven var hurtigst, med 34 ms for én dag og 180 ms for 30 dage, og\nkoden kunne let udvides til flere zoner eller bygges ind i en ETL-pipeline.\n\n## Hvor det går galt\n\n**En genkørsel giver et andet resultat.** Et dagligt job tilføjer sine totaler\nmed `INSERT`, går ned halvvejs, og scheduleren prøver igen, så de rækker, der\nblev skrevet før nedbruddet, nu findes to gange. Et job, der vælger alt fra nu\nminus et døgn, læser et andet udsnit ved andet forsøg end ved det første, og et\njob, der læser den seneste udgave af et input, får det med, der er ændret i\nmellemtiden. Airflows vejledning i god praksis nævner alle tre: erstat `INSERT`\nmed en upsert, læs og skriv en bestemt partition ud fra kørslens\n`data_interval_start`, og hold `now()` ude af enhver kritisk beregning. For en\ntabel med timetotaler i PostgreSQL er én ligetil løsning at udskifte hele\nintervallet i én transaktion.\n\n```sql\nBEGIN;\nDELETE FROM hourly_load\nWHERE hour_start \u003e= :'start' AND hour_start \u003c :'end';\nINSERT INTO hourly_load (zone, hour_start, mwh)\nSELECT zone, date_trunc('hour', read_at), sum(mwh)\nFROM reading\nWHERE read_at \u003e= :'start' AND read_at \u003c :'end'\nGROUP BY zone, date_trunc('hour', read_at);\nCOMMIT;\n```\n\nKørt som `psql -v ON_ERROR_STOP=1 -v start=... -v end=... -f hourly_load.sql`,\nhvor orkestratoren sender start og slutning på kørslens datainterval med,\nsletter og genskriver jobbet præcis det intervals rækker, så en anden kørsel\nefterlader tabellen, som den første gjorde. Formen `:'start'` er psql's egen\nsyntaks for at indsætte en variabel i anførselstegn som en SQL-literal.\n\n**Et job ender grønt, og dataene er forkerte.** En orkestrator ser, om et jobs\nproces sluttede rent, og det er alt, den ser. psql er et skarpt eksempel: som\nstandard fortsætter den efter en fejl i et script og returnerer 0 til shellen,\nså et trin, der kører `psql -f`, melder succes, selv om en sætning undervejs\nfejlede. Med `ON_ERROR_STOP` sat stopper psql ved første fejl og afslutter med\nkode 3, så trinnet fejler, hvor det skal. En ren afslutning beviser stadig kun,\nat programmet kørte, og derfor foreslår Airflows vejledning selvtjek: en opgave\nlængere nede i grafen, der bekræfter, at partitionen blev skrevet, og at dataene\nser rigtige ud, før noget læser dem. For en kørsel, der hænger i stedet for at\nfejle, findes Deadline Alerts, som kom i Airflow 3.1 og afløser SLA-funktionen,\nder blev fjernet i 3.0. De udløser et callback, for eksempel en e-mail, når en\nkørsel passerer en tidsgrænse.\n\n**En pipeline, der slås til igen, sender en strøm af kørsler afsted.** Med\n`catchup=True` opretter scheduleren en kørsel for hvert datainterval, den har\nsprunget over siden startdatoen, og Airflow-dokumentationen tilføjer, at catchup\nogså sætter ind, når en Dag har været slået fra en tid og derefter slås til\nigen. En daglig pipeline, der har stået på pause i en måned, kan vende tilbage\nmed tredive kørsler i kø mod den samme kilde. Standarden,\n`catchup_by_default=False`, får scheduleren til kun at oprette en kørsel for det\nseneste interval, og dokumentationen siger, at en Dag, hvis job læser det\naktuelle tidspunkt frem for deres interval, bør holde catchup slået fra.\nHistorik fyldes bedre op med vilje med `airflow backfill create`, som tager et\ndatointerval og et loft over parallelle kørsler via `--max-active-runs`.\n\n**Tung kode øverst i en Dag-fil gør scheduleren langsom.** Airflow parser hver\nDag-fil igen og igen, med mindst `min_file_process_interval` sekunder mellem\ngangene, så kode på filens øverste niveau, uden for enhver opgave, kører langt\noftere end selve pipelinen. En databaseforespørgsel, et netværkskald eller en\nlangsom import dér koster tid ved hver parsing, og vejledningen i god praksis\nviser et eksempel, hvor ét sådant kald får en Dag til at bruge 1.000 sekunder\nekstra på at blive parset. Hold det øverste niveau til at erklære opgaver og\nderes rækkefølge, og flyt dyre importer og kald ind i de opgavefunktioner, der\nbruger dem.\n\n## Læs mere\n\n- [Apache Airflow](https://airflow.apache.org/docs/apache-airflow/stable/index.html)\n  — projektets eget overblik: arbejdsgange som Python-kode, orkestrering af\n  batch, backfill og genkørsel af kun de fejlede opgaver.\n- [Best Practices](https://airflow.apache.org/docs/apache-airflow/stable/best-practices.html)\n  — opgaver behandlet som transaktioner, samme udfald ved hver genkørsel, kode\n  på øverste niveau og selvtjek.\n- [Dags](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html)\n  — hvordan en Dag erklærer sin tidsplan, sine opgaver, afhængigheder og\n  standardargumenter som retries, og hvor Deadline Alerts hører hjemme.\n- [Dag Runs](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dag-run.html)\n  — dataintervaller, catchup, backfill og rydning af opgaver, så de kører igen.\n- [Tasks](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/tasks.html)\n  — afhængigheder mellem opgaver, timeouts, politikker for nye forsøg og skiftet\n  fra SLA'er til Deadline Alerts.\n- [psql](https://www.postgresql.org/docs/current/app-psql.html) — variabler og\n  deres citering, `ON_ERROR_STOP` og de exitkoder, en orkestrator læser.\n\n\u003chttps://engineer.company/da/glossary/pipeline/\u003e\n","date_modified":"2026-11-09T21:50:25Z","description":"Hvordan en datapipeline ordner, planlægger og gentager sine job, hvad en orkestrator tilføjer til en crontab, og fire måder, en kørsel går galt på.","formats":{"gemtext":"https://engineer.company/da/glossary/pipeline/index.gmi","gopher":"https://engineer.company/da/glossary/pipeline/gophermap","html":"https://engineer.company/da/glossary/pipeline/","json":"https://engineer.company/da/glossary/pipeline/index.json","markdown":"https://engineer.company/da/glossary/pipeline/index.md","pdf":"https://engineer.company/da/glossary/pipeline/index.pdf"},"kind":"page","language":"da","title":"Hvad er en pipeline?","url":"https://engineer.company/da/glossary/pipeline/","version":1}