Har bygget en Python‑scraper til skibsdata (MarineTraffic, Maritime‑Database) og importeret cirka 700 maritime virksomheder som platformens centrale referencedata.
Dataingeniør
Situation. Et maritimt netværks- og anmeldelsessite er dødt ved ankomst, hvis det er tomt. Ingen melder sig ind i et katalog uden virksomheder i. Så før nogen af de sociale funktioner betød noget, havde platformen brug for et rigtigt korpus af maritime virksomheder og skibe, der allerede sad der, klar til at blive fundet.
Opgave. Gå ud og hent de data — rigtige virksomheder, i nok skala til at føles befolket — og få dem ind i databasen på en måde, der kunne køres igen, ikke en engangs‑scrape, ingen ville kunne reproducere.
Handling. Scraperne er skrevet i Python. Én driver MarineTraffic med Playwright; en anden henter fra Maritime‑Database over async httpx; der er også en ClassNK‑fetcher. De skriver CSV’er ud, og et import‑trin renser og normaliserer dem og indlæser dem i Postgres‑skemaet gennem en task (docker‑dat‑populate‑companies), så at seede databasen er én kommando frem for en eftermiddags manuelt arbejde. Virksomhedssættet endte på omkring 700.
Resultat. Platformen blev lanceret med cirka 700 rigtige maritime virksomheder i sig i stedet for tomme tabeller — et katalog, der faktisk lignede noget på dag ét, og et grundlag af referencedata, som netværks-, job- og anmeldelsesfunktionerne alle kunne bygge oven på. Og fordi pipelinen er reproducerbar, er det bare at køre den igen at opdatere eller udvide den senere.