{"canonical_url":"https://engineer.company/nb/glossary/bigquery/","content_markdown":"# BigQuery\n\n## Hva det er\n\nBigQuery er en administrert SQL-tjeneste for analyse på Google Cloud. Det er ingen server å sette\nopp, tabellene lagres kolonne for kolonne, og hver spørring betales enten etter hvor mange byte den\nleser, eller av regnekraft som er reservert på forhånd. Tjenesten selges og søkes også etter som\nGoogle BigQuery, og SQL-dialekten den snakker, heter GoogleSQL, som følger ANSI-standarden og legger\ntil egne funksjoner.\n\nDesignet hviler på at lagring og beregning holdes atskilt. Tabellene ligger i Googles lagringslag,\nog en spørring låner regnekraft så lenge den kjører. Fordi hver kolonne lagres for seg, leser en\nspørring som nevner tre kolonner i en tabell med femti, bare de tre og lar resten ligge på disken.\nFinjustering ser derfor annerledes ut enn på en PostgreSQL-server. I stedet for å utforme\nB-tree-indekser og dimensjonere minne handler arbeidet om formen på tabellen: den kan partisjoneres\netter en dato- eller tidsstempelkolonne, etter innlastingstid eller etter et heltallsintervall, og\nklynges (clustering) på opptil fire kolonner, slik at rader som hører sammen, deler lagringsblokker.\n\nBigQuery hører til familien av datavarehus, og produktene det som regel veies mot, er Snowflake og\nAmazon Redshift, pluss muligheten til å holde analysen på transaksjonsdatabasen et selskap allerede\nkjører. Det er bygd for spørringer som går gjennom millioner eller milliarder av rader og returnerer\nen håndfull summer. Enkeltoppslagene og oppdateringene en applikasjon gjør ved hver forespørsel,\nhører hjemme i en database som PostgreSQL eller SQL Server, og et vanlig oppsett kjører begge, med\nen pipeline som fører data fra den ene til den andre.\n\n## Hvorfor det er viktig\n\nBeslutningen BigQuery legger foran et team, er hvordan det vil betale for analyse. Regningen følger\nspørringene folk skriver, og ikke størrelsen på en maskin noen en gang valgte, og det virker begge\nveier.\n\nMed prising etter bruk (on-demand) belastes hver spørring for de bytene den behandler. Det passer\narbeid som kommer ujevnt: et team som kjører noen tunge rapporter i uken, betaler for de rapportene\nog ikke for noe imellom, uten en server som står og går om natten. Det setter også en pris på en\nuforsiktig spørring. En `SELECT *` over et år med sensoravlesninger koster det samme enten\nanalytikeren ville ha én rad eller alle. Kapasitetsprising erstatter dette med slots, enheter med\nregnekraft kjøpt gjennom reservasjoner. Da blir regningen et tall som er kjent på forhånd, og tung,\njevn bruk blir billigere å planlegge for. Et prosjekt kan bytte mellom de to modellene, så det\nførste valget kan tas opp igjen når den faktiske bruken er synlig.\n\nLagring har egne regler. En tabell eller partisjon som ikke er endret på 90 dager på rad, går over\ntil langtidsprisen, som er 50 % lavere, uten at noen flytter den. Hvert datasett faktureres enten\netter den logiske, ukomprimerte størrelsen på dataene eller etter den fysiske, komprimerte, og for\ndata som lar seg komprimere godt, kan den andre modellen bli den billigste.\n\nTre ting fortjener vekt før du velger. Plasseringen til et datasett, én region eller multiregionen\nUS eller EU, settes når datasettet opprettes, og ligger fast etter det, så den er en beslutning om\nregeletterlevelse som tas den første dagen. Dialekten, kommandolinjeverktøyet `bq` og\nklientbibliotekene er Googles egne, så spørringer flytter til et annet datavarehus med endringer og\nikke uendret; selve dataene kommer seg lett ut, siden tabeller kan eksporteres til CSV, Avro og\nParquet. Og spørsmålet om å finne folk er enklere enn det ser ut: analytikere som kan SQL, er\nproduktive i løpet av dager, mens den sjeldnere ferdigheten er å lese en spørring i byte like mye\nsom i rader.\n\nSå når er BigQuery det riktige valget? Når data kommer i store mengder som for det meste bare legges\ntil, som hendelser, logger eller måleravlesninger, når spørsmålene som stilles til dem, skifter fra\nuke til uke, og når teamet helst slipper å drive databaseservere for analyse. For data en enkelt\nPostgreSQL-server rommer uten problemer, legger et datavarehus til et system nummer to, en regning\nnummer to og en pipeline mellom dem. Argumentet for det vokser med datamengden og med hvor mange som\nstiller spørsmål.\n\n## Slik ser det ut i praksis\n\nBigQuery kom inn ved siden av PostgreSQL og ikke i stedet for det i alle de tre prosjektene\nnedenfor, og hver motor fikk det arbeidet den gjør best.\n\nI en samling på mer enn 100 databaser fordelt på PostgreSQL, Microsoft SQL Server og Google BigQuery\nvar de fleste dataene geografiske eller tidsserier: koordinater, sensoravlesninger, logger og\nmetrikker i sanntid. På BigQuery-siden ble\n[de store tidsserietabellene tidspartisjonert og klynget](/nb/portfolio/ran-100-postgresql-ms-sql-bigquery-warehouses/),\nog komprimering og kolonnebasert lagring holdt lagringskostnadene nede og skanningene raske. Sammen\nmed indeksering, materialiserte visninger og caching i hele samlingen kuttet arbeidet svartidene for\nspørringer mot GIS- og tidsseriedata med 40–60 %.\n\nI en geografisk datapipeline som hadde blitt treg, ble SQL-en og datamodellene i PostgreSQL, MS SQL og Google Cloud BigQuery først analysert. Det avdekket svak indeksering, ineffektive spørringer og manglende integritetsregler. Deretter fikk hver motor sitt verktøy: B-tree- og GiST-indekser i PostgreSQL, filtrerte indekser i MS SQL og [clustering i BigQuery](/nb/portfolio/made-a-geographical-data-pipeline-50x-faster/), sammen med normaliserte modeller, partisjonering og omskrevne spørringer. Grunnleggerens resultatoppføring rapporterer at datapipelinen som helhet gikk 50 ganger raskere; den spesifiserer ikke datasettet, maskinvaren eller sammenligningsprosedyren for ytelsesmålingen.\n\nOg for data fra smartmålere i flere regioner ble\n[mer enn 500 analyserapporter skrevet i ren SQL](/nb/portfolio/released-500-electricity-and-gis-data-reports/)\nmot PostgreSQL og BigQuery, med CTE-er, vindusfunksjoner, delspørringer og geospatiale joins over\nmåler-ID-er, tidsstempler, koordinater og miljømetadata. Hver rapport ble levert med kommentert SQL,\nslik at en kollega kunne kjøre den på nytt og etterprøve den, og med notater om kjente problemer med\ndatakvaliteten, som manglende GPS-koordinater og ødelagte målerverdier. Rapportene ble et\noppslagsverk på tvers av avdelinger og bidro til at effektiviteten i den operative planleggingen ble\n10–15 % bedre.\n\n## Hvor det går galt\n\n**En spørring med `LIMIT 10` blir fakturert for hele tabellen.** På en tabell uten clustering\nbegrenser `LIMIT` resultatet og ikke bytene som leses, og `SELECT *` leser hver kolonne som finnes.\nEn rask titt på dataene blir en full skanning. Nevn bare kolonnene spørsmålet trenger, og bruk\nforhåndsvisningen av tabellen i konsollen eller `bq head` for å se noen eksempelrader, siden de ikke\nkoster noe.\n\n**En partisjonert tabell blir likevel skannet fra ende til annen.** Partisjoner hoppes bare over når\nfilteret på partisjoneringskolonnen er en konstant motoren kan regne ut før den leser. Sammenligner\ndu kolonnen med resultatet av en delspørring, pakker den inn i en funksjon eller regner på den, går\nspørringen gjennom hver partisjon. To sperrer hjelper. En tabell kan kreve et partisjonsfilter, så\nen spørring uten et brukbart filter stopper med en feil i stedet for å kjøre. Og en tørrkjøring (dry\nrun) rapporterer hvor mange byte en spørring ville behandlet, uten å kjøre den eller ta betalt for\nden:\n\n```sh\nbq query --use_legacy_sql=false --dry_run \\\n  'SELECT meter_id, kwh\n   FROM energy.readings\n   WHERE reading_date = DATE \"2026-10-01\"'\n```\n\n**Clustering blir lagt til, og antallet leste byte flytter seg knapt.** Clustering sorterer\nlagringsblokker etter opptil fire kolonner i rekkefølge, og rekkefølgen betyr noe: en tabell klynget\netter ordredato, land og status er ikke organisert for et filter på bare land og status. Tabeller\nunder 64 MB har lite å hente, og på en klynget tabell er antallet byte som faktisk skannes, kjent\nførst etter at spørringen er ferdig. Sett klyngekolonnene i den rekkefølgen spørringene filtrerer i.\nDer kostnaden må ha et tak før noe kjører, lener du deg på partisjonering, som en tørrkjøring\nallerede tar med i beregningen, og setter et maksimum for fakturerte byte (maximum bytes billed),\nslik at en spørring over grensen stopper før den blir belastet.\n\n**En spørring som joiner to datasett, blir avvist.** Hvert datasett ligger på én plassering, og en\nspørring kjører på én plassering, så hvert datasett den rører, må dele den. Team som lar hvert\nprosjekt ta sin egen standard, ender med tabeller som bare kan joines etter at én av dem er kopiert\nover. Velg plasseringen én gang, ut fra regeletterlevelse og hvor dataene kommer fra, og opprett\nhvert datasett der med vilje.\n\n## Les mer\n\n- [BigQuery overview](https://cloud.google.com/bigquery/docs/introduction)\n  — Googles egen beskrivelse av tjenesten, de atskilte lagene for lagring og beregning og hva som\n  blir administrert for deg.\n- [Introduction to partitioned tables](https://docs.cloud.google.com/bigquery/docs/partitioned-tables)\n  — typene partisjonering, hvor finmasket de deler opp, og grensene deres.\n- [Query partitioned tables](https://docs.cloud.google.com/bigquery/docs/querying-partitioned-tables)\n  — hvilke filtre som beskjærer partisjoner, og hvilke som sender en spørring gjennom alle.\n- [Introduction to clustered tables](https://docs.cloud.google.com/bigquery/docs/clustered-tables)\n  — hvordan kolonnerekkefølgen avgjør hvilke blokker som hoppes over, og hva det betyr for\n  kostnadsoverslag.\n- [Estimate and control costs](https://docs.cloud.google.com/bigquery/docs/best-practices-costs)\n  — tørrkjøringer, et maksimum for fakturerte byte og de gratis måtene å forhåndsvise en tabell på.\n- [BigQuery locations](https://docs.cloud.google.com/bigquery/docs/locations)\n  — regioner, multiregioner og reglene for spørringer som rører mer enn ett datasett.\n\n\u003chttps://engineer.company/nb/glossary/bigquery/\u003e\n","date_modified":"2026-11-08T02:22:23Z","description":"Leste byte, slots og en plassering som ligger fast: hvordan BigQuery tar betalt, når det slår analyse i PostgreSQL, og hvorfor LIMIT ikke sparer penger.","formats":{"gemtext":"https://engineer.company/nb/glossary/bigquery/index.gmi","gopher":"https://engineer.company/nb/glossary/bigquery/gophermap","html":"https://engineer.company/nb/glossary/bigquery/","json":"https://engineer.company/nb/glossary/bigquery/index.json","markdown":"https://engineer.company/nb/glossary/bigquery/index.md","pdf":"https://engineer.company/nb/glossary/bigquery/index.pdf"},"kind":"page","language":"nb","title":"Hva er BigQuery?","url":"https://engineer.company/nb/glossary/bigquery/","version":1}