# BigQuery

## Was es ist

BigQuery ist ein verwalteter SQL-Analysedienst auf Google Cloud: Niemand stellt dafür einen Server bereit, Tabellen werden spaltenweise gespeichert, und jede Abfrage wird entweder nach den gelesenen Bytes oder über vorab reservierte Rechenkapazität abgerechnet. Der Dienst wird auch als Google BigQuery verkauft und unter diesem Namen gesucht. Seine SQL-Sprache heißt GoogleSQL, ein Dialekt, der dem ANSI-Standard folgt und eigene Funktionen ergänzt.

Der Aufbau beruht auf der Trennung von Speicherung und Berechnung. Tabellen liegen in Googles Speicherschicht, und eine Abfrage belegt Rechenleistung für die Dauer ihrer Ausführung. Weil jede Spalte getrennt gespeichert wird, liest eine Abfrage, die drei Spalten einer Tabelle mit fünfzig Spalten nennt, nur diese drei und lässt den Rest auf der Platte. Die Optimierung sieht deshalb anders aus als bei einem PostgreSQL-Server. Statt B-Baum-Indizes zu entwerfen und den Arbeitsspeicher zu dimensionieren, wird an der Tabellenstruktur gearbeitet: Sie lässt sich anhand einer Datums- oder Zeitstempelspalte, nach Eingangszeit oder nach einem Ganzzahlbereich partitionieren und anhand von bis zu vier Spalten clustern, damit zusammengehörige Zeilen dieselben Speicherblöcke belegen.

BigQuery gehört zur Familie der Data Warehouses. Üblicherweise wird es mit Snowflake und Amazon Redshift verglichen, daneben mit der Möglichkeit, die Analyse auf der bereits betriebenen Transaktionsdatenbank des Unternehmens zu belassen. Es ist für Abfragen gebaut, die Millionen oder Milliarden Zeilen durchlaufen und eine Handvoll Summen zurückgeben. Die Einzelzeilenabfragen und Aktualisierungen, die eine Anwendung bei jeder Anfrage ausführt, gehören in eine Datenbank wie PostgreSQL oder SQL Server. Häufig werden beide Systeme betrieben und die Daten über eine Pipeline von einem zum anderen übertragen.

## Warum es wichtig ist

BigQuery stellt ein Team vor die Entscheidung, wie es für Analysen bezahlen möchte. Die Rechnung richtet sich nach den geschriebenen Abfragen statt nach der Größe eines irgendwann ausgewählten Rechners. Das wirkt in beide Richtungen.

Bei der nutzungsabhängigen Abrechnung wird jede Abfrage nach den verarbeiteten Bytes berechnet. Das passt zu unregelmäßiger Arbeit: Ein Team mit wenigen aufwendigen Berichten pro Woche bezahlt diese Berichte und nichts für die Zeit dazwischen; nachts steht kein Server untätig herum. Damit bekommt aber auch eine unbedachte Abfrage einen Preis. Ein `SELECT *` über ein Jahr Sensormesswerte kostet gleich viel, ob die analysierende Person eine einzige Zeile oder alle haben wollte. Das Kapazitätsmodell ersetzt dies durch Slots, über Reservierungen gekaufte Recheneinheiten. Die Rechnung wird so zu einer vorab bekannten Größe, und eine hohe, gleichmäßige Nutzung lässt sich kostengünstiger planen. Ein Projekt kann zwischen beiden Modellen wechseln. Die erste Wahl lässt sich deshalb überdenken, sobald die tatsächliche Nutzung sichtbar ist.

Für Speicher gelten eigene Regeln. Eine Tabelle oder Partition, die 90 aufeinanderfolgende Tage unverändert bleibt, wechselt ohne Zutun zum Langzeittarif, der 50 Prozent niedriger liegt. Jeder Datenbestand wird entweder anhand seiner logischen, unkomprimierten Größe oder seiner physischen, komprimierten Größe abgerechnet. Bei gut komprimierbaren Daten kann das zweite Modell günstiger sein.

Drei Dinge verdienen vor dem Einstieg besondere Aufmerksamkeit. Der Standort eines Datenbestands, eine einzelne Region oder die Multiregion US beziehungsweise EU, wird bei seiner Anlage festgelegt und bleibt unveränderlich. Damit fällt am ersten Tag eine Compliance-Entscheidung. Der Dialekt, das Kommandozeilenwerkzeug `bq` und die Clientbibliotheken stammen von Google. Abfragen ziehen deshalb mit Anpassungen in ein anderes Warehouse um, statt unverändert zu bleiben. Die Daten selbst lassen sich leicht herausbringen, weil Tabellen als CSV, Avro und Parquet exportiert werden können. Die Personalfrage ist weniger schwierig, als sie aussieht: Wer SQL beherrscht, wird als Analyst innerhalb von Tagen produktiv. Seltener ist die Fähigkeit, eine Abfrage nicht nur in Zeilen, sondern auch in Bytes zu lesen.

Wann ist BigQuery also die passende Wahl? Wenn große, überwiegend durch Anhängen wachsende Datenmengen eintreffen, etwa Ereignisse, Protokolle oder Zählerstände, wenn sich die Fragen daran von Woche zu Woche ändern und wenn das Team keine Datenbankserver für die Analyse betreiben möchte. Für Daten, die bequem auf einen einzelnen PostgreSQL-Server passen, bringt ein Warehouse ein zweites System, eine zweite Rechnung und eine Pipeline zwischen beiden mit. Mit dem Datenvolumen und der Zahl der Fragenden wächst der Nutzen.

## Wie es in der Praxis aussieht

Ein Bestand aus mehr als 100 Datenbanken, verteilt auf PostgreSQL, Microsoft SQL Server und Google BigQuery, enthielt vorwiegend geografische Daten und Zeitreihen: Koordinaten, Sensormesswerte, Protokolle und Echtzeitmetriken. BigQuery übernahm die umfangreichen Zeitreihen. [Seine Tabellen waren zeitlich partitioniert und geclustert](/de/portfolio/ran-100-postgresql-ms-sql-bigquery-warehouses/), mit Komprimierung und spaltenweiser Speicherung für niedrige Speicherkosten und schnelle Scans. Partitionierte und geclusterte Scans in BigQuery senkten zusammen mit Indizes, materialisierten Sichten und Caching im gesamten Bestand die Antwortzeiten von GIS- und Zeitreihenabfragen um 40–60 %.

Bei einer langsam gewordenen Pipeline für geografische Daten wurden zuerst SQL und Datenmodelle in PostgreSQL, MS SQL und Google Cloud BigQuery untersucht. Dabei kamen schwache Indizierung, ineffiziente Abfragen und fehlende Constraints zum Vorschein. Jede Engine erhielt dann das zu ihr passende Werkzeug: B-Baum- und GiST-Indizes in PostgreSQL, gefilterte Indizes in MS SQL und [Clustering in BigQuery](/de/portfolio/made-a-geographical-data-pipeline-50x-faster/), ergänzt durch normalisierte Modelle, Partitionierung und neu geschriebene Abfragen. Der Leistungsnachweis der Gründerin berichtet, dass die Pipeline als Ganzes 50-fach schneller lief; Benchmarkdatensatz, Hardware und Vergleichsverfahren werden nicht angegeben.

Für Smart-Meter-Daten aus mehreren Regionen wurden [mehr als 500 Analyseberichte in reinem SQL geschrieben](/de/portfolio/released-500-electricity-and-gis-data-reports/), gegen PostgreSQL und BigQuery. Sie verwendeten CTEs, Fensterfunktionen, Unterabfragen und räumliche Joins über Zählerkennungen, Zeitstempel, Koordinaten und Umweltmetadaten. Jeder Bericht wurde mit kommentiertem SQL ausgeliefert, damit Kollegen ihn erneut ausführen und prüfen konnten, sowie mit Hinweisen auf bekannte Datenqualitätsprobleme wie fehlende GPS-Koordinaten und beschädigte Zählerwerte. Die Berichte wurden abteilungsübergreifend zur Referenz und trugen zu einer Verbesserung der Effizienz in der Betriebsplanung um 10–15 % bei.

In allen drei Fällen arbeitete BigQuery neben PostgreSQL statt an seiner Stelle. Jede Engine erhielt die Arbeit, die sie am besten erledigt.

## Wo es schiefgeht

**Eine Abfrage mit `LIMIT 10` wird für die ganze Tabelle berechnet.** Bei einer Tabelle ohne Clustering beschränkt `LIMIT` das Ergebnis, nicht die gelesenen Bytes. `SELECT *` liest sämtliche Spalten. Ein kurzer Blick auf die Daten wird zum vollständigen Scan. Nennen Sie die Spalten, die für die Frage nötig sind. Für einen Blick auf Beispielzeilen eignen sich die Tabellenvorschau der Konsole oder `bq head`, die nichts kosten.

**Eine partitionierte Tabelle wird trotzdem vollständig gescannt.** Partitionen werden nur übersprungen, wenn der Filter auf der Partitionierungsspalte eine Konstante ist, die die Engine vor dem Lesen auswerten kann. Der Vergleich mit dem Ergebnis einer Unterabfrage, das Einbetten der Spalte in eine Funktion oder das Rechnen mit ihr schickt die Abfrage durch jede Partition. Zwei Schutzmaßnahmen helfen. Eine Tabelle kann einen Partitionsfilter verlangen. Eine Abfrage ohne brauchbaren Filter stoppt dann mit einem Fehler, statt zu laufen. Außerdem meldet ein Probelauf die Bytes, die eine Abfrage verarbeiten würde, ohne sie auszuführen oder dafür Gebühren zu berechnen:

```sh
bq query --use_legacy_sql=false --dry_run \
  'SELECT meter_id, kwh
   FROM energy.readings
   WHERE reading_date = DATE "2026-10-01"'
```

**Clustering wird ergänzt, die gelesenen Bytes ändern sich kaum.** Clustering sortiert Speicherblöcke anhand von bis zu vier Spalten in einer festgelegten Reihenfolge. Die Reihenfolge zählt: Eine nach Bestelldatum, Land und Status geclusterte Tabelle ist nicht für einen Filter nur auf Land und Status organisiert. Tabellen unter 64 MB gewinnen wenig dadurch. Bei einer geclusterten Tabelle stehen die tatsächlich gescannten Bytes erst nach Abschluss der Abfrage fest. Ordnen Sie die Clusterspalten so an, wie die Abfragen filtern. Müssen die Kosten schon vor der Ausführung begrenzt sein, stützen Sie sich auf Partitionierung: Ein Probelauf berücksichtigt bereits, welche Partitionen dabei übersprungen werden. Legen Sie außerdem eine Höchstzahl abrechenbarer Bytes fest, damit eine darüberliegende Abfrage stoppt, bevor sie in Rechnung gestellt wird.

**Eine Abfrage, die zwei Datenbestände verknüpft, wird abgewiesen.** Jeder Datenbestand liegt an einem Standort, und eine Abfrage läuft an einem Standort. Alle von ihr berührten Datenbestände müssen deshalb dort liegen. Teams, die jedem Projekt seine eigene Voreinstellung überlassen, erhalten Tabellen, die erst nach dem Kopieren einer davon an den anderen Standort verbunden werden können. Wählen Sie den Standort einmal anhand der Compliance-Anforderungen und der Datenherkunft. Legen Sie dann jeden Datenbestand bewusst dort an.

## Weiterführende Lektüre

- [Überblick über BigQuery](https://cloud.google.com/bigquery/docs/introduction) — Googles eigene Beschreibung des Dienstes, seiner getrennten Speicher- und Rechenschichten und der Aufgaben, die der Anbieter übernimmt.
- [Einführung in partitionierte Tabellen](https://docs.cloud.google.com/bigquery/docs/partitioned-tables) — Partitionierungsarten, ihre Granularität und ihre Grenzen.
- [Partitionierte Tabellen abfragen](https://docs.cloud.google.com/bigquery/docs/querying-partitioned-tables) — welche Filter Partitionen überspringen und welche eine Abfrage durch alle Partitionen schicken.
- [Einführung in geclusterte Tabellen](https://docs.cloud.google.com/bigquery/docs/clustered-tables) — wie die Spaltenreihenfolge das Überspringen von Blöcken bestimmt und was das für Kostenschätzungen bedeutet.
- [Kosten schätzen und begrenzen](https://docs.cloud.google.com/bigquery/docs/best-practices-costs) — Probeläufe, die Höchstzahl abrechenbarer Bytes und die kostenlosen Möglichkeiten zur Tabellenvorschau.
- [BigQuery-Standorte](https://docs.cloud.google.com/bigquery/docs/locations) — Regionen, Multiregionen und die Regeln für Abfragen über mehrere Datenbestände.

<https://engineer.company/de/glossary/bigquery/>
