Google Cloud

Was es ist

Google Cloud ist der Teil von Google, der Rechenleistung aus den
eigenen Rechenzentren vermietet: virtuelle Maschinen auf Compute
Engine, Objektspeicher in Cloud Storage, verwaltete Datenbanken in
Cloud SQL, Kubernetes-Cluster in GKE, das Data Warehouse BigQuery
und viele weitere Dienste, jeweils nach Nutzung bezahlt. Der ältere
Name Google Cloud Platform oder GCP ist weiterhin verbreitet, selbst
in Teilen von Googles eigener Dokumentation.

Alles, was Google Cloud für einen Kunden betreibt, liegt in einem
Projekt. Ein Projekt fasst Ressourcen, die dafür aktivierten APIs,
die genutzten Kontingente und die Verbindung zum zahlenden
Abrechnungskonto zusammen. Es hat einen veränderbaren Anzeigenamen
und eine Projekt-ID, die in ganz Google Cloud eindeutig ist und nach
dem Anlegen nicht mehr geändert werden kann. Projekte lassen sich in
Ordnern gruppieren, Ordner können weitere Ordner enthalten. Der
ganze Baum hängt an einer Organisationsressource, die zum
Google-Workspace- oder Cloud-Identity-Konto eines Unternehmens
gehört. Rollen und Organisationsrichtlinien auf Organisations- oder
Ordnerebene werden an alle darunterliegenden Projekte vererbt. Ein
gut angelegter Baum lässt sich dadurch leicht verwalten, ein
schlecht angelegter nur schwer entwirren.

Das Netzwerk ist anders zugeschnitten als bei den anderen großen
Clouds. Ein VPC-Netzwerk in Google Cloud ist zusammen mit seinen
Routen und Firewallregeln eine globale Ressource ohne
Regionsbindung; nur seine Subnetze sind regional. Eine virtuelle
Maschine in Belgien und eine andere in Iowa können deshalb dasselbe
private Netz nutzen und einander über interne Adressen erreichen,
ohne VPN oder Peering zwischen den beiden Regionen. Bei AWS liegt
dagegen jede VPC in genau einer Region.

Es gibt zwei Arten von Identitäten. Menschen melden sich mit
Google-Konten an und erhalten IAM-Rollen für ein Projekt, einen
Ordner oder die ganze Organisation. Programme verwenden
Dienstkonten: Identitäten, die zu einem Projekt gehören und unter
denen eine virtuelle Maschine, ein Container oder ein Build-Job
handeln kann. Wird einer Compute-Engine-Instanz ein Dienstkonto
zugewiesen, kann der dort ausgeführte Code Google-APIs mit dessen
Rollen aufrufen, ohne Passwort oder Schlüsseldatei auf der
Festplatte.

Warum es wichtig ist

Für viele Teams sind Daten der Grund, Google Cloud zu wählen.
BigQuery ist ein Warehouse, für das keine Server dimensioniert
werden müssen. Tabellen liegen in Datasets innerhalb eines Projekts,
Abfragen werden in Standard-SQL geschrieben. Beim On-Demand-Modell
wird jede Abfrage nach den gelesenen Bytes berechnet; bei der
kapazitätsbasierten Preisgestaltung bezahlt man stattdessen
reservierte Verarbeitungskapazität, gemessen in Slots. Der Speicher
ist spaltenorientiert. Eine Abfrage bezahlt daher für die berührten
Spalten und nicht für ganze Zeilen. Cloud Storage dient daneben als
Ablage für eingehende Daten; Dateien aus einem Bucket zu laden ist
ein üblicher Einstieg. Ein Team, das anderswo einen
Warehouse-Cluster bereitstellen und abstimmen müsste, kann hier mit
einem Bucket, einem Dataset und einer Abfrage beginnen.

Die Projektgrenze ist der zweite Grund, weil so viel daran hängt.
Abrechnung, Kontingente, aktivierte APIs und IAM treffen sich im
Projekt. Ein Projekt pro Anwendung und Umgebung zieht daher eine
klare Grenze: Produktion und Test erhalten getrennte Rechte und
eigene Positionen auf der Rechnung. Wird ein Projekt stillgelegt,
endet seine Abrechnung und alle Ressourcen darin werden zugleich
gestoppt. Die Eigentümer können es 30 Tage lang wiederherstellen,
einige Dienste, darunter Cloud Storage, löschen ihre Daten jedoch
möglicherweise früher. Oberhalb der Projekte kann eine einmal auf
einem Ordner gesetzte Organisationsrichtlinie ganze Klassen
riskanter Einstellungen in allen darunterliegenden Projekten
verbieten, etwa Standardnetzwerke oder herunterladbare
Dienstkontoschlüssel. So hält ein kleines Team ein Dutzend Projekte
konsistent, ohne jedes einzeln von Hand zu prüfen.

Wie es in der Praxis aussieht

Drei Portfolioeinträge zeigen Google Cloud als Ablage für Daten, die
in ein Data Warehouse geladen werden, als externen Speicher für
Sicherungen und als ein Ende eines privaten Netzes.

Bei der Datenarbeit versorgten sechs ETL/ELT-Pipelines BigQuery aus
einem Warehouse hinter einem IPsec-VPN. Aufbereitete Datasets und
Tabellen wurden exportiert, mit gzip komprimiert und in einen
Google-Cloud-Storage-Bucket übertragen. Upload und Schemazuordnung
nach BigQuery wurden mit der bq CLI und Python-Ingestionsskripten
automatisiert. Nachdem der Zwischenschritt über Cloud Storage und
das Laden in BigQuery selbstständig liefen, dauerte der gesamte
Vorgang weniger als 20 Minuten statt mindestens 3 Stunden von Hand.
BigQuery wurde täglich statt wöchentlich aktualisiert, und die
daraus lesenden Python-APIs gewannen 30 % an Leistung.

Für Sicherungen wurden hundert kritische Datensicherungen
automatisiert. Barman übernahm die PostgreSQL-Seite, Google Cloud
hielt die externen Kopien. Bash und Python orchestrierten und
validierten das gesamte Verfahren. Aufbewahrungsrichtlinien hielten
die Kopien aktuell, Integritätsprüfungen bestätigten, dass jede
verwendbar und nicht bloß vorhanden war. Die Sicherungen liefen
danach automatisch und ließen sich über alle Datenbanken hinweg
verifizieren.

Auf der Netzwerkseite wurden acht WireGuard- und IPsec-Tunnel
zwischen Google Cloud und Linux-Systemen vor Ort gemeinsam verwaltet
und Fehler darin untersucht. Ihre Konfiguration wurde
vereinheitlicht, ihr Zustand überwacht. Wiederkehrende Routing- und
Schlüsselaustauschprobleme wurden an der Ursache behoben statt mit
einem Neustart übergangen. Danach liefen alle acht Tunnel sicher und
zuverlässig.

Wo es schiefgeht

Was Google Cloud bequem macht, birgt seine größten Fallstricke:
Einstellungen, die den ersten Nachmittag erleichtern und ein Jahr
später noch bestehen, wenn sich längst niemand mehr an die
ursprüngliche Entscheidung erinnert.

Das Standardnetzwerk bleibt offen. Sofern keine
Organisationsrichtlinie es verhindert, beginnt jedes neue Projekt
mit einem Standardnetzwerk, das in jeder Region ein Subnetz und vier
vorab angelegte Firewallregeln besitzt. Drei akzeptieren Verkehr aus
0.0.0.0/0, also aus dem gesamten Internet: SSH auf tcp:22, Remote
Desktop auf tcp:3389 und ICMP. Die vierte erlaubt sämtlichen TCP-,
UDP- und ICMP-Verkehr aus 10.128.0.0/9 innerhalb des Netzes. Jede
virtuelle Maschine mit einer externen Adresse in diesem Netz ist
deshalb SSH-Versuchen von überall aus ausgesetzt. Die Einschränkung
`compute.skipDefaultNetworkCreation` verhindert, dass neue Projekte
ein solches Netz erhalten. An seine Stelle tritt ein eigenes Netz
mit Regeln, die ihre Quellen ausdrücklich benennen.

Ein Dienstkontoschlüssel landet in einem Repository. Ein vom Nutzer
verwalteter Schlüssel ist eine JSON-Datei, mit der jeder Besitzer
als das Dienstkonto handeln kann. Standardmäßig bleibt der Schlüssel
gültig, bis jemand ihn löscht. Solche Dateien verbreiten sich
leicht: in CI-Secrets, in Container-Images und versehentlich in
Repositories. Google empfiehlt, überall eine sicherere Alternative
zu wählen, wo sie verfügbar ist. Workloads auf Google Cloud
verwenden das an ihre Ressource gebundene Dienstkonto. Workloads
außerhalb, etwa ein CI-System oder eine andere Cloud, verwenden
Workload Identity Federation: Die eigenen Zugangsdaten des externen
Systems werden gegen kurzlebige Google-Tokens getauscht. Bei
Organisationen, die am oder nach dem 3. Mai 2024 angelegt wurden,
sind Schlüsselerstellung und Schlüsselupload durch
Organisationsrichtlinien standardmäßig deaktiviert. Ältere
Organisationen können dieselben Einschränkungen setzen.

Eine kleine Abfrage liest eine große Tabelle. Beim On-Demand-Modell
berechnet BigQuery die Bytes, die eine Abfrage liest. Auf einer
nicht geclusterten Tabelle ändert eine `LIMIT`-Klausel diese Zahl
nicht: `SELECT * ... LIMIT 10` liefert zehn Zeilen und berechnet
jedes Byte jeder Spalte. Wählen Sie nur die benötigten Spalten aus.
Partitionieren Sie große Tabellen nach Datum, damit darauf filternde
Abfragen alte Partitionen überspringen. Prüfen Sie vor einer neuen
Abfrage die Schätzung eines Probelaufs und setzen Sie ein Maximum
für die abrechenbaren Bytes. Überschreitet die Schätzung dieses
Limit, scheitert die Abfrage vor ihrer Ausführung, ohne Kosten zu
verursachen.

Kalter Speicher hält warme Daten. Cloud Storage bietet Nearline,
Coldline und Archive an. Pro gespeichertem Gigabyte kosten sie
weniger als Standard, verlangen dafür aber Abrufgebühren und
Mindestspeicherzeiten von 30, 90 beziehungsweise 365 Tagen. Wird ein
Objekt vor Ablauf dieser Zeit gelöscht, ersetzt oder verschoben,
wird es berechnet, als wäre es den ganzen Zeitraum gespeichert
worden. Täglich rotierende Sicherungen oder temporäre Dateien, die
eine Pipeline innerhalb einer Stunde schreibt und wieder entfernt,
können in Archive deshalb mehr kosten als in Standard. Die kälteren
Klassen eignen sich für Daten, die einmal geschrieben und selten
gelesen werden. Eine Lebenszyklusregel kann Objekte mit zunehmendem
Alter dorthin verschieben.

Weiterführende Lektüre

  * Google-Cloud-Dokumentation — Googles Verzeichnis der
Anleitungen, Referenzen und Tutorials für alle
Google-Cloud-Produkte.

  * Über die Ressourcenhierarchie — Wie Organisationen, Ordner und
Projekte ineinanderliegen und wie Rollen und Richtlinien nach unten
weitergegeben werden.

  * VPC-Firewallregeln — Die Auswertung von Firewallregeln,
einschließlich der Regeln eines neuen Standardnetzwerks.

  * Dienstkontoschlüssel sicher verwalten — Wie Schlüssel nach außen
gelangen, wie sie eingeschränkt werden und was sie ersetzen kann.

  * Kosten schätzen und begrenzen — BigQuery-Hinweise zu
Probeläufen, maximal abgerechneten Bytes und warum `LIMIT` wenig
spart.

  * Speicherklassen — Die Klassen im Vergleich, mit Mindestdauer,
Abrufgebühren und Verfügbarkeit.

hDiese Seite im Web	URL:https://engineer.company/de/glossary/google-cloud/	engineer.company	70
