Einführung in die Storage Write API

Die BigQuery Storage Write API ist eine einheitliche API zur Datenaufnahme, mit der Sie Datensätze in Echtzeit in BigQuery streamen können. Die Storage Write API ist sowohl über gRPC- als auch über REST-Endpunkte verfügbar.

Streamingansatz auswählen

Sie können die Storage Write API auf zwei Arten verwenden: über gRPC-Streaming oder über den REST-Endpunkt. gRPC-Streaming ist ideal für langlebige Verbindungen und kontinuierliches Streaming, während der REST-Endpunkt am besten für kurzlebige, zustandslose oder eingeschränkte Umgebungen geeignet ist.

Für neue Arbeitslasten empfehlen wir die Verwendung von gRPC-Streaming aus den folgenden Gründen:

  • Effizientes Protokoll: gRPC-Streaming ist effizienter als REST über HTTP. Außerdem werden das binäre Protocol Buffer-Format und das spaltenweise Apache Arrow-Format unterstützt, die effizientere Wire-Formate als JSON sind. Schreibanfragen sind asynchron und die Reihenfolge ist garantiert.
  • Niedrigere Kosten: gRPC-Streaming ist deutlich günstiger als REST. Darüber hinaus können Sie bis zu 2 TiB pro Monat kostenlos aufnehmen.
  • Semantik für die genau einmalige Zustellung: gRPC-Streaming unterstützt die genau einmalige Semantik durch die Verwendung von Stream-Offsets.Es werden niemals zwei Nachrichten mit demselben Offset in einem Stream geschrieben, wenn der Client Stream-Offsets beim Anhängen von Datensätzen bereitstellt.
  • Transaktionen auf Streamebene. Mit gRPC-Streaming können Sie Daten in einen Stream schreiben und als einzelne Transaktion committen. Wenn der Commit-Vorgang fehlschlägt, können Sie den Vorgang sicher wiederholen.
  • Transaktionen über Streams. Mit gRPC-Streaming können mehrere Worker eigene Streams erstellen, um Daten unabhängig zu verarbeiten. Wenn alle Worker fertig sind, können Sie alle Streams als Transaktion committen.
  • Schemaaktualisierungserkennung. Wenn sich das zugrunde liegende Tabellenschema während des Streamings durch den Client ändert, benachrichtigt die API den Client. Der Client kann entscheiden, ob er die Verbindung mit dem aktualisierten Schema wiederherstellen oder weiterhin in die vorhandene Verbindung schreiben möchte.

Das folgende Diagramm veranschaulicht weitere technische Details, die bei der Auswahl eines Streaming-Ansatzes zu beachten sind:

Diagramm zur Auswahl des Streamingansatzes für die Storage Write API.

Nächste Schritte