Cloud Billing-Datentabellen in BigQuery

Dieses Dokument enthält Referenzinformationen zum Schema der Cloud Billing-Daten, die in jede Tabelle in BigQuery exportiert werden.

Abrechnungsdatentabellen

Kurz nach dem Aktivieren des Cloud Billing-Exports an BigQuery werden Abrechnungsdatentabellen automatisch im BigQuery-Dataset erstellt.

Häufigkeit der Datenladevorgänge

FOCUS-, Standard- und detaillierter Nutzungskostenexport

  • Wenn Sie den ersten Export von FOCUS-, Standard- oder detaillierten Nutzungskosten nach BigQuery aktivieren, kann es einige Stunden dauern, bisGoogle Cloud -Kostendaten an Ihr BigQuery-Dataset weitergegeben werden. Daten werden in chronologischer Reihenfolge exportiert. Wenn Ihr Export so konfiguriert ist, dass Daten für den aktuellen und den Vormonat rückwirkend enthalten sind, kann es bis zu fünf Tage dauern, bis die exportierten Daten vollständig auf dem aktuellen Stand sind.
  • Google Cloud -Dienste melden Nutzungs- und Kostendaten in unterschiedlichen Intervallen an Cloud Billing-Vorgänge.
  • Cloud Billing exportiert Nutzungs- und Kostendaten in regelmäßigen Abständen an Ihr BigQuery-Dataset. Es gibt keine Zustellungs- oder Latenzgarantien für den Export in BigQuery.
  • Da die Häufigkeit der Nutzungsberichte je nach Google Cloud Dienst variiert, werden Nutzungs- und Kostendaten für Cloud Billing für alle zuletzt verwendeten Google Cloud Dienste möglicherweise nicht sofort angezeigt.

Export von Metadaten zu Preisen und Rabatten für zugesicherte Nutzung

  • Wenn Sie den Preisexport nach BigQuery zum ersten Mal aktivieren, kann es bis zu 48 Stunden dauern, bis Ihre Google Cloud Preisdaten angezeigt werden.
  • Nachdem Sie den Preisexport aktiviert haben, werden die für Ihr Cloud-Rechnungskonto relevanten Preisdaten einmal pro Tag nach BigQuery exportiert.

Datenverfügbarkeit

  • Für Kunden, die den Export von FOCUS-, Standard- oder detaillierten Nutzungskosten zum ersten Mal aktivieren:

    • Wenn Sie Ihr BigQuery-Dataset für die Verwendung eines multiregionalen Standorts konfigurieren, werden Cloud Billing-Daten ab dem Beginn des Vormonats rückwirkend exportiert. Wenn Sie beispielsweise den Datenexport für FOCUS-Nutzungskosten, standardmäßige Nutzungskosten oder detaillierte Nutzungskosten am 23. September aktivieren, enthält der Export Daten ab dem 1. August.

      Daten werden jeweils in chronologischer Reihenfolge exportiert, sodass zuerst die Daten des ersten Tages des letzten Monats ausgefüllt werden. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die reaktiven Cloud Billing-Daten abgeschlossen sind und die neuesten Nutzungsdaten angezeigt werden.

    • Wenn Sie Ihr BigQuery-Dataset so konfigurieren, dass ein unterstützter regionaler Standort verwendet wird, sind Ihre Daten zu FOCUS-Nutzungskosten, standardmäßigen Nutzungskosten oder detaillierten Nutzungskosten ab dem Datum verfügbar, an dem Sie den Export von Cloud Billing aktivieren, und danach. Das heißt, Google Cloud -Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte mit mehreren Regionen hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Für Kunden, die den Export von Daten der FOCUS-Nutzungskosten, standardmäßigen Nutzungskosten oder detaillierten Nutzungskosten aktiviert, deaktiviert und anschließend wieder aktiviert haben, sind die Cloud Billing-Daten für den Zeitraum, in dem der Export explizit deaktiviert wurde, möglicherweise nicht verfügbar.

  • Wenn Sie den Export der Preisdaten aktivieren, enthält Ihr BigQuery-Dataset nur Cloud Billing-Daten ab dem Datum, an dem Sie den Preisexport erstmals aktiviert haben. Cloud Billing-Preisdaten werden nicht rückwirkend hinzugefügt. Es werden also keine Preisdaten für Datumsangaben angezeigt, die vor der Aktivierung des Exports aufgetreten sind.

  • Die Daten in den BigQuery-Datasets geben den Status Ihrer Ressourcen zum Zeitpunkt der Aufzeichnung der Nutzung wieder. Wenn Sie Änderungen an Ihren Ressourcen vornehmen, z. B. wenn Sie einem Projekt neue Labels hinzufügen oder die Hierarchie eines Projekts ändern (dies würde project.ancestors ändern), werden diese Änderungen nur in zukünftigen Exporten von Nutzungsdaten angezeigt. Zuvor exportierte Datensätze werden nicht geändert.

  • Wenn Sie exportierte Daten löschen, wie z. B. BigQuery-Exportdatensätze, können wir für die gelöschten Datensätze kein Backfill ausführen.

  • Wenn Sie die Einstellungen eines Exports bearbeiten, um das Projekt oder Dataset zu aktualisieren, in dem Ihre exportierten Abrechnungsdaten gespeichert werden, werden Daten aus dem vorherigen Dataset nicht automatisch in das neue Dataset übertragen. Das neue BigQuery-Dataset enthält nur Cloud Billing-Daten, die ab dem Datum anfallen, an dem Sie die Exporteinstellungen geändert haben. Wenn Sie den vollständigen Datensatz der exportierten Abrechnungsdaten einbeziehen möchten, müssen Sie das neue Dataset manuell mit dem vorherigen Dataset zusammenführen. Weitere Informationen finden Sie unter Join-Vorgang.

  • BigQuery-Ladevorgänge sind ACID-kompatibel. Wenn Sie also das BigQuery-Dataset für den Cloud Billing-Export abfragen, während Daten geladen werden, werden keine nur teilweise geladenen Daten angezeigt.

  • Weitere Einschränkungen, die sich auf den Export von Abrechnungsdaten in BigQuery auswirken können, z. B. Datasets mit aktivierten vom Kunden verwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK).

Beschränkungen

Das Exportieren von Cloud Billing-Daten nach BigQuery unterliegt folgenden Einschränkungen.

Tabellenschema für Cloud Billing-Datenexporte

Das Tabellenschema für die Cloud Billing-Datenexporte kann sich ändern.

Wenn sich das Tabellenschema ändert, z. B. wenn einem BigQuery-Tabellenschema für einen Cloud Billing-Datenexport neue Felder hinzugefügt werden, schlagen alle Abfragen fehl, die direkt auf die exportierten Spalten verweisen. Um dieses Problem zu beheben, empfehlen wir, BigQuery-Ansichten zu erstellen, mit denen die exportierten Tabellen abgefragt werden und die Informationen in der gewünschten Struktur dargestellt werden.

Anschließend können Sie die Abfragen, die Ihre Berichte und Dashboards speisen, so anpassen, dass die Daten aus den Ansichten und nicht aus den exportierten Tabellen abgerufen werden. Mit Ansichten können Sie die Struktur der Daten standardisieren, die in Ihren Abfragen und Dashboards verwendet werden.

In den von Ihnen erstellten Ansichten sollten die Daten normalisiert werden, sodass alle relevanten Tabellen in Ihren Abfragen das gleiche Schema enthalten. So sind Sie vor zukünftigen Schemaänderungen geschützt und können die zugrunde liegende Abfrage der Ansicht ändern, wenn sich das Datenschema ändert.

FOCUS-Export und Datenaufbewahrung

Für Abrechnungsdaten, die im FOCUS-Format nach BigQuery exportiert werden, gilt eine Richtlinie für die Gültigkeitsdauer (TTL) von 2 Jahren. Daten, die älter als zwei Jahre sind, werden automatisch aus der bereitgestellten FOCUS-Exporttabelle im BigQuery-Dataset gelöscht. Wenn Sie den Verlauf Ihrer FOCUS-Abrechnungsdaten länger als zwei Jahre aufbewahren müssen, kopieren Sie die FOCUS-Daten in eine Tabelle zur Langzeitspeicherung, die Ihnen gehört.

Standorte von BigQuery-Datasets und Datenverfügbarkeit

Für die Verwendung mit Cloud Billing-Daten unterstützte BigQuery-Dataset-Standorte:

BigQuery-Datasets sind so konfiguriert, dass sie einen Standort verwenden: entweder einen multiregionalen Standort (EU oder USA) oder einen regionalen Standort. Der Dataset-Speicherort wird bei der Erstellung festgelegt. Nachdem ein Dataset erstellt wurde, kann sein Standort nicht mehr geändert werden.

Der Cloud Billing-Datenexport unterstützt alle multiregionalen Standorte (EU oder USA), aber nur einen Teil der regionalen Standorte. Wenn Sie Ihre Cloud Billing-Exporteinstellungen konfigurieren und ein Dataset erstellen, das für die Verwendung eines nicht unterstützten regionalen Standorts konfiguriert ist, wird beim Speichern der Exporteinstellungen der Fehler Ungültige Dataset-Region angezeigt.

In der folgenden Tabelle sind die multiregionalen Standorte und die regionalen Standorte aufgeführt, die für die Verwendung mit BigQuery-Datasets, die Cloud Billing-Daten enthalten, unterstützt werden.

Nord- und Südamerika Asiatisch-pazifischer Raum Europa Naher Osten

Multiregional: USA

Regionen:

  • northamerica-northeast1 (Montreal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (South Carolina)
  • us-east4 (Northern Virginia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regionen:

  • asia-east1 (Taiwan)
  • asia-east2 (Hongkong)
  • asia-northeast1 (Tokio)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seoul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapur)
  • asia-southeast2 (Jakarta)
  • australia-southeast1 (Sydney)

Multiregional: EU

Regionen:

  • europe-central2 (Warschau)
  • europe-north1 (Finnland)
  • europe-west1 (Belgien)
  • europe-west2 (London)
  • europe-west3 (Frankfurt)
  • europe-west4 (Niederlande)
  • europe-west6 (Zürich)

Regionen:

  • me-central1 (Doha)
  • me-central2 (Dammam)
  • me-west1 (Tel Aviv)

Standorte und Datenverfügbarkeit:

  • Für Ihre BigQuery-Datasets, die FOCUS-Nutzungskostendaten, Standardnutzungskostendaten oder detaillierte Nutzungskostendaten enthalten, wirkt sich der Typ des Standorts, den Sie für das Dataset konfigurieren, auf den Zeitpunkt aus, zu dem Ihre Google Cloud -Abrechnungsdaten in das Dataset exportiert werden:

    • Wenn Sie das Dataset für die Verwendung eines multiregionalen Standorts (EU oder USA) konfigurieren, enthält das Dataset Google Cloud Abrechnungsdaten, die ab dem Beginn des Vormonats angefallen sind, ab dem Zeitpunkt, an dem Sie den Export zuerst aktiviert haben, sofern Sie den Export nicht wieder aktivieren. Das heißt, Google Cloud -Abrechnungsdaten werden für den aktuellen und den Vormonat rückwirkend hinzugefügt. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die reaktiven Cloud Billing-Daten abgeschlossen sind und die aktuellen Nutzungsdaten angezeigt werden.

    • Wenn Ihr Dataset für die Verwendung eines unterstützten regionalen Standorts konfiguriert ist, spiegeln Ihre FOCUS-Nutzungskostendaten, standardmäßigen Nutzungskostendaten und detaillierten Nutzungskostendaten nur die Google Cloud -Abrechnungsdaten wider, die ab dem Datum, an dem Sie den Cloud Billing-Export aktiviert haben, und danach angefallen sind. Das heißt, Google Cloud Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte mit mehreren Regionen hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Weitere Informationen finden Sie unter Datenverfügbarkeit.

  • Ihre BigQuery-Datasets, die Preisdaten enthalten, erfassen nur Google Cloud Abrechnungsdaten, die ab dem Datum angefallen sind, an dem Sie den Cloud Billing-Export eingerichtet haben. Google Cloud -Preisdaten werden aber nicht rückwirkend hinzugefügt, sodass Sie keine vor dem Export erstellten Cloud Billing-Preisdaten sehen. Weitere Informationen finden Sie unter Datenverfügbarkeit.

Exporteinstellungen deaktivieren, wieder aktivieren oder bearbeiten

Wenn Sie Ihre Exporteinstellungen deaktivieren, wieder aktivieren oder bearbeiten, um das Projekt oder Dataset zu aktualisieren, in dem Ihre exportierten Abrechnungsdaten gespeichert werden, werden zuvor exportierte Abrechnungsdaten nicht in Ihr neues Dataset übertragen. Wenn Sie die Abrechnungsinformationen einbeziehen möchten, die vor dem Wechsel zu einem anderen Projekt oder Dataset exportiert wurden, müssen Sie das neue Dataset manuell mit dem vorherigen Dataset zusammenführen. Weitere Informationen finden Sie unter Join-Vorgang.

Dataset-Verschlüsselung

BigQuery-Datasets werden für die Verwendung von Verschlüsselung ruhender Daten konfiguriert, indem beim Erstellen des Datasets eine Verschlüsselungsschlüsseloption festgelegt wird – entweder ein Google-owned and Google-managed encryption keyoder ein kundenverwalteter Verschlüsselungsschlüssel (CMEK). Sie können die Verschlüsselungseinstellung nach dem Erstellen eines Datasets bearbeiten.

Wenn Sie den Cloud Billing-Datenexport nach BigQuery bereits aktiviert haben und Ihr Dataset für die Verwendung vonGoogle-managed encryption keykonfiguriert ist, können Sie das Dataset und die zugehörigen Tabellen für die Verwendung eines CMEK aktualisieren. So aktualisieren Sie das Dataset und seine Tabellen:

  1. Standardschlüssel für Dataset festlegen Wenn Sie einen Standardschlüssel festlegen, werden alle neuen Tabellen, die im Dataset erstellt werden, automatisch mit dem CMEK geschützt.
  2. Verwenden Sie das bq-Befehlszeilentool, um CMEK für jede vorhandene Tabelle im Dataset zu aktivieren. Wenn Sie den Standardschlüssel des Datasets ändern, werden vorhandene Tabellen nicht automatisch neu verschlüsselt.

Informationen zum Aktivieren von CMEK für BigQuery-Tabellen

CMEK-Organisationsrichtlinien

Sie können CMEK-Organisationsrichtlinien verwenden, um die CMEK-Nutzung für Ihre BigQuery-Ressourcen, einschließlich Abrechnungsexporte, zu erzwingen oder um zu verlangen, dass sich der CMEK in einem genehmigten Projekt befindet. Die Durchsetzung von CMEK-Organisationsrichtlinien kann jedoch die folgenden unerwarteten Auswirkungen haben:

  • Der Exportprozess schlägt möglicherweise bei vorhandenen Datasets fehl: Wenn Sie eine neue Einschränkung für Organisationsrichtlinien aktivieren, wird sie nicht auf vorhandene Datasets angewendet. Das bedeutet, dass Sie Datasets haben können, die weiterhin vorhanden sind, obwohl sie nicht mehr zulässig sind. Wenn Sie jedoch das nächste Mal versuchen, Daten in dieses Dataset zu exportieren, schlägt der Exportvorgang fehl, wenn aufgrund einer neu erzwungenen Organisationsrichtlinie keine neuen Tabellen erstellt werden können.

    Um diese Situation zu vermeiden, sollten Sie Ihre vorhandenen Konfigurationen für den Abrechnungsexport proaktiv überprüfen, wenn Sie Ihre Organisationsrichtlinien aktualisieren. Aktualisieren Sie die Dataset-Konfiguration nach Bedarf, um die Einschränkungen für restrictNonCmekServices und restrictCmekCryptoKeyProjects einzuhalten.

  • Inkonsistente Durchsetzung von Organisationsrichtlinien: Organisationsrichtlinien werden nicht erzwungen, wenn Sie einen leeren Datensatz erstellen. Das bedeutet, dass Sie die restrictNonCmekServices-Einschränkung erzwingen können, um festzulegen, dass für die Verschlüsselung von BigQuery-Ressourcen ein CMEK verwendet werden muss. Sie können dann aber trotzdem ein BigQuery-Dataset erstellen, das für die Verwendung von Google-owned and Google-managed encryption keyskonfiguriert ist. Der Abrechnungsexport, der dieses Dataset verwendet, schlägt jedoch fehl, da Sie aufgrund der Organisationsrichtlinie keine nicht CMEK-geschützte Tabelle erstellen können, während die Einschränkung restrictNonCmekServices für BigQuery erzwungen wird.

    So beheben Sie das Problem: Aktualisieren Sie die Dataset-Verschlüsselung, um einen Dataset-Standardschlüssel festzulegen, der den Einschränkungen von restrictNonCmekServices und restrictCmekCryptoKeyProjects entspricht.

Sicherheit auf Zeilenebene

Wenn Sie die BigQuery-Sicherheit auf Zeilenebene für die Tabelle verwenden möchten, die Ihre exportierten Daten enthält, müssen Sie dem Cloud Billing-Exportdienstkonto billing-export-bigquery@system.gserviceaccount.com vollständigen Zugriff auf die Tabelle gewähren und dabei den BigQuery-TRUE-Filter verwenden. Der folgende Befehl gewährt Zugriff auf das Cloud Billing-Dienstkonto:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

FOCUS- oder detaillierte Kostendaten zur Nutzung und GKE

Beim Exportieren von FOCUS-Nutzungskostendaten oder detaillierten Nutzungskostendaten enthält der Export automatisch Informationen zu Compute Engine und anderen Diensten auf Ressourcenebene. Wenn Sie sich jedoch eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem FOCUS- oder detaillierten Datenexport ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.

Tags auf Ressourcenebene

Es kann bis zu einer Stunde dauern, bis Tags auf Ressourcenebene in BigQuery-Exporte übernommen werden. Wenn ein Tag innerhalb einer Stunde hinzugefügt oder entfernt wurde oder eine Ressource weniger als eine Stunde lang existiert, wird sie möglicherweise nicht im Export angezeigt.

Tags auf Ressourcenebene sind für mehrere Ressourcen im Standardexport für Nutzungskosten und im detaillierten Export für Nutzungskosten verfügbar.

Zurück
FOCUS-Export nach BigQuery einrichten
Weiter
Struktur des FOCUS-Datenexports