Im Folgenden finden Sie eine allgemeine Übersicht über die Abrechnung der wichtigsten Funktionen von Dataplex Universal Catalog:

Kostenlose Stufe des Dataplex Universal Catalog für den Knowledge Catalog

Im Rahmen der kostenlosen Stufe von Google Cloud bietet Knowledge Catalog einige Ressourcen bis zu einem bestimmten Limit kostenlos an. Diese kostenlosen Nutzungskontingente sind während des kostenlosen Testzeitraums und auch danach verfügbar. Wenn Sie die Nutzungslimits überschreiten und der kostenlose Testzeitraum abgelaufen ist, fallen die oben genannten Gebühren an.

Hinweis: Das kostenlose Kontingent für Knowledge Catalog ist nur für die SKU „Dataplex Universal Catalog Standard Processing“ verfügbar, nicht für die SKU „Dataplex Universal Catalog Premium Processing“.

Die DCU-Gebühren für die einzelnen Funktionen werden wie folgt berechnet:

1. Automatische Datenqualitätsscans:

• Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt pro Sekunde, mit einem Minimum von einer Minute.
• Die Kosten hängen von der Anzahl der Zeilen und Spalten, der Menge der gescannten Daten, der Konfiguration der Datenqualitätsregeln, den Partitionierungs- und Clusteringeinstellungen der Tabelle und der Häufigkeit des Scans ab.
• Für Scans zur Anomalieerkennung der Datenqualität fallen keine DCU-Gebühren an. Stattdessen gelten die standardmäßigen BigQuery-Preise für Computing, Speicher und BQML-Modelltraining, ‑Verarbeitung und ‑Bereitstellung.
• Wenn Sie eine benutzerdefinierte Ausführungsidentität verwenden, ändert sich die Abrechnung des Scans. Wenn Sie eine benutzerdefinierte Ausführungsidentität angeben, werden die mit dem Scan verbundenen Rechen- und Speicherkosten direkt Ihrem BigQuery-Projekt in Rechnung gestellt, wobei die Standard-SKUs von Dataplex Premium umgangen werden.

2. Es gibt mehrere Möglichkeiten, die Kosten für automatische Datenqualitätsscans zu senken:

• Probenahme
• Inkrementelle Scans
• Wenn Sie die Gebühren für die Datenqualität von anderen Gebühren in der Dataplex Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_QUALITY.

3. Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um die Gesamtkosten zu filtern:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

4. Datenprofilscans:

• Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt pro Sekunde, mit einem Minimum von einer Minute.
• Die Kosten hängen von der Anzahl der Zeilen und Spalten, der Menge der gescannten Daten, den Partitionierungs- und Clusteringeinstellungen der Tabelle und der Häufigkeit des Scans ab.
• Wenn Sie eine benutzerdefinierte Ausführungsidentität verwenden, ändert sich die Abrechnung des Scans. Wenn Sie eine benutzerdefinierte Ausführungsidentität angeben, werden die mit dem Scan verbundenen Rechen- und Speicherkosten direkt Ihrem BigQuery-Projekt in Rechnung gestellt, wobei die Standard-SKUs von Dataplex Premium umgangen werden.

5. Es gibt mehrere Möglichkeiten, die Kosten für Datenprofilscans zu senken:

• Probenahme
• Inkrementelle Scans
• Spaltenfilterung
• Zeilenfilterung
• Wenn Sie die Gebühren für die Datenprofilerstellung von anderen Gebühren in der Dataplex-Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_PROFILE.

6. Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um die Gesamtkosten zu filtern:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

Für die folgenden Aktivitäten fallen Gebühren an:

• Automatische Lineage-Analyse: Der Verbrauch von Data Compute Units (DCUs) richtet sich nach der Komplexität der Verarbeitung. DCUs messen die abstrakte Rechenkapazität, die für das Parsen zugewiesen wird. Der Verbrauch wird anhand der Anzahl der Jobs, der Jobausführungen und der erstellten Abstammungslinks berechnet. 

Diese Kosten fallen an, wenn der Quelltyp Origin der Data Lineage API auf einen anderen Wert als CUSTOM gesetzt ist. Werte wie BIGQUERY, DATAPROC oder COMPOSER geben an, dass die Datenherkunft automatisch von Google Cloud aus den Logs und Metadaten des Dienstes extrahiert wird. Für diesen Extraktionsprozess sind Rechenressourcen (DCUs) erforderlich, weshalb er kostenpflichtig ist. Im Gegensatz dazu gibt CUSTOM an, dass Sie das Parsen selbst durchgeführt haben und nur das Ergebnis speichern, was kostenlos ist.

Die folgenden Aktivitäten sind kostenlos:

• Benutzerdefinierte Berichte zur Datenherkunft: Die Berichterstellung zur Datenherkunft aus Drittanbietersystemen oder benutzerdefinierten Integrationen (bei denen der sourceType CUSTOM ist) ist kostenlos. Dazu gehören die folgenden Methoden:
• Rufen Sie ProcessOpenLineageRunEvent auf, um OpenLineage-kompatible Ereignisse zu importieren.
• LineageEvent mit einem benutzerdefinierten Client erstellen, um native Lineage-Ereignisse manuell zu melden.
• Prozesse und Ausführungen melden: Das Melden der Prozessmetadaten selbst ist kostenlos. Gebühren fallen nur für das automatische Parsen von LineageEvents an.
• Lineage Consumption: Das Abrufen von Lineage (mit den Methoden „Get“ oder „List“) und das Löschen von Lineage (mit den Methoden „Delete“) sind kostenlos.

In diesem Beispiel aktivieren Sie die Datenherkunft, um die Herkunft für BigQuery in Ihrem Projekt zu verfolgen. Das Projekt befindet sich am Standort „us-central1“, wo eine DCU-Stunde 0,089 $ kostet.

Die Berichterstellung zur Datenherkunft zu oder von einer EntityReference kostet etwa 0,0056 DCU-Stunden. Eine EntityReference identifiziert eine Datenressource in Google Cloud eindeutig, z. B. eine BigQuery-Tabelle oder einen Cloud Storage-Bucket.

• Täglicher Job: Sie führen 30 Tage lang einmal täglich den folgenden BigQuery-Job aus:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Ergebnis: Dieser Vorgang generiert Lineage-Links, die zwei Quelltabellen mit einer Zieltabelle verbinden (3 unterschiedliche Entitäten).

• Job jeden zweiten Tag: Sie führen den folgenden Job jeden zweiten Tag aus (15-mal im Monat):

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Ergebnis: Dieser Vorgang erzeugt Lineage-Links, die drei Quelltabellen mit einer Zieltabelle verbinden (4 unterschiedliche Entitäten).

Kostenberechnung

Nehmen wir an, dass in diesem Monat 1 GiB an Datenherkunfts-Metadaten generiert wurden. Die Kosten werden folgendermaßen berechnet:

• Täglicher Job: 30 Tage × 3 Entitäten × ~0,0056 DCU-Stunden × 0,089 $ ≈ 0,045 $
• Job jeden zweiten Tag: 15 Tage × 4 Entitäten × 0,0056 DCU-Stunden × 0,089 $ = 0,030 $
• Speicher: (1 GiB – 1 MiB kostenloses Kontingent) × 2,00 $ = 1,998 $

Gesamt: ca. 0,045 $ + 0,030 $ + 1,998 $ = ca. 2,07 $

Die API-Aufrufe, die bei der Interaktion mit dem Knowledge Catalog anfallen, sind kostenlos. Dazu gehören:

• Dataplex Universal Catalog-Ressourcen erstellen und verwalten
• Lineage-Ressourcen erstellen und verwalten
• Katalogsuche

In diesem Abschnitt finden Sie Beispiele für die Berechnung der Kosten für Dataplex Universal Catalog.

Kleine Aspekte

• Nutzer A erstellt und wendet kleine Aspekte an (jeweils 1.024 Byte). Für 10 $ pro Monat kann der Nutzer 5 GiB an Metadaten speichern, was etwa 5 Millionen Aspekten entspricht. Wenn wir von einem Aspekt pro Tabelle ausgehen, ergibt das insgesamt 5 Millionen Tabellen mit Aspekten.
• Nutzer B erstellt am 10. des Monats 5 Millionen Aspekte mit jeweils 1 KB und löscht sie am 20. des Monats. Die Kosten betragen 3,33 $, berechnet als 5 GiB an Daten geteilt durch ein Drittel Monat: