Integrationen in Bigtable

Wenn Sie Bigtable mit anderen Google Cloud Diensten und Open-Source-Tools verbinden, können Sie Daten in Ihren Anwendungen verarbeiten, analysieren und synchronisieren. Mit diesen Integrationen können Sie skalierbare Datenpipelines erstellen, Analysen ausführen und die Datenbankinfrastruktur verwalten.

Google Cloud -Dienste

In diesem Abschnitt werden die Google Cloud -Dienste beschrieben, in die Bigtable eingebunden ist.

BigQuery

BigQuery ist das vollständig verwaltete, kostengünstige Data Warehouse für Analysen im Petabyte-Bereich von Google. Sie können BigQuery mit Bigtable für die folgenden Zwecke verwenden:

  • Sie können eine externe BigQuery-Tabelle erstellen und dann verwenden, um Ihre Bigtable-Tabelle abzufragen und die Daten mit anderen BigQuery-Tabellen zu verknüpfen. Weitere Informationen finden Sie unter Bigtable-Daten abfragen.

  • Sie können Ihre BigQuery-Daten in eine Bigtable-Tabelle exportieren, indem Sie umgekehrtes ETL (RETL) von BigQuery nach Bigtable verwenden. Weitere Informationen finden Sie unter Daten nach Bigtable exportieren.

Cloud Asset Inventory

Cloud Asset Inventory, das Inventardienste auf Basis einer Zeitreihen-Datenbank bietet, unterstützt Bigtable-Ressourcentypen und gibt diese aus. Eine vollständige Liste finden Sie unter Unterstützte Ressourcentypen.

Knowledge Catalog

Knowledge Catalog und Data Catalog (eingestellt) katalogisieren automatisch Metadaten zu Bigtable-Ressourcen. Katalogisierte Informationen zu Ihren Daten können die Analyse, die Wiederverwendung von Daten, die Anwendungsentwicklung und die Datenverwaltung erleichtern. Weitere Informationen finden Sie unter Datenassets mit Data Catalog verwalten.

Dataflow

Dataflow ist ein Clouddienst und ein Programmiermodell für die Verarbeitung von Big Data. Dataflow unterstützt sowohl Batch- als auch Streamingverarbeitung. Sie können mit Dataflow Daten verarbeiten, die in Bigtable gespeichert sind, oder die Ausgabe Ihrer Dataflow-Pipeline speichern. Sie können Dataflow-Vorlagen auch verwenden, um Ihre Daten als Avro-, Parquet- oder SequenceFiles zu exportieren und importieren.

Weitere Informationen finden Sie unter Bigtable Beam-Connector.

Sie können Bigtable auch als Schlüssel/Wert-Paar-Lookup verwenden, um die Daten in einer Pipeline anzureichern. Eine Übersicht finden Sie unter Streamingdaten anreichern. Ein Tutorial finden Sie unter Daten mit Apache Beam und Bigtable anreichern.

Managed Service for Apache Spark

Managed Service for Apache Spark bietet Apache Hadoop und zugehörige Produkte als verwalteten Dienst in der Cloud. Mit Managed Service for Apache Spark können Sie Hadoop-Jobs ausführen, die Daten aus Bigtable lesen und in Bigtable schreiben.

Ein Beispiel für einen Hadoop-MapReduce-Job, der Bigtable verwendet, finden Sie im Verzeichnis /java/dataproc-wordcount im GitHub-Repository GoogleCloudPlatform/cloud-bigtable-examples.

Pub/Sub

Bigtable unterstützt die Aufnahme von Daten aus Pub/Sub-Abos. Sie können ein Pub/Sub-Abo so konfigurieren, dass Nachrichten an eine Bigtable-Tabelle gesendet werden. Pub/Sub schreibt diese Nachrichten als neue Zeilen in Bigtable. Weitere Informationen finden Sie unter Bigtable-Abos.

Die Vektorsuche auf der Gemini Enterprise Agent Platform ist eine Technologie, die in Milliarden von semantisch ähnlichen oder semantisch verwandten Elementen suchen kann. Er ist nützlich für die Implementierung von Empfehlungssystemen, Chatbots und Textklassifizierung.

Sie können Bigtable verwenden, um Vektoreinbettungen zu speichern, sie in einen Vector Search-Index zu exportieren und dann den Index nach ähnlichen Elementen abzufragen. Ein Beispielworkflow finden Sie im Export-Tutorial für Bigtable in die Vektorsuche im GitHub-Repository workflows-demos.

Sie können auch Streaming-Updates senden, um den Vektorsuchindex in Echtzeit mit Bigtable zu synchronisieren. Weitere Informationen finden Sie in der Vorlage für Bigtable-Änderungsstreams zur Vektorsuche.

Big Data

In diesem Abschnitt werden Big Data-Produkte beschrieben, die sich in Bigtable integrieren lassen.

Apache Beam

Apache Beam ist ein einheitliches Modell zum Definieren von Batch- und Streamingpipelines zur parallelen Datenverarbeitung. Mit dem Bigtable Beam-Connector (BigtableIO) können Sie Batch- und Streamingvorgänge für Bigtable-Daten in einer Pipeline ausführen.

Ein Tutorial zur Verwendung des Bigtable Beam-Connectors zum Bereitstellen einer Datenpipeline in Dataflow finden Sie unter Bigtable-Änderungsstream verarbeiten.

Apache Hadoop

Apache Hadoop ist ein Framework, das die verteilte Verarbeitung großer Datenmengen auf Clustern von Computern ermöglicht. Mit Managed Service for Apache Spark können Sie einen Hadoop-Cluster erstellen und dann MapReduce-Jobs ausführen, die Daten aus Bigtable lesen und in Bigtable schreiben.

Ein Beispiel für einen Hadoop-MapReduce-Job, der Bigtable verwendet, finden Sie im Verzeichnis /java/dataproc-wordcount im GitHub-Repository GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

StreamSets Data Collector ist eine Datenstreaminganwendung, die Sie für das Schreiben von Daten in Bigtable konfigurieren können. StreamSets bietet in seinem GitHub-Repository unter streamsets/datacollector eine Bigtable-Bibliothek.

Graphdatenbanken

In diesem Abschnitt werden Graphdatenbanken beschrieben, die sich in Bigtable integrieren lassen.

HGraphDB

HGraphDB ist eine Clientschicht für die Verwendung von Apache HBase oder Bigtable als Graphdatenbank. Sie implementiert die Apache TinkerPop3-Oberflächen.

Weitere Informationen zum Verwenden von HGraphDB mit Unterstützung für Bigtable finden Sie in der HGraphDB-Dokumentation.

JanusGraph

JanusGraph ist eine skalierbare Graphdatenbank. Sie ist für die Speicherung und Abfrage von Grafiken mit Hunderten von Milliarden Kanten und Eckpunkten optimiert.

Weitere Informationen zur Verwendung von JanusGraph mit Bigtable-Unterstützung finden Sie unter JanusGraph mit Bigtable ausführen oder in der JanusGraph-Dokumentation.

Infrastrukturverwaltung

In diesem Abschnitt werden die Tools zur Infrastrukturverwaltung beschrieben, die sich in Bigtable integrieren lassen.

Pivotal Cloud Foundry

Pivotal Cloud Foundry ist eine Plattform für die Entwicklung und Bereitstellung von Anwendungen, die die Möglichkeit bietet, eine Anwendung an Bigtable zu binden.

Terraform

Terraform ist ein Open-Source-Tool, das APIs in deklarative Konfigurationsdateien codiert. Diese Dateien können für Teammitglieder freigegeben, als Code behandelt, bearbeitet, überprüft und versioniert werden.

Weitere Informationen zur Verwendung von Bigtable mit Terraform finden Sie in der Terraform-Dokumentation unter Bigtable-Instanz und Bigtable-Tabelle.

Zeitachsen-Datenbanken und -Monitoring

In diesem Abschnitt werden Zeitachsen-Datenbanken und -Überwachungstools beschrieben, die sich in Bigtable integrieren lassen.

OpenTSDB

OpenTSDB ist eine Zeitachsen-Datenbank, die Bigtable zum Speichern verwenden kann. Die OpenTSDB-Dokumentation enthält Informationen für den Einstieg.