Integrazioni con Bigtable

Il collegamento di Bigtable con altri servizi Google Cloud e strumenti open source consente di elaborare, analizzare e sincronizzare i dati nelle tue applicazioni. Queste integrazioni ti aiutano a creare pipeline di dati scalabili, eseguire analisi e gestire l'infrastruttura di database.

Google Cloud servizi

Questa sezione descrive i servizi Google Cloud con cui Bigtable si integra.

BigQuery

BigQuery è il data warehouse di analisi di Google completamente gestito, su scala petabyte e dai costi contenuti. Puoi utilizzare BigQuery con Bigtable per i seguenti scopi:

  • Puoi creare una tabella esterna BigQuery e poi utilizzarla per eseguire query sulla tabella Bigtable e unire i dati ad altre tabelle BigQuery. Per maggiori informazioni, consulta Eseguire query sui dati Bigtable.

  • Puoi esportare i dati BigQuery in una tabella Bigtable utilizzando l'ETL inverso (RETL) da BigQuery a Bigtable. Per saperne di più, vedi Esportare dati in Bigtable.

Cloud Asset Inventory

Cloud Asset Inventory, che fornisce servizi di inventario basati su un database di serie temporali, supporta e restituisce i tipi di risorse Bigtable. Per un elenco completo, consulta Tipi di risorse supportati.

Knowledge Catalog

Knowledge Catalog e Data Catalog (ritirato) catalogano automaticamente i metadati relativi alle risorse Bigtable. Le informazioni catalogate sui tuoi dati possono facilitare l'analisi, il riutilizzo dei dati, lo sviluppo di applicazioni e la gestione dei dati. Per saperne di più, vedi Gestire gli asset di dati utilizzando Data Catalog.

Dataflow

Dataflow è un servizio cloud e un modello di programmazione per l'elaborazione dei big data. Dataflow supporta l'elaborazione sia in batch che in streaming. Puoi utilizzare Dataflow per elaborare i dati archiviati in Bigtable o per archiviare l'output della pipeline Dataflow. Puoi anche utilizzare i modelli Dataflow per esportare e importare i tuoi dati come Avro, Parquet o SequenceFiles.

Per iniziare, vedi Connettore Bigtable Beam.

Puoi anche utilizzare Bigtable come ricerca coppia chiave-valore per arricchire i dati in una pipeline. Per una panoramica, vedi Arricchire i dati di streaming. Per un tutorial, consulta Utilizzare Apache Beam e Bigtable per arricchire i dati.

Managed Service for Apache Spark

Managed Service for Apache Spark fornisce Apache Hadoop e prodotti correlati come servizio gestito nel cloud. Con Managed Service for Apache Spark, puoi eseguire job Hadoop che leggono e scrivono in Bigtable.

Per un esempio di job Hadoop MapReduce che utilizza Bigtable, consulta la directory /java/dataproc-wordcount nel repository GitHub GoogleCloudPlatform/cloud-bigtable-examples.

Pub/Sub

Bigtable supporta l'importazione dalle sottoscrizioni Pub/Sub. Puoi configurare una sottoscrizione Pub/Sub per inviare messaggi a una tabella Bigtable. Pub/Sub scrive questi messaggi in Bigtable come nuove righe. Per saperne di più, consulta la sezione Abbonamenti Bigtable.

Gemini Enterprise Agent Platform Vector Search è una tecnologia che può eseguire ricerche tra miliardi di elementi semanticamente simili o correlati. È utile per implementare motori per suggerimenti, chatbot e classificazione del testo.

Puoi utilizzare Bigtable per archiviare gli incorporamenti vettoriali, esportarli in un indice Vector Search e quindi eseguire query sull'indice per trovare elementi simili. Per un flusso di lavoro di esempio, consulta l'esercitazione sull'esportazione da Bigtable a Vector Search nel repository GitHub workflows-demos.

Puoi anche fare il push degli aggiornamenti dello streaming per mantenere l'indice Vector Search sincronizzato con Bigtable in tempo reale. Per saperne di più, consulta il modello di modifiche in tempo reale di Bigtable per Vector Search.

Big data

Questa sezione descrive i prodotti Big Data con cui Bigtable si integra.

Apache Beam

Apache Beam è un modello unificato per la definizione di pipeline di elaborazione parallela dei dati in batch e in streaming. Il connettore Bigtable Beam (BigtableIO) ti aiuta a eseguire operazioni batch e di streaming sui dati Bigtable in una pipeline.

Per un tutorial che mostra come utilizzare il connettore Bigtable Beam per eseguire il deployment di una pipeline di dati in Dataflow, consulta Elaborare uno stream di modifiche Bigtable.

Apache Hadoop

Apache Hadoop è un framework che consente l'elaborazione distribuita di grandi set di dati su cluster di computer. Puoi utilizzare Managed Service for Apache Spark per creare un cluster Hadoop, quindi eseguire job MapReduce che leggono e scrivono in Bigtable.

Per un esempio di job Hadoop MapReduce che utilizza Bigtable, consulta la directory /java/dataproc-wordcount nel repository GitHub GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

StreamSets Data Collector è un'applicazione di streaming di dati che puoi configurare per scrivere dati in Bigtable. StreamSets fornisce una libreria Bigtable nel suo repository GitHub all'indirizzo streamsets/datacollector.

Database a grafo

Questa sezione descrive i database di grafici con cui Bigtable si integra.

HGraphDB

HGraphDB è un livello client per l'utilizzo di Apache HBase o Bigtable come database a grafo. Implementa le interfacce Apache TinkerPop 3.

Per saperne di più sull'esecuzione di HGraphDB con il supporto di Bigtable, consulta la documentazione di HGraphDB.

JanusGraph

JanusGraph è un database a grafo scalabile. È ottimizzato per l'archiviazione e l'interrogazione di grafici contenenti centinaia di miliardi di vertici e archi.

Per saperne di più sull'esecuzione di JanusGraph con il supporto di Bigtable, consulta Esecuzione di JanusGraph con Bigtable o la documentazione di JanusGraph.

Gestione dell'infrastruttura

Questa sezione descrive gli strumenti di gestione dell'infrastruttura con cui Bigtable si integra.

Pivotal Cloud Foundry

Pivotal Cloud Foundry è una piattaforma di sviluppo e deployment di applicazioni che offre la possibilità di associare un'applicazione a Bigtable.

Terraform

Terraform è uno strumento open source che codifica le API in file di configurazione dichiarativi. Questi file possono essere condivisi tra i membri del team, trattati come codice, modificati, rivisti e sottoposti al controllo delle versioni.

Per saperne di più sull'utilizzo di Bigtable con Terraform, consulta Istanza Bigtable e Tabella Bigtable nella documentazione di Terraform.

Database di serie temporali e monitoraggio

Questa sezione descrive i database delle serie temporali e gli strumenti di monitoraggio con cui Bigtable si integra.

OpenTSDB

OpenTSDB è un database di serie temporali che può utilizzare Bigtable per l'archiviazione. La documentazione di OpenTSDB fornisce informazioni per aiutarti a iniziare.