Introdução à API Storage Write

A API BigQuery Storage Write é uma API de ingestão de dados unificada que pode ser usada para fazer streaming de registros para o BigQuery em tempo real. A API Storage Write está disponível nos endpoints gRPC e REST.

Escolher uma abordagem de streaming

É possível usar a API Storage Write de duas maneiras: por streaming de gRPC ou pelo endpoint REST. O streaming de gRPC é ideal para conexões de longa duração e streaming contínuo, enquanto o endpoint REST é melhor para ambientes efêmeros, sem estado ou restritos.

Para novas cargas de trabalho, recomendamos usar o streaming gRPC pelos seguintes motivos:

  • Protocolo eficiente: o streaming gRPC é mais eficiente do que o REST sobre HTTP. Ele também é compatível com o formato binário buffer de protocolo e o formato colunar Apache Arrow, que são formatos eletrônicos mais eficientes que o JSON. As solicitações de gravação são assíncronas com ordenação garantida.
  • Custo menor. O streaming gRPC tem um custo significativamente menor do que o REST. Além disso, é possível ingerir até 2 TiB por mês sem custos financeiros.
  • Semântica de entrega exatamente uma vez: o streaming gRPC é compatível com semântica exatamente uma vez usando deslocamentos de stream.Ele nunca grava duas mensagens com o mesmo deslocamento em um stream se o cliente fornecer deslocamentos de stream ao anexar registros.
  • Transações no nível do stream. Com o streaming gRPC, é possível gravar dados em um stream e fazer commit como uma única transação. Se a operação de confirmação falhar, será possível repetir a operação com segurança.
  • Transações em vários streams. Com o streaming gRPC, vários workers podem criar streams para processar dados de maneira independente. Quando todos os workers terminarem, você poderá fazer commit de todos os streams como uma transação.
  • Detecção de atualização de esquema. Com o streaming gRPC, se o esquema da tabela mudar enquanto o cliente estiver fazendo streaming, a API vai notificar o cliente. Ele pode decidir se quer se reconectar usando o esquema atualizado ou continuar gravando na conexão atual.

O diagrama a seguir ilustra outros detalhes técnicos importantes ao selecionar uma abordagem de streaming:

Diagrama para escolher a abordagem de streaming da API Storage Write.

A seguir