Criar fluxos de trabalho de integração de dados usando a página "Pipelines e conexões"

É possível gerenciar e simplificar tarefas de integração de dados diretamente no consoleGoogle Cloud usando a página Pipelines e conexões do BigQuery. Esta página oferece fluxos de trabalho de configuração guiados e específicos do BigQuery para serviços como o serviço de transferência de dados do BigQuery, o Datastream e o Pub/Sub.

Use a página Pipelines e conexões para realizar as seguintes tarefas:

• Carregar dados. Encontre e carregue dados de fontes compatíveis usando uma experiência guiada.
• Programar tarefas de dados. Programe seus processos de dados para serem executados automaticamente, incluindo consultas, notebooks, preparações de dados e pipelines programados.
• Transformar dados. Crie pipelines e preparações de dados que realizam operações como limpeza, estruturação e preparação de dados para análise e geração de relatórios.
• Criar conexões com fontes de dados. Conecte-se a fontes de dados externas, tempos de execução de computação e serviços de IA para acesso aos dados e execução remota.

Depois de configurar a página Pipelines e conexões, ela oferece um local centralizado para gerenciar e monitorar seus recursos de integração de dados, mostrando o status deles e fornecendo métricas operacionais.

Ativar ou desativar

Durante a prévia, é possível ativar ou desativar o uso da página Pipelines e conexões.

Ativar

Para ativar o uso da página Pipelines e conexões, siga estas etapas:

1. Acesse o console do Google Cloud .

   Acessar o console

2. Na barra de ferramentas do console Google Cloud , clique em menu Menu de navegação.

3. Clique em Soluções > Todos os produtos.

4. Na seção Analytics, clique em BigQuery.

   A página do Studio do BigQuery é aberta.

5. Para controlar o menu de navegação do BigQuery, faça uma das seguintes ações:

   • Para expandir o menu de navegação, mantenha o ponteiro sobre o ícone e clique em left_panel_open Alternar menu de navegação do BigQuery.

   • Para recolher o menu de navegação, clique em left_panel_close Alternar menu de navegação do BigQuery.

6. No menu de navegação, clique em uma das seguintes opções:

   • Transferências de dados
   • Consultas programadas
   • Agendamento

7. Acesse o banner de pipelines e conexões unificados.

   

8. Clique em Ativar.

   Depois de ativar, as páginas Transferências de dados, Programação e Consultas programadas serão substituídas pela página Pipelines e conexões.

Desativar

Para desativar o uso da página unificada Pipelines e conexões, siga estas etapas:

1. Na página Pipelines e conexões, clique em Desativar no banner unificado de pipelines e conexões.

2. Uma caixa de diálogo de feedback será aberta. Envie um feedback explicando por que você está desativando o recurso, como falta de recursos ou bugs.

3. Clique em Enviar e depois em Fechar.

   Depois de enviar o formulário, o menu de navegação volta a usar páginas separadas para Transferências de dados, Programação e Consultas programadas.

Criar um recurso de integração de dados

Para criar recursos como consultas programadas, transferências de dados e conexões externas, faça o seguinte:

1. Acesse a página Pipelines e conexões.

   Acessar "Pipelines e conexões"

2. Clique em Criar.

3. No recurso que você quer criar, clique na opção no card:

   1. Para adicionar dados de uma das fontes compatíveis usando um fluxo de trabalho guiado, clique em Adicionar dados no card Carregar dados.

   2. Para programar uma consulta, um notebook, uma preparação de dados ou um pipeline, no card Programar tarefas de dados, clique em Programar e escolha a opção adequada.

   3. Para criar um pipeline de transformação ou preparação de dados, no card Transformar dados, clique em Criar e escolha a opção adequada.

   4. Para criar uma conexão com uma fonte de dados externa, no card Conexões externas, clique em Criar conexão.

Monitore seus recursos

Depois de criar os recursos, é possível visualizá-los e monitorá-los. As métricas operacionais disponíveis na página Pipelines e conexões incluem históricos de execução do serviço de transferência de dados do BigQuery, capacidade de processamento e latência para assinaturas do Pub/Sub, além de atualização de dados e contagens de eventos para pipelines do Datastream. Você também pode encontrar informações de solução de problemas, como registros de execuções do serviço de transferência de dados do BigQuery e status de objetos do Datastream.

1. Acesse a página Pipelines e conexões.

   Acessar "Pipelines e conexões"

2. Para ver detalhes sobre suas conexões, clique na guia Conexões.

3. Para monitorar seus pipelines, clique na guia Pipelines. Use esta página para conferir detalhes como o status, o tipo e o histórico de execução do pipeline.

4. Para conferir os detalhes de um pipeline, clique no link na coluna Nome de exibição.

A seguir

• Saiba como criar um pipeline do Dataform no BigQuery.
• Saiba como programar um pipeline.
• Saiba como programar uma consulta.
• Saiba mais sobre as transferências do serviço de transferência de dados do BigQuery.