Notebooks e strumenti di analisi programmatica

Sebbene SQL sia un linguaggio di query potente, linguaggi di programmazione come Python, Java o R forniscono sintassi e funzioni statistiche che possono essere più espressive per le attività di analisi dei dati. Gli ambienti notebook offrono un'alternativa altamente flessibile ai fogli di lavoro per l'esplorazione di dati complessi e i workflow di machine learning (ML).

BigQuery fornisce l'integrazione dei blocchi note integrati e il supporto di diverse altre soluzioni di analisi programmatica.

Notebook Colab Enterprise

Puoi utilizzare i notebook di Colab Enterprise in BigQuery per eseguire flussi di lavoro di data science e ML end-to-end in un'unica interfaccia integrata. A differenza degli editor SQL standard, i blocchi note ti consentono di combinare query SQL con codice Python, RTF e visualizzazioni per raccontare una storia completa con i tuoi dati. I notebook Colab Enterprise sono ideali per i seguenti casi d'uso:

  • Workflow ML end-to-end:crea, valuta ed esegui il deployment di modelli BigQuery ML all'interno di un'unica interfaccia.
  • Esplorazione dei dati:pulisci e analizza set di dati di grandi dimensioni utilizzando BigQuery DataFrames.
  • Ricerca collaborativa: monitora la cronologia delle versioni e condividi i blocchi note con i colleghi utilizzando Identity and Access Management (IAM).

I notebook Colab Enterprise offrono i seguenti vantaggi:

  • Sviluppo basato sull'AI:sfrutta Gemini Enterprise Agent Platform per lo sviluppo di codice assistito.
  • Integrazione perfetta di Python: utilizza l'API BigQuery DataFrames senza alcuna configurazione aggiuntiva.
  • Funzionalità dell'editor che conosci:sfrutta il completamento automatico di SQL simile a quello dell'editor SQL di BigQuery.
  • Visualizzazioni integrate: utilizza visualizzazioni interattive di DataFrame o librerie come matplotlib e seaborn direttamente nel tuo flusso di lavoro.
  • Interoperabilità SQL-Python: esegui SQL nelle celle che fanno riferimento alle variabili Python.

La galleria di blocchi note è un hub centrale per scoprire e utilizzare i modelli di blocchi note predefiniti. Include modelli fondamentali per SQL, Python, Apache Spark e DataFrame per aiutarti a eseguire attività comuni come la preparazione, l'analisi e la visualizzazione dei dati.

Gestione e sicurezza del runtime

Notebooks utilizzano i runtime Colab Enterprise, ovvero macchine virtuali Compute Engine allocate a un utente specifico per consentire l'esecuzione del codice. L'accesso ai blocchi note è controllato mediante i ruoli IAM. Per rilevare le vulnerabilità nei pacchetti Python utilizzati nei notebook, puoi installare e utilizzare lo Notebook Security Scanner.

Monitoraggio e regioni

Tutti gli asset di codice in BigQuery Studio vengono archiviati in una regione predefinita e l'aggiornamento di questa impostazione modifica la regione per tutti gli asset di codice appena creati. I notebook di Colab Enterprise sono disponibili in tutte le regioni in cui è disponibile BigQuery Studio.

Per monitorare l'utilizzo degli slot dei blocchi note, puoi visualizzare il report sulla fatturazione Cloud e applicare un filtro per l'etichetta goog-bq-feature-type con il valore BQ_STUDIO_NOTEBOOK.

Le funzionalità dei notebook sono disponibili solo nella console Google Cloud .

Prezzi

Per informazioni sui prezzi dei notebook Colab Enterprise, consulta la sezione Prezzi del runtime del notebook.

BigQuery DataFrames

BigQuery DataFrames è un insieme di librerie Python open source che ti consentono di sfruttare l'elaborazione dei dati BigQuery utilizzando API Python familiari. BigQuery DataFrames implementa le API pandas e scikit-learn trasferendo l'elaborazione a BigQuery tramite la conversione SQL. Questo design ti consente di utilizzare BigQuery per esplorare ed elaborare terabyte di dati e addestrare modelli ML, il tutto con le API Python.

BigQuery DataFrames offre i seguenti vantaggi:

  • Più di 750 API pandas e scikit-learn implementate tramite la conversione SQL trasparente in BigQuery e le API BigQuery ML.
  • Esecuzione differita delle query per prestazioni migliori.
  • Estensione delle trasformazioni dei dati con funzioni Python definite dall'utente per consentirti di elaborare i dati nel cloud. Queste funzioni vengono implementate automaticamente come funzioni remote di BigQuery.
  • Integrazione con Gemini Enterprise Agent Platform per consentirti di utilizzare i modelli Gemini per la generazione di testo.

Altre soluzioni di analisi programmatica

Oltre a Colab Enterprise e BigQuery DataFrames, BigQuery si integra con diverse altre soluzioni programmatiche:

  • Notebook Jupyter e JupyterLab:puoi interagire con BigQuery direttamente dai notebook Jupyter utilizzando IPython Magics per BigQuery o le librerie client BigQuery. Puoi eseguire il deployment dei tuoi ambienti su Google Cloud utilizzando istanze Vertex AI Workbench o Managed Service for Apache Spark.
  • Apache Zeppelin:puoi eseguire il deployment di notebook Apache Zeppelin basati sul web per l'analisi dei dati installando il componente facoltativo Zeppelin su Managed Service for Apache Spark.
  • Apache Hadoop, Spark e Hive: Managed Service for Apache Spark si integra con i connettori BigQuery open source. Questi connettori utilizzano l'API BigQuery Storage per trasmettere i dati in parallelo direttamente da BigQuery tramite gRPC.
  • Apache Beam e Dataflow: Apache Beam è un framework open source che fornisce un ricco set di primitive per windowing e analisi delle sessioni, nonché un ecosistema di connettori, incluso uno per BigQuery. Dataflow è un servizio completamente gestito che ti consente di eseguire questi job Apache Beam su larga scala.

Altre risorse

BigQuery offre diverse librerie client in linguaggi come Java, Go, Python, JavaScript, PHP e Ruby. Alcuni framework di analisi dei dati come pandas forniscono plug-in per interagire direttamente con BigQuery. Per chi preferisce gli ambienti shell, è disponibile lo strumento a riga di comando bq.