Conjuntos de dados públicos do Lakehouse sem fronteiras

O Lakehouse sem fronteiras hospeda conjuntos de dados públicos de alta qualidade fornecidos pelo catálogo REST do Apache Iceberg, disponibilizando-os para o público em geral como parte do Programa de conjuntos de dados públicos doGoogle Cloud .

Esses conjuntos de dados estão disponíveis para acesso somente leitura, e você pode acessá-los e integrá-los aos seus aplicativos usando Apache Spark, Trino, Flink ou BigQuery. O Google paga pelo armazenamento desses conjuntos de dados e oferece acesso público a eles pelo Lakehouse. Você paga apenas pelas consultas realizadas nos dados.

O objetivo desses conjuntos de dados públicos é diminuir a barreira de entrada para o Iceberg. Não é preciso gerenciar infraestrutura para aprender sobre o Iceberg, apenas se conectar. Você pode usar esses conjuntos de dados para:

• Use o BigQuery (pelo Lakehouse) para consultar essas tabelas diretamente usando SQL, combinando-as com seus dados particulares.
• Teste as configurações do seu mecanismo de OSS (por exemplo, Spark, Trino ou Flink) em um catálogo REST ativo.

Antes de começar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the Lakehouse API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

Antes de se conectar ao Apache Spark, você precisa ter o seguinte:

• Application Default Credentials (ADC) configuradas no seu ambiente.

Locais de conjuntos de dados públicos

Cada conjunto de dados público é armazenado em um local específico, como US ou EU. Os conjuntos de dados públicos do Lakehouse são armazenados no local multirregional US. Ao consultar um conjunto de dados público, verifique se o local de processamento é compatível com o local do conjunto de dados.

Acessar conjuntos de dados públicos usando o Apache Spark

Como os conjuntos de dados públicos do Lakehouse são veiculados pelo catálogo REST do Iceberg, é possível acessá-los pelo Apache Spark e outros mecanismos compatíveis. É possível se conectar ao conjunto de dados público usando qualquer ambiente padrão do Spark, como no local, o Serviço Gerenciado para Apache Spark ou outros provedores de nuvem.

Conectar-se ao Apache Spark

Use as seguintes flags de configuração ao iniciar a sessão do Spark SQL. Essas flags configuram um catálogo chamado lakehouse-sample que aponta para o endpoint REST público:

spark-sql \
  --packages org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.10.0,org.apache.iceberg:iceberg-gcp-bundle:1.10.0 \
  --conf spark.hadoop.hive.cli.print.header=true \
  --conf spark.sql.catalog.bqms=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.bqms.type=rest \
  --conf spark.sql.catalog.bqms.uri=https://biglake.googleapis.com/iceberg/v1/restcatalog \
  --conf spark.sql.catalog.bqms.warehouse=gs://CATALOG_NAME \
  --conf spark.sql.catalog.bqms.header.x-goog-user-project=PROJECT_ID \
  --conf spark.sql.catalog.bqms.rest.auth.type=google \
  --conf spark.sql.catalog.bqms.io-impl=org.apache.iceberg.gcp.gcs.GCSFileIO \
  --conf spark.sql.catalog.bqms.header.X-Iceberg-Access-Delegation=vended-credentials \
  --conf spark.sql.defaultCatalog=lakehouse-sample

Substitua:

• CATALOG_NAME: o nome do catálogo de conjuntos de dados públicos, como lakehouse-public-data ou biglake-public-nyc-taxi-iceberg.
• PROJECT_ID: o ID do projeto Google Cloud .

Conectar-se com o PySpark e o Serviço Gerenciado para Apache Spark

Também é possível usar um notebook gerenciado e sem servidor do Spark no Serviço Gerenciado para Apache Spark para consultar as tabelas sem criar ou gerenciar um cluster:

from google.cloud.dataproc_v1 import Session
from google.cloud.dataproc_spark_connect import DataprocSparkSession

PROJECT_ID = "PROJECT_ID"
spark_catalog = "CATALOG_NAME"

session = Session()
session.runtime_config.properties = {
  "spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions",
  f"spark.sql.catalog.{spark_catalog}": "org.apache.iceberg.spark.SparkCatalog",
  f"spark.sql.catalog.{spark_catalog}.type": "rest",
  f"spark.sql.catalog.{spark_catalog}.uri": "https://biglake.googleapis.com/iceberg/v1/restcatalog",
  f"spark.sql.catalog.{spark_catalog}.rest.auth.type": "org.apache.iceberg.gcp.auth.GoogleAuthManager",
  f"spark.sql.catalog.{spark_catalog}.io-impl": "org.apache.iceberg.gcp.gcs.GCSFileIO",
  f"spark.sql.catalog.{spark_catalog}.header.X-Iceberg-Access-Delegation": "vended-credentials",
  f"spark.sql.catalog.{spark_catalog}.warehouse": f"gs://{spark_catalog}",
  f"spark.sql.catalog.{spark_catalog}.header.x-goog-user-project": PROJECT_ID,
}

spark = (
   DataprocSparkSession.builder
     .appName("Lakehouse Public Data Demo")
     .dataprocSessionConfig(session)
     .getOrCreate()
)
spark.conf.set("spark.sql.defaultCatalog", spark_catalog)

Substitua:

• PROJECT_ID: o ID do projeto Google Cloud .
• CATALOG_NAME: o nome do catálogo de conjuntos de dados públicos, como lakehouse-public-data ou biglake-public-nyc-taxi-iceberg.

Exemplo de consultas

Depois de conectado, você terá acesso total em SQL aos conjuntos de dados.

Consultar visualizações de página da Wikipédia e commits do GitHub

Quando conectado ao catálogo lakehouse-public-data em uma sessão do PySpark, você pode consultar as contagens mensais de visualizações da Wikipédia para artigos relacionados ao BigQuery:

df1 = spark.sql("""
SELECT
  title,
  wiki,
  SUM(views) AS total_views
FROM wikipedia.pageviews_2026
WHERE datehour >= TIMESTAMP '2026-01-01 00:00:00'
  AND datehour <  TIMESTAMP '2026-02-01 00:00:00'
  AND LOWER(title) LIKE '%bigquery%'
GROUP BY title, wiki
ORDER BY total_views DESC
LIMIT 20
""")
df1.show(10)

Você também pode recuperar commits recentes do GitHub que fazem referência ao Iceberg:

df2 = spark.sql("""
SELECT
  commits.commit,
  commits.subject,
  commits.message,
  commits.author.name AS author_name,
  timestamp_seconds(commits.committer.date.seconds) AS commit_time,
  repo_name
FROM github_repos.commits AS commits
WHERE LOWER(commits.subject) LIKE '%iceberg%'
   OR LOWER(commits.message) LIKE '%iceberg%'
ORDER BY commit_time DESC
LIMIT 50
""")
df2.show(10)

Consultar o conjunto de dados de táxis de Nova York

O conjunto de dados de táxis de Nova York está disponível no catálogo biglake-public-nyc-taxi-iceberg, modelado como uma tabela do Iceberg para demonstrar recursos de particionamento e metadados.

A consulta a seguir agrega milhões de registros para encontrar a tarifa média e a distância da viagem por número de passageiros. Ele demonstra como o Iceberg verifica com eficiência os arquivos de dados sem precisar listar diretórios usando a eliminação de partições:

SELECT
    passenger_count,
    COUNT(1) AS num_trips,
    ROUND(AVG(total_amount), 2) AS avg_fare,
    ROUND(AVG(trip_distance), 2) AS avg_distance
FROM
    lakehouse-sample.public_data.nyc_taxicab
WHERE
    data_file_year = 2021
    AND passenger_count > 0
GROUP BY
    passenger_count
ORDER BY
    num_trips DESC;

Um dos recursos mais avançados do Iceberg é a viagem no tempo. É possível consultar a tabela como ela existia em um momento específico no passado. A consulta a seguir permite auditar mudanças comparando a contagem de linhas da versão atual com um snapshot específico:

-- Compare the row count of the current version vs. a specific snapshot
SELECT
    'Current State' AS version,
    COUNT(*) AS count
FROM lakehouse-sample.public_data.nyc_taxicab
UNION ALL
SELECT
    'Past State' AS version,
    COUNT(*) AS count
FROM lakehouse-sample.public_data.nyc_taxicab VERSION AS OF 2943559336503196801Q;

Ao consultar a tabela de metadados do histórico (por exemplo, SELECT * FROM lakehouse-sample.public_data.nyc_taxicab.history), é possível encontrar IDs de snapshots e voltar para ver como o conjunto de dados cresceu ao longo do tempo.

Para mais informações, consulte Usar o catálogo REST do Iceberg com o Cloud Storage.

Conjuntos de dados disponíveis

O Lakehouse oferece conjuntos de dados públicos e tabelas de amostra que podem ser consultados como tabelas do Apache Iceberg em dois catálogos públicos: lakehouse-public-data e biglake-public-nyc-taxi-iceberg.

Catálogo lakehouse-public-data

O catálogo lakehouse-public-data (gs://lakehouse-public-data) inclui os seguintes namespaces e tabelas no formato Apache Iceberg.

austin_bikeshare

O namespace austin_bikeshare inclui as seguintes tabelas:

bls

O namespace bls inclui estatísticas econômicas fornecidas pelo Departamento de Estatísticas Trabalhistas dos EUA:

census_bureau_acs

O namespace census_bureau_acs inclui as seguintes tabelas:

chicago_taxi_trips

O namespace chicago_taxi_trips inclui as seguintes tabelas:

crypto_ethereum

O namespace crypto_ethereum inclui as seguintes tabelas:

ga4_obfuscated_sample_ecommerce

O namespace ga4_obfuscated_sample_ecommerce inclui as seguintes tabelas:

geo_openstreetmap

O namespace geo_openstreetmap inclui as seguintes tabelas:

geo_us_boundaries

O namespace geo_us_boundaries inclui as seguintes tabelas:

github_repos

O namespace github_repos inclui dados de repositórios públicos e de código aberto licenciados no GitHub:

google_trends

O namespace google_trends inclui as seguintes tabelas:

imdb

O namespace imdb inclui as seguintes tabelas:

iowa_liquor_sales

O namespace iowa_liquor_sales inclui as seguintes tabelas:

ml_datasets

O namespace ml_datasets inclui tabelas de comparativo de mercado de machine learning:

new_york_citibike

O namespace new_york_citibike inclui as seguintes tabelas:

new_york_taxi_trips

O namespace new_york_taxi_trips inclui as seguintes tabelas:

noaa_gsod

O namespace noaa_gsod inclui dados meteorológicos do Resumo Global da Superfície do Dia (GSOD) da Administração Nacional Oceânica e Atmosférica (NOAA):

sec_quarterly_financials

O namespace sec_quarterly_financials inclui as seguintes tabelas:

stackoverflow

O namespace stackoverflow inclui as seguintes tabelas:

tpc_ds_1g

O namespace tpc_ds_1g inclui tabelas de comparativo de mercado TPC-DS de 1 GB:

wikipedia

O namespace wikipedia inclui estatísticas de visualização de página da Wikimedia e entidades do Wikidata:

world_bank_health_population

O namespace world_bank_health_population inclui estatísticas de saúde, nutrição e população do Banco Mundial:

world_bank_wdi

O namespace world_bank_wdi inclui dados dos Indicadores de Desenvolvimento Mundial (WDI, na sigla em inglês) do Banco Mundial:

Catálogo biglake-public-nyc-taxi-iceberg

O catálogo biglake-public-nyc-taxi-iceberg (gs://biglake-public-nyc-taxi-iceberg) inclui as seguintes tabelas no namespace public_data no formato Apache Iceberg:

A seguir

• Saiba mais sobre as tabelas do Apache Iceberg gerenciadas pelo Lakehouse.
• Saiba mais sobre o catálogo REST do Iceberg do catálogo de ambientes de execução do Lakehouse.