Ensembles de données publics Borderless Lakehouse

Le lakehouse sans frontières héberge des ensembles de données publics de haute qualité fournis par le biais du catalogue REST Apache Iceberg. Ils sont ainsi mis à la disposition du grand public dans le cadre du Google Cloud Programme d'ensembles de données publics.

Ces ensembles de données sont disponibles en accès en lecture seule. Vous pouvez y accéder et les intégrer à vos applications à l'aide d'Apache Spark, Trino, Flink ou BigQuery. Google prend en charge le stockage de ces ensembles de données et fournit un accès public aux données via Lakehouse. Vous ne payez que pour les requêtes que vous effectuez sur les données.

L'objectif de ces ensembles de données publics est de faciliter l'accès à Iceberg. Vous n'avez pas besoin de gérer l'infrastructure pour apprendre Iceberg, vous devez vous connecter. Vous pouvez utiliser ces ensembles de données pour :

• Utilisez BigQuery (via Lakehouse) pour interroger directement ces tables à l'aide de SQL, en les combinant avec vos données privées.
• Testez les configurations de votre moteur OSS (par exemple, Spark, Trino ou Flink) par rapport à un catalogue REST en direct.

Avant de commencer

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the Lakehouse API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

Avant de vous connecter à Apache Spark, vous devez disposer des éléments suivants :

• Les identifiants par défaut de l'application (ADC) configurés dans votre environnement.

Emplacements des ensembles de données publics

Chaque ensemble de données public est stocké dans un emplacement spécifique tel que US ou EU. Les ensembles de données publics Lakehouse sont stockés dans l'emplacement multirégional US. Lorsque vous interrogez un ensemble de données public, assurez-vous que votre emplacement de traitement est compatible avec l'emplacement de l'ensemble de données.

Accéder aux ensembles de données publics à l'aide d'Apache Spark

Étant donné que les ensembles de données publics Lakehouse sont diffusés via le catalogue REST Iceberg, vous pouvez y accéder depuis Apache Spark et d'autres moteurs compatibles. Vous pouvez vous connecter à l'ensemble de données public à l'aide de n'importe quel environnement Spark standard, tel que sur site, Managed Service pour Apache Spark ou d'autres fournisseurs de cloud.

Se connecter à Apache Spark

Utilisez les indicateurs de configuration suivants lorsque vous démarrez votre session Spark SQL. Ces indicateurs configurent un catalogue nommé lakehouse-sample pointant vers le point de terminaison REST public :

spark-sql \
  --packages org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.10.0,org.apache.iceberg:iceberg-gcp-bundle:1.10.0 \
  --conf spark.hadoop.hive.cli.print.header=true \
  --conf spark.sql.catalog.bqms=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.bqms.type=rest \
  --conf spark.sql.catalog.bqms.uri=https://biglake.googleapis.com/iceberg/v1/restcatalog \
  --conf spark.sql.catalog.bqms.warehouse=gs://CATALOG_NAME \
  --conf spark.sql.catalog.bqms.header.x-goog-user-project=PROJECT_ID \
  --conf spark.sql.catalog.bqms.rest.auth.type=google \
  --conf spark.sql.catalog.bqms.io-impl=org.apache.iceberg.gcp.gcs.GCSFileIO \
  --conf spark.sql.catalog.bqms.header.X-Iceberg-Access-Delegation=vended-credentials \
  --conf spark.sql.defaultCatalog=lakehouse-sample

Remplacez les éléments suivants :

• CATALOG_NAME : nom du catalogue d'ensembles de données publics, tel que lakehouse-public-data ou biglake-public-nyc-taxi-iceberg.
• PROJECT_ID : ID de votre projet Google Cloud .

Se connecter avec PySpark et Managed Service pour Apache Spark

Vous pouvez également utiliser un notebook Spark sans serveur géré dans Managed Service pour Apache Spark afin d'interroger les tables sans créer ni gérer de cluster :

from google.cloud.dataproc_v1 import Session
from google.cloud.dataproc_spark_connect import DataprocSparkSession

PROJECT_ID = "PROJECT_ID"
spark_catalog = "CATALOG_NAME"

session = Session()
session.runtime_config.properties = {
  "spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions",
  f"spark.sql.catalog.{spark_catalog}": "org.apache.iceberg.spark.SparkCatalog",
  f"spark.sql.catalog.{spark_catalog}.type": "rest",
  f"spark.sql.catalog.{spark_catalog}.uri": "https://biglake.googleapis.com/iceberg/v1/restcatalog",
  f"spark.sql.catalog.{spark_catalog}.rest.auth.type": "org.apache.iceberg.gcp.auth.GoogleAuthManager",
  f"spark.sql.catalog.{spark_catalog}.io-impl": "org.apache.iceberg.gcp.gcs.GCSFileIO",
  f"spark.sql.catalog.{spark_catalog}.header.X-Iceberg-Access-Delegation": "vended-credentials",
  f"spark.sql.catalog.{spark_catalog}.warehouse": f"gs://{spark_catalog}",
  f"spark.sql.catalog.{spark_catalog}.header.x-goog-user-project": PROJECT_ID,
}

spark = (
   DataprocSparkSession.builder
     .appName("Lakehouse Public Data Demo")
     .dataprocSessionConfig(session)
     .getOrCreate()
)
spark.conf.set("spark.sql.defaultCatalog", spark_catalog)

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet Google Cloud .
• CATALOG_NAME : nom du catalogue d'ensembles de données publics, tel que lakehouse-public-data ou biglake-public-nyc-taxi-iceberg.

Exemples de requêtes

Une fois connecté, vous disposez d'un accès SQL complet aux ensembles de données.

Interroger les vues de page Wikipédia et les commits GitHub

Lorsque vous êtes connecté au catalogue lakehouse-public-data dans une session PySpark, vous pouvez interroger le nombre de vues mensuelles des articles liés à BigQuery sur Wikipédia :

df1 = spark.sql("""
SELECT
  title,
  wiki,
  SUM(views) AS total_views
FROM wikipedia.pageviews_2026
WHERE datehour >= TIMESTAMP '2026-01-01 00:00:00'
  AND datehour <  TIMESTAMP '2026-02-01 00:00:00'
  AND LOWER(title) LIKE '%bigquery%'
GROUP BY title, wiki
ORDER BY total_views DESC
LIMIT 20
""")
df1.show(10)

Vous pouvez également récupérer les commits GitHub récents faisant référence à Iceberg :

df2 = spark.sql("""
SELECT
  commits.commit,
  commits.subject,
  commits.message,
  commits.author.name AS author_name,
  timestamp_seconds(commits.committer.date.seconds) AS commit_time,
  repo_name
FROM github_repos.commits AS commits
WHERE LOWER(commits.subject) LIKE '%iceberg%'
   OR LOWER(commits.message) LIKE '%iceberg%'
ORDER BY commit_time DESC
LIMIT 50
""")
df2.show(10)

Interroger l'ensemble de données NYC Taxi

L'ensemble de données sur les taxis de New York est disponible dans le catalogue biglake-public-nyc-taxi-iceberg. Il est modélisé sous forme de table Iceberg pour illustrer les capacités de partitionnement et de métadonnées.

La requête suivante agrège des millions d'enregistrements pour trouver le prix moyen et la distance de trajet par nombre de passagers. Il montre comment Iceberg analyse efficacement les fichiers de données sans avoir besoin de lister les répertoires en utilisant l'élagage de partition :

SELECT
    passenger_count,
    COUNT(1) AS num_trips,
    ROUND(AVG(total_amount), 2) AS avg_fare,
    ROUND(AVG(trip_distance), 2) AS avg_distance
FROM
    lakehouse-sample.public_data.nyc_taxicab
WHERE
    data_file_year = 2021
    AND passenger_count > 0
GROUP BY
    passenger_count
ORDER BY
    num_trips DESC;

L'une des fonctionnalités les plus puissantes d'Iceberg est le voyage dans le temps. Vous pouvez interroger la table telle qu'elle existait à un moment précis dans le passé. La requête suivante vous permet d'auditer les modifications en comparant le nombre de lignes de la version actuelle à celui d'un instantané spécifique :

-- Compare the row count of the current version vs. a specific snapshot
SELECT
    'Current State' AS version,
    COUNT(*) AS count
FROM lakehouse-sample.public_data.nyc_taxicab
UNION ALL
SELECT
    'Past State' AS version,
    COUNT(*) AS count
FROM lakehouse-sample.public_data.nyc_taxicab VERSION AS OF 2943559336503196801Q;

En interrogeant la table des métadonnées de l'historique (par exemple, SELECT * FROM lakehouse-sample.public_data.nyc_taxicab.history), vous pouvez trouver des ID d'instantané et revenir en arrière pour voir comment l'ensemble de données a évolué au fil du temps.

Pour en savoir plus, consultez Utiliser le catalogue REST Iceberg avec Cloud Storage.

Ensembles de données disponibles

Lakehouse fournit des ensembles de données publics et des exemples de tables que vous pouvez interroger en tant que tables Apache Iceberg dans deux catalogues publics : lakehouse-public-data et biglake-public-nyc-taxi-iceberg.

Catalogue lakehouse-public-data

Le catalogue lakehouse-public-data (gs://lakehouse-public-data) inclut les espaces de noms et les tables suivants au format Apache Iceberg.

austin_bikeshare

L'espace de noms austin_bikeshare inclut les tables suivantes :

bls

L'espace de noms bls inclut des statistiques économiques fournies par le Bureau of Labor Statistics des États-Unis :

census_bureau_acs

L'espace de noms census_bureau_acs inclut les tables suivantes :

chicago_taxi_trips

L'espace de noms chicago_taxi_trips inclut les tables suivantes :

crypto_ethereum

L'espace de noms crypto_ethereum inclut les tables suivantes :

ga4_obfuscated_sample_ecommerce

L'espace de noms ga4_obfuscated_sample_ecommerce inclut les tables suivantes :

geo_openstreetmap

L'espace de noms geo_openstreetmap inclut les tables suivantes :

geo_us_boundaries

L'espace de noms geo_us_boundaries inclut les tables suivantes :

github_repos

L'espace de noms github_repos inclut des données provenant de dépôts publics sous licence Open Source sur GitHub :

google_trends

L'espace de noms google_trends inclut les tables suivantes :

imdb

L'espace de noms imdb inclut les tables suivantes :

iowa_liquor_sales

L'espace de noms iowa_liquor_sales inclut les tables suivantes :

ml_datasets

L'espace de noms ml_datasets inclut des tableaux de référence pour le machine learning :

new_york_citibike

L'espace de noms new_york_citibike inclut les tables suivantes :

new_york_taxi_trips

L'espace de noms new_york_taxi_trips inclut les tables suivantes :

noaa_gsod

L'espace de noms noaa_gsod inclut les données météorologiques GSOD (Global Surface Summary of the Day) de la National Oceanic and Atmospheric Administration (NOAA) :

sec_quarterly_financials

L'espace de noms sec_quarterly_financials inclut les tables suivantes :

stackoverflow

L'espace de noms stackoverflow inclut les tables suivantes :

tpc_ds_1g

L'espace de noms tpc_ds_1g inclut les tables de référence TPC-DS de 1 Go :

wikipedia

L'espace de noms wikipedia inclut les statistiques sur les pages vues de Wikimedia et les entités Wikidata :

world_bank_health_population

L'espace de noms world_bank_health_population inclut les statistiques de la Banque mondiale sur la santé, la nutrition et la population :

world_bank_wdi

L'espace de noms world_bank_wdi inclut les données des indicateurs de développement mondiaux (WDI) de la Banque mondiale :

Catalogue biglake-public-nyc-taxi-iceberg

Le catalogue biglake-public-nyc-taxi-iceberg (gs://biglake-public-nyc-taxi-iceberg) inclut les tables suivantes dans l'espace de noms public_data au format Apache Iceberg :

Étapes suivantes

• En savoir plus sur les tables Apache Iceberg gérées par Lakehouse
• En savoir plus sur le catalogue d'environnements d'exécution Lakehouse Iceberg REST