無邊界湖倉公開資料集

無邊界 Lakehouse 透過 Apache Iceberg REST 目錄提供高品質的公開資料集，並透過Google Cloud 公開資料集計畫開放一般大眾使用。

這些資料集僅供讀取，您可以使用 Apache Spark、Trino、Flink 或 BigQuery 存取這些資料集，並整合至應用程式。Google 會支付這些資料集的儲存費用，並透過 Lakehouse 提供資料的公開存取權。您只需為對資料執行的查詢付費。

這些公開資料集旨在降低 Iceberg 的入門門檻。您不需要管理基礎架構來學習 Iceberg，只要連線即可。 這些資料集可用於：

• 使用 BigQuery (透過 Lakehouse) 直接以 SQL 查詢這些資料表，並與私人資料合併。
• 針對即時 REST 目錄測試 OSS 引擎 (例如 Spark、Trino 或 Flink) 設定。

事前準備

登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自體驗產品的實際應用成效。新客戶還能獲得價值 $300 美元的免費抵免額，能用於執行、測試及部署工作負載。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Lakehouse API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Lakehouse API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

如要連線至 Apache Spark，您必須具備下列條件：

• 環境中已設定應用程式預設憑證 (ADC)。

公開資料集位置

每個公開資料集都儲存在特定位置，例如 US 或 EU。Lakehouse 公開資料集存放在US多區域位置。查詢公開資料集時，請確保處理位置與資料集位置相容。

使用 Apache Spark 存取公開資料集

由於 Lakehouse 公開資料集是透過 Iceberg REST 目錄提供，因此您可以從 Apache Spark 和其他相容引擎存取這些資料集。您可以使用任何標準 Spark 環境 (例如地端部署、Managed Service for Apache Spark 或其他雲端供應商) 連線至公開資料集。

連線至 Apache Spark

啟動 Spark SQL 工作階段時，請使用下列設定旗標。 這些旗標會設定名為 lakehouse-sample 的目錄，指向公開 REST 端點：

spark-sql \
  --packages org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.10.0,org.apache.iceberg:iceberg-gcp-bundle:1.10.0 \
  --conf spark.hadoop.hive.cli.print.header=true \
  --conf spark.sql.catalog.bqms=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.bqms.type=rest \
  --conf spark.sql.catalog.bqms.uri=https://biglake.googleapis.com/iceberg/v1/restcatalog \
  --conf spark.sql.catalog.bqms.warehouse=gs://CATALOG_NAME \
  --conf spark.sql.catalog.bqms.header.x-goog-user-project=PROJECT_ID \
  --conf spark.sql.catalog.bqms.rest.auth.type=google \
  --conf spark.sql.catalog.bqms.io-impl=org.apache.iceberg.gcp.gcs.GCSFileIO \
  --conf spark.sql.catalog.bqms.header.X-Iceberg-Access-Delegation=vended-credentials \
  --conf spark.sql.defaultCatalog=lakehouse-sample

更改下列內容：

• CATALOG_NAME：公開資料集目錄名稱，例如 lakehouse-public-data 或 biglake-public-nyc-taxi-iceberg。
• PROJECT_ID：您的 Google Cloud 專案 ID。

透過 PySpark 和 Managed Service for Apache Spark 連線

您也可以在 Managed Service for Apache Spark 中使用代管的無伺服器 Spark 筆記本，查詢資料表，不必建立或管理叢集：

from google.cloud.dataproc_v1 import Session
from google.cloud.dataproc_spark_connect import DataprocSparkSession

PROJECT_ID = "PROJECT_ID"
spark_catalog = "CATALOG_NAME"

session = Session()
session.runtime_config.properties = {
  "spark.sql.extensions": "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions",
  f"spark.sql.catalog.{spark_catalog}": "org.apache.iceberg.spark.SparkCatalog",
  f"spark.sql.catalog.{spark_catalog}.type": "rest",
  f"spark.sql.catalog.{spark_catalog}.uri": "https://biglake.googleapis.com/iceberg/v1/restcatalog",
  f"spark.sql.catalog.{spark_catalog}.rest.auth.type": "org.apache.iceberg.gcp.auth.GoogleAuthManager",
  f"spark.sql.catalog.{spark_catalog}.io-impl": "org.apache.iceberg.gcp.gcs.GCSFileIO",
  f"spark.sql.catalog.{spark_catalog}.header.X-Iceberg-Access-Delegation": "vended-credentials",
  f"spark.sql.catalog.{spark_catalog}.warehouse": f"gs://{spark_catalog}",
  f"spark.sql.catalog.{spark_catalog}.header.x-goog-user-project": PROJECT_ID,
}

spark = (
   DataprocSparkSession.builder
     .appName("Lakehouse Public Data Demo")
     .dataprocSessionConfig(session)
     .getOrCreate()
)
spark.conf.set("spark.sql.defaultCatalog", spark_catalog)

更改下列內容：

• PROJECT_ID：您的 Google Cloud 專案 ID。
• CATALOG_NAME：公開資料集目錄名稱，例如 lakehouse-public-data 或 biglake-public-nyc-taxi-iceberg。

查詢範例

連線後，您就能透過 SQL 完整存取資料集。

查詢維基百科網頁瀏覽量和 GitHub 提交

在 PySpark 工作階段中連結至 lakehouse-public-data 目錄後，您可以查詢 BigQuery 相關文章的每月 Wikipedia 瀏覽次數：

df1 = spark.sql("""
SELECT
  title,
  wiki,
  SUM(views) AS total_views
FROM wikipedia.pageviews_2026
WHERE datehour >= TIMESTAMP '2026-01-01 00:00:00'
  AND datehour <  TIMESTAMP '2026-02-01 00:00:00'
  AND LOWER(title) LIKE '%bigquery%'
GROUP BY title, wiki
ORDER BY total_views DESC
LIMIT 20
""")
df1.show(10)

您也可以擷取最近參照 Iceberg 的 GitHub 提交：

df2 = spark.sql("""
SELECT
  commits.commit,
  commits.subject,
  commits.message,
  commits.author.name AS author_name,
  timestamp_seconds(commits.committer.date.seconds) AS commit_time,
  repo_name
FROM github_repos.commits AS commits
WHERE LOWER(commits.subject) LIKE '%iceberg%'
   OR LOWER(commits.message) LIKE '%iceberg%'
ORDER BY commit_time DESC
LIMIT 50
""")
df2.show(10)

查詢紐約市計程車資料集

您可以在biglake-public-nyc-taxi-iceberg目錄中找到 NYC Taxi 資料集，該資料集會以 Iceberg 資料表的形式呈現，示範分區和中繼資料功能。

下列查詢會匯總數百萬筆記錄，找出各乘客數的平均票價和行程距離。本範例說明 Iceberg 如何使用分區修剪功能，有效率地掃描資料檔案，而不需列出目錄：

SELECT
    passenger_count,
    COUNT(1) AS num_trips,
    ROUND(AVG(total_amount), 2) AS avg_fare,
    ROUND(AVG(trip_distance), 2) AS avg_distance
FROM
    lakehouse-sample.public_data.nyc_taxicab
WHERE
    data_file_year = 2021
    AND passenger_count > 0
GROUP BY
    passenger_count
ORDER BY
    num_trips DESC;

Iceberg 最強大的功能之一是「時光旅行」。您可以查詢資料表在過去特定時間點的狀態。您可以透過下列查詢稽核變更，方法是比較目前版本與特定快照的列數：

-- Compare the row count of the current version vs. a specific snapshot
SELECT
    'Current State' AS version,
    COUNT(*) AS count
FROM lakehouse-sample.public_data.nyc_taxicab
UNION ALL
SELECT
    'Past State' AS version,
    COUNT(*) AS count
FROM lakehouse-sample.public_data.nyc_taxicab VERSION AS OF 2943559336503196801Q;

查詢歷史記錄中繼資料表 (例如 SELECT * FROM lakehouse-sample.public_data.nyc_taxicab.history)，即可找出快照 ID，並回溯查看資料集隨時間的成長情況。

詳情請參閱「搭配 Cloud Storage 使用 Iceberg REST 目錄」。

可用的資料集

Lakehouse 提供公開資料集和範例資料表，您可以在兩個公開目錄 (lakehouse-public-data 和 biglake-public-nyc-taxi-iceberg) 中，以 Apache Iceberg 資料表的形式查詢這些資料。

lakehouse-public-data 目錄

lakehouse-public-data 目錄 (gs://lakehouse-public-data) 包含 Apache Iceberg 格式的下列命名空間和資料表。

austin_bikeshare

austin_bikeshare 命名空間包含下列資料表：

bls

bls 命名空間包含美國勞工統計局提供的經濟統計資料：

census_bureau_acs

census_bureau_acs 命名空間包含下列資料表：

chicago_taxi_trips

chicago_taxi_trips 命名空間包含下列資料表：

crypto_ethereum

crypto_ethereum 命名空間包含下列資料表：

ga4_obfuscated_sample_ecommerce

ga4_obfuscated_sample_ecommerce 命名空間包含下列資料表：

geo_openstreetmap

geo_openstreetmap 命名空間包含下列資料表：

geo_us_boundaries

geo_us_boundaries 命名空間包含下列資料表：

github_repos

github_repos 命名空間包含 GitHub 上公開、開放原始碼授權存放區的資料：

google_trends

google_trends 命名空間包含下列資料表：

imdb

imdb 命名空間包含下列資料表：

iowa_liquor_sales

iowa_liquor_sales 命名空間包含下列資料表：

ml_datasets

ml_datasets 命名空間包含機器學習基準測試表：

new_york_citibike

new_york_citibike 命名空間包含下列資料表：

new_york_taxi_trips

new_york_taxi_trips 命名空間包含下列資料表：

noaa_gsod

noaa_gsod 命名空間包含美國國家海洋暨大氣總署 (NOAA) 的全球每日地表摘要 (GSOD) 天氣資料：

sec_quarterly_financials

sec_quarterly_financials 命名空間包含下列資料表：

stackoverflow

stackoverflow 命名空間包含下列資料表：

tpc_ds_1g

tpc_ds_1g 命名空間包含 TPC-DS 1 GB 基準測試資料表：

wikipedia

wikipedia 命名空間包含維基媒體網頁瀏覽統計資料和維基資料實體：

world_bank_health_population

world_bank_health_population 命名空間包含世界銀行健康、營養和人口統計資料：

world_bank_wdi

world_bank_wdi 命名空間包含世界銀行世界發展指標 (WDI) 資料：

biglake-public-nyc-taxi-iceberg 目錄

biglake-public-nyc-taxi-iceberg 目錄 (gs://biglake-public-nyc-taxi-iceberg) 包含 public_data 命名空間中的下列資料表，格式為 Apache Iceberg：

後續步驟

• 進一步瞭解 Lakehouse 管理的 Apache Iceberg 資料表。
• 進一步瞭解 Lakehouse 執行階段目錄 Iceberg REST 目錄。