Hive Metastoreを通して学ぶIceberg REST Catalog ― 仕様から実装まで

Apache Iceberg Meetup Japan #5で使用した発表資料です。

English Version: From Spec to Implementation: Iceberg REST Catalog with Hive Metastore

Transcript

1. Hive Metastoreを通して学ぶ Iceberg REST Catalog 仕様から実装まで @okumin Apache Iceberg Meetup Japan #5 Databricks Office, Tokyo May 20, 2026
2. 自己紹介 - Shohei Okumiya (@okumin) - Apache Hive PMC Member - Treasure Data -> Treasure AI所属
3. ZooKage - フルスペックなLakehouseをローカルで $ git clone --branch v0.5.0 https://github.com/zookage/zookage.git $ cd zookage $ ./bin/up
4. 本日話す内容 - Apache Hiveとは - Icebergテーブルフォーマット復習 - Iceberg Catalogについて - 基本的な操作手順をHive CatalogとREST Catalogで比較 - 読み込みパス - 書き込みパス - REST Catalogの高度な機能の解説 - 認証・認可 - Credential Vending - Metrics Reporting - Server-Side Planning
5. Apache Hiveとは
6. “Distributed Data Warehouse at Massive Scale” - Hive Metastore: メタデータリポジトリ - HiveServer2: SQLゲートウェイ - Hive on Tez, Hive LLAP: 分散実行エンジン RDBMS HDFS Object Storage HiveServer2 Hive Metastore Hadoop Hive on Tez Kubernetes Hive LLAP Trino, Spark, Flink
7. 今日話す部分 - Hive Metastore: メタデータリポジトリ - HiveServer2: SQLゲートウェイ - Hive on Tez, Hive LLAP: 分散実行エンジン RDBMS HDFS Object Storage HiveServer2 Hive Metastore Hadoop Hive on Tez Kubernetes Hive LLAP Trino, Spark, Flink
8. おさらい: Icebergテーブルフォーマット
9. Iceberg関連データ Iceberg Catalog 有効なMetadata Fileへのポインター Metadata File スキーマや有効なスナップショット一覧 Manifest List スナップショットに含まれるManifest File一覧 Manifest File Data File一覧 Data File 実レコードを含むParquetファイルなど 出典: Spec - Apache Iceberg™ https://iceberg.apache.org/spec/
10. 今日の話を聞く上で大事なこと Icebergテーブルを読み書きする際は、カタログに保存されたメタデータへのポインター Catalog Metadata File (JSON) Amazon S3 Manifest List (Avro) Manifest File (Avro) Data File (Parquet)
11. 今日の話を聞く上で大事なこと HDFSやオブジェクトストレージに保存されたメタデータ関連ファイル三種類 Catalog Metadata File (JSON) Amazon S3 Manifest List (Avro) Manifest File (Avro) Data File (Parquet)
12. 今日の話を聞く上で大事なこと そして実レコードを保存した ParquetやORCファイルにアクセスする必要がある Catalog Metadata File (JSON) Amazon S3 Manifest List (Avro) Manifest File (Avro) Data File (Parquet)
13. Iceberg Catalogについて
14. カタログの種類 カタログが持つ機能 - テーブル名からメタデータファイルの位置を解決する - その対応を安全に更新できる Spark + Hadoop Catalog Spark + JDBC Catalog Spark + Hive Catalog Spark + REST Catalog HDFS, S3 PostgreSQL, MySQL Iceberg REST API Hive Metastore Hadoop FileSystem API JDBC Driver Hive Thrift Client Iceberg REST Client
15. Iceberg REST Catalog API実装 商用サービス - Databricks Unity Catalog - Cloudera Iceberg REST Catalog - Snowflake Open Catalog - AWS Glue - Amazon S3 Tables - Google Cloud's Lakehouse - Microsoft Fabric OneLake - Dremio Open Catalog OSS実装 - Unity Catalog - Apache Polaris - Apache Gravitino - Lakekeeper - Project Nessie
16. Hive Metastore参戦 OSS実装 - Unity Catalog - Apache Polaris - Apache Gravitino - Lakekeeper - Project Nessie - Apache Hive - Hive Metastore 商用サービス - Databricks Unity Catalog - Cloudera Iceberg REST Catalog - Snowflake Open Catalog - AWS Glue - Amazon S3 Tables - Google Cloud's Lakehouse - Microsoft Fabric OneLake - Dremio Open Catalog
17. Iceberg REST Catalog API backed by Hive Metastore - Iceberg REST APIリクエストをHive Catalogの操作に変換している - 各種セマンティクス(例: テーブル名大文字小文字の区別など)はHive Catalogと同じ - Hive MetastoreにAPIエンドポイントを足す or Iceberg REST API専用サーバをデプロイ Trino REST Catalog Hive Metastore Iceberg REST API Hive Catalog API Server Iceberg REST API Hive Metastore Thrift API Trino REST Catalog REST API RDBMS RDBMS Thrift RPC REST API Embedded Mode Standalone Mode (>= 4.3)
18. 基本的な操作 - 読み書き
19. Hive CatalogとREST Catalogの比較: 読み込みパス こういう感じの単純なSELECTクエリをTrinoで実行すると？ -- Schema CREATE TABLE test (name VARCHAR); -- Query SELECT * FROM test;
20. Hive Catalogの読み込みパス (1) Hive Metastore (Thrift) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (1) GetTableRequest (Thrift) (2) SELECT Current Pointer (3) s3://path/to/000-metadata.json (4) Hive Table
21. Hive Catalogの読み込みパス (2) Hive Metastore (Thrift) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (5) GET s3://path/to/000-metadata.json (6) Schema, List of snapshots (7) GET s3://path/to/snap-abc.avro (8) List of Manifest Files (9) GET s3://path/to/m0.avro (10) List of Data Files (11) GET s3://path/to/000.parquet (12) Records
22. REST Catalogの読み込みパス (1) Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (1) Load Table (Iceberg REST) (2) SELECT Current Pointer (3) s3://path/to/000-metadata.json
23. REST Catalogの読み込みパス (2) Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (6) Iceberg Table (4) GET s3://path/to/000-metadata.json (5) Schema, List of snapshots
24. REST Catalogの読み込みパス (3) Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (7) GET s3://path/to/snap-abc.avro (8) List of Manifest Files (9) GET s3://path/to/m0.avro (10) List of Data Files (11) GET s3://path/to/000.parquet (12) Records
25. まとめ: 読み込みパス - Metadata Fileへのアクセスがカタログ経由に - Metadata Fileをキャッシュしたりも(HIVE-29035) Hive Catalog REST Catalog Hive Metastore (Thrift) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet)
26. Hive CatalogとREST Catalogの比較: 書き込みパス こういう感じの単純なINSERTクエリをTrinoで実行すると？ 注: 書き込みの過程で元のテーブル状態を確認するために行われる Load Tableは省略 -- For simplicity SET SESSION <catalog>.merge_manifests_on_write = false; -- Query INSERT INTO test (name) VALUES ('Alice');
27. Hive Catalogの書き込みパス (1) Hive Metastore (Thrift) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (8) 200 OK (7) PUT s3://path/to/new-metadata.json (6) 200 OK (5) PUT s3://path/to/snap-xyz.avro (4) 200 OK (3) PUT s3://path/to/new.avro (2) 200 OK (1) PUT s3://path/to/new.parquet
28. Hive Catalogの書き込みパス (2) Hive Metastore (Thrift) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (9) LockRequest (Thrift) (10) Acquire Lock (11) Lock Acquired (12) LockResponse
29. Hive Catalogの書き込みパス (3) Hive Metastore (Thrift) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (13) GetTableRequest (Thrift) (14) SELECT Current Pointer (15) Current Pointer (16) Hive Table ロック前後でポインターが変化してい たらリトライ or Abort
30. Hive Catalogの書き込みパス (4) Hive Metastore (Thrift) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (17) AlterTableRequest (Thrift) (18) Updater Pointer
31. REST Catalogの書き込みパス (1) Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (6) 200 OK (5) PUT s3://path/to/snap-xyz.avro (4) 200 OK (3) PUT s3://path/to/new.avro (2) 200 OK (1) PUT s3://path/to/new.parquet
32. REST Catalogの書き込みパス (2) Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (7) Update Table w/ diff (9) 200 OK (8) PUT s3://path/to/new-metadata.json
33. REST Catalogの書き込みパス (3) Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (11) Lock acquired (10) Acquire Lock
34. REST Catalogの書き込みパス (4) Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (13) Current Pointer (12) SELECT Current Pointer ロック前後でポインターが変化してい たらリトライ or Abort
35. REST Catalogの書き込みパス (5) Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) (14) Update Pointer
36. 書き込みパスまとめ ロックの取り方などを抽象化できる Hive Catalog REST Catalog Hive Metastore (REST) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet) Hive Metastore (Thrift) Metadata Pointer Metadata File (JSON) PostgreSQL Amazon S3 Trino Manifest List (Avro) Manifest File (Avro) Data File (Parquet)
37. 高度な機能の紹介
38. 認証・認可 - ユーザー名の解決・エンドポイントレベルの認可 - OAuth 2: HIVE-29020にてサポート - AWS SigV4 - Bearer Token - テーブルレベルアクセスコントロール - Apache Ranger - AWS Lake Formation Catalog Server Policy Store Identity Provider She is Alice Alice can update Table X and Y
39. OAuth 2.0 + Authorization Plugin • Iceberg REST Catalogエンドポイントを保護対象リソースとして認可 • OAuth 2のClaim Setを元にユーザー名の解決 • Apache Rangerなどを用いてユーザー名からテーブルレベルの読み書き権限を確認 Authorization Server E.g., Keycloak Hive Metastore Trino (1) Request Access Token Ranger Policy Store (2) Access Token (3) Request w/ Access Token (4) Token Introspection (5) Claim Set w/ ID source (7) Response JWTトークンの場合(4)と (5)は省略可 Ranger Plugin Sync (6) Check Privileges
40. Credential Vending - ストレージへアクセスするための認証情報をカタログが返す機能 - HIVE-29228にて実装中 Iceberg Client Catalog Server Storage Table Metadata with Credentials Read, Write, Delete Files
41. Credential Vendingがない場合 Hive Metastore w/ 🔑 Metadata File (JSON) Manifest List (Avro) Manifest File (Avro) Data File (Parquet) Amazon S3 Trino w/ 🔑 Hive Metastoreに /user/hive/warehouse全体の 読み書き権限 クライアントにも /user/hive/warehouse全体の 読み書き権限
42. Credential Vendingがある場合 Hive Metastore Metadata File (JSON) Manifest List (Avro) Manifest File (Avro) Data File (Parquet) Amazon S3 Trino カタログが払い出したクレデンシャルを 使用 AWS STS (1) LoadTable (2) Assume Role (3) Temporary Credentials 🔑 (4) Iceberg Table w/ Temporary Credentials 🔑 (5) Access S3 w/ Temporary Credentials 🔑 リクエストされたテーブルに対して許可 された操作(GET, PUT, DELETE)の みを実行することができるクレデンシャ ル
43. Metrics Reporting - メトリクスをクライアントから受信するAPI - スキャン後にテーブル名、スキャン条件、スキャンしたファイルの数 - コミット後にテーブル名、作成・削除したファイル数やレコード数 - REST Catalogを用いると、メトリクスの取り扱いをサーバで一元管理できる Iceberg Client 1 Catalog Server Iceberg Client 2 Iceberg Client 3 ???
44. Metrics Reporting - HIVE-29593(>= 4.3): 任意の送り先をプラガブルに実装・選択 Trino Hive Metastore Kafka Iceberg Datadog Spark Flink
45. Server-Side Planning - データファイルの解決をREST Catalog側でやる - 仕様は策定済み - クライアント実装がApache Iceberg 1.11.0で入った -> Hive Metastoreでも実装予 定？ Iceberg Client Catalog Server Snapshot ID, Projection, Predicate, etc. List of Data Files
46. おさらい: Load Tableを用いる場合のインタラクション Hive Metastore Metadata File (JSON) Manifest List (Avro) Manifest File (Avro) Data File (Parquet) Amazon S3 Trino Metadata Pointer PostgreSQL
47. Server-Side Planningを使うと Hive Metastore Metadata File (JSON) Manifest List (Avro) Manifest File (Avro) Data File (Parquet) Amazon S3 Trino Metadata Pointer PostgreSQL (1) Submit Scan Planning w/ Scan Conditions (2) Scan Metadata (3) Locations of Data Files (4) Read Data Files
48. 今日のまとめ - Iceberg REST Catalogがとても流行っている - Hive MetastoreもIceberg REST APIを絶賛実装中 - REST Catalogの登場により高度な機能が導入しやすくなった - Special Thanks - レビューしてくれたTreasure AIの同僚達 - Keisuke Suzuki, Masafumi Koba