Apache Icebergインフラストラクチャ: ストレージ・カタログ・エンジンの選択肢と Clouderaプラットフォームでの実装

Apache Iceberg Meetup Japan #7 (2026-08-06) 発表資料

Transcript

1. Apache Icebergインフラストラクチャ: ストレージ・カタログ・エンジンの選択肢と Clouderaプラットフォームでの実装 Solutions Engineer Tomohiro Sugiyama Aug 6, 2026 ©2025 Cloude ra, Inc. All Rights Res erved.
2. Clouderaについて データプラットフォーム製品Cloudera Platformのディストリビューター 2008 2019 2022 2021 2024 Big Dataのパイオニア ハイブリッドクラウド戦略 として市場を牽引 への転換 技術刷新と 「真のハイブリッド」 の実現 オープン データレイクハウス への進化 Google/Yahoo出身者が創業。 Hortonworksとの統合を経て、 ビッグデータ基盤の デファクトスタンダードを確立。 Apache Iceberg等を導入し アーキテクチャを近代化。 マルチクラウド対応の 柔軟なデータ基盤を提供。 データウェアハウスと データレイクを統合。 エンタープライズ規模の 分析・管理基盤として投資を加速。 ©2025 Cloude ra, Inc. All Rights Res erved. 53億ドル規模の非公開化により 経営を刷新。 クラウドネイティブな世界へ向けた 戦略的ピボットを実行。 2025 – 2026 2023 AIプラットフォーム への飛躍 3つの Anywhere の実現 Verta（運用AI）、Octopai （データインテリジェンス）を買収。 業界初のエンタープライズAIエコシ ステムを発表。 Taikunを買収し、 クラウド運用を簡素化。 あらゆる環境でAIを活用できる 包括的プラットフォームへ。
3. 自己紹介 杉山 朋広 Cloudera株式会社 ソリューション・エンジニア 経歴： • 証券会社システム部門 • インターネットポータル • Sier • Cloudera ©2025 Cloude ra, Inc. All Rights Res erved.
4. Icebergとは • 大規模なテーブルを複数のエンジンから効率よくアクセス するためのオープン・テーブル・フォーマットのひとつ • ダイナミックなスキーマ変更や過去データへのアクセスな ど従来のテーブルフォーマットでは難しかった機能をサポ ート • Iceberg本体は、主にテーブルの仕様の定義が主な役割で、 Icebergのテーブル仕様に対応したソフトウェアを組み合 わせて環境を構築する 各種クラウドベンダーやSaaSサービスでは標準的に利用可能に なっていますが、オンプレミスやIaaSで構築する場合にどんな ソフトウェアが利用できるのか紹介します ※掲載するソフトウェアやサービスは代表例となります ©2025 Cloude ra, Inc. All Rights Res erved.
5. Iceberg環境の基本構成 ユーザ コンピュートエンジン Metadata Layer Data Layer Parque t ORC Catalog Database (Post gr eSQ L, MySQ L…etc) カタログ ©2025 Cloude ra, Inc. All Rights Res erved. ストレージ Avro
6. Iceberg環境の基本構成：ストレージ 実データやメタデータを保存する領域 IcebergのFileIOでサポートされているストレージが利用可能 Amazon S3 Azure Datalake Storage Google Cloud Storage MinIO Ceph Apache Ozone Apache Hadoop(HDFS) Dell PowerScale Dell ObjectScale(ECS) ©2025 Cloude ra, Inc. All Rights Res erved.
7. Iceberg環境の基本構成：カタログ テーブルの最新のメタデータ(ファイル構成)を追跡し、ACIDトランザクションの整合性を管理 Glue Data Catalog Glue OneLake Catalog Unity Catalog Apache Hive Metastore Apache Polaris Apache Gravitino Dell EcsCatalog (ObjectScale) ©2025 Cloude ra, Inc. All Rights Res erved. OneLak e HDInsig ht BigQuery Metastore DataProc Metastore
8. Iceberg環境の基本構成：コンピュート ※代表例です カタログ経由で必要なデータファイルの場所を特定し、ファイルシステムの読み書きを行う Icebergコミュニティ主導 Apache Spark – 2.4/3.0〜 Apache Flink – 1.11〜 Kafka Connect – 2.x/3.x〜 Apache Hive – 4.0〜 Third Party主導 Apache Impala – 4.0〜 Trino – 354〜 Amazon Athena Microsoft OneLake Google BigQuery Snowflake ©2025 Cloude ra, Inc. All Rights Res erved. Glue ETL EMR MSK Connect HDInsight EventHub DataProc
9. Iceberg環境の推奨構成 ユーザ REST Catalog コンピュートエンジン メタデータ メンテナンス 権限管理 Metadata Layer Data Layer Parque t ORC Catalog Database (Post gr eSQ L, MySQ L…etc) カタログ ©2025 Cloude ra, Inc. All Rights Res erved. ストレージ Avro
10. Iceberg環境の推奨構成：権限管理 アクセス制御を一元化し、テーブル/列/行のアクセス制御 マルチエンジン環境で一貫したセキュリティと、監査ログ記録によるガバナンスを提供 AWS Lake Formation Microsoft EntraID Google Dataplex Databricks Unitiy Catalog Snowflake Horizon Apache Ranger ©2025 Cloude ra, Inc. All Rights Res erved.
11. Iceberg環境の推奨構成：REST Catalog カタログの前段でHTTP/RESTによる標準インタフェースを提供 様々なクエリエンジンからの接続を抽象化して統一する Amazon S3 Tables Google Cloud Lakehouse Databricks Unity Catalog Apache Hive Metastore ※4.0以降 Apache Polaris Apache Gravitino Cloudera Data Sharing ©2025 Cloude ra, Inc. All Rights Res erved.
12. Iceberg環境の推奨構成：メタデータメンテナンス データファイル/マニフェストのCompaction / Rewriteによるパフォーマンス維持 有効期限切れスナップショットや孤立ファイルの削除によるストレージコストの最適化 Amazon S3 Tables Google BigQuery Managed Table Databricks Unity Catalog Snowflake Managed Iceberg Cloudera Lakehouse Optimizer ©2025 Cloude ra, Inc. All Rights Res erved.
13. Cloudera Platform について データ処理ソフトウェアのディストリビューション Data in Motion Open Data Lakehouse CLOUD Anywhere どのクラウドでも DATA Anywhere どこのデータでも AI Everywhere AIをどこへでも Cloude ra D ata Flow Cl oud era Data Engi neer ing Cl oud era Data W arehou se Cl oud era Ope ratio nal DB Enterprise AI Cloude ra AI Workbench - Inferen ce - Agents Unified Data Fabric セキュリティ | ガバナンス | リネージ | フェデレーション | オブザバビリティ Cl oud era Octop ai Data Lineage 「Cloud Anywhere」を実現する、唯一のデータ＆AIプラットフォーム パブリッククラウド | データセンター Cloudera Platform ©2025 Cloude ra, Inc. All Rights Res erved.
14. Cloudera Open Data Lakehouseの採用コンポーネント Cloudera Runtime 7.3.2ベース テーブルフォーマット Iceberg-1.5.2 V3 Spec 近日対応予定 権限管理 Ranger-2.6.0 Kerberosとの統合 ストレージ HDFS 3.4.2 Ozone-2.0.0 メタデータメンテナンス Cloudera Lakehouse Optimizer カタログ Hive-3.1.3 ※Hive Metastore + iceberg-hive-runtime.jar コンピュートエンジン Spark-3.5.4 Hive-3.1.3 ※iceberg-hive-runtime.jar Impala-4.5.0 Trino-476 ©2025 Cloude ra, Inc. All Rights Res erved. REST Catalog Cloudera Data Sharing Iceberg-hive-runtime.jar: Hive-3.x環境でHiveIcebergStorageHandlerを利用可能にして、 Icebergのテーブル抽象（スナップショット、スキーマ進化、パ ーティション、ファイルフォーマット）を Hive の 実行モデル に接続する
15. Cloudera Open Data Lakehouse のアーキテクチャ サードパーティ エンジン ユーザ REST Catalog コンピュートエンジン Knox 認証GW Data Sharing REST Server S3 Gateway Spark (E TL) Hi ve (E TL) Im pala (Analy tic SQL) Trino (S QL Federation) メタデータ メンテナンス Lakehouse Optimi zer 権限管理 Kerberos (認証) Ranger (認可) Metadata Layer Hi ve Metastore Metastore Data Layer Parque t ORC Avro Catalog Database (Post gr eSQ L, MySQ L…etc) Apache Ozone カタログ ©2025 Cloude ra, Inc. All Rights Res erved. HD FS ストレージ
16. Cloudera Data Sharing REST Catalog サードパーティ エンジン ①Ic eberg RE ST API ⑥Read loc ation data via s3a://~ REST Catalog Kerberos (認証) Knox 認証GW IdP ②Metadata request w/ Kerberos + doAs Ranger (認可) S3 Gateway ⑤S3 location ③load access Data Sharing REST Server ④Metadata request Metadata Layer Hi ve Metastore Metastore Data Layer Parque t ORC Catalog Database (Post gr eSQ L, MySQ L…etc) Apache Ozone カタログ ©2025 Cloude ra, Inc. All Rights Res erved. ストレージ Avro
17. Cloudera Lakehouse Optimizer メタデータメンテナンス • Icebergの管理アクションを実行できる専用GUI • 5つのテーブルメンテナンスに対応 • Compaction • Position Delete Rewite • Orphan File Removal • Rewrite Manifest • Snapshot Expiration • すべてのアクションを CLI/API 経由で実行可能 • CLO独自のインテリジェントな運用機能 • メンテナンスの実行判定ポリシー • ポリシーテンプレート • スケジューリング機能 ©2025 Cloude ra, Inc. All Rights Res erved. ©2025 Cloudera, Ltd. All Ri ghts Reserved. Not For Di stribution.
18. Apache Ranger 統合 権限管理 • 直感的なWebUIでデータベースや テーブルへ権限設定 • 行レベルのフィルタリングや列レベ ルの権限設定に対応 • ストレージやコンピュートを含めた 複数のコンポーネントの間で一貫し た権限管理が可能 ©2025 Cloude ra, Inc. All Rights Res erved.
19. Cloudera Platform の特徴 データプラットフォームに必要な多数のOSSを統合しGUIで管理 ©2025 Cloude ra, Inc. All Rights Res erved.
20. Polarisサポートの発表について Cloudera Open Data Lakehouseでは、 引き続きHiveカタログが標準となります ユーザの選択肢の幅を広げる目的で、今後 Polarisカタログの導入を進めていきます https://www.c loudera.com/about/news-and-blogs/press-releases/2026-06-04-cl oudera-adopts-apac he-polari s-to-advance-open-governed-data-access-for-enterprise-ai-anywhere.html ©2025 Cloude ra, Inc. All Rights Res erved.
21. Cloudera の無料ハンズオン！ Trino のクエリフェデレーション x ICEBERG x Ranger による一元アクセス制御を一気に体験！ クエリフェデレーション 2026/9/3(木) 18:30〜（2時間程度） ＋二次会（任意参加） @Cloudera 京橋オフィス ©2025 Cloude ra, Inc. All Rights Res erved. 基本機能＆ タイムトラベル 一元的アクセス制御 ←お申し込みはこちらから！ https://tiny.cloudera.com/iceberg-handson
22. Thank You ©2025 Cloude ra, Inc. All Rights Res erved.