OTFSG勉強会 / Introduction to the History of Delta Lake + Iceberg

6月17日に大阪で開催されたオープンテーブルフォーマット勉強会での発表資料になります。
Delta Lakeの歴史から、最新のIcebergへの対応について詳しく説明します。

Transcript

1. Delta Lake の 過去-現在-未来 Shotaro Kotani, Senior Partner Solutions Architect +少しDatabricksの話
2. PSA@Databricks 2022年~ SIerさんの技術支援、製品のキャッチアップのお 手伝いをしています R&D@Deloitte 会計不正検知システムの研究開発 Databricks歴 ＝ Spark歴 ＝ Delta Lake歴 最近 Iceberg 始めました Who am I 小谷 尚太郎 先日のDatabricks Summitにて
3. 本日お話しすること Delta Lake 今昔 + Databricks と Iceberg ❤
4. Delta Lake の起源 Spark Summit 2018 での会話がきっかけ Dominique Brezinski Distinguished Engineer@Apple Michael Armbrust Distinguished Engineer@Databricks Apple Payのネットワークの脅威検知した いんやけど、Parquetやったらトランザクショ ン効かへんし、DWHやったら機械学習モデ ルで推論できひんねん なんとかならへんかな？ いけるんちゃう？ほなやってみよや → Spark+AI Summit 2019 でOSS化
5. Delta Lake の機能追加の歴史 最新は Ver 4.0.0 バージョン 0.x（2019年） • オープンソース化（2019年） • ACIDトランザクション、スキーマエンフォースメント、タイムトラベル などの 基本機能 バージョン 1.0.x（2021年） • プロダクションレディとしての安定化 • Spark 3.1.xとの互換性 バージョン 2.x（2022年〜2023年） • Spark 3.2.x〜3.4.xとの互換性拡大 • Z Ordering のサポート • RESTOREコマンドの強化 バージョン 3.0.0（2023年10月） • UniForm (iceberg互換メタデータ) プレビュー開始 • Checkpoint V2（新しいチェックポイントフォーマット）導入 • ログコンパクションファイルのサポート • UPDATE/MERGE時のセーフキャスト強化 バージョン 3.1.0（2024年1月） • Deletion Vector によるMERGEの高速化 • メタデータ活用によるmin/max集計の高速化 • Delta Sharing経由のテーブルクエリ対応 • 統計情報によるMERGEの高速化 • Iceberg互換（UniForm）強化（MAP/LIST型対応) バージョン 3.2.x（2024年9月） • Liquid Clustering 対応 • クラスタリングテーブルのRESTORE対応 バージョン 3.3.x（2024年12月） • Identity Column（自動採番カラム）サポート • VACUUM LITE（高速VACUUM） • UniForm ALTER（既存テーブルへのUniForm有効化） • Type Widening（型拡張）サポート バージョン 4.0.x（2025年6月） • Spark 4.0.x対応 • Catalog Managed Table のサポート
6. Deletion Vector 削除、アップデート時にファイルの書き換えが不要に Before After
7. 7 Iceberg v3
8. 8 • Deletion Vectors • Row Lineage • Semi-Structured Data and Geospatial Types • Delta Lake, Apache Parquet, and Apache Sparkとの相互互換性 Iceberg v3 の主な新機能
9. Catalog-managed Tables Delta Lake 4.0.0 から Preview, RFS 9 Catalog-managed Tables, Commits トランザクション管理がObject Storageの Put-if-absense特性に依存 （トランザクションが単一テーブルスコープ） ~ Delta 4.0 カタログがトランザクションを仲介 (複数テーブルスコープへ拡張可能) エンジン (e.g. Spark) エンジン (e.g. Spark)
10. Multi Statement Transaction (Prpr) Catalog-managed Tables により、複数テーブルのトランザクションが... 掲載せず
11. Databricks ❤ Iceberg Public Preview - Managed Iceberg Tables
12. Unity Catalog エコシステム Salesforce Starburst Kafka PyIceberg Fabric Apache Spark Flink Trino Tableau PowerBI Snowflake Atlassian HMS Glue SAP Iceberg Engines ✅ Data Sharing ✅ Delta Engines ✅ EMR Clickhouse Unity REST APIs Federation Delta Sharing Iceberg REST APIs Other Catalogs ✅ Iceberg REST Snowflake
13. Demo: Snowflake から UC Table へクエリ Salesforce Starburst Kafka PyIceberg Fabric Apache Spark Flink Trino Tableau PowerBI Snowflake Atlassian HMS Glue SAP Iceberg Engines ✅ Data Sharing ✅ Delta Engines ✅ EMR Clickhouse Unity REST APIs Federation Delta Sharing Other Catalogs ✅ Iceberg REST Snowflake Iceberg REST APIs
14. 今後は Snowflake からの Write Support も...
15. 【本書の概要】 本書は、高い信頼性とハイパフォーマンスを両立する、OSSの ストレージレイヤソフトウェアであるDelta Lakeの入門書です。 セットアップから実際の操作手順、実行例まで、データ分析に 携わる方が迷わずDelta Lakeを使いこなせるよう丁寧に解説 を行います。 Delta Lake 徹底入門 Delta Lake Up and Running の翻訳書です https://amzn.asia/d/3AOIsWg