JAWS_事前確認用

ICEBERG BASECAMP 佐野千紘（さのちひろ）

OVERVIEW – 概要

今⽇のおはなし – ICEBERG BASECAMP ＜イベントページより＞⼊⾨から実践・深掘りまで、レベル別のLTを通じてApache Icebergの全体像を⼀気にキャッチアップできます。 START GOAL
BASE CAMP ⼭が険しくなる⼿前で装備を整えたり、作戦を⽴てるための場所今⽇のおはなし ICEBERG⼭を登る準備として、・どんな⼭なのか（全体像）・初⼼者コースの注意点

ICEBERG を使うと何がいいのか

ICEBERGのメリット Ø ⾏レベルの更新でパフォーマンスが落ちにくい Ø パーティションを意識したSQLを書かなくても、速い検索をかけられる Ø 過去の任意の時点のデータを復元できる（タイムトラベル）

ICEBERGのメリットを⽀える仕組み ◀Iceberg 関係の勉強会に毎回必ず登場する絵

ICEBERGのメリットを⽀える仕組み・・・の、⽇本語版

それってそんなにすごいこと︖ 当然の疑問

ICEBERGのメリット Ø ⾏レベルの更新でパフォーマンスが落ちにくい Ø パーティションを意識したSQLを書かなくても、速い検索をかけられる Ø 過去の任意の時点のデータを復元できる（タイムトラベル）たしかにこれは嬉しいかもこれは別に普通の話じゃないか︖︕
→ ⼀⾒普通の↑の話が、なぜ Iceberg 以前はできなかったのか︖ ▲（今の迷い︓こんな話聞きたい⼈いるのか︖ いきなり40ページの論点にとんでもよい︖）

⾃⼰紹介

⾃⼰紹介佐野千紘（さのちひろ）⽂学部倫理学専攻卒業（哲学学⼠）⾦融系IT企業でSE（2010〜）→ 外資系RPAベンダー（2019〜）→ Cloudera（2023〜今） 2026年4⽉全⽶ベストセラー⼩説『AIの仮⾯を剥いでやる』を
翻訳出版はじめての翻訳（共訳）は『Apache Iceberg 活⽤⼊⾨』 ▲Iceberg を創った Ryan Blue が過去に勤めていた⽼舗データ基盤企業

ICEBERG はなぜ⽣まれたのか〜5分でわかるデータ基盤の歴史〜 ※5分はむりかも

1960年代〜データウエアハウス〜今も残る影響⼒〜

分析システム - OLAP 基幹システム - OLTP ⼯場システム営業系システムデータウエアハウス（1960年代〜）会計系システム
⽣産管理システム営業DB 経理DB ⽣産DB ⼯場データデータウエアハウス分析者営業担当経理担当仕⼊担当⼯場担当

分析システム - OLAP 基幹システム - OLTP ⼯場システム営業系システム当然の疑問① 会計系システム
⽣産管理システム営業DB 経理DB ⽣産DB ⼯場データデータウエアハウスコピーめんどくない︖ データを⼆重に持つの無駄じゃない︖ 営業担当経理担当仕⼊担当⼯場担当分析者

基幹システム - OLTP ⼯場システム営業系システム当然の疑問① 会計系システム⽣産管理システム全社統合のDBで業務も分析も
やればよくない︖ 営業担当経理担当仕⼊担当⼯場担当分析者

基幹業務でのデータの使い⽅顧客ID 顧客名購⼊⽇注⽂ID 点数明細ID 商品 1 ⽥中
太郎 2023/01/15 ORD001 2 DTL001 テレビ 1 ⽥中太郎 2023/01/15 ORD001 2 DTL002 テレビ台 2 ⼭⽥花⼦ 2023/02/20 ORD002 1 DTL003 冷蔵庫 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL004 スマートフォン 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL005 スマートフォンケース 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL006 充電器 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL007 イヤホン 4 佐藤次郎 2023/04/10 ORD004 3 DTL008 洗濯機 4 佐藤次郎 2023/04/10 ORD004 3 DTL009 洗濯ネット 4 佐藤次郎 2023/04/10 ORD004 3 DTL010 洗剤私が去年の１⽉に買ったテレビは買い替えキャンペーンの対象ですか︖ ⽥中太郎（顧客）

分析業務でのデータの使い⽅顧客ID 顧客名購⼊⽇注⽂ID 点数明細ID 商品 1 ⽥中
太郎 2023/01/15 ORD001 2 DTL001 テレビ 1 ⽥中太郎 2023/01/15 ORD001 2 DTL002 テレビ台 2 ⼭⽥花⼦ 2023/02/20 ORD002 1 DTL003 冷蔵庫 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL004 スマートフォン 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL005 スマートフォンケース 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL006 充電器 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL007 イヤホン 4 佐藤次郎 2023/04/10 ORD004 3 DTL008 洗濯機 4 佐藤次郎 2023/04/10 ORD004 3 DTL009 洗濯ネット 4 佐藤次郎 2023/04/10 ORD004 3 DTL010 洗剤 2023年の、⽉別の購⼊点数の推移を調べたいデータサイエンティスト

違いをまとめると顧客ID 顧客名購⼊⽇注⽂ID 点数明細ID 商品 1 ⽥中
太郎 2023/01/15 ORD001 2 DTL001 テレビ 1 ⽥中太郎 2023/01/15 ORD001 2 DTL002 テレビ台 2 ⼭⽥花⼦ 2023/02/20 ORD002 1 DTL003 冷蔵庫 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL004 スマートフォン 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL005 スマートフォンケース 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL006 充電器 3 鈴⽊⼀郎 2023/03/05 ORD003 4 DTL007 イヤホン 4 佐藤次郎 2023/04/10 ORD004 3 DTL008 洗濯機 4 佐藤次郎 2023/04/10 ORD004 3 DTL009 洗濯ネット 4 佐藤次郎 2023/04/10 ORD004 3 DTL010 洗剤基幹業務では、⾏ごとのデータを知りたいケースが多い分析業務では、列ごとのデータを集計したいケースが多い

分析系 - OLAP 基幹系 - OLTP ⼯場システム営業系システムデータウエアハウス（1960年代〜）会計系システム
⽣産管理システム営業DB 経理DB ⽣産DB ⼯場データデータウエアハウス営業担当経理担当仕⼊担当⼯場担当分析者⾏ごとのデータを素早く抽出・処理できる＝⾏指向列単位の集計で⾼いパフォーマンスを発揮＝列指向

⼩まとめデータウエアハウスが築いた、今も根強く残る影響 Ø 基幹業務と分析業務でシステムを分けるという ”考え⽅” Ø 基幹業務 – OLTP ⾏指向のデータベースで処理
Ø 分析業務 – OLAP 列試⾏のデータベースで集計

データウエアハウスの課題と克服〜分散処理とデータレイクハウス〜

データウエアハウスの課題① ⾼性能の巨⼤サーバー分析系 - OLAP 基幹系 - OLTP 営業系システム会計系システム
⽣産管理システム営業DB 経理DB ⽣産DB データウエアハウス OLTPのすべてのシステムの情報を持つ過去分の履歴も持つ ▲つまり容量がそれだけ⼤きくなる。⼤きいサーバーはお⾦もかかる。

データウエアハウスの課題① ⾼性能の巨⼤サーバー分析系 - OLAP データウエアハウス ◀もしも、このサーバーが倒れたら︖ （故障、物理破壊 etc）

データウエアハウスの課題① ⾼性能の巨⼤サーバー分析系 - OLAP データウエアハウス – 主データウエアハウス –
待機 ▲ふだんヒマしてる奴にそんなに投資する・・・︖

課題の克服① 分散処理基盤普通のサーバーが⼒を合わせて処理する「元気⽟システム」サーバーサーバーサーバーサーバーサーバーサーバーサーバー
サーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーオラに元気を分けてくれーっ︕

分散処理（Hadoop）の仕組み⼤きなファイルを⼩さなブロックに分割して書き込む⼤きなファイルサーバーサーバーサーバーサーバーサーバーサーバー
サーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバー A-1 B-1 C-1 D-1 E-1 A-2 B-2 C-2 D-2 E-2 A-3 B-3 C-3 D-3 E-3 A-1 B-1 C-1 D-1 E-1 A-2 B-2 C-2 D-2 E-2 A-3 B-3 C-3 D-3 E-3 ①⼩さなブロックに分割（128MB） ②3つにレプリケーション ③複数のサーバーに分散させて持つ

分散処理（Hadoop）の仕組み② ⼩さなブロックを集めて、⼤きなファイルを再現⼤きなファイルサーバーサーバーサーバーサーバーサーバーサーバー
サーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバー A-1 B-1 C-1 D-1 E-1 A-2 B-2 C-2 D-2 E-2 A-3 B-3 C-3 D-3 E-3 おめーヒマそうだな Aのブロックくれ︕ A-1 おめー死んじまったのかどっかにBを持ってる強ぇ奴はいねーのか B-3 おめーヒマそうだな Bのブロックくれ︕ A-1 B-3 C-2 D-1 E-2 ・・・ということを繰り返して、⼤きなファイルを構成するブロックを集めるファイルとブロックの紐づけ＆誰がどのブロックを持っているか▶

分散処理（Hadoop）のメリット ①安い ②速い ③無駄がない ① こいつら全員合わせても巨⼤サーバー1台より安いサーバーサーバーサーバー
サーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバーサーバー A-1 B-1 C-1 D-1 E-1 A-2 B-2 C-2 D-2 E-2 A-3 B-3 C-3 D-3 E-3 ② ⼤きいファイルも、並列化により読み書きを⾼速化 ③ 待機専⽤のサーバーが不要（無駄なく、⾼い稼働率）⼤きなファイル

データウエアハウスの課題② データの構造は必ずしもテーブル形式とは限らない Ø データにはいろいろな形がある Ø POSデータ → テーブル形式 Ø スクレイピング
→ JSON︓ Key-value 形式 Ø ⾃然⾔語、画像、⾳声、動画・・・ → ⾮構造の⽣データをベクトル化データウエアハウスが扱うのはこれだけ

データ構造に応じたデータベース構造に応じて様々な選択肢がある # データベースデータ形式適したユースケース代表的な製品 1 リレーショナルDB （RDB）
表形式項⽬があまり変動しないデータを保管・検索・集計する MySQL, Postgres, Oragle, DB2 2 ドキュメントDB Key-Value 形式項⽬が頻繁に追加されたり、保持する項⽬に偏りがあるデータを保管・検索する MongoDB, Cassandra 3 グラフDB グラフ形式相関関係などを表現・分析する（SNS等） Neo4j, Neptune, ArangoDB 4 ベクトルDB ベクトル形式類似性で検索する Pinecone, ChromaDB データウエアハウスが扱うのはこれだけ

データウエアハウス = データの倉庫１倉庫データくださいこれを倉庫に⼊れてこれも倉庫に
⼊れてすべて私が管理します ▲ストレージ ▲処理エンジンこの⼀連の仕組みがデータウエアハウスデータベースベンダーの独⾃規格受け渡しは表形式で︕

データウエアハウス = データの倉庫１この⼈を通さないとデータにアクセスできない

データレイク = データの湖（厳しい⼤⾃然） 2 すべては⾃⼰責任︕ ワイのデータどこ・・・ ▲⼀般⼈ ◀熟練スイマー
⾃由でイイネ︕ とりあえずぶちこむ︕ 表形式はもちろん画像、⾳声、動画、グラフ、ベクトル、なんでもOK! このしくみを分散処理技術を使って実装したのが Hadoop -> 今は S3 などもこの役割で使われる

データレイク = データの湖（厳しい⼤⾃然） 2 流れがぐちゃぐちゃ

データレイクハウス = 湖上の家・船着場（観光リゾート） 3 ご⾃由にどうぞこれなら楽しく遊べそう︕ 表形式はもちろん画像、⾳声、動画、
グラフ、ベクトル、なんでもOK! 各種のデータを探したり、アクセスしやすい仕組みを提供この「湖上のおうち」を英語で lakehouse という

データレイクハウス = 湖上の家・船着場（観光リゾート） 3 スッキリ︕ なぜなら、ここにテーブルフォーマット＝ ICEBERG がいるから︕

データレイクハウス = 湖上の家・船着場（観光リゾート） 3 ご⾃由にどうぞこれなら楽しく遊べそう︕ 表形式はもちろん画像、⾳声、動画、
グラフ、ベクトル、なんでもOK! 各種のデータを探したり、アクセスしやすい仕組みを提供この「湖上のおうち」を英語で lakehouse という Hadoop 上のレイクハウスの元祖︓ Hive テーブル è Hadoop 上のデータにテーブルフォーマットを当てはめて SQL 検索ができる仕組み Hive テーブルの限界を克服 è ICEBERG

このあとカバーしたい論点〜5分でわかるデータ基盤の歴史〜

このあとカバーしたい論点 Ø Hive Meta Store と Iceberg のメタデータの持ち⽅の違い Ø それがどうして⾏レベルの更新／検索時のパフォーマンス向
上につながるのか Ø MOR / COW の違い Ø 「Iceberg にしたら（無条件に）速くなる」は間違い Ø パーティション設計ちゃんとしようね Ø メンテナンスジョブ組もうね ▲冷静に考えたら各⾏ごとにLT1本分くらいの内容︖ → 他の⼈とかぶる論点あれば削除したい

THANK YOU

JAWS_事前確認用

JAWS_事前確認用

More Decks by IQBocchi

Featured

Transcript