第3回Snowflake女子会_LT登壇資料_Snowflake「マイクロパーティション」_kayo

Oracle Databaseと比較しながら学ぶ「マイクロパーティション」きほんのき kayo(嘉陽田千里) / 2024-12-13 © 2024 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL. Snowflale女子会

AGENDA © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. 1.
自己紹介 2. Snowflake「マイクロパーティション」を Oracle Databaseと比較する 3. Snowflake「マイクロパーティション」良いところ 4. まとめ

自己紹介【名前】kayo(@tshizuku03) 【主な職歴】 • 2013年9月～：Webサイト開発運用の事業会社 • Oracle Exadata→Oracle Exadataリプレイスなど経験 •
2022年8月～：DB関連Sier • オンプレミスOracle Database→AWS Aurora PostgreSQL(SCT/DMS)などを担当 • 2024年7月～：ちゅらデータ株式会社 • データエンジニア • 既存データ基盤をSnowflakeへ移行というPoC案件を担当 © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. ⇐ いまここ★

自己紹介アーキテクチャクラウドクローン Snowsight マイクロパーティションストレージキャッシュ Time Travel
© 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. Snowflakeに触れるがRDBMS(Oracle Database)との違いに困惑する日々..

自己紹介アーキテクチャクラウドクローン Snowsight マイクロパーティションストレージキャッシュ Time Travel
© 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. その中で今回は Snowflake「マイクロパーティション」を Oracle Database機能と比較してみましたのでご紹介します新しいサービスも、なじみあるサービスと比べて学べば理解度が上がる

Oracle Database「パーティション・テーブル」大きなテーブルをデータベース内部で複数の領域に分割して管理する © 2024 Chura DATA inc. PROPRIETARY &
CONFIDENTIAL. 通常の1つのテーブルパーティション化テーブル

Oracle Database「パーティション・テーブル」 CREATE TABLE customer ( costomer_id NUMBER(4) NOT NULL,
c_name VARCHAR2(100), salse_date DATE) PARTITION BY RANGE(sales_date)) PARTITION p1 VALUES LESS THAN(TO_DATE(‘ 2024/09/01 ','YYYY/MM/DD’)) TABLESPACE Q9, PARTITION p2 VALUES LESS THAN(TO_DATE(‘ 2024/10/01 ','YYYY/MM/DD')) TABLESPACE Q10, PARTITION p3 VALUES LESS THAN(TO_DATE(‘ 2024/11/01 ','YYYY/MM/DD')) TABLESPACE Q11, PARTITION p4 VALUES LESS THAN(TO_DATE(‘ 2024/12/01 ','YYYY/MM/DD')) TABLESPACE Q12); © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. パーティション・テーブル作成例をご紹介 ※EEの有料オプション ※レンジパーティション例

OracleDatabase「パーティション・テーブル」・・・ PARTITION BY RANGE(sales_date)( PARTITION p1 VALUES LESS THAN(TO_DATE('
2024/09/01 ','YYYY/MM/DD’)) TABLESPACE Q9, PARTITION p2 VALUES LESS THAN(TO_DATE(‘ 2024/10/01 ','YYYY/MM/DD')) TABLESPACE Q10, PARTITION p3 VALUES LESS THAN(TO_DATE(‘ 2024/11/01 ','YYYY/MM/DD')) TABLESPACE Q11, PARTITION p4 VALUES LESS THAN(TO_DATE(‘ 2024/12/01 ','YYYY/MM/DD')) TABLESPACE Q12); © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. テーブル作成時にパーティションで分割する範囲を指定キー列を指定分割範囲を指定 ※EEの有料オプション ※レンジパーティション例

データを小さい単位で分割して保存してくれる仕組みのこと CUSTOMER_ID C_NAME C_ADRESS C_DATE 50900001 山田東京都 10/01 50900002
山川神奈川県 10/01 50900003 鈴木埼玉県 10/01 50900004 鈴田群馬県 11/02 50900005 田中茨城県 11/02 50900006 中里栃木県 11/02 50900007 佐藤東京都 12/03 50900008 藤田神奈川県 12/03 Snowflakeの「マイクロパーティション」 © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. ストレージ分割圧縮格納

CUSTOMER_ID C_NAME C_ADRESS C_DATE 50900001 山田東京都 10/01 50900002 山川
神奈川県 10/01 50900003 鈴木埼玉県 10/01 50900004 鈴田群馬県 11/02 50900005 田中茨城県 11/02 50900006 中里栃木県 11/02 50900007 佐藤東京都 12/03 50900008 藤田神奈川県 12/03 Snowflakeの「マイクロパーティション」データを小さい単位で分割して保存してくれる仕組みのこと © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. 分割圧縮格納ストレージ

Snowflakeの「マイクロパーティション」データが更新されてもマイクロパーティションは「更新」はされず新規で作成 © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
ストレージクラウドサービス tableA tableA

Snowflakeの「マイクロパーティション」入れ替わった過去のマイクロパーティション © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
tableA これはいつまで残る？

Snowflakeの「マイクロパーティション」入れ替わった過去のマイクロパーティションは Enterprise Editionの場合1～90日間保持 ➢Standard Edition ⚫1日間 ➢Enterprise Edition以上 ⚫1～90日間
⚫DATA_RETENTION_TIME_IN_DAYSで指定 ➢Fail-Safe ⚫Time Travel保持期間終了後7日間 ⚫要サポート連絡 © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. tableA

Oracle Database「パーティションテーブル」＝データベース内部で複数領域に分割したテーブル Snowflake「マイクロマーティション」＝データを分割して格納する仕組み © 2024 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL.

Snowflake「マイクロパーティション」と Oracle Database「パーティションテーブル」の比較「仕組み」と「テーブル」で異なるがパーティション・プルーニングのみ類似 © 2024 Chura DATA inc. PROPRIETARY
& CONFIDENTIAL. Snowflake「マイクロパーティション」 Oracle Database「パーティションテーブル」概念データを分割・圧縮・格納する仕組み分割キー(列)を指定してデータベース内部で複数の領域に分割したテーブルパーティション・プルーニング参照したいデータ以外のファイルを読み飛ばしてパフォーマンス向上を図る参照したいデータがあるテーブルのみアクセスしてパフォーマンス向上を図る管理作業表領域という概念はなくTime Travel/Failsageがバックアップとしても機能している各パーティション毎に表領域を配置することで個別にバックアップ/リカバリが可能 ※表領域の説明は後術可用性クラウドプロバイダのオブジェクトストレージに配置され可用性を担保パーティション単位で障害の影響を限定

神奈川県 10/01 50900003 鈴木埼玉県 10/01 50900004 鈴田群馬県 11/02 50900005 田中茨城県 11/02 50900006 中里栃木県 11/02 50900007 佐藤東京都 12/03 50900008 藤田神奈川県 12/03 【再掲】Snowflakeの「マイクロパーティション」データを小さい単位で分割して保存してくれる仕組みのこと © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. ストレージ分割圧縮格納

神奈川県 10/01 50900003 鈴木埼玉県 10/01 50900004 鈴田群馬県 11/02 50900005 田中茨城県 11/02 50900006 中里栃木県 11/02 50900007 佐藤東京都 12/03 50900008 藤田神奈川県 12/03 Snowflakeの「マイクロパーティション」実際に小分けにされた一つ一つのものはファイル © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. ストレージ分割圧縮格納

Oracle Databaseにも実際に小分けにされた一つ一つのものがある © 2024 Chura DATA inc. PROPRIETARY &
CONFIDENTIAL.

Oracle Databaseは、データの最小単位をデータブロックという表領域とは、複数のセグメント（テーブル、索引）を格納する領域のこと Oracle Database「データブロック」 © 2024 Chura DATA inc.
PROPRIETARY & CONFIDENTIAL. 表領域セグメントエクステントデータブロックテーブル

Snowflake「マイクロパーティション」のファイルと Oracle Database「データブロック」の比較どちらも実データを格納する入れ物 © 2024 Chura DATA inc. PROPRIETARY
& CONFIDENTIAL. Snowflake「マイクロパーティション」ファイル Oracle Database「データブロック」指向タイプ列指向行指向圧縮タイプ圧縮非圧縮サイズ 50～500MB（圧縮して16MB）テーブル作成時に指定（デフォルト8KB）更新状態不変(immutable)で更新時に新規マイクロパーティション作成同じデータブロックが何度も更新

今回は「Time Travel」と「ゼロコピークローン」について Oracle Databaseと比較しながらご紹介します © 2024 Chura DATA inc.
PROPRIETARY & CONFIDENTIAL.

まずは、 Snowflake「Time Travel」と Oracle Database「Flashback機能」の比較 © 2024 Chura DATA inc.
PROPRIETARY & CONFIDENTIAL.

Snowflake「Time Travel」について Time Travelは、ある時点のテーブルを再現できる機能 SELECT * FROM tableA AT (TIMESTAMP
=> ‘2024-10-01 12:00:00'); © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. ストレージクラウドサービス tableA tableA

OracleDatabase「Flashback Query」について Oracle Databaseにもある時点のテーブルを再現できる機能がある SELECT * FROM tableA AS OF
TIMESTAMP TO_TIMESTAMP(‘2024-10-01 12:00:00', 'yyyy-mm-dd hh:mi:ss’); © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.

Oracle Database「Flashback機能」カテゴリ機能名機能概要リカバリ FlashbackDatabase DB全体を過去時点に戻す FlashbackTable テーブルのデータを過去時点に戻す
FlashbackDrop 削除したテーブルを元に戻す開発機能 FlashbackQuery 指定した過去時点のデータを参照 FlashbackVersionQuery 指定された2点間でのすべての変更データを表示 FlashbackTransactionQuery トランザクションの変更を戻すためのSQL文を表示 FlashbackTransaction トランザクションのロールバックを実行 FlashbackDataArchive テーブルに対する全てのトランザクションによる変更を追跡/格納 © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. 他にもたくさんの機能があるけど省略

Oracle Database「Flashback Query」と Snowflake「Time Travel」の比較どちらも誤って削除されたデータの復元可能だが、戻れる期間が異なる © 2024 Chura DATA
inc. PROPRIETARY & CONFIDENTIAL. Snowflake「Time Travel」 OracleDatabase「Flashback Query」機能内容マイクロパーティションが不変(immutable)であることを利用して過去データを参照 UNDO領域にINSERT/UPDATE/DELETEの更新履歴を保存そのUNDO領域を利用して過去データを参照いつまで戻れるか SE：1日 EE：1～90日 UNDO保存期間 ※保存期間、表領域サイズ、保存保障に依存指定方法 1. TIMESTAMP 2. OFFSET(現在時刻との時差) 3. STATEMENT(queryID) 1. TIMESTAMP 2. INTERVAL(現在時刻との時差) 3. SCN（System Change Number）

物理的なファイルコピーをせず全体をコピーする機能 CREATE TABLE tableB CLONE tableA; Snowflake「ゼロコピークローン」について © 2024 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL. ストレージクラウドサービス tableA tableA tableB

元テーブルとゼロコピークローンで複製されたテーブルはお互いに影響なし Snowflake「ゼロコピークローン」について © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
ストレージクラウドサービス tableA tableA tableB

Snowflake「ゼロコピークローン」についてゼロコピークローンでテーブルコピーしてもストレージは0!? ゼロコピークローン実行 CREATE TABLE snowflake_wmn.wmn_schema.customer_clone CLONE snowflake_wmn.wmn_schema.customer; © 2024
Chura DATA inc. PROPRIETARY & CONFIDENTIAL. クローン先クローン元

Snowflake「ゼロコピークローン」についてゼロコピークローンでテーブルコピーしてもストレージは0!! TABLE_STARAGE_METRICSのACTIVE_BYTESを確認 © 2024 Chura DATA inc. PROPRIETARY &
CONFIDENTIAL.

Snowflake「ゼロコピークローン」と類似する Oracle Database機能は・・・物理的なコピーをせずメタデータだけクローンする機能はなし © 2024 Chura DATA inc. PROPRIETARY
& CONFIDENTIAL. 機能名機能概要 Oracle Multitenant (Pluggable Databases) プラガブルデータベース（PDB）をクローンする機能ありゼロコピークローンほどの即時性、ストレージ効果はなし RMAN(Recovery Manager) Duplicate バックアップ機能の一つにDB複製機能あり

まとめ ➢Snowflake「マイクロパーティション」と Oracle Databaseの「パーティション」は「仕組み」と「テーブル」で異なるがパーティション・プルーニングのみ類似 ➢Snowflake「Time Travel」は Oracle「Flashback Query」と類似するが
戻れる期間は異なる ➢Snowflale「ゼロコピークローン」のように物理コピーをしない機能は Oracle Databaseには類似機能なし © 2024 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. 新しいサービスも、なじみあるサービスと比べて学べば理解度が上がる

第3回Snowflake女子会_LT登壇資料_Snowflake「マイクロパーティション」_kayo

第3回Snowflake女子会_LT登壇資料_Snowflake「マイクロパーティション」_kayo

Featured

Transcript