上手く活用すればコスト削減につながる、ONTAPの Temperature Sensitive Storage Efficiency (TSSE) の紹介

2024/5/24 Hibiya.Tech #5「愛情爆発！わたしの推し技術を語りたい」で登壇したときに使用した資料です。
https://classmethod.connpass.com/event/316770/

Transcript

1. 上手く活用すればコスト削減につながる ONTAPの Temperature Sensitive Storage Efficiency (TSSE) の紹介
 クラスメソッド株式会社 のんピ
 1
2. 2 自己紹介 { "本名": "山本 涼太 (覚えなくていいです)", "部署": "AWS事業本部 コンサルティング部", "前職": "インフラエンジニア in データセンター", "興味のあること": "面白そうなブログネタ探し", "好きなAWSサービス": [ "Amazon FSx for NetApp ONTAP (FSxN)" "AWS Transit Gateway", "AWS Step Functions" "AWS CDK" ], "称号" : [ "2023 Japan AWS Ambassador", "NetApp Advanced Solution Leading Award 2023", ] }
3. 3 みなさん コスト削減したいですか?
4. 4 FSxNの課金要素にはストレージのサイズがある Primary Storage (SSD): プロビジョニングしたサイズ Capacity Pool Storage: 物理使用量 https://aws.amazon.com/jp/fsx/netapp-ontap/pricing/
5. 5 そのため 物理データ使用量の削減が コスト削減の近道
6. 6 そんな時こそ Storage Efficiency
7. 7 要するに Storage Efficiency (SE) を紹介するぞ
8. 8 ちなみに この登壇の内容をおおよそ網 羅した内容が左の記事
9. 9 Storage Efficiency (SE) とは ONTAP上でデータ削減を行う以下3つの処理を行う機能 • 重複排除 • 圧縮 • データコンパクション
10. 10 それぞれのイメージ
11. 11 重複排除の仕組み • 4KBのデータブロックごとに重複排除を実行 • データブロックのフィンガープリント(FP)の比較と 1バイト単位での比較により高信頼な重複排除を実現
12. 12 重複排除の実行のタイミングは2種類 インライン重複排除 ポストプロセス重複排除
13. 13 圧縮の仕組み • 8KB or 32KB のCompression Groups単位で圧縮 ◦ Compression Groups未満のファイルは圧縮されない • 圧縮効率を確認して最終的に圧縮を行うかを判断 • 圧縮アルゴリズムは LZOPro or Zstandard
14. 14 圧縮の実行のタイミングも2種類 インライン圧縮 ポストプロセス圧縮
15. 15 圧縮の方式は2種類 Adaptive Compression Secondary Compression Compression Groupsサイズ 8KB 32KB 圧縮実行判断の圧縮効率閾値 - インライン : 50%以上 - ポストプロセス : 25%~50% 25%以上 特徴 - 解凍単位が小さく、読み書きパ フォーマンスに優れる - 特にランダムIO - 圧縮効率が高い
16. 16 データコンパクションの概要 • 使用量4KB未満の複数データブロックをまとめて格納 ◦ インライン重複排除されたデータブロックは対象外 • インライン圧縮でスキップされたCompression Groups未満 のデータを圧縮
17. 17 Storage Efficiencyのインライン処理の流れ
18. 18 Storage Efficiencyのポストプロセス処理の流れ “圧縮” は “重複排除” の実行スケジュールと 連動して実行される
19. 19 Storage Efficiencyの問題点 • インライン/ポストプロセスは同じ圧縮方式である必要性がある ◦ 高アクセス頻度のデータをSecondary Compressionした場合の パフォーマンス が気になる ◦ 低アクセス頻度のデータをAdaptive Compressionした場合の ストレージ利用効率 が気になる
20. 20 そんな時に Temperature Sensitive Storage Efficiency (TSSE)
21. 21 TSSEとは HotデータとColdデータで圧縮レベルを変更する仕組み デフォルトでは14⽇以上経過したブロックをCold判定 パフォーマンスとストレージサイズの利用効率の両立
22. 22 TSSEのその他の主な変更点 • 圧縮がファイル単位からデータブロック単位に • インライン重複排除をしてからインライン圧縮に • ポストプロセス重複排除のトリガーがChange Log量に • ポストプロセス圧縮のポストプロセス重複排除が連動しな いように
23. 23 TSSEの処理順序
24. 24 TSSEの設定方法 • ボリュームのStorage Efficiencyを有効化 • ボリュームのStorage Efficiency Modeをefficienctに設定 • ボリュームのApplication IO Sizeをautoに設定
25. 25 FSxNでは SEを有効化するとデフォルトでTSSEが設定 (Inactive data compressionは無効)
26. 26 もちろん 重複排除や圧縮が効きにくいデータもある • 既に重複排除や圧縮されているデータ • 画像データ • 動画データ • 暗号化されているデータ 要するにエントロピーが高い場合は効果が薄い
27. 27 Storage Efficiencyによるデータ削減量の目安 https://aws.amazon.com/jp/fsx/netapp-ontap/faqs/
28. 28 正直 実際どのぐらい重複排除や圧縮で データ削減されるのかは やってみなければ分からない ↓ 得られたデータ削減量が少ないことも
29. 29 つまりは ランニングコストの見積は期待しすぎない
30. 30 とはいえ FSxNのみインライン/ポストプロセスのデータ削減機能があ ることは注目 サービス データ削減機能 EBS なし EFS なし S3 なし FSxW ポストプロセス重複排除 / ポストプロセス圧縮 FSxZ インライン圧縮
31. 31 有効時のパフォーマンス影響にも注意 とはされており、スループット向上も見込まれるが... https://aws.amazon.com/jp/fsx/netapp-ontap/faqs/
32. 32 何はともあれ 要検証！！！