サスティナVillage 登壇資料_Taro_CCCMK

12月4日に開催されたSnowflakeユーザーグループのサスティナVillageの登壇資料です。

LT登壇時点より一部修正しております。

CCCMKホールディングス株式会社
IT戦略本部 本部長
松井 太郎

Transcript

1. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright (C) 2023 Sumitomo Mitsui Card Co., Ltd. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. サスティナビリティとSnowflakeと私 IT戦略本部 本部長 松井 太郎
2. 松井さん、 サスティナビリティについて なんか話してくださいよ 面白そうですね！ うーん、データシェアの方が ファイル連携よりエコとか？？ それ面白そうですね！ じゃあ、それで行きましょう！ 12/4よろしくお願いします！ え？
3. みなさん、 依頼を受ける時はちゃんと考えてから返答しましょう
4. そして、依頼を受けたからには真面目にやりましょう！
5. ということで、 データシェアの方がファイル連携よりサスティナブルか 真面目に考えてみたいと思います！
6. サスティナブルの定義を地球温暖化抑制≒CO2削減とし、 システムの電力消費（CO2削減）について勉強しました！
7. クラウドコンピューティングによる 炭素削減効果（MS公式文書） 伝統的なDC＞効率化されたDC＞AzureでCo2排出少ないよ！ 何もかも削減してるみたい
8. クラウド自体が従来のデータセンターに比べ、 Co2排出量抑制に貢献している事が分かりました！ ではファイル連携とデータシェアのCo2排出量を比較しま しょう！
9. いやいや、ファイル連携って色々あるよね？
10. そもそもファイル連携とはなんぞ？
11. CO2排出に関りがありそうな、 ファイル連携に関わるコンポーネントを整理してみました！ （他にもWorkflowとかObserveとか色々あるけど割愛） 送信元 送信先 外接SFTP DB 外接SFTP DB Storage Storage ETL ETL 送信元のDBからデータを抽出、加工、変換し、ストレージに出力し、通信プロトコルで外部に送信する ※ETLから直ぶっぱもありだけど、セキュリティやファイル管理的にはステップ踏みたい 送信先の外接環境でファイルを受信し、ストレージに格納し、ファイルを取得、変換し、DBへロードする
12. 各コンポーネントを環境によって、どう変化するか？ ・オンプレミス→クロスクラウド→同一クラウド ・SFTP→ストレージ連携→データシェア とかで比較したらCO2排出量の評価が出来るんじゃね？？
13. 環境❶オンプレデータセンター同士のSFTP連携 送信元DC 送信先DC 外接SFTP DB 外接SFTP DB Storage Storage ETL ETL オンプレ間のSFTP連携のCO2排出量を100%とします 一般的なデータセンターのPUE≒2.0、AzureのPUE≒1.2 ・数字は各コンポーネントのCO2排出割合（合計100） ・ETL実行時時にはDBコストも発生 ・SFTPでそれなりのファイル量を送っている想定 40 40 5 10 5
14. 環境❷クロスクラウド間のSFTP連携 送信元クラウド 送信先クラウド 外接SFTP DB 外接SFTP DB Storage Storage ETL ETL ・DCとしてのCO2排出量： クラウド化により 60%に改善 オンプレ間のSFTP連携のCO2排出量を100%とします 一般的なデータセンターのPUE≒2.0、AzureのPUE≒1.2 クラウド化によりオンプレ間に比べ、DC全体でCO2排出量を40%削減 ※100％×60%=60 40 40 5 10 5
15. 環境❸同一クラウド間のSFTP連携（AWS同士の外部企業とか） 送信元クラウド 送信先クラウド 外接SFTP DB 外接SFTP DB Storage Storage ETL ETL ・DCとしてのCO2排出量： クラウド化により 60%に改善 ・ネットワーク効率：5%改善 ※インターネット回線を使わない事による削減効果 クラウド内通信によりオンプレ間に比べ、CO2排出量を43%削減 ※100％×60%×95%=57 クラウド内 40 40 5 10
16. 環境❹同一クラウド間のストレージ連携（AWS同士のグループ企業間とか） 送信元クラウド 送信先クラウド DB DB Storage ETL ETL ・DCとしてのCO2排出量： クラウド化により 60%に改善 ・ネットワーク効率：5%改善 ・SFTPサーバ削減＋転送効率化：10%改善 ※ファイル保存のため、Storage格納 ストレージ連携によりオンプレ間に比べ、CO2排出量を49%削減 ※100％×60%×85%=51 クラウド内 Storage 40 40 5
17. 環境❺Snowflakeデータシェアリング 送信元クラウド 送信先クラウド DB DB ・DCとしてのCO2排出量： クラウド化により 60%に改善 ・ネットワーク効率：5%改善 ・SFTPサーバ削減＋転送効率化：10%改善 ・データシェアにより、ETLサーバによる出力が不要：40%改善 クラウド化によりオンプレ間に比べ、CO2排出量を73%削減 ※100％×60%×45%=27 クラウド内 Storage Share 40 5
18. 環境❻Snowflakeリスティング 送信元クラウド 送信先クラウド DB DB Storage Storage Share Listing (Repli) 5 ・DCとしてのCO2排出量： クラウド化により 60%に改善 ・ネットワーク効率：5%改善 ・SFTPサーバ削減＋転送効率化：10%改善 ・データシェアにより、ETLサーバによる出力が不要：40%改善 ・Listingに伴うデータ転送が発生：5%悪化 クラウド化によりオンプレ間に比べ、CO2排出量を70%削減 ※100％×60%×50%=30 40 5
19. 考察まとめ オンプレ間のファイル連携に比べ、 データシェアリングにより、CO2排出量を70~73%削減 クラウド内ストレージ連携の対オンプレ比49%削減に対し、 データシェアリングは73%削減（+24ポイント） あくまでもファイル連携そのものに対する考察に留めますが、 そもそもSnowflakeはウエアハウスの最適化、オートスケールや自動停止により、 オンプレや他DBサービス（BQ/RS）より、CO2排出量が抑制される可能性大
20. ほかにもデータシェアリングの場合、 テーブルとしてシェアされる事による、 エンジニア作業が減ることも間接的なCO2削減効果 （設計やコーディングや試験に伴う電力消費..etc） SWTT弊社登壇資料より
21. また、皆さんご存じの通り、 Snowflakeはパフォーマンスを継続的に実施しています 使い続けるだけで勝手にCO2削減効果 （実行計画最適化、ストレージアクセス最小化、パフォーマンス向上..etc）
22. とはいえSnowflakeも無駄に消費する事があります ・不適切なウェアハウスサイズによる過剰な消費 ・無駄の多いSQLの長時間実行による余計な消費 ・不適切なクラスタリングキーによる無駄な消費 ・必要以上のTimeTravelによるストレージの冗長な消費
23. みなさん、 会社のコストもエネルギーも無限ではありません！
24. Snowflakeを適切に使いコストもCO2排出も最適化し、 サスティナブルにSnowflakeを活用しましょう！
25. そしてSnowflakeを広め、データシェアリングを増やし、 さらにCO2排出量を減らしていきましょう！
26. サスティナビリティとSnowflakeと私 ご清聴..
27. 私の話を忘れてました！
28. 私、CCCMKホールディングスの松井太郎と申します！ ・エンジニア部門とAI部門の責任者をやってます！分析基盤以外にポイント基盤とか会員基盤とかVポイントアプリとか販売管理とか..etc ・Snowflakeのプライバシー保護機能、データクリーンルームや データシェアリングなどセキュアなデータ活用の記事を書いています ・データ活用やコラボレーションの相談、ディスカッションを多数の企業様と取組中 もしお悩みの方がいましたら、お気軽にご相談ください！
29. 以上、自己紹介でした！
30. サスティナビリティとSnowflakeと私 ご清聴ありがとうございました！