DX推進に必須のデータ基盤最新動向2023

DX推進に必須のデータ基盤最新動向2023  クラスメソッド株式会社  データアナリティクス事業本部ビジネスソリューション部    甲木洋介  2023.10.12  1 クラウド時代のデータ活用基盤！最新動向と応用を徹底解説

氏名　甲木洋介（かつきようすけ）所属　データアナリティクス事業本部　ビジネスソリューション部　プリセールスアーキテクト主な担当　データ分析お悩み相談～システム妄想～設計～提案～プロジェクト引き渡し書籍
　みんなのAWS　〜アカウント開設からベストプラクティスまで〜認定　AWS Certified Solutions Architect - Professional 　AWS Certified Data Analytics - Specialty 　Snowflake Data Superheroes 2022, 2023 自己紹介 @yokatsuki 2

3 本セッションでお伝えする内容１．2023年上半期におけるデータ基盤の最新動向  ２．クラウドデータウェアハウスの特徴紹介  ３．サービス選択のポイント＋α  ４．まとめ 

１. 2023年上半期におけるデータ基盤の最新動向

5 2023年上半期データ基盤最新動向 • データ活用を目的とする基盤導入は継続して活発  • 基本的な技術要素はここ数年大きくは変わらず  データウェアハウス/データレイクが出発点  • 従来概念を拡張する新しい概念が登場  データメッシュ： 
データウェアハウス/データレイクのデータを相互に交換  データクリーンルーム：  お互いのデータの公開可能な一部だけをそれぞれ持ち寄る  個人情報を保護しつつ、より精度の高いデータ蓄積 

6 2023年上半期データ基盤最新動向 • 一方、肝心の「データ利活用」については進んでいない  所謂「データドリブン経営」が進んでいない  何が/どうなった時/何をするのかが決まっていない  メタデータ整備が進んでいない  業務視点でデータを見ることができていない  AIに過剰な期待をしていて、手を動かしていない  データ利活用の為の人/時間/費用投資が進んでいない 
データの整備に対する価値をトップが認めていない 

7 データ利活用事例：福岡地所様 https://classmethod.jp/cases/fukuokajisho/

8 データ利活用事例：福岡地所様 https://dev.classmethod.jp/articles/jawsfesta2023_session_kyushu_03/ 「データは経営資源であり、経営資源管理は経営側の責務である」

9 データ利活用事例：福岡地所様 https://dev.classmethod.jp/news/showcase-2023/

２. クラウドデータウェアハウスの特徴紹介

11 Google BigQuery • Google Cloudが提供するクラウドデータウェアハウス  • 特徴 
Google独自技術（Dremel/Colossus/Jupiter/Borg）をベースとし、フロントはSQL、バックはNoSQLのような高度な分散技術の実装 

12 Google BigQuery • 性能調整  「スロット」と呼ばれる仮想CPU数を調整  自動バースト（オンデマンド）  追加購入（定額料金）  • 料金体系 
基本はユーザがアクセスしたデータ量単位による  オンデマンド課金  一定期間のスロット利用権を購入する定額料金もある 

13 Amazon Redshift • AWSが提供するデータウェアハウスサービス  • 特徴  PostgreSQLと共通の祖先を持つRDBを機能拡張  リーダーノード＋コンピュートノードの分散クラスタ構成 

14 Amazon Redshift • 性能調整  クラスタを構成するコンピュートノードの  台数増加（スケールアウト）  インスタンスタイプ変更（スケールアップ）  • 料金体系 
基本はクラスタの稼働時間課金  コンピュートノード単価 ✕ ノード台数 ✕ 稼働時間  ※RA3は月額のマネージドストレージ利用料金が発生 

15 Amazon Redshift Serverless • 2022年7月13日、Redshift Serverlessが一般提供開始  • クラスタを構成するインスタンス管理を自動化  RPU（Redshift
Processing Unit）単位で  クエリの特性やリクエスト数に応じて、  自動的にスケーリング（上限/下限設定可）  • RPU数 ✕ RPU稼働時間＋ストレージ利用料金 

16 Snowflake • Snowflakeが提供するクラウドデータプラットフォーム  • 特徴  Oracle Databaseの元開発者達がクラウド時代に適した分析プラットフォームを開発  契約時に選択したIaaS（AWS/Azure/Google
Cloud）の上で稼働 

17 Snowflake • 性能調整  「仮想ウェアハウス」と呼ばれる、各IaaSの仮想マシンを仮想化したコンピューティング環境のインスタンスタイプ（XS / S / M
/ L…）を変更  • 料金体系  大雑把には仮想ウェアハウス毎稼働時間＋ストレージ利用料金で課金  ※他にもクラウドプラットフォームの種類やリージョン、契約エディションなどで料金の係数が変化する 

18 Databricks • Databricksが提供するレイクハウス・プラットフォーム  • 特徴  Apache Sparkの開発者が作った  マネージドSpark＋α環境  （Delta
Lake等）  Databricksの管理環境  （コントロールプレーン）から、  別途契約したIaaS環境を実行環境  （データプレーン）として  仮想マシンやストレージを利用 

19 Databricks • 性能調整  実行に選択する仮想マシンのインスタンス数とインスタンスタイプで性能調整  • 料金体系  基本は以下の組み合わせ  利用プラン/クラウドプラットフォーム/リージョン/インスタンスタイプ/イ
ンスタンス数/起動時間 

３. サービスの選択ポイント

21 の前に、お奨めしない選択方法

22 ◦✕表で比較する

23 ◯✕表で比較する • ◦✕表で本当に適切なサービスが選べますか？  ◦が多いもの選びがち → 必要な機能がなかった  • クラウド時代、✕はどんどん◦になる  BigQueryトランザクション処理 
Redshift Serverless（インスタンス管理不要）  Databricks Delta Sharing（データ共有）  Snowflake Snowpark（アプリケーション実行）  VARIANT型/SUPER型（半構造化データの格納/検索） 

24 利用費の詳細な見積計算

25 利用費の詳細な見積計算 • 利用費に影響する要素  利用プラットフォーム（リージョン）  利用想定エディション/プラン  保存データ容量（非圧縮時/圧縮時）  処理を完了するまでの時間  処理対象のデータ量  入出力データ量（日/月あたり） 
• 各サービスの無料利用枠を活用  あたりをつける  • 複雑な計算や大量のデータ入出力には相応の料金が掛かる 

３. サービスの選択ポイント

27 主なデータ発生源はどこか • 各IaaSのアウトバウンド通信費がポイント  IaaS基盤にデータを入れるのは無料、出すのは有料  • 発生データが多いクラウドサービスを中心に据える  主な分析データはFirebaseやGoogle Analyticsなら、  リンク設定でBigQueryを使用すれば簡単 

28 データをどのような形で管理するか • 整然データ（RDBで扱うようなテーブル構造）  厳密なテーブル設計を行う  データ格納とELT/ETL処理の負担が大き目  整理されたデータしか入らないので分析操作が楽  • 半構造化データ（json等）  データ定義の柔軟性を高くできる 
データ格納工数もシンプル  データ集計、分析処理の負担比率が高い  直接テーブル取り込み、検索可能なデータ型が進化 

29 手持ち技術は何が使えるか • 開発、保守に携わる技術者のベース技術は何か  データベース管理者：SQL  アプリケーション開発者：各プログラミング言語＋API  • 基盤保守に必要な技術は低下傾向  物理設計が段々と不要に 

４. まとめ

31 まとめ • データ基盤の導入は活発だが、データ利活用までは未だ半ば  社内のデータを社員がより詳しく調べているかが鍵  • データウェアハウスサービスの選択は、機能比較よりも、  サービスを利用する環境で選択する事が現実的  データライフサイクル（発生〜処理〜提供〜削除）  サービスを開発、運用する技術者のスキルセット 
• それぞれのサービスは切磋琢磨している  新機能は継続的に確認、活用を検討せよ  • 基盤導入後に見えてくる視界と欲しくなる新機能が存在する  Reverse ETL / Data Application / Generative AI… 

DX推進に必須のデータ基盤最新動向2023

DX推進に必須のデータ基盤最新動向2023

Yosuke Katsuki

More Decks by Yosuke Katsuki

Other Decks in Technology

Featured

Transcript