DWH御三家の各特徴と選び方〜SnowflakeとBigQueryとRedshiftと〜

https://forkwell.connpass.com/event/194269/

Transcript

1. DWH御三家の各特徴と選び方
 〜SnowflakeとBigQueryとRedshiftと〜
 玉井 励
 クラスメソッド株式会社　データアナリティクス事業本部
 1
2. 2 自己紹介 玉井 励（タマイ レイ） • クラスメソッド株式会社 ◦ Snowflakeの国内初ソリューションパート ナー • 自分の職種 ◦ BIツールの技術支援など ◦ BIとDWHは切っても切り離せない関係 • 奈良県出身、奈良県在住
3. 3 今回お話すること（アジェンダ）
4. 4 今回お話すること • DWHの簡単なおさらい（DWHとは？） • DWHの選び方における結論 • DWH御三家の特徴を簡単にご紹介 ◦ Snowflake ◦ Google BigQuery ◦ Amazon Redshift • DWH御三家の選び方
5. 5 データウェアハウス（DWH）とは？
6. 6 データウェアハウスとは 分析しやすいようにデータを蓄積するDB
7. 7 DWHをもっと知りたい方は https://youtu.be/G7weKwUE6KY
8. 8 DWHの選び方における結論
9. 9 世の中そんなに甘くない 「これを選んでおけば間違いない」 というDWHはありません
10. 10 結局はこれ 自分たちの（データ分析における）要件に 合ったDWHが一番良い
11. 11 いちばんだいじなこと 自分たちが計画している データ分析の要件を徹底的に洗い出す
12. 12 DWH御三家の紹介
13. 13 Snowflake • Snowflake社が提供する サービス • フルマネージド • 従量課金 ◦ メインは仮想ウェアハウス の稼働時間
14. 14 Snowflakeのいいところ • 面倒な管理不要 ◦ コンピュート部分は管理可能 • 最先端の機能が多数存 在 ◦ 仮想ウェアハウス ◦ ステージ ◦ ゼロコピークローン ◦ タイムトラベル ◦ snowpipe ◦ 半構造化データの取り扱い ◦ データシェアリング
15. 15 Snowflakeの注意点 • 主要なパブリッククラウド サービスと独立してしまう ◦ 料金支払等がバラける ◦ 各種連携は可能 • 事前の見積は難しい
16. 16 Google BigQuery • GCPサービスの1つ • フルマネージド • 従量課金 ◦ メインは処理するデータ 量（スキャン量）
17. 17 Google BigQueryのいいところ • 管理不要 • GCPやGoogleサービスと の連携 • SQLだけで機械学習 （BQML）
18. 18 Google BigQueryの注意点 • コストマネジメントに一定 のスキルが必要 ◦ パーティショニングなど • BQ独自のデータの扱い 方がある ◦ STRUCT型、UNNEST • 事前の見積は難しい
19. 19 Amazon Redshift • AWSのサービスの1つ • マネージドサービス • 従量課金 ◦ 起動している時間
20. 20 Amazon Redshiftのいいところ • とっつきやすい ◦ 従来のDBと似た感覚で使 える ◦ オンプレDWHの知見を流 用できる • 事前の見積がしやすい • AWSである ◦ 既存AWSサービスとの連 携
21. 21 Amazon Redshiftの注意点 • それなりに管理は必要 ◦ スケーラビリティ ◦ WLM ◦ VACUUM • それなりにチューニング は必要 ◦ 列圧縮タイプ ◦ 分散スタイル ◦ 各種キー
22. 22 DWHの選び方
23. 23 切り口は人それぞれ どういう観点で選ぶか
24. 24 DWHを選ぶ観点の例 • パフォーマンス • セキュリティ • バックアップ（&リカバリー） • スケーラビリティ • エコシステム • コスト
25. 25 DWHを選ぶ観点の例 • パフォーマンス • セキュリティ • バックアップ（&リカバリー） • スケーラビリティ • エコシステム • コスト
26. 26 ぶっちゃけ パフォーマンスはどれも同じ （環境や状況による）
27. 27 ベンチマーク記事は冷静に https://aws.amazon.com/jp/blogs/big-data/fact-or-fiction-google-big-query-outperforms-amazon-redshift-as-an-enterprise-data-warehouse/
28. 28 DWHを選ぶ観点の例 • パフォーマンス • セキュリティ • バックアップ（&リカバリー） • スケーラビリティ • エコシステム • コスト
29. 29 セキュリティもバックアップも どのDWHもしっかりしてる
30. 30 サービスとしてのセキュリティ https://www.snowflake.com/%E8%A3%BD%E5%93%81/snowflake%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3%E3%81%A8% E3%83%88%E3%83%A9%E3%82%B9%E3%83%88%E3%82%BB%E3%83%B3%E3%82%BF%E3%83%BC/?lang=ja https://cloud.google.com/data-security-governance?hl=JA https://docs.aws.amazon.com/ja_jp/redshift/latest/mgmt/iam-redshift-user-mgmt.html
31. 31 機能としてのセキュリティ • アクセス制御 ◦ IP縛りとか • 認証 • 権限管理 • 暗号化
32. 32 バックアップについて • タイムトラベル • Fail-safe • 各種ステージへの UNLOAD • 7日間の自動履歴保存 • Cloud Storageへのエク スポート • 自動スナップショット • 手動スナップショット • S3へのUNLOAD
33. 33 DWHを選ぶ観点の例 • パフォーマンス • セキュリティ • バックアップ（&リカバリー） • スケーラビリティ • エコシステム • コスト
34. 34 データが加速度的に増えていく時代 https://iotnews.jp/archives/150335
35. 35 自分で管理 vs サービスにおまかせ https://fivetran.com/blog/warehouse-benchmark
36. 36 BigQueryが楽そうだが…？ • 仮想ウェアハウスのサイ ズ変更 • 自動 • インスタンスタイプの変 更 • ノード数の変更 • Spectrum • RA3
37. 37 DWHを選ぶ観点の例 • パフォーマンス • セキュリティ • バックアップ（&リカバリー） • スケーラビリティ • エコシステム • コスト
38. 38 基盤を1つのエコシステムで統一するメリット
39. 39 DWHを選ぶ観点の例 • パフォーマンス • セキュリティ • バックアップ（&リカバリー） • スケーラビリティ • エコシステム • コスト
40. 40 まずはSnowflakeとBigQueryの2つで考えてみる • 仮想ウェアハウスが起動し ていた時間（秒単位） • クエリで処理するデータの 量（スキャン量）
41. 41 Snowflakeのコストマネジメント • 仮想ウェアハウスの扱い がコストの鍵を握る • ワークロード別に用意し て調整 ◦ サイズ ◦ 稼働時間 ◦ クラスタ数 ◦ オートサスペンド（&レ ジューム） • いつでも変更可
42. 42 BigQueryのコストマネジメント • スキャンデータ量 ◦ LIMIT句は無意味 • 無駄なスキャンを避けるテクニックが必要 ◦ テーブル分割（パーティショニング） ◦ 無駄なクエリは実行しない（中身を見るだけ等） ◦ 必要なカラムのみ対象にする ◦ 実行前にクエリの見積をする（見積ツールあり） ◦ 処理可能サイズに制限をかける
43. 43 考え方の例 • 仮想ウェアハウスが起動し ていた時間（秒単位） • 大量のデータを定期的に 処理し続ける要件がある 場合はSnowflakeの方が よい？ • クエリで処理するデータの 量（スキャン量） • 特定のタイミングだけ重い 処理が行われる（アイドル 状態も多い）要件がある場 合はBigQueryの方がよ い？
44. 44 Redshiftという選択肢 • 立ち上がっている時間=コ スト ◦ クエリの処理量や処理時 間を気にしなくて良い ◦ 見積がしやすい ◦ リザーブドインスタンス
45. 45 まとめ
46. 46 まとめ • DWHとは、データ分析に特化したDB • 一番いいDWH = 自分の要件に合ったDWH • 実際に使ってみるのが一番の近道（トライアル、無料枠）