SQL？NoSQL？各技術の違いをハッキリさせて目的に合ったデータ分析基盤を構築しよう！

Snowflake & クラスメソッド合同ウェビナー
「DX実現の第一歩！クラウド技術を活かしたデータ分析、成功のヒント」

セミナー告知ページ
https://dev.classmethod.jp/news/snowflake-webinar/

第３回「SQL？NoSQL？各技術の違いをハッキリさせて目的に合ったデータ分析基盤を構築しよう！」

Transcript

1. DX実現の第一歩！
 クラウド技術を活かした
 データ分析、成功のヒント
 2021/11/25
 第３回/全４回
2. 2 本ウェビナーについて 開催 セッション名 登壇者 第1回 2021年10月28日（木） Tableau×Snowflakeで、コーディング・サーバー管理 いらずのデータ分析を実現！ Snowflake株式会社 KT クラスメソッド株式会社 相樂悟 第2回 2021年11月11日（木） 「クラウドって何か不安...」そんなあなたの不安を 解消します！ Snowflake株式会社 KT クラスメソッド株式会社 相樂悟 第3回 2021年11月25日（木） SQL？NoSQL？各技術の違いをハッキリさせて 目的に合ったデータ分析基盤を構築しよう！ Snowflake株式会社 KT クラスメソッド株式会社 甲木洋介 第4回 2021年12月9日（木） クラウドDWHの良さとは？DWHに留まらない ”データプラットフォーム”の魅力をお話します！ Snowflake株式会社 KT クラスメソッド株式会社 甲木洋介
3. 3 自己紹介 氏名 甲木 洋介（かつき ようすけ）@yokatsuki 所属 クラスメソッド株式会社 　データアナリティクス事業本部 　兼 アライアンス統括部 　　プリセールスアーキテクト 主な担当 データ分析お悩み相談～システム妄想～設計 　～見積～提案～プロジェクト引き渡し、運営
4. 4 自己紹介 氏名 KT (ケイティ) 所属 Snowflake株式会社 プロダクトマーケティング 主な担当 Snowflakeデータクラウドをみんなに広めて データドリブン文化を作る！！ その他の活動 Grand Master of DATA Saber Tableau User Group Ambassador 著書「データドリブンの極意」
5. 5 何かご質問や気になることがある場合は… 画面下部の「Q&A」よりご質問ください！
6. 6 第１回(11/28)の振り返り - Snowflake×Tableauを用いたデータ分析基盤を紹介しました - 数百億行でも分析できる環境 - GUIベースでデータベース～ダッシュボード構築可 - レポートの更新処理も数クリック - 最大90日間のデータを保持し、1コマンドでリカバリ可 TableauPrep Snowflake TableauDesktop TableauOnline Excel
7. 7 第２回(11/11)の振り返り - クラウドに関する不安や懸念を解消する - セキュリティ - コスト - 障害対応 - 基盤運用スキル（使いこなせるか）
8. 8 本日（第３回）の内容 「 温故知新」 - 温故：データウェアハウス系サービスの生い立ちを知る - 「SQL系」と「NoSQL系」という系統 - それぞれで主となる技術 - 知新：上記経緯を踏まえ、Snowflakeをより深く知る - どのような特徴を持っているのか （他のサービスとどう違うのか） - 使いこなすためにはどのような前提知識/技術が 必要になるのか
9. 「SQL系」と「NoSQL系」
10. 10 SQL系データウェアハウスサービス 「SQL系」とは - 先祖はRDBMS（リレーショナルデータベース管理システム） - 長い歴史（1970年代～） - １台のコンピュータ（データベースサーバ）でデータ管理 - 巨大なデータは「クラスタ」構成で対応 - データを「テーブル」で管理 - データ入出力は「SQL」を使用する事が基本 - 複雑な処理は「プログラム言語にSQLを話してもらう」
11. 11 NoSQL系データウェアハウスサービス 「NoSQL系」とは - 最初から巨大なデータを複数マシンで分散処理する前提の発想で 作られたオープンソースソフトの技術スタック - Google発表の論文が原点（2004年～） - データは独自形式（例：SparkはRDD:Resilient Distributed Dataset） - データ入出力はプログラム言語を使用していた（今はSQLも使える） 分散処理フレームワーク リソース管理 分散ファイル管理 ライブラリ・ラッパー
12. 各クラウドDWHサービスの特徴
13. 13 Google BigQuery（2011～） Google Cloudが提供するサーバーレス データ ウェアハウス - Google独自技術（Dremel）をベースとし、フロントはSQL、 バックはNoSQLのような高度な分散技術の実装 - 「スロット」と呼ばれる仮想CPU単位で性能調整 - 基本はユーザがアクセスしたデータ量に対する課金 （スロットの追加購入も可） 　　　　https://cloud.google.com/blog/products/data-analytics/new-blog-series-bigquery-explained-overview
14. 14 Amazon Redshift（2013/2～） AWSが提供するデータウェアハウスサービス - PostgreSQLを祖先とするSQL系サービス - リーダーノード＋コンピュートノードの分散クラスタ構成 - コンピュートノードの台数とインスタンスタイプの選択で性能調整 - 基本はクラスタの稼働時間課金 https://dev.classmethod.jp/articles/report-reinvent-2019-ant418/ https://docs.aws.amazon.com/ja_jp/redshift/latest/dg/c_high_level_system_architecture.html
15. 15 Databricks（2013/9～） Databricksが提供するレイクハウス・プラットフォーム - Apache Sparkの開発者が作ったマネージドSpark＋α（Delta Lake等）環境 - Databricksの管理環境（コントロールプレーン）から、別途契約したIaaS （AWS/Azure）環境を実行環境（データプレーン）として仮想マシンやストレージ を利用 - 実行に選択する仮想マシンのインスタンス数とインスタンスタイプで 性能調整 - 基本は以下の組み合わせで課金 利用プラン/インスタンス数/インスタンスタイプ/起動時間
16. 16 Databricks（2013/9～） https://docs.databricks.com/getting-started/overview.html
17. 17 Snowflake（2015～） Snowflakeが提供するデータクラウド - 変遷 - 2014年：クラウドDWH - 2015年〜2019年：クラウドデータプラットフォーム - 2020年〜：データクラウド - Oracle DBの開発者達が改めて作った 「俺達が考える最強のデータプラットフォームサービス」 - 契約時に選択したIaaS（AWS/Azure/Google Cloud）の上で稼働するSaaS - 「仮想ウェアハウス」と呼ばれる、各IaaSの仮想マシンを仮想化した コンピューティング環境のインスタンスタイプで性能調整 - 基本は仮想ウェアハウスのインスタンスタイプと稼働時間で課金
18. 18 Snowflake（2015～） https://docs.snowflake.com/ja/user-guide/intro-key-concepts.html
19. Snowflakeをよく知り、使いこなす ～RDBMSの子孫として～
20. 20 クライアントツール選択 SQLクライアント - SnowSQL - DBeaver JDBC/ODBC接続可能なBIツールなど - Tableau - Power BI - Excel
21. 21 データ設計 分析しやすい「整然（Tidy）データ」 - データ分析や機械学習などで扱いやすいデータ構造 - Hadley Wickham氏（R言語の普及に多大な貢献）が提唱 - Wickham, Hadley (2014). "Tidy Data". Journal of Statistical Software. 59 (10). - (日本語訳)”整然データとは何か” 整然データの条件 1. 個々の変数が1つの列をなす 2. 個々の観測が1つの行をなす 3. 個々の観測の構成単位の類型が1つの表をなす
22. 22 データ設計 整然ではないデータの例 整然データの例
23. 23 データ設計 ディメンショナルデータモデル - 分析の次元（ディメンション）を持つ - ファクト 主に時系列で発生する事実情報 POS売上/アクセスログなど - ディメンション 分析に必要な切り口の情報 「〇〇毎に」の部分
24. データマート - データウェアハウス上に追加作成するテーブルの一種 - SQLやBIツールで高速に、効率よく分析しやすくする目的で作成する 24 データ設計 DWH上のテーブル群 データマート
25. データマート作成具体例 - データのクレンジングをする 　例：不要な行データを除外する、NULLを0に置き換える、など - 分析の際にいつも結合するテーブル同士を結合する 　例：マスタとトランザクションを結合し、全てのデータを 　　　1つのテーブルで持つ"大福帳"を作成する - 分析に必要な行だけ抽出する 　例：自部門のデータだけにフィルターする - 分析に使用しない項目をカラム単位で除外する 　例：顧客マスタから電話番号を除く、など 25 データ設計
26. データマート作成具体例 - コードを実データに置き換える 　例："1"を"男性"に置き換える、空白を"非会員"に置き換える、など - 分析で必要としないレベルの詳細なデータを集約する 　例：秒単位で記録されたアクセスログを1日単位の合計値に 　　まとめておく、など 26 データ設計
27. データマート作成のポイント - データマート作成の主な目的は「分析の高速化」と「効率化」 - テーブルのデータサイズ（行数ではなくバイトサイズ）が少なければ少ない 程、高速に分析が可能 - データマートの利用目的を明確にし、 「汎用的なデータマート」は避ける - 分析の柔軟性と分析時の性能はトレードオフの関係 - 他、「自由」と「管理統制」のバランスも 27 データ設計
28. データ前処理 - 前処理＝データをキレイに整理する作業 - 参考資料 「前処理大全」 　　　https://gihyo.jp/book/2018/978-4-7741-9647-3 「10年戦えるデータ分析入門」 　　　https://www.sbcr.jp/product/4797376272/ 「ビッグデータ分析・活用のためのSQLレシピ 　　　https://book.mynavi.jp/ec/products/detail/id=65863 28 データ設計
29. 前処理を省略する機能 - VARIANT型＝json(ndjson)を丸呑みして直接クエリ 29 データ設計 https://www.slideshare.net/CertusSolutions/melbourne-certus-data-20-vault-meetup-with-snowflake-data-vault-in-the-cloud/26
30. 定期的なバッチ処理 - タスク＝Snowflake内蔵のスケジュール実行機能 - タスクの前後関係を定義する事で、タスクツリーの作成も可能 30 データ運用 https://docs.snowflake.com/ja/user-guide/tasks-intro.html
31. Snowflakeをよく知り、使いこなす ～最新のプラットフォームとして～
32. 古来のRDBMSサーバーの弱点 - 「処理能力に柔軟性がない」点 　CPUやメモリの追加作業 　クラスタ構成での再構成作業 SnowflakeはNoSQLの発想の良いとこ取り - データは共有ストレージに集約 　再分散等の作業必要なし - 処理はウェアハウスとして独立 　長時間細々と利用する処理と大量にガッとやる処理を分けられる - 処理していない時間帯はウェアハウスを停止 　課金ストップ 32 基盤管理
33. データマート不要？ - Snowflake仮想ウェアハウスなら「瞬間的にフルパワー」 33 基盤管理 DWH上のテーブル群 データマート
34. SQLではない、プログラム言語からの利用 - データ活用の幅が広がっている - 経営分析の為にBIツールで使われる以外に - 関連システムとの連携 - 機械学習の基礎データとして SQLだけではなく様々なプログラミング言語から直接データを扱う為 のインターフェース（API）が必要 - Snowpark 34 データ利活用
35. © 2021 Snowflake Inc. All Rights Reserved SNOWPARK： 従来の方法で出来るだけ速く実行 SQL SNOWFLAKE の処理エンジン SCALA JAVA JAVASCRIPT PYTHON PYTHON JAVA OTHER EXTERNAL SNOWPARK クライアントサイド サーバーサイド SQL * Snowpark Scala API & Java UDF in Public Preview * Snowpark for Python in Private Preview * Snowpark Java API in development
36. クラウドDWHサービスの特徴 - SQL系とNoSQL系の歴史 - Snowflakeをよりよく使う - 使い始めはRDBMS的な発想で - クラウドサービスらしくNoSQL的な発想の機能もどんどん追加 - 最新の機能を知り、楽（らく）しましょう 36 まとめ
37. 37 最後に - アンケートのご協力をお願い致します - チャット欄にアンケートURLを投稿します
38. 38 次回予告 - 概要 - 最終回！未来のデータプラットフォームを Snowflakeはどう捉え、どこまで実現できているのか - こんな方にぜひ聞いて頂きたい - 社内でDXに関わり、将来のデータ基盤を検討する 立場の方 - 開催日時 - 2021年12月9日（木） 16:00～17:00
39. ご清聴ありがとうございました