Lookerはじめの一歩

Transcript

1. Looker はじめの一歩 データアナリティクス事業本部 2020/5/15 玉井励 1
2. 2 自己紹介 玉井 励（タマイ レイ） • データアナリティクス事業本部 • 奈良県葛城市在住 • Lookerの認定資格もってます • Tableauの認定資格もってました （失効）
3. 3 本日お話すること（アジェンダ）
4. 4 本日お話すること • Lookerの概要 • Lookerのデモ（ダッシュボードとか） • Lookerの特徴（LookML） • AWSと一緒に使う • Snowflakeと一緒に使う • Tableauとのすみわけ
5. 5 本日お話しないこと
6. 6 本日お話しないこと • Lookerの料金体系 • Lookerの具体的な操作方法 • LookMLの書き方など • AWS, Snowflake, Tableauの具体的な紹介
7. 7 Lookerって何？
8. 8 Lookerとは データプラットフォーム …今はとりあえずBIツールと 思っていただいて大丈夫です (原則)クラウド上で稼働 AWS、Azure、GCP (原則) SaaS ハードウェア無し（管理不要）
9. 9 顧客が指定した場所に別途インストールするプランもあり https://docs.looker.com/ja/setup-and-management/on-prem-install
10. 10 Lookerのアーキテクチャ
11. 11 とりあえず画面を見てもらいます（デモ）
12. 12 デモでやること 1. Lookerで作ったダッシュボードの紹介 2. Explore（実際にグラフを作る画面）の紹介
13. 13 デモは見たけど… 他のBIツールと何が違うんや…
14. 14 Explore画面に表示されているデータ 分析に使用するデータ項 目はどうやって用意する のか？
15. 15 Lookerはデータをコードで定義する LookMLについて
16. 16 LookMLとは Looker専用のデータモデ リング言語（YAMLベー ス） 分析に必要なデータを コードで定義 Gitと統合したバージョン 管理
17. 17 LookMLの例（ディメンション）
18. 18 LookMLの例（メジャー）
19. 19 Explore自体もLookMLで定義する
20. Looker 20 Lookerを使う流れ（の一例） 各種データソース • DBエンジニア • データ管理者 • …などなど 可視化 （ダッシュボード作成） LookMLでデータを定義 （データモデリング） • データアナリスト • マーケティング担当者 • 経営者 • …などなど
21. Looker 21 Lookerを使う流れ（の一例） 各種データソース • DBエンジニア • データ管理者 • …などなど 可視化 （ダッシュボード作成） • データモデルを一元管理 • 同じようなデータの重複を防ぐ • 定義したデータモデルを再利用してモデルを拡張する • 分析したいデータをすぐに見つけられる • 人によってデータ（の内容）がブレない
22. 22 Looker Marketplace あらかじめ構築済の LookMLを自分のLooker に取り込むことができる 新しいビジュアライゼー ション形式や、既製の ダッシュボード等が存在
23. 23 外部アプリケーションとの連携（Action Hub） Lookerで分析したデータ やダッシュボード等を、 外部アプリケーションへ 連携することができる
24. 24 Action Hubの例 ダッシュボードをSlackの チャネルに直接配信 Lookerで作成した分析結果を直接 DataRobotに送信し、予測モデルを作成 Lookerで作成した顧客リストを 直接Marketoにアップロード 電話番号データに対して、Lookerから 直接テキストメッセージを送信
25. 25 その他の特徴（一部） ダッシュボードを別のWebサイトへ埋め込み そのWebサイトに認証機能がある場合、その認証をもって、 埋め込んだLookerダッシュボードへのアクセスも許可する ことができる。Lookerに対する事前ユーザー登録は不要。 Lookerが非常に力を入れている領域の一つ（Powered by Looker）。 APIが豊富 作成したLook（のデータ）をAPI経由で取得などが可能。
26. 26 AWSと一緒に使う
27. 27 データソースとして対応しているAWSサービス • Amazon Redshift • Amazon Redshift Spectrum • Amazon Athena • Amazon Aurora MySQL • （Amazon RDS）
28. 28 Amazon Redshift Spectrumと一緒に使う S3に配置されているデー タをSpectrumで直接分 析 Amazon S3 Amazon Redshift
29. 29 Redshift自体の情報をLookerで可視化 https://dev.classmethod.jp/articles/looker-marketplace-model-amazon-redshift-administration/
30. 30 他のAWS連携 ダッシュボードのPDF・画像・データ（csv）をS3バケットに送信する。 リソースIDを指定して、EC2をLookerから直接停止させる。 Action Hubの1つ（AWS EC2 Stop Instance）。 https://discourse.looker.com/t/looker-actions-aws-ec2-stop-instance/6813 より Lookerで作成した分析結果を直接トレーニングに使用し、予測モデルを 作成。また、別のLookerデータをモデルに送信して推論を実行すること も可能。Action Hubの1つ。
31. 31 Amazon SageMakerとの連携の詳細について Lookerのイベントでハン ズオンを体験しました 下記のブログをご覧くだ さい https://dev.classmethod.jp/articles/looker-join-2019-at-san- francisco-report-looker-sagemaker/
32. 32 Snowflakeと一緒に使う
33. 33 Snowflakeとは データウェアハウス ANSI準拠のSQLが使用可能 クラウド上で稼働 AWS、Azure、GCP オンプレミスは非対応 SaaS ハードウェア無し（管理不要） クラウド上に 構築 SQL使用可能 SaaSとして 提供
34. 34 LookerはSnowflakeに対応
35. 35 Snowflake×Lookerのいいところ • Looker専用の仮想ウェアハウスを用意 • 半構造化データをそのまま利用 • データシェアリングされたデータを利用
36. 36 Looker用の仮想ウェアハウスを用意できる XL 営業 機械学習 Structured & semi-structured ETL/ELT S M M M M M M M M
37. 37 Looker用の仮想ウェアハウスを用意できる XL 営業 機械学習 Structured & semi-structured ETL/ELT S M M M M M M M M • Lookerのパフォーマンスに問題がある 場合、Snowflake側で簡単に仮想ウェ アハウスのスペックを上げることが できる • 他のワークロードに影響無し
38. 38 Snowflakeは半構造化データをネイティブサポート 半構造化データをそのまま テーブルに入れることが可 能 （VARIANT型というカラムにロー ド可能） 入れた半構造化データに対 して直接SQLを実行可能 半構造化データ専用の関数もあり
39. 39 Snowflakeの半構造化データ×Looker Snowflakeの半構造化 データ用クエリをLooker で利用できる 「Snowflakeに半構造化 データをそのまま入れて、 変換はLookerで」という ことが可能 https://dev.classmethod.jp/articles/looker-desire/
40. 40 Snowflakeのデータシェアリング アカウントをまたいで データを共有できる データをコピー・マージ する必要は無し 共有元データが更新され ると、共有先にも反映さ れる
41. 41 Snowflakeのデータシェアリング×Looker シェアされているデータ をLookerで可視化 第三者が公開している データを準備時間ゼロで 分析に利用 https://dev.classmethod.jp/business/business-analytics/snowflake- data-sharing-covid-19/ https://dev.classmethod.jp/business/business-analytics/looker- covid19/
42. 42 Snowflake in Looker Marketplace
43. 43 Tableauとのすみわけ （ここからは私の主観が強いです）
44. 44 結論 TableauとLookerは競合しない 自分（の組織）に合った方を選ぶ
45. 45 Tableauの特徴 SQLを知らなくても簡単にデータの可視化ができる 高い操作性 ドキュメント読まなくても、ある程度使える 対応データソースが豊富 Excelやcsvに対応 表現の自由度が高い Tableau Publicを見れば一目瞭然 作成したビジュアライゼーションを管理する製品も Tableau Server, Tableau Online 利用規模がスケールしてくると管理が難しい 跳梁跋扈する「オレオレダッシュボード」
46. 46 Tableauのビジュアライゼーションは極めて強力 https://public.tableau.com/views/BrianDennehy/Dashboard1?:display_count=y&mobile=&:origin=viz_share_link
47. 47 Tableauの管理をミスすると… 「ワークブック毎に数値が微妙に異なる…」 「この『利益』って数値、どうやって計算したんだよ」 「どれが本当に正しいダッシュボードなんだ…」
48. 48 つまるところTableauは… データビジュアライゼーションが一番の強み
49. 49 Lookerのメリット（主要部分） LookMLによるデータガバナンス • コードでデータを定義することで、データのブレを防ぐ • 複数のメンバーが一元化されたデータを扱えるように • 「オレオレダッシュボード」を抑制し、正しい数値で正 しい分析が可能に 各種データソース（RDBやDWH等）に対応 • 主要なサービスについては一通り対応している
50. 50 Lookerのメリットをあえて悪く言い換える LookMLを覚えないといけない • SQLも（ある程度）分かってないといけない • データ側の仕様も把握しないといけない • 分析したい要件も決めておかないといけない • 分析に必要な項目をLookMLで定義しないといけないから DB等を用意しないといけない • ローカルファイル（Excelやcsv等）には対応していない
51. 51 しかしこれらの要件は… 本来は、データ分析において必要なこと LookMLを覚えないといけない • SQLも（ある程度）分かってないといけない • データ側の仕様も把握しないといけない • 分析したい要件も決めておかないといけない • 分析に必要な項目をLookMLで定義しないといけないから DB等を用意しないといけない • ローカルファイル（Excelやcsv等）には対応していない
52. 52 Lookerを導入する場合 半ば強制的に 「正しいデータ分析環境」を強いられる
53. 53 つまるところLookerは… （ある意味） 「データ分析・矯正ギプス」といえる
54. 54 まとめると？ Tableauが向いている • お手軽・迅速にデータ分析を始めたい • データがExcelやcsvでしか存在しない • データ分析をする人は自分（又はごく少数）しかいない Lookerが向いている • 組織（会社や部署等）としてデータ分析を実施する計 画・予定が既にある • BI以外（データベースやETL等）も整備する予定がある （又は既に整備されている）
55. 55 まとめ
56. 56 本日お話したこと • LookerはBIツールとしての機能はもちろんのこと、 データプラットフォームとしての側面もある • LookMLというコードでデータを定義する • AWSやSnowflakeと連携することで、より強力な データ分析が可能に • Tableauとは強みがそもそも違うので（真の意味 で）競合しない • 要件に応じて選択する