BigQueryの簡単データ参照

GDG DevFest Osaka 2019

Transcript

1. BigQueryの 簡単データ参照 2019/12/08 GDG DevFest Osaka 2019 rito
2. Agenda ❏ 自己紹介 ❏ 以前のビッグデータ分析基盤 ❏ ビッグデータ出力の検討 ❏ Connected Sheetsの特徴 ❏ まとめ 2
3. 自己紹介 名前： rito 職業： Webエンジニア （アプリケーションエンジニア） 分野： Ruby on Rails, Nodejs, React, Docker, AWS, GCP 所属： Ateam Finergy Inc. コミュニティ： GDG Osaka Rails follow-up Osaka Osaka Web Developers Meetup twitter: @chimame_rt GitHub: chimame 3
4. 以前のビックデータ分析 基盤
5. 構成 5 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS
6. 構成 6 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS 各システムで保持しているデータをRedshiftに 集約
7. 7 Amazon RDS Amazon RDS Amazon RDS 構成 Amazon Redshift 独自に構築したアプリケーションからデータを 参照・取得することが可能
8. 8 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS 構成 Microsoftが生み出した強力BIツールのExcel でデータをこねくり回す
9. 以前のビッグデータ基盤の課題 ❏ アプケーションが作成されたのは2013年 ❏ ExcelのためのCSV出力機能でくそデカイデータ を落とすとメモリが足りず落ちる ❏ Redshiftって結構お高いです 9
10. そもそもこんな古いアプリケーション 面倒見たくない!!! 10
11. 11 よろしいならば移行だ （言い出しっぺがやる法則）
13. ビックデータ出力の 検討
14. 構成 14 Amazon RDS BigQuery Amazon RDS Amazon RDS New
15. とりあえずRedshift剥がして BigQueryにデータ入れるところから検討 15
17. 選定理由 ❏ リアルタイムに連携する必要はない ❏ DigdagはEmbulkの再実行やエラーハンドリン グが楽 ❏ BigQueryはデータ”更新”が容易ではないので更 新ジョブも必要になり、Digdagでジョブフローとし て管理できるため 17
18. ここまでは簡単簡単 18
19. データは入れたら終わりじゃない 19
20. データは取り出せないと意味がない 20
21. しかもエンジニア以外にも 簡単に参照させる 21
22. Try1. Metabase 22
23. Amazon RDS Amazon RDS Amazon RDS 構成 23 BigQuery New
24. よかった点 ❏ BigQueryへのコネクタも標準で搭載 ❏ データのビジュアライズツールのおかげでエンジ ニア以外も簡単にデータ取得できる（SQL不要） 24
25. 選択しなかった理由 ❏ 吐き出されるSQLではBigQueryのパーティショ ン分割テーブルに対応できない ❏ データをこねくり回すにはCSV出力してExcelを使 わなければならず、単体では厳しい 25
26. Try2. BigQuery to Spread Sheets by BigQuery data connecter 26
27. Amazon RDS Amazon RDS Amazon RDS 構成 27 BigQuery New
28. よかった点 ❏ 標準機能として提供されている安心感 ❏ セットアップいらずですぐに使用が開始できる 28
29. 選択しなかった理由 ❏ データ取得にはSQLが必要 ❏ 取得できたとしても最大1万行という制約 29
30. Try3. BigQuery to Spread Sheets by Google Apps Script 30
31. Amazon RDS Amazon RDS Amazon RDS 構成 31 BigQuery New
32. よかった点 ❏ 標準のBigQuery data connecterの1万行制 限を超えることができる 32
33. 選択しなかった理由 ❏ プログラムの配布が面倒（アドオン配布 ❏ 標準のBigQuery data connecterより重い ❏ SQLがやっぱり必要になる 33
34. どれもいい案とは言えない 34
35. Google Cloud Next'19 で発表された Connected Sheetsの存在は知ってた 35
36. 過去にβ使用の申請はあげていが まだリリースされない 36
37. （メールを貼り付ける） 37
38. （メールを貼り付ける） 38 意訳） もうちょっとであなたのドメインでConnected Sheets 使えるようになるから待ってて（はぁと
39. さっそく試す 39
40. Connected Sheets の特徴
41. “ 41 Connected Sheetsとは ◂ 数百億行でもスプレッドシートの表として使用 可能 ◂ SQLが不要 ◂ スプレッドシート同様に式、グラフ、ピボットと して使用可能
42. Amazon RDS Amazon RDS Amazon RDS 構成 42 BigQuery New Connected Sheets
43. 実際の使用イメージ 43
44. 44 メニュー→データ→データコネクタ→BigQueryに接続 と選択していく
45. 45 プロジェクト→データセット→テーブル と選択していく
46. 46 これだけで2.4億行のデータを参照可能
48. 48 2.4億行のデータ元にピボットテーブルの作成 が可能
50. 50 2.4億行の内最大で5万行のROWデータを取 得が可能
51. 求めたてのはコレ!!!! 51
52. まとめ
53. まとめ ◂ ビッグデータを格納・集約するのも大事だが、取り 出しも容易にできることを考える必要がある ◂ Connected Sheetsを使えば今までの BigQuery連携とは違いSQLいらずなのでエンジ ニア以外も気軽に使うことができる ◂ BigQuery上のROWデータを使えばスプレッド シートの最大セル数をあっという間に上限になる ので用法用量を持って使う 53
54. 54 Thanks! ご清聴ありがとうございました。 ◂ rito ◂ @chimame_rt