Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BigQueryの簡単データ参照
Search
chimame
December 08, 2019
Programming
1
500
BigQueryの簡単データ参照
GDG DevFest Osaka 2019
chimame
December 08, 2019
Tweet
Share
More Decks by chimame
See All by chimame
知って得する@cloudflare_vite-pluginのあれこれ
chimame
1
200
Boost Your Web Performance with Hyperdrive
chimame
1
330
RemixでVersion skewに立ち向かう
chimame
2
1.2k
私がエッジを使う理由
chimame
10
4.1k
GraphQL Server on Edge after that
chimame
1
1.6k
Accelerating App Dev with Cloudflare Workers
chimame
1
460
GraphQL Server on Edge
chimame
12
6.1k
エッジで輝くフロントエンド
chimame
11
6.8k
Cloudflare Workersと状態管理
chimame
4
1.8k
Other Decks in Programming
See All in Programming
Django Ninja による API 開発効率化とリプレースの実践
kashewnuts
0
1.3k
monorepo の Go テストをはやくした〜い!~最小の依存解決への道のり~ / faster-testing-of-monorepos
convto
2
490
Go言語の特性を活かした公式MCP SDKの設計
hond0413
1
230
ソフトウェア設計の実践的な考え方
masuda220
PRO
4
580
なぜGoのジェネリクスはこの形なのか? Featherweight Goが明かす設計の核心
ryotaros
7
1.1k
Devoxx BE - Local Development in the AI Era
kdubois
0
130
CSC509 Lecture 04
javiergs
PRO
0
300
iOSエンジニア向けの英語学習アプリを作る!
yukawashouhei
0
190
ALL CODE BASE ARE BELONG TO STUDY
uzulla
19
4.9k
品質ワークショップをやってみた
nealle
0
210
そのpreloadは必要?見過ごされたpreloadが技術的負債として爆発した日
mugitti9
2
3.4k
Serena MCPのすすめ
wadakatu
4
1k
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
37
3.5k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
The Invisible Side of Design
smashingmag
302
51k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Thoughts on Productivity
jonyablonski
70
4.9k
Designing for humans not robots
tammielis
254
26k
Unsuck your backbone
ammeep
671
58k
Transcript
BigQueryの 簡単データ参照 2019/12/08 GDG DevFest Osaka 2019 rito
Agenda ❏ 自己紹介 ❏ 以前のビッグデータ分析基盤 ❏ ビッグデータ出力の検討 ❏ Connected Sheetsの特徴
❏ まとめ 2
自己紹介 名前: rito 職業: Webエンジニア (アプリケーションエンジニア) 分野: Ruby on Rails,
Nodejs, React, Docker, AWS, GCP 所属: Ateam Finergy Inc. コミュニティ: GDG Osaka Rails follow-up Osaka Osaka Web Developers Meetup twitter: @chimame_rt GitHub: chimame 3
以前のビックデータ分析 基盤
構成 5 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS
構成 6 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS
各システムで保持しているデータをRedshiftに 集約
7 Amazon RDS Amazon RDS Amazon RDS 構成 Amazon Redshift
独自に構築したアプリケーションからデータを 参照・取得することが可能
8 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS 構成
Microsoftが生み出した強力BIツールのExcel でデータをこねくり回す
以前のビッグデータ基盤の課題 ❏ アプケーションが作成されたのは2013年 ❏ ExcelのためのCSV出力機能でくそデカイデータ を落とすとメモリが足りず落ちる ❏ Redshiftって結構お高いです 9
そもそもこんな古いアプリケーション 面倒見たくない!!! 10
11 よろしいならば移行だ (言い出しっぺがやる法則)
12
ビックデータ出力の 検討
構成 14 Amazon RDS BigQuery Amazon RDS Amazon RDS New
とりあえずRedshift剥がして BigQueryにデータ入れるところから検討 15
16
選定理由 ❏ リアルタイムに連携する必要はない ❏ DigdagはEmbulkの再実行やエラーハンドリン グが楽 ❏ BigQueryはデータ”更新”が容易ではないので更 新ジョブも必要になり、Digdagでジョブフローとし て管理できるため
17
ここまでは簡単簡単 18
データは入れたら終わりじゃない 19
データは取り出せないと意味がない 20
しかもエンジニア以外にも 簡単に参照させる 21
Try1. Metabase 22
Amazon RDS Amazon RDS Amazon RDS 構成 23 BigQuery New
よかった点 ❏ BigQueryへのコネクタも標準で搭載 ❏ データのビジュアライズツールのおかげでエンジ ニア以外も簡単にデータ取得できる(SQL不要) 24
選択しなかった理由 ❏ 吐き出されるSQLではBigQueryのパーティショ ン分割テーブルに対応できない ❏ データをこねくり回すにはCSV出力してExcelを使 わなければならず、単体では厳しい 25
Try2. BigQuery to Spread Sheets by BigQuery data connecter 26
Amazon RDS Amazon RDS Amazon RDS 構成 27 BigQuery New
よかった点 ❏ 標準機能として提供されている安心感 ❏ セットアップいらずですぐに使用が開始できる 28
選択しなかった理由 ❏ データ取得にはSQLが必要 ❏ 取得できたとしても最大1万行という制約 29
Try3. BigQuery to Spread Sheets by Google Apps Script 30
Amazon RDS Amazon RDS Amazon RDS 構成 31 BigQuery New
よかった点 ❏ 標準のBigQuery data connecterの1万行制 限を超えることができる 32
選択しなかった理由 ❏ プログラムの配布が面倒(アドオン配布 ❏ 標準のBigQuery data connecterより重い ❏ SQLがやっぱり必要になる 33
どれもいい案とは言えない 34
Google Cloud Next'19 で発表された Connected Sheetsの存在は知ってた 35
過去にβ使用の申請はあげていが まだリリースされない 36
(メールを貼り付ける) 37
(メールを貼り付ける) 38 意訳) もうちょっとであなたのドメインでConnected Sheets 使えるようになるから待ってて(はぁと
さっそく試す 39
Connected Sheets の特徴
“ 41 Connected Sheetsとは ◂ 数百億行でもスプレッドシートの表として使用 可能 ◂ SQLが不要 ◂
スプレッドシート同様に式、グラフ、ピボットと して使用可能
Amazon RDS Amazon RDS Amazon RDS 構成 42 BigQuery New
Connected Sheets
実際の使用イメージ 43
44 メニュー→データ→データコネクタ→BigQueryに接続 と選択していく
45 プロジェクト→データセット→テーブル と選択していく
46 これだけで2.4億行のデータを参照可能
47
48 2.4億行のデータ元にピボットテーブルの作成 が可能
49
50 2.4億行の内最大で5万行のROWデータを取 得が可能
求めたてのはコレ!!!! 51
まとめ
まとめ ◂ ビッグデータを格納・集約するのも大事だが、取り 出しも容易にできることを考える必要がある ◂ Connected Sheetsを使えば今までの BigQuery連携とは違いSQLいらずなのでエンジ ニア以外も気軽に使うことができる ◂
BigQuery上のROWデータを使えばスプレッド シートの最大セル数をあっという間に上限になる ので用法用量を持って使う 53
54 Thanks! ご清聴ありがとうございました。 ◂ rito ◂ @chimame_rt