Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BigQueryの簡単データ参照
Search
chimame
December 08, 2019
Programming
1
480
BigQueryの簡単データ参照
GDG DevFest Osaka 2019
chimame
December 08, 2019
Tweet
Share
More Decks by chimame
See All by chimame
Boost Your Web Performance with Hyperdrive
chimame
1
270
RemixでVersion skewに立ち向かう
chimame
2
1.1k
私がエッジを使う理由
chimame
10
4k
GraphQL Server on Edge after that
chimame
1
1.5k
Accelerating App Dev with Cloudflare Workers
chimame
1
430
GraphQL Server on Edge
chimame
12
5.9k
エッジで輝くフロントエンド
chimame
11
6.7k
Cloudflare Workersと状態管理
chimame
4
1.7k
CSRなサイトを (疑似的な)ISRに変更した話
chimame
0
630
Other Decks in Programming
See All in Programming
AIにコードを生成するコードを作らせて、再現性を担保しよう! / Let AI generate code to ensure reproducibility
yamachu
7
6k
Agent Rules as Domain Parser
yodakeisuke
1
290
コンポーネントライブラリで実現する、アクセシビリティの正しい実装パターン
schktjm
1
630
【TSkaigi 2025】これは型破り?型安全? 真実はいつもひとつ!(じゃないかもしれない)TypeScript クイズ〜〜〜〜!!!!!
kimitashoichi
1
290
eBPFを用いたAIネットワーク監視システム論文の実装 / eBPF Japan Meetup #4
yuukit
3
570
Duke on CRaC with Jakarta EE
ivargrimstad
1
680
Building an Application with TDD, DDD and Hexagonal Architecture - Isn't it a bit too much?
mufrid
0
370
ユーザーにサブドメインの ECサイトを提供したい (あるいは) 2026年函館で一番熱くなるかもしれない言語の話
uvb_76
0
170
CRUD から CQRS へ ~ 分離が可能にする柔軟性
tkawae
0
220
コードに語らせよう――自己ドキュメント化が内包する楽しさについて / Let the Code Speak
nrslib
5
810
Reactive Thinking with Signals, Resource API, and httpResource @Devm.io Angular 20 Launch Party
manfredsteyer
PRO
0
120
漸進。
ssssota
0
600
Featured
See All Featured
How to Ace a Technical Interview
jacobian
276
23k
Building Applications with DynamoDB
mza
95
6.4k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
52
2.8k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Agile that works and the tools we love
rasmusluckow
329
21k
Raft: Consensus for Rubyists
vanstee
137
7k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
Code Reviewing Like a Champion
maltzj
523
40k
Music & Morning Musume
bryan
47
6.5k
Transcript
BigQueryの 簡単データ参照 2019/12/08 GDG DevFest Osaka 2019 rito
Agenda ❏ 自己紹介 ❏ 以前のビッグデータ分析基盤 ❏ ビッグデータ出力の検討 ❏ Connected Sheetsの特徴
❏ まとめ 2
自己紹介 名前: rito 職業: Webエンジニア (アプリケーションエンジニア) 分野: Ruby on Rails,
Nodejs, React, Docker, AWS, GCP 所属: Ateam Finergy Inc. コミュニティ: GDG Osaka Rails follow-up Osaka Osaka Web Developers Meetup twitter: @chimame_rt GitHub: chimame 3
以前のビックデータ分析 基盤
構成 5 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS
構成 6 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS
各システムで保持しているデータをRedshiftに 集約
7 Amazon RDS Amazon RDS Amazon RDS 構成 Amazon Redshift
独自に構築したアプリケーションからデータを 参照・取得することが可能
8 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS 構成
Microsoftが生み出した強力BIツールのExcel でデータをこねくり回す
以前のビッグデータ基盤の課題 ❏ アプケーションが作成されたのは2013年 ❏ ExcelのためのCSV出力機能でくそデカイデータ を落とすとメモリが足りず落ちる ❏ Redshiftって結構お高いです 9
そもそもこんな古いアプリケーション 面倒見たくない!!! 10
11 よろしいならば移行だ (言い出しっぺがやる法則)
12
ビックデータ出力の 検討
構成 14 Amazon RDS BigQuery Amazon RDS Amazon RDS New
とりあえずRedshift剥がして BigQueryにデータ入れるところから検討 15
16
選定理由 ❏ リアルタイムに連携する必要はない ❏ DigdagはEmbulkの再実行やエラーハンドリン グが楽 ❏ BigQueryはデータ”更新”が容易ではないので更 新ジョブも必要になり、Digdagでジョブフローとし て管理できるため
17
ここまでは簡単簡単 18
データは入れたら終わりじゃない 19
データは取り出せないと意味がない 20
しかもエンジニア以外にも 簡単に参照させる 21
Try1. Metabase 22
Amazon RDS Amazon RDS Amazon RDS 構成 23 BigQuery New
よかった点 ❏ BigQueryへのコネクタも標準で搭載 ❏ データのビジュアライズツールのおかげでエンジ ニア以外も簡単にデータ取得できる(SQL不要) 24
選択しなかった理由 ❏ 吐き出されるSQLではBigQueryのパーティショ ン分割テーブルに対応できない ❏ データをこねくり回すにはCSV出力してExcelを使 わなければならず、単体では厳しい 25
Try2. BigQuery to Spread Sheets by BigQuery data connecter 26
Amazon RDS Amazon RDS Amazon RDS 構成 27 BigQuery New
よかった点 ❏ 標準機能として提供されている安心感 ❏ セットアップいらずですぐに使用が開始できる 28
選択しなかった理由 ❏ データ取得にはSQLが必要 ❏ 取得できたとしても最大1万行という制約 29
Try3. BigQuery to Spread Sheets by Google Apps Script 30
Amazon RDS Amazon RDS Amazon RDS 構成 31 BigQuery New
よかった点 ❏ 標準のBigQuery data connecterの1万行制 限を超えることができる 32
選択しなかった理由 ❏ プログラムの配布が面倒(アドオン配布 ❏ 標準のBigQuery data connecterより重い ❏ SQLがやっぱり必要になる 33
どれもいい案とは言えない 34
Google Cloud Next'19 で発表された Connected Sheetsの存在は知ってた 35
過去にβ使用の申請はあげていが まだリリースされない 36
(メールを貼り付ける) 37
(メールを貼り付ける) 38 意訳) もうちょっとであなたのドメインでConnected Sheets 使えるようになるから待ってて(はぁと
さっそく試す 39
Connected Sheets の特徴
“ 41 Connected Sheetsとは ◂ 数百億行でもスプレッドシートの表として使用 可能 ◂ SQLが不要 ◂
スプレッドシート同様に式、グラフ、ピボットと して使用可能
Amazon RDS Amazon RDS Amazon RDS 構成 42 BigQuery New
Connected Sheets
実際の使用イメージ 43
44 メニュー→データ→データコネクタ→BigQueryに接続 と選択していく
45 プロジェクト→データセット→テーブル と選択していく
46 これだけで2.4億行のデータを参照可能
47
48 2.4億行のデータ元にピボットテーブルの作成 が可能
49
50 2.4億行の内最大で5万行のROWデータを取 得が可能
求めたてのはコレ!!!! 51
まとめ
まとめ ◂ ビッグデータを格納・集約するのも大事だが、取り 出しも容易にできることを考える必要がある ◂ Connected Sheetsを使えば今までの BigQuery連携とは違いSQLいらずなのでエンジ ニア以外も気軽に使うことができる ◂
BigQuery上のROWデータを使えばスプレッド シートの最大セル数をあっという間に上限になる ので用法用量を持って使う 53
54 Thanks! ご清聴ありがとうございました。 ◂ rito ◂ @chimame_rt