Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BigQueryの簡単データ参照
Search
chimame
December 08, 2019
Programming
1
490
BigQueryの簡単データ参照
GDG DevFest Osaka 2019
chimame
December 08, 2019
Tweet
Share
More Decks by chimame
See All by chimame
Boost Your Web Performance with Hyperdrive
chimame
1
290
RemixでVersion skewに立ち向かう
chimame
2
1.1k
私がエッジを使う理由
chimame
10
4k
GraphQL Server on Edge after that
chimame
1
1.5k
Accelerating App Dev with Cloudflare Workers
chimame
1
440
GraphQL Server on Edge
chimame
12
6k
エッジで輝くフロントエンド
chimame
11
6.7k
Cloudflare Workersと状態管理
chimame
4
1.8k
CSRなサイトを (疑似的な)ISRに変更した話
chimame
0
640
Other Decks in Programming
See All in Programming
Porting a visionOS App to Android XR
akkeylab
0
460
イベントストーミング図からコードへの変換手順 / Procedure for Converting Event Storming Diagrams to Code
nrslib
2
820
AI コーディングエージェントの時代へ:JetBrains が描く開発の未来
masaruhr
1
150
脱Riverpod?fqueryで考える、TanStack Queryライクなアーキテクチャの可能性
ostk0069
0
140
Claude Code + Container Use と Cursor で作る ローカル並列開発環境のススメ / ccc local dev
kaelaela
10
5.2k
Startups on Rails in Past, Present and Future–Irina Nazarova, RailsConf 2025
irinanazarova
0
110
Webの外へ飛び出せ NativePHPが切り拓くPHPの未来
takuyakatsusa
2
550
AIと”コードの評価関数”を共有する / Share the "code evaluation function" with AI
euglena1215
1
170
Node-RED を(HTTP で)つなげる MCP サーバーを作ってみた
highu
0
120
チームで開発し事業を加速するための"良い"設計の考え方 @ サポーターズCoLab 2025-07-08
agatan
1
420
今ならAmazon ECSのサービス間通信をどう選ぶか / Selection of ECS Interservice Communication 2025
tkikuc
21
4k
地方に住むエンジニアの残酷な現実とキャリア論
ichimichi
5
1.5k
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
970
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
A Tale of Four Properties
chriscoyier
160
23k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Statistics for Hackers
jakevdp
799
220k
The World Runs on Bad Software
bkeepers
PRO
69
11k
Writing Fast Ruby
sferik
628
62k
Building an army of robots
kneath
306
45k
Visualization
eitanlees
146
16k
Transcript
BigQueryの 簡単データ参照 2019/12/08 GDG DevFest Osaka 2019 rito
Agenda ❏ 自己紹介 ❏ 以前のビッグデータ分析基盤 ❏ ビッグデータ出力の検討 ❏ Connected Sheetsの特徴
❏ まとめ 2
自己紹介 名前: rito 職業: Webエンジニア (アプリケーションエンジニア) 分野: Ruby on Rails,
Nodejs, React, Docker, AWS, GCP 所属: Ateam Finergy Inc. コミュニティ: GDG Osaka Rails follow-up Osaka Osaka Web Developers Meetup twitter: @chimame_rt GitHub: chimame 3
以前のビックデータ分析 基盤
構成 5 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS
構成 6 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS
各システムで保持しているデータをRedshiftに 集約
7 Amazon RDS Amazon RDS Amazon RDS 構成 Amazon Redshift
独自に構築したアプリケーションからデータを 参照・取得することが可能
8 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS 構成
Microsoftが生み出した強力BIツールのExcel でデータをこねくり回す
以前のビッグデータ基盤の課題 ❏ アプケーションが作成されたのは2013年 ❏ ExcelのためのCSV出力機能でくそデカイデータ を落とすとメモリが足りず落ちる ❏ Redshiftって結構お高いです 9
そもそもこんな古いアプリケーション 面倒見たくない!!! 10
11 よろしいならば移行だ (言い出しっぺがやる法則)
12
ビックデータ出力の 検討
構成 14 Amazon RDS BigQuery Amazon RDS Amazon RDS New
とりあえずRedshift剥がして BigQueryにデータ入れるところから検討 15
16
選定理由 ❏ リアルタイムに連携する必要はない ❏ DigdagはEmbulkの再実行やエラーハンドリン グが楽 ❏ BigQueryはデータ”更新”が容易ではないので更 新ジョブも必要になり、Digdagでジョブフローとし て管理できるため
17
ここまでは簡単簡単 18
データは入れたら終わりじゃない 19
データは取り出せないと意味がない 20
しかもエンジニア以外にも 簡単に参照させる 21
Try1. Metabase 22
Amazon RDS Amazon RDS Amazon RDS 構成 23 BigQuery New
よかった点 ❏ BigQueryへのコネクタも標準で搭載 ❏ データのビジュアライズツールのおかげでエンジ ニア以外も簡単にデータ取得できる(SQL不要) 24
選択しなかった理由 ❏ 吐き出されるSQLではBigQueryのパーティショ ン分割テーブルに対応できない ❏ データをこねくり回すにはCSV出力してExcelを使 わなければならず、単体では厳しい 25
Try2. BigQuery to Spread Sheets by BigQuery data connecter 26
Amazon RDS Amazon RDS Amazon RDS 構成 27 BigQuery New
よかった点 ❏ 標準機能として提供されている安心感 ❏ セットアップいらずですぐに使用が開始できる 28
選択しなかった理由 ❏ データ取得にはSQLが必要 ❏ 取得できたとしても最大1万行という制約 29
Try3. BigQuery to Spread Sheets by Google Apps Script 30
Amazon RDS Amazon RDS Amazon RDS 構成 31 BigQuery New
よかった点 ❏ 標準のBigQuery data connecterの1万行制 限を超えることができる 32
選択しなかった理由 ❏ プログラムの配布が面倒(アドオン配布 ❏ 標準のBigQuery data connecterより重い ❏ SQLがやっぱり必要になる 33
どれもいい案とは言えない 34
Google Cloud Next'19 で発表された Connected Sheetsの存在は知ってた 35
過去にβ使用の申請はあげていが まだリリースされない 36
(メールを貼り付ける) 37
(メールを貼り付ける) 38 意訳) もうちょっとであなたのドメインでConnected Sheets 使えるようになるから待ってて(はぁと
さっそく試す 39
Connected Sheets の特徴
“ 41 Connected Sheetsとは ◂ 数百億行でもスプレッドシートの表として使用 可能 ◂ SQLが不要 ◂
スプレッドシート同様に式、グラフ、ピボットと して使用可能
Amazon RDS Amazon RDS Amazon RDS 構成 42 BigQuery New
Connected Sheets
実際の使用イメージ 43
44 メニュー→データ→データコネクタ→BigQueryに接続 と選択していく
45 プロジェクト→データセット→テーブル と選択していく
46 これだけで2.4億行のデータを参照可能
47
48 2.4億行のデータ元にピボットテーブルの作成 が可能
49
50 2.4億行の内最大で5万行のROWデータを取 得が可能
求めたてのはコレ!!!! 51
まとめ
まとめ ◂ ビッグデータを格納・集約するのも大事だが、取り 出しも容易にできることを考える必要がある ◂ Connected Sheetsを使えば今までの BigQuery連携とは違いSQLいらずなのでエンジ ニア以外も気軽に使うことができる ◂
BigQuery上のROWデータを使えばスプレッド シートの最大セル数をあっという間に上限になる ので用法用量を持って使う 53
54 Thanks! ご清聴ありがとうございました。 ◂ rito ◂ @chimame_rt