Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
BigQueryの簡単データ参照
Search
chimame
December 08, 2019
Programming
570
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
BigQueryの簡単データ参照
GDG DevFest Osaka 2019
chimame
December 08, 2019
Transcript
54 slides
BigQueryの 簡単データ参照 2019/12/08 GDG DevFest Osaka 2019 rito
Agenda ❏ 自己紹介 ❏ 以前のビッグデータ分析基盤 ❏ ビッグデータ出力の検討 ❏ Connected Sheetsの特徴
❏ まとめ 2
自己紹介 名前: rito 職業: Webエンジニア (アプリケーションエンジニア) 分野: Ruby on Rails,
Nodejs, React, Docker, AWS, GCP 所属: Ateam Finergy Inc. コミュニティ: GDG Osaka Rails follow-up Osaka Osaka Web Developers Meetup twitter: @chimame_rt GitHub: chimame 3
以前のビックデータ分析 基盤
構成 5 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS
構成 6 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS
各システムで保持しているデータをRedshiftに 集約
7 Amazon RDS Amazon RDS Amazon RDS 構成 Amazon Redshift
独自に構築したアプリケーションからデータを 参照・取得することが可能
8 Amazon RDS Amazon Redshift Amazon RDS Amazon RDS 構成
Microsoftが生み出した強力BIツールのExcel でデータをこねくり回す
以前のビッグデータ基盤の課題 ❏ アプケーションが作成されたのは2013年 ❏ ExcelのためのCSV出力機能でくそデカイデータ を落とすとメモリが足りず落ちる ❏ Redshiftって結構お高いです 9
そもそもこんな古いアプリケーション 面倒見たくない!!! 10
11 よろしいならば移行だ (言い出しっぺがやる法則)
12
ビックデータ出力の 検討
構成 14 Amazon RDS BigQuery Amazon RDS Amazon RDS New
とりあえずRedshift剥がして BigQueryにデータ入れるところから検討 15
16
選定理由 ❏ リアルタイムに連携する必要はない ❏ DigdagはEmbulkの再実行やエラーハンドリン グが楽 ❏ BigQueryはデータ”更新”が容易ではないので更 新ジョブも必要になり、Digdagでジョブフローとし て管理できるため
17
ここまでは簡単簡単 18
データは入れたら終わりじゃない 19
データは取り出せないと意味がない 20
しかもエンジニア以外にも 簡単に参照させる 21
Try1. Metabase 22
Amazon RDS Amazon RDS Amazon RDS 構成 23 BigQuery New
よかった点 ❏ BigQueryへのコネクタも標準で搭載 ❏ データのビジュアライズツールのおかげでエンジ ニア以外も簡単にデータ取得できる(SQL不要) 24
選択しなかった理由 ❏ 吐き出されるSQLではBigQueryのパーティショ ン分割テーブルに対応できない ❏ データをこねくり回すにはCSV出力してExcelを使 わなければならず、単体では厳しい 25
Try2. BigQuery to Spread Sheets by BigQuery data connecter 26
Amazon RDS Amazon RDS Amazon RDS 構成 27 BigQuery New
よかった点 ❏ 標準機能として提供されている安心感 ❏ セットアップいらずですぐに使用が開始できる 28
選択しなかった理由 ❏ データ取得にはSQLが必要 ❏ 取得できたとしても最大1万行という制約 29
Try3. BigQuery to Spread Sheets by Google Apps Script 30
Amazon RDS Amazon RDS Amazon RDS 構成 31 BigQuery New
よかった点 ❏ 標準のBigQuery data connecterの1万行制 限を超えることができる 32
選択しなかった理由 ❏ プログラムの配布が面倒(アドオン配布 ❏ 標準のBigQuery data connecterより重い ❏ SQLがやっぱり必要になる 33
どれもいい案とは言えない 34
Google Cloud Next'19 で発表された Connected Sheetsの存在は知ってた 35
過去にβ使用の申請はあげていが まだリリースされない 36
(メールを貼り付ける) 37
(メールを貼り付ける) 38 意訳) もうちょっとであなたのドメインでConnected Sheets 使えるようになるから待ってて(はぁと
さっそく試す 39
Connected Sheets の特徴
“ 41 Connected Sheetsとは ◂ 数百億行でもスプレッドシートの表として使用 可能 ◂ SQLが不要 ◂
スプレッドシート同様に式、グラフ、ピボットと して使用可能
Amazon RDS Amazon RDS Amazon RDS 構成 42 BigQuery New
Connected Sheets
実際の使用イメージ 43
44 メニュー→データ→データコネクタ→BigQueryに接続 と選択していく
45 プロジェクト→データセット→テーブル と選択していく
46 これだけで2.4億行のデータを参照可能
47
48 2.4億行のデータ元にピボットテーブルの作成 が可能
49
50 2.4億行の内最大で5万行のROWデータを取 得が可能
求めたてのはコレ!!!! 51
まとめ
まとめ ◂ ビッグデータを格納・集約するのも大事だが、取り 出しも容易にできることを考える必要がある ◂ Connected Sheetsを使えば今までの BigQuery連携とは違いSQLいらずなのでエンジ ニア以外も気軽に使うことができる ◂
BigQuery上のROWデータを使えばスプレッド シートの最大セル数をあっという間に上限になる ので用法用量を持って使う 53
54 Thanks! ご清聴ありがとうございました。 ◂ rito ◂ @chimame_rt
More Decks by chimame
See All by chimame
Cloudflareの向き先
chimame
1
430
Cloudflare is Agents
chimame
0
230
知って得する@cloudflare_vite-pluginのあれこれ
chimame
2
730
Boost Your Web Performance with Hyperdrive
chimame
1
610
RemixでVersion skewに立ち向かう
chimame
2
1.3k
私がエッジを使う理由
chimame
10
4.2k
GraphQL Server on Edge after that
chimame
1
1.9k
Accelerating App Dev with Cloudflare Workers
chimame
1
540
GraphQL Server on Edge
chimame
12
6.9k
Other Decks in Programming
See All in Programming
AIが生成したコードは読むべきか?抽象化設計とコードの品質保証 / abstraction-design-and-quality
minodriven
16
9.4k
高橋メソッドでCVE解説シリーズ 〜CVE-2026-112816〜
hakkadaikon
0
270
テストだけで見つかる? Rubyでつくるメソッド発掘器
izawa
0
150
protojson における文字化けの扱い
kazuki1023
0
450
Debian JP Projectのサーバー構成
uwabami
1
150
AI時代のFlutter品質設計 — アプリ品質を守るQuality Layers
omatty198
0
390
Claude Codeのおかげでやりたいことがやれるようになったんだよォー!
sms_tech
0
170
SFCで実現する病院・医療システムの動的組み立て式UI
koukimiura
1
180
React Native에 현대적인 빌드 도구 더하기: Rollipop 구현기
leegeunhyeok
0
190
Enforcing Your Architecture with Unit Tests in the AI Era (Swift Connection X)
steliosf
PRO
1
190
[Kotlin Fest 2026] eBPF Tracing for Kotlin
takehaya
1
380
LLM 101: Exploring LLMs, Starting with Tokens.
dalinaum
0
120
Featured
See All Featured
Sam Torres - BigQuery for SEOs
techseoconnect
PRO
0
620
Principles of Awesome APIs and How to Build Them.
keavy
128
18k
Building Experiences: Design Systems, User Experience, and Full Site Editing
marktimemedia
1
670
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1.7k
Code Review Best Practice
trishagee
74
20k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
33
5.9k
Lessons Learnt from Crawling 1000+ Websites
charlesmeaden
PRO
1
1.8k
Ecommerce SEO: The Keys for Success Now & Beyond - #SERPConf2024
aleyda
1
2.3k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
232
55k
HDC tutorial
michielstock
2
1k
Documentation Writing (for coders)
carmenintech
77
5.6k