Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデ...
Search
CUEBiC Inc.
May 27, 2025
Programming
0
220
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法
CUEBiC Inc.
May 27, 2025
Tweet
Share
More Decks by CUEBiC Inc.
See All by CUEBiC Inc.
〜基礎から発展まで〜 BigQuery×Looker Studio のクエリコスト削減方法!
cuebic9bic
1
160
Looker Studio×BigQuery×スプレッドシートで爆速プロトタイピングする方法!
cuebic9bic
0
110
Terraform Registryで公開されているTerraform Modulesが便利だった件
cuebic9bic
2
1.4k
CUEBiC 会社説明資料 デザイナー向け
cuebic9bic
0
3.3k
trocco第5回ユーザー会_troccoとAmazon Redshiftで挑んだコンテンツマーケティングの分析基盤構築
cuebic9bic
0
790
CUEBiC社のデジタルメディア事業を支えるデータ分析基盤の変遷
cuebic9bic
0
760
CUEBiC Presentation デザイナー採用イベント用
cuebic9bic
0
100
株式会社キュービック 中途採用向け 会社説明資料2024
cuebic9bic
0
7.5k
【キュービック】データ利活用を見据えた分析基盤リニューアルの進め方
cuebic9bic
0
790
Other Decks in Programming
See All in Programming
tsconfigのオプションで変わる型世界
keisukeikeda
1
120
ワイがおすすめする新潟の食 / 20250530phpconf-niigata-eve
kasacchiful
0
130
ソフトウェア品質特性、意識してますか?AIの真の力を引き出す活用事例 / ai-and-software-quality
minodriven
19
6.4k
【TSkaigi 2025】これは型破り?型安全? 真実はいつもひとつ!(じゃないかもしれない)TypeScript クイズ〜〜〜〜!!!!!
kimitashoichi
1
280
ts-morph実践:型を利用するcodemodのテクニック
ypresto
1
480
インターフェース設計のコツとツボ
togishima
2
350
なぜHono×GraphQLを選んだのか?
junichi_fukushima
0
900
推論された型の移植性エラーTS2742に挑む
teamlab
PRO
0
130
primeNumberでのRBS導入の現在 && RBS::Traceでinline RBSを拡充してみた
mnmandahalf
0
200
「MCPを使ってる人」が より詳しくなるための解説
yamaguchidesu
0
290
RubyKaigi Hack Space in Tokyo & 函館最速 "予習" 会 / RubyKaigi Hack Space in Tokyo & The Fastest Briefing of RubyKaigi 2026 in Hakodate
moznion
1
110
Blueskyのプラグインを作ってみた
hakkadaikon
1
150
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
81
9k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
25
2.8k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
122
52k
Balancing Empowerment & Direction
lara
1
73
A designer walks into a library…
pauljervisheath
205
24k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
5
600
The World Runs on Bad Software
bkeepers
PRO
68
11k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Being A Developer After 40
akosma
91
590k
Transcript
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法 株式会社キュービック テクノロジーエキスパートセンター Tech Lead/データエンジニア 尾﨑勇太 2025.05.16
開示範囲:公開ドキュメント 1
自己紹介 2 株式会社キュービック 役割:Tech Lead/データエンジニア 名前: 尾﨑 勇太(おざき ゆうた) 覚え方:尾崎豊(おざきゆたか)と一字違い
業務領域 「データに関わる全て」
3 Looker Studioで可視化したは 良いものの、コストとロール設 計が課題。。。。
LT内容 4 1.BigQuery×Looker Studioでコスト管理する方法 2.BigQuery×Looker Studioのデータソース認証制御
よくあるGCPの請求周りの課題 5 コンソールからPJ単位の利用状況は見えるが・・・ ・請求アカウント単位で見れない ・サービスごとの精緻な情報が見れない ・BigQueryのコストの内訳がわからない ・通知設定だけだと不十分 ・コスト悪化の予兆を検知したい
よくある課題 6 いわゆる・・・ コストのブラックボックス化
7 コストが把握できないとか 本末転倒だよね。。。。 可視化しちゃえ!!
BigQueryでコスト管理するには? 8 Cloud BillingをBigQueryに同期してLooker Studioで可視化する 課金データをエクスポートすることで、請求のロール設定の課題を緩和できる ▷同期開始より前のデータは取得できないので計画的に BigQuery 課金データ
BigQueryのクエリコストを管理するには? 9 Looker StudioでBigQueryのINFOMATION SCHEMAのログを可視化 Looker Studioからのジョブ情報を抽出することで、クエリコストを可視化 ▷データスキャン量が大きいのでご利用は計画的に BigQuery INFOMATION
SCHEMA
クエリコストを「管理する」だけじゃない 10 テンプレート単位での浸透率とデータ量の割合を可視化 利用率とスキャンデータ量の相関を把握 利用者にヒアリング(アタック)をかける モニタリング環境の改善とコスト削減が可能に ✋効果の薄いデータソースをクローズ ※オーナー認証やサービスアカウント認証では同一メールアドレスになります 非公開 非公開
非公開 非公開 テンプレート単位で分布を確認する 📊👀大体偏りがある
LT内容 11 1.BigQuery×Looker Studioでコスト管理する方法 2.BigQuery×Looker Studioのデータソース認証制御
よくある課題 12 人に紐づいたデータ資産の整理>権限管理 間の収集/蓄積プロセス 退職やチーム移動で再現が不可に データの取得経路がわからない。。。。 ORZ
よくある課題 13 人に紐づいたデータ資産の整理>権限管理 退職やチーム移動しても参照先は変わらない データの蓄積方法は残す BigQuery
よくある課題 14 人に紐づいたデータ資産の整理>権限管理 BigQuery あとは適切なロール設計
15 運用者目線 開発者目線 フェーズ別に適切な権限設定をする 可のものがあったら 後で泣くかも💦 ⚠まさかIAMに追加し続 けてないよね??
16 サービスアカウントの IAMでデータセット単位でアクセス制御 ここだけ変更する BigQuery テンプレート マスタ 独自ルート🚪 魔改造
17 まとめ BigQueryでGCPのコスト管理するには? ▷Cloud BillingをBigQueryに同期し、Looker Studioでモニタリング 🉐請求モニタリングのための過剰な権限付与を軽減 BigQueryのクエリコスト管理するには? ▷INFOMATION SCHEMAのログをLooker
Studioでモニタリング 🉐利用率とスキャンデータ量から運用改善も可能 BigQuery×Looker Studioでデータソースの制御するには? ▷フェーズに合わせて最適な認証方法を選択 🉐サービスアカウント認証を選択すればIAMで大元から制御可能
18 ご清聴、ありがとうございました