Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデ...
Search
CUEBiC Inc.
May 27, 2025
Programming
3
330
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法
CUEBiC Inc.
May 27, 2025
Tweet
Share
More Decks by CUEBiC Inc.
See All by CUEBiC Inc.
反脆弱性(アンチフラジャイル)とデータ基盤構築
cuebic9bic
2
120
Tableau API連携の罠!?脱スプシを夢見たはずが、逆に依存を深めた話
cuebic9bic
2
180
今だから言えるセキュリティLT_Wordpress5.7.2未満を一斉アップデートせよ
cuebic9bic
2
210
BigQuery Remote FunctionでLooker Studioをインタラクティブ化
cuebic9bic
3
390
構造化すれば怖くない 画像検索から始める木を見て森に入る勉強法
cuebic9bic
2
400
〜基礎から発展まで〜 BigQuery×Looker Studio のクエリコスト削減方法!
cuebic9bic
3
250
Looker Studio×BigQuery×スプレッドシートで爆速プロトタイピングする方法!
cuebic9bic
2
250
Terraform Registryで公開されているTerraform Modulesが便利だった件
cuebic9bic
2
1.4k
CUEBiC 会社説明資料 デザイナー向け
cuebic9bic
0
3.4k
Other Decks in Programming
See All in Programming
MCP連携で加速するAI駆動開発/mcp integration accelerates ai-driven-development
bpstudy
0
200
バイブスあるコーディングで ~PHP~ 便利ツールをつくるプラクティス
uzulla
1
300
AI Ramen Fight
yusukebe
0
120
202507_ADKで始めるエージェント開発の基本 〜デモを通じて紹介〜(奥田りさ)The Basics of Agent Development with ADK — A Demo-Focused Introduction
risatube
PRO
5
1.3k
脱Riverpod?fqueryで考える、TanStack Queryライクなアーキテクチャの可能性
ostk0069
0
580
バイブコーディング超えてバイブデプロイ〜CloudflareMCPで実現する、未来のアプリケーションデリバリー〜
azukiazusa1
2
750
抽象化という思考のツール - 理解と活用 - / Abstraction-as-a-Tool-for-Thinking
shin1x1
1
900
decksh - a little language for decks
ajstarks
4
21k
Gemini CLI のはじめ方
ttnyt8701
1
110
オホーツクでコミュニティを立ち上げた理由―地方出身プログラマの挑戦 / TechRAMEN 2025 Conference
lemonade_37
1
380
Terraform やるなら公式スタイルガイドを読もう 〜重要項目 10選〜
hiyanger
4
350
LLMは麻雀を知らなすぎるから俺が教育してやる
po3rin
2
1.5k
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
100
5.7k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Adopting Sorbet at Scale
ufuk
77
9.5k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
A Modern Web Designer's Workflow
chriscoyier
695
190k
How to train your dragon (web standard)
notwaldorf
96
6.1k
A designer walks into a library…
pauljervisheath
207
24k
4 Signs Your Business is Dying
shpigford
184
22k
Code Review Best Practice
trishagee
69
19k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Unsuck your backbone
ammeep
671
58k
Transcript
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法 株式会社キュービック テクノロジーエキスパートセンター Tech Lead/データエンジニア 尾﨑勇太 2025.05.16
開示範囲:公開ドキュメント 1
自己紹介 2 株式会社キュービック 役割:Tech Lead/データエンジニア 名前: 尾﨑 勇太(おざき ゆうた) 覚え方:尾崎豊(おざきゆたか)と一字違い
業務領域 「データに関わる全て」
3 Looker Studioで可視化したは 良いものの、コストとロール設 計が課題。。。。
LT内容 4 1.BigQuery×Looker Studioでコスト管理する方法 2.BigQuery×Looker Studioのデータソース認証制御
よくあるGCPの請求周りの課題 5 コンソールからPJ単位の利用状況は見えるが・・・ ・請求アカウント単位で見れない ・サービスごとの精緻な情報が見れない ・BigQueryのコストの内訳がわからない ・通知設定だけだと不十分 ・コスト悪化の予兆を検知したい
よくある課題 6 いわゆる・・・ コストのブラックボックス化
7 コストが把握できないとか 本末転倒だよね。。。。 可視化しちゃえ!!
BigQueryでコスト管理するには? 8 Cloud BillingをBigQueryに同期してLooker Studioで可視化する 課金データをエクスポートすることで、請求のロール設定の課題を緩和できる ▷同期開始より前のデータは取得できないので計画的に BigQuery 課金データ
BigQueryのクエリコストを管理するには? 9 Looker StudioでBigQueryのINFOMATION SCHEMAのログを可視化 Looker Studioからのジョブ情報を抽出することで、クエリコストを可視化 ▷データスキャン量が大きいのでご利用は計画的に BigQuery INFOMATION
SCHEMA
クエリコストを「管理する」だけじゃない 10 テンプレート単位での浸透率とデータ量の割合を可視化 利用率とスキャンデータ量の相関を把握 利用者にヒアリング(アタック)をかける モニタリング環境の改善とコスト削減が可能に ✋効果の薄いデータソースをクローズ ※オーナー認証やサービスアカウント認証では同一メールアドレスになります 非公開 非公開
非公開 非公開 テンプレート単位で分布を確認する 📊👀大体偏りがある
LT内容 11 1.BigQuery×Looker Studioでコスト管理する方法 2.BigQuery×Looker Studioのデータソース認証制御
よくある課題 12 人に紐づいたデータ資産の整理>権限管理 間の収集/蓄積プロセス 退職やチーム移動で再現が不可に データの取得経路がわからない。。。。 ORZ
よくある課題 13 人に紐づいたデータ資産の整理>権限管理 退職やチーム移動しても参照先は変わらない データの蓄積方法は残す BigQuery
よくある課題 14 人に紐づいたデータ資産の整理>権限管理 BigQuery あとは適切なロール設計
15 運用者目線 開発者目線 フェーズ別に適切な権限設定をする 可のものがあったら 後で泣くかも💦 ⚠まさかIAMに追加し続 けてないよね??
16 サービスアカウントの IAMでデータセット単位でアクセス制御 ここだけ変更する BigQuery テンプレート マスタ 独自ルート🚪 魔改造
17 まとめ BigQueryでGCPのコスト管理するには? ▷Cloud BillingをBigQueryに同期し、Looker Studioでモニタリング 🉐請求モニタリングのための過剰な権限付与を軽減 BigQueryのクエリコスト管理するには? ▷INFOMATION SCHEMAのログをLooker
Studioでモニタリング 🉐利用率とスキャンデータ量から運用改善も可能 BigQuery×Looker Studioでデータソースの制御するには? ▷フェーズに合わせて最適な認証方法を選択 🉐サービスアカウント認証を選択すればIAMで大元から制御可能
18 ご清聴、ありがとうございました