Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BigQueryのfederated queriesを用いた GrafanaでのDataba...
Search
Cloud Ace
May 20, 2025
Technology
0
19
BigQueryのfederated queriesを用いた GrafanaでのDatabaseの可視化
Cloud Ace
May 20, 2025
Tweet
Share
More Decks by Cloud Ace
See All by Cloud Ace
「さらばアラートノイズ!」 AIエージェントでインシデント対応を自動化する
cloudace
0
58
ADKとMastraを活用したAIエージェント開発実践
cloudace
0
58
How to manage Keycloak secuarely by using Terraform on Google Cloud
cloudace
0
110
Google CloudとGitHub Actionsでセキュアで 信頼性の高いインフラのデプロイパイプラインの構築方法
cloudace
0
130
新しいプロダクトのデプロイパイプラインにArgo CDを使った話
cloudace
0
190
開発現場とセキュリティ担当をつなぐ脅威モデリング
cloudace
0
310
クラウド ネイティブ化は、 本当に必要なのか? 〜移行パターンと成功のポイント~
cloudace
0
290
今すぐできる! DORA metrics でカジュアルに始める CI/CD | DevOpsDays Tokyo 2024
cloudace
0
880
LLMによる技術ブログレビューを導入した話
cloudace
1
470
Other Decks in Technology
See All in Technology
ヘンリー会社紹介資料(エンジニア向け) / company deck for engineer
henryofficial
0
400
Building a cloud native business on open source
lizrice
0
190
SRE × マネジメントレイヤーが挑戦した組織・会社のオブザーバビリティ改革 ― ビジネス価値と信頼性を両立するリアルな挑戦
coconala_engineer
0
280
アウトプットから始めるOSSコントリビューション 〜eslint-plugin-vueの場合〜 #vuefes
bengo4com
3
1.8k
Oracle Database@Google Cloud:サービス概要のご紹介
oracle4engineer
PRO
0
380
IBC 2025 動画技術関連レポート / IBC 2025 Report
cyberagentdevelopers
PRO
2
210
激動の時代を爆速リチーミングで乗り越えろ
sansantech
PRO
1
140
.NET 10のBlazorの期待の新機能
htkym
0
150
[re:Inent2025事前勉強会(有志で開催)] re:Inventで見つけた人生をちょっと変えるコツ
sh_fk2
1
680
AI時代の発信活動 ~技術者として認知してもらうための発信法~ / 20251028 Masaki Okuda
shift_evolve
PRO
1
110
AI時代におけるデータの重要性 ~データマネジメントの第一歩~
ryoichi_ota
0
720
SCONE - 動画配信の帯域を最適化する新プロトコル
kazuho
1
400
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.6k
The Cult of Friendly URLs
andyhume
79
6.6k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Making the Leap to Tech Lead
cromwellryan
135
9.6k
Designing for humans not robots
tammielis
254
26k
The Power of CSS Pseudo Elements
geoffreycrofte
80
6k
Designing Experiences People Love
moore
142
24k
Keith and Marios Guide to Fast Websites
keithpitt
411
23k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
22k
How GitHub (no longer) Works
holman
315
140k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Transcript
BigQueryのfederated queriesを用いた GrafanaでのDatabaseの可視化 Kohei Haneda クラウドエース株式会社 DevSecOps事業部
Agenda 自己紹介 解決方法 実装 まとめ 課題 背景
Haneda Kohei クラウドエース株式会社 DevSecOps事業部 自社開発しているサービスの動向や事業部の目標を Grafanaで可視化しています。
Grafana 歴は2,3ヶ月です。 年に12回はディズニーに訪れる ディズニーをこよなく愛するエンジニアです。 スピーダーで来たわけじゃないです 自己紹介
GrafanaでRelational Database (以下RDB )を可視化する 背景 方法 • GrafanaでPostgreSQLをDatasourceとして選択する
課題 Google CloudのマネージドRDBでの接続 マネージド RDBをDatasourceにする際の問題点 • Grafana内のDatasourceの数が増え管理が煩雑になる • 高度なクエリはBigQueryに比べると単純なクエリしかできない
• 通信の接続を許可しなければいけない 可視化する Datasourceが増えれば増えるほど 管理が大変になるのでは....
解決方法 BigQueryのfederated queriesによるCloud SQLへの接続 federated queriesとは • 複数の独立したデータベースやデータソースに対して、 あたかも単一のデータベースであるかのようにクエリを実行できる技術
Google CloudのBigQueryにおけるfederated queriesとは • BigQueryのストレージにデータをロードすることなく、 外部のデータソースに対して直接クエリを実行できる機能
解決方法 BigQueryのfederated queriesによるCloud SQLへの接続 BigQueryをDatasourceとして選択し、 federated queriesをする - Grafana内のDatasourceの数は増えないため管理が簡素化する
- Grafana内の接続方法も簡単 - 高度なクエリが可能 BigQuery エクスプローラー ① ② ③
実装 Redmineのチケットの可視化の構成
実装 Redmine のチケットの可視化 select * from EXTERNAL_QUERY( '{projectID}.asia-northeast1.redmine', '''
select BigQuery関数 EXTERNAL_QUERY( - 外部のデータベースに直接 SQLクエリする BigQuery関数 接続方法 {projectID}.asia-northeast1.redmine - BigQueryに記載されている接続先に projectID を加えるだけ
まとめ BigQuery の federated queries を用いた Grafana での Database の可視化
• BigQueryの外部接続 ◦ 多様なデータソースへ接続が可能 ◦ GrafanaのDatasourceの管理の簡素化 ◦ BigQuery / Grafana共に接続方法が簡単 • federated queries の利用 ◦ データ移動の不要化 ◦ 分析の迅速化 BigQueryのfederated queriesを利用して可視化することで Grafanaの管理が簡素化する!
Thank you.