Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BigQueryのfederated queriesを用いた GrafanaでのDataba...
Search
Cloud Ace
May 20, 2025
Technology
0
7
BigQueryのfederated queriesを用いた GrafanaでのDatabaseの可視化
Cloud Ace
May 20, 2025
Tweet
Share
More Decks by Cloud Ace
See All by Cloud Ace
Google CloudとGitHub Actionsでセキュアで 信頼性の高いインフラのデプロイパイプラインの構築方法
cloudace
0
62
新しいプロダクトのデプロイパイプラインにArgo CDを使った話
cloudace
0
120
開発現場とセキュリティ担当をつなぐ脅威モデリング
cloudace
0
220
クラウド ネイティブ化は、 本当に必要なのか? 〜移行パターンと成功のポイント~
cloudace
0
230
今すぐできる! DORA metrics でカジュアルに始める CI/CD | DevOpsDays Tokyo 2024
cloudace
0
760
LLMによる技術ブログレビューを導入した話
cloudace
1
390
ライターがやる作業を LLM にやらせたら良い記事ができた
cloudace
0
110
Duet AI Assisted development 検証してみた
cloudace
0
530
クラウドエース 技術ブログの変遷
cloudace
0
750
Other Decks in Technology
See All in Technology
カンファレンスのつくりかた / The Conference Code: What Makes It All Work
tomzoh
8
930
Slackひと声でブログ校正!Claudeレビュー自動化編
yusukeshimizu
3
180
障害を回避するHttpClient再入門 / Avoiding Failures HttpClient Reintroduction
uskey512
1
140
MCP Clientを活用するための設計と実装上の工夫
yudai00
1
810
他チームへ越境したら、生データ提供ソリューションのクエリ費用95%削減へ繋がった話 / Cross-Team Impact: 95% Off Raw Data Query Costs
yamamotoyuta
0
240
Digitization部 紹介資料
sansan33
PRO
1
3.8k
ソフトウェアは捨てやすく作ろう/Let's make software easy to discard
sanogemaru
10
5.8k
“⾞が通れるほど⼤きな”セキュリティーホールを抑えながらログインしたい
taiseiue
0
160
オープンソースのハードウェアのコンテストに参加している話
iotengineer22
0
640
Javaアプリケーションの配布とパッケージング / Distribution and packaging of Java applications
hogelog
1
230
GigaViewerにおけるMackerel APM導入の裏側
7474
0
460
GoogleのAI Agent
shukob
0
140
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.2k
Navigating Team Friction
lara
186
15k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Thoughts on Productivity
jonyablonski
69
4.7k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
BBQ
matthewcrist
88
9.7k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
25
2.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
19k
4 Signs Your Business is Dying
shpigford
183
22k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Transcript
BigQueryのfederated queriesを用いた GrafanaでのDatabaseの可視化 Kohei Haneda クラウドエース株式会社 DevSecOps事業部
Agenda 自己紹介 解決方法 実装 まとめ 課題 背景
Haneda Kohei クラウドエース株式会社 DevSecOps事業部 自社開発しているサービスの動向や事業部の目標を Grafanaで可視化しています。
Grafana 歴は2,3ヶ月です。 年に12回はディズニーに訪れる ディズニーをこよなく愛するエンジニアです。 スピーダーで来たわけじゃないです 自己紹介
GrafanaでRelational Database (以下RDB )を可視化する 背景 方法 • GrafanaでPostgreSQLをDatasourceとして選択する
課題 Google CloudのマネージドRDBでの接続 マネージド RDBをDatasourceにする際の問題点 • Grafana内のDatasourceの数が増え管理が煩雑になる • 高度なクエリはBigQueryに比べると単純なクエリしかできない
• 通信の接続を許可しなければいけない 可視化する Datasourceが増えれば増えるほど 管理が大変になるのでは....
解決方法 BigQueryのfederated queriesによるCloud SQLへの接続 federated queriesとは • 複数の独立したデータベースやデータソースに対して、 あたかも単一のデータベースであるかのようにクエリを実行できる技術
Google CloudのBigQueryにおけるfederated queriesとは • BigQueryのストレージにデータをロードすることなく、 外部のデータソースに対して直接クエリを実行できる機能
解決方法 BigQueryのfederated queriesによるCloud SQLへの接続 BigQueryをDatasourceとして選択し、 federated queriesをする - Grafana内のDatasourceの数は増えないため管理が簡素化する
- Grafana内の接続方法も簡単 - 高度なクエリが可能 BigQuery エクスプローラー ① ② ③
実装 Redmineのチケットの可視化の構成
実装 Redmine のチケットの可視化 select * from EXTERNAL_QUERY( '{projectID}.asia-northeast1.redmine', '''
select BigQuery関数 EXTERNAL_QUERY( - 外部のデータベースに直接 SQLクエリする BigQuery関数 接続方法 {projectID}.asia-northeast1.redmine - BigQueryに記載されている接続先に projectID を加えるだけ
まとめ BigQuery の federated queries を用いた Grafana での Database の可視化
• BigQueryの外部接続 ◦ 多様なデータソースへ接続が可能 ◦ GrafanaのDatasourceの管理の簡素化 ◦ BigQuery / Grafana共に接続方法が簡単 • federated queries の利用 ◦ データ移動の不要化 ◦ 分析の迅速化 BigQueryのfederated queriesを利用して可視化することで Grafanaの管理が簡素化する!
Thank you.