Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ClickHouse の Postgres CDC をテストしてみた
Search
Miki Matsumoto
March 27, 2025
0
290
ClickHouse の Postgres CDC をテストしてみた
Miki Matsumoto
March 27, 2025
Tweet
Share
More Decks by Miki Matsumoto
See All by Miki Matsumoto
リアルタイム分析で強化する AIエージェント
mikimatsumoto
0
18
なぜオブザーバビリティに ClickHouse なか?
mikimatsumoto
0
10
ClickHouse + Kafka 連携
mikimatsumoto
0
5
ClickHouse {Cloud} アップデート
mikimatsumoto
0
19
リアルタイム分析データベースで実現する SQLベースのオブザーバビリティ
mikimatsumoto
1
4.2k
ClickHouseアーキテクチャと活用事例
mikimatsumoto
0
150
SQLによるオブザーバビリティの進化とClickHouseの実力
mikimatsumoto
1
770
Featured
See All Featured
Unsuck your backbone
ammeep
671
58k
Making Projects Easy
brettharned
116
6.3k
The Pragmatic Product Professional
lauravandoore
35
6.7k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
500
Rails Girls Zürich Keynote
gr2m
94
14k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Transcript
ClickHouse の Postgres CDC をテストしてみた 松本 幹 - シニアサポートエンジニア 2025年3月27日
About me • ClickHouseの日本人社員第1号 • 最近は、大規模データを扱うシステム導入支援や技術サポート (ClickHouse, Elastic, Domo) •
現在は、サポート業務を中心に、SAやトレーニングなど 幅広い業務を担当
Postgres 運用で、こんな悩みはありませんか? 3 - 異なるリージョンやクラウド間でDBのデータ連携が管理コストが高い - データ分析用に別環境にデータを複製したいけど、 データ同期が遅い・複雑 - AI
Agentから接続したいが、レスポンスが遅く、使い勝手が悪い
これらの課題を ˮPostgres+ClickHouseの CDC連携で解決できる ˮ と聞いたのでテストしてみた
CDCとは? 5 CDC(Change Data Capture) = 変更データキャプチャ - DB内の変更( INSERT
/ UPDATE / DELETE) をほぼリアルタイムで検知 - 変更データのみを検知して、他の DBやNoSQLに同期 - データ同期、分析基盤更新、マイクロサービス連携に最適 PeerDB ClickHouse
2023 6月 ClickHouse Cloudが GCP上で一般提供開始 2022 12月 ClickHouse Cloudが AWS上で一般提供開始
2021 8月 ClickHouse, Inc. をアメリカで設立 2009 ClickHouseの プロトタイプを開発 2016 6月 ClickHouseを Apache 2.0ライセンスの 下で公開 100 リリース ClickHouse の歴史 2024 6月 ClickHouse Cloudが AWS上で一般提供開始 2025 2月 Postgres CDC Connectorが Public Beta 2024 7月 PeerDBを買収
PostgreSQL とClickHouse は理想的な組み合わせ 7 Postgres ClickHouse 得意分野 トランザクション処理 / 柔軟なデータ構造
高速な集計 / 大規模データ分析 データの更新 高頻度のINSERT / UPDATE / DELETEが得意 基本は追加専用 / バッチで最適 クエリの性質 オンライン分析処理 (OLTP) オンライン分析処理 (OLAP)
CDCの組み合わせ 8 ClickHouse Cloudにデータを同期するにあたり、複数の実現方法がある。 今回はClickHouse CloudのPostgres CDC Connectorを使用してテストを実施
9 デモ
まとめ 10 - ClickHouseのPostgres CDCを動かすことで、簡単にデータの同期が 実現できることを確認できた - 連携したデータをClickHouseで解析するためには、 若干のClickHouseの知識が必要