ClickHouse の Postgres CDC をテストしてみた

Transcript

1. ClickHouse の Postgres CDC をテストしてみた 松本 幹 - シニアサポートエンジニア 2025年3月27日
2. About me • ClickHouseの日本人社員第１号 • 最近は、大規模データを扱うシステム導入支援や技術サポート （ClickHouse, Elastic, Domo） • 現在は、サポート業務を中心に、SAやトレーニングなど 幅広い業務を担当
3. Postgres 運用で、こんな悩みはありませんか？ 3 - 異なるリージョンやクラウド間でDBのデータ連携が管理コストが高い - データ分析用に別環境にデータを複製したいけど、 データ同期が遅い・複雑 - AI Agentから接続したいが、レスポンスが遅く、使い勝手が悪い
4. これらの課題を ˮPostgres+ClickHouseの CDC連携で解決できる ˮ と聞いたのでテストしてみた
5. CDCとは？ 5 CDC（Change Data Capture） = 変更データキャプチャ - DB内の変更（ INSERT / UPDATE / DELETE） をほぼリアルタイムで検知 - 変更データのみを検知して、他の DBやNoSQLに同期 - データ同期、分析基盤更新、マイクロサービス連携に最適 PeerDB ClickHouse
6. 2023 6月 ClickHouse Cloudが GCP上で一般提供開始 2022 12月 ClickHouse Cloudが AWS上で一般提供開始 2021 8月 ClickHouse, Inc. をアメリカで設立 2009 ClickHouseの プロトタイプを開発 2016 6月 ClickHouseを Apache 2.0ライセンスの 下で公開 100 リリース ClickHouse の歴史 2024 6月 ClickHouse Cloudが AWS上で一般提供開始 2025 2月 Postgres CDC Connectorが Public Beta 2024 7月 PeerDBを買収
7. PostgreSQL とClickHouse は理想的な組み合わせ 7 Postgres ClickHouse 得意分野 トランザクション処理 / 柔軟なデータ構造 高速な集計 / 大規模データ分析 データの更新 高頻度のINSERT / UPDATE / DELETEが得意 基本は追加専用 / バッチで最適 クエリの性質 オンライン分析処理 (OLTP) オンライン分析処理 (OLAP)
8. CDCの組み合わせ 8 ClickHouse Cloudにデータを同期するにあたり、複数の実現方法がある。 今回はClickHouse CloudのPostgres CDC Connectorを使用してテストを実施
9. 9 デモ
10. まとめ 10 - ClickHouseのPostgres CDCを動かすことで、簡単にデータの同期が 実現できることを確認できた - 連携したデータをClickHouseで解析するためには、 若干のClickHouseの知識が必要