広告データの集計基盤で使用するDB

【懇親会】技術選定を突き詰める〜 Online Conferenc​​e 2025 〜　2025/05/14 (Wed)
https://findy.connpass.com/event/349711/

参考記事
HP
https://clickhouse.com/jp

GitHub
https://github.com/ClickHouse/ClickHouse

ベンチマーク
https://benchmark.clickhouse.com/

ClickHouse Playground
https://sql.clickhouse.com/

SQLによるオブザーバビリティの進化とClickHouseの実力
https://speakerdeck.com/mikimatsumoto/sqlniyoruobuzababiriteinojin-hua-toclickhousenoshi-li

ClickHouseの圧倒的パフォーマンスで大規模リアルタイム分析のコストを削減！オブザーバビリティ新時代
https://codezine.jp/article/detail/21100

Transcript

1. ©SO Technologies Inc. 
 【懇親会】技術選定を突き詰める〜 Online Conferenc e 2025 〜 @ファインディ株式会社 イベントスペース 2025/05/14 (Wed) 岸田 慎之介 / SO Technologies株式会社 広告データの集計基盤で使用するDB
2. ©SO Technologies Inc. 
 自己紹介 • 　SO Technologies 株式会社 • Go言語でAPI/バッチ処理の開発を主に行いつつ 問い合わせの調査も行っている グループ横断の取り組みで使うアプリの開発にも従事 • 　毎週ボルダリングに通ってる 岸田　慎之介 @mwudo 2
3. 会社概要 会社名 SO Technologies株式会社（SO Technologies, Inc.） 所在地 東京都文京区後楽1-4-14 後楽森ビル 19F 設立 2013年4月2日 従業員数 91名（2025年3月末時点） 事業内容 中堅・中小企業向けマーケティングテクノロジーの提供 代表 児島 智 3 ©SO Technologies Inc. | | | | | |
4. ©SO Technologies Inc. 
 ATOMとは 4
5. ©SO Technologies Inc. 
 5
 5
 広告運用の 業務効率化を実現する Web広告代理店向けの Web広告レポートツールです。 報告業務の自動化 実績把握と課題特定を最短に 確認漏れの防止や異常値を察知 ATOMとは・機能 5

6. ©SO Technologies Inc. 
 ATOMとは・データの流れ 6 自動収集・集計・加工・出力で使用している集計基盤の DB の話
7. ©SO Technologies Inc. 
 ATOM はリニューアルプロジェクトを行っており 現状稼働しているシステムからドメインモデルやインフラ・など すべてをリプレイスしており、その過程でDBの選定も行った 7
 前提
8. ©SO Technologies Inc. 
 広告データの取り扱い 8 ❏ 毎日、データを取得を行う ❏ 過去のデータに補正が入る ❏ データの粒度に種類があり、それぞれでデータを保持 ❏ 時間別、年代別、性別、都道府県など Google や Yahoo! などで日々広告を配信している特性上
9. ©SO Technologies Inc. 
 プロダクトでの広告データの取り扱い 9 ATOM では主に２つの使い方をする 1. あらかじめ出力項目・期間・絞り込みなどを設定し、定期的に 集計処理 を行う 2. ユーザが画面を訪れると逐次クエリを構築して 集計処理 を実行して返却
10. ©SO Technologies Inc. 
 DBの選定 10 現行システムではすべて AWS の RDS for MySQL を使用 現行システムは 10年選手 なのと開発当初の想定から状況が 変わったこともあって負荷がかなりある インスタンスの性能をあげるなどの対応が時たまあり コスト増 に リニューアル版では現状の課題やシステムの要件を考慮
11. ©SO Technologies Inc. 
 ❏ 2009年から開発が開始され、2016年に OSS化 ❏ 40.6KのGitHubスター (2025/05 時点) ❏ カラム指向 ❏ OLAP（Online Analytical Processing）データベース ❏ フルマネージドで利用できる ClickHouse Cloud がある ❏ ユースケースは ❏ リアルタイム分析、機械学習と生成AI、ビジネスインテリジェンス、ログ、イベント、トレース ClickHouse 11
 高速オープンソース OLAP DBMS https://clickhouse.com/jp https://github.com/ClickHouse/ClickHouse
12. ©SO Technologies Inc. 
 ClickHouse・参考情報 12
 https://benchmark.clickhouse.com
13. ©SO Technologies Inc. 
 ❏ 配列の要素それぞれをレコードとして展開する関数 ❏ MySQL などの RDB、S3 をテーブルとして参照が可能 ❏ テーブルエンジンという読み書きを行うテーブルの設定がさまざま ❏ 複製されたクラスタ間の同期を非同期で行う ❏ 非同期で合算をおこなう など、、 ClickHouse 13
 標準SQLに準拠しつつ
14. ©SO Technologies Inc. 
 14
 自社プロダクトでの利用 ❏ OSS の ClickHouse を AWS EC2 上に構築 ❏ 利用当初、Cloud 版がなかったため ❏ S3 のオブジェクトをテーブルに対して直接 Insert を行っている ❏ パーティションを切り替える仕組みを利用してデータ欠損・重複の最小限に ❏ MySQL（Amazon Aurora） と JOIN することでデータの集計を行っている この形になるまで色々 苦労 がありました、、、
15. ©SO Technologies Inc. 
 15
 今後の挑戦 ❏ ClickHouse Cloud の検証 ❏ 集計基盤の改修 ❏ 活用事例などを外部へ発信