Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Apache Kafkaでの大量データ処理がKubenetesで簡単にできて嬉しかった話
Search
システム開発部広報委員会
PRO
November 21, 2023
Programming
0
6
Apache Kafkaでの大量データ処理がKubenetesで簡単にできて嬉しかった話
システム開発部広報委員会
PRO
November 21, 2023
Tweet
Share
More Decks by システム開発部広報委員会
See All by システム開発部広報委員会
マイクロアドでの Hive → Iceberg 移行事例紹介
microaddevelopers
PRO
1
45
Rancher × Hashicorp Vault で 実現する秘密情報管理
microaddevelopers
PRO
1
10
大規模システムを支える実践的インフラ基盤の開発と運用
microaddevelopers
PRO
0
8
マイクロアドのData LakehouseとIcebergテーブルの最適化について
microaddevelopers
PRO
1
20
広告配信システムにおけるデータ基盤移行の事例紹介
microaddevelopers
PRO
0
3
3rd Party Cookie 規制後の広告配信技術
microaddevelopers
PRO
0
3
Kafka Connect:Iceberg Sink Connectorを使ってみる
microaddevelopers
PRO
1
15
【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
microaddevelopers
PRO
0
4
Chromeの3rd Party Cookie廃止とインターネット広告への影響
microaddevelopers
PRO
0
4
Other Decks in Programming
See All in Programming
Gemini for developers
meteatamel
0
120
AI主導でFastAPIのWebサービスを作るときに 人間が構造化すべき境界線
okajun35
0
290
モジュラモノリスにおける境界をGoのinternalパッケージで守る
magavel
0
2.6k
Rails Girls Tokyo 18th GMO Pepabo Sponsor Talk
yutokyokutyo
0
170
Apache Iceberg V3 and migration to V3
tomtanaka
0
220
2025年の活動の振り返り
hideg
0
120
go directiveを最新にしすぎないで欲しい話──あるいは、Go 1.26からgo mod initで作られるgo directiveの値が変わる話 / Go 1.26 リリースパーティ
arthur1
2
270
AIプロダクト時代のQAエンジニアに求められること
imtnd
1
480
要求定義・仕様記述・設計・検証の手引き - 理論から学ぶ明確で統一された成果物定義
orgachem
PRO
1
400
猫の手も借りたい!ので AIエージェント猫を作って社内に放した話 Claude Code × Container Lambda の Slack Bot "DevNeko"
naramomi7
0
210
ご飯食べながらエージェントが開発できる。そう、Agentic Engineeringならね。
yokomachi
1
260
ノイジーネイバー問題を解決する 公平なキューイング
occhi
0
130
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
356
21k
A better future with KSS
kneath
240
18k
Making the Leap to Tech Lead
cromwellryan
135
9.7k
How to train your dragon (web standard)
notwaldorf
97
6.5k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.4k
Docker and Python
trallard
47
3.7k
Rails Girls Zürich Keynote
gr2m
96
14k
AI Search: Where Are We & What Can We Do About It?
aleyda
0
7k
Code Review Best Practice
trishagee
74
20k
The Curse of the Amulet
leimatthew05
1
9.1k
Navigating Algorithm Shifts & AI Overviews - #SMXNext
aleyda
1
1.1k
The AI Search Optimization Roadmap by Aleyda Solis
aleyda
1
5.3k
Transcript
Apache Kafkaでの大量データ 処理がKubenetesで簡単にでき て嬉しかった話 Fluentd,Spark Streaming 株式会社マイクロアド 大澤 昂太
大澤 昂太 サーバサイドエンジニアをしています。 分散システム関連の開発が多いです。 K8sは何回か勉強したのですがあまり理 解できなかったです。 Dockerはよく使います 自己紹介など 株式会社マイクロアド インターネット広告の会社です。
設計に起因する苦しい時代を経験して いるので設計へのこだわりが強いで す。 関数型言語のScalaやサーバサイド KotlinなどJVMの活用が多いです。
広告業界とデータセンターについて • 広告業界では自社で取り扱ってないサイトのトラフィックを取り扱う • このトラフィックは一日TB単位になることがある • 休みなく24時間動き続ける数千台単位のサーバが欲しくなるのでオンプレの データセンターのほうがコスパが良い機能が多い(と思われる) クラウドもよく活用します 収集
サイト サイト サイト サイト サイト
Apache Kafkaの活用について • Kafkaとはリアルタイムキューでリアルタイムにログを流したりできるデー タベースに近いもの • 一般的なPub/Subとの違いとしてクラスタリングができ、大規模なデータで も転送できる • 弊社ではトラフィックを解析する機能が多いのでApache
Kafkaを多数活用し ている Apache Kafka Apache Kafka アプリ アプリ 後続 後続 後続 後続が大量に 増えてもス ケールでき る!
Spark Streamingの活用と問題について • 弊社ではApache Kafkaのデータ処理をする際には主にSparkストリーミング を活用している • 問題点として軽い機能でもそれなりの規模の開発が必要 • (弊社Hadoopの問題で)オーバーコミットが安定せずCPUコアの消費量が多
い • Hadoopクラスタが老朽化していてどうにかしたい Apache Kafka Spark Streaming Apache Kafka Spark Streaming
クラスタ Fluentdの活用と弱点 • Fluentdはストリーム処理を行うことができるミドルウェア • 設定ファイルを少し書くだけでデータ転送等を行うことができる • 弊社でもよく使われるが利用用途は限られていた • 複数サーバやマルチコアCPUを活用することが難しい
• 対Kafkaだと擬似的にクラスタリングできるが、デプロイ周りを上手く作っ てやる必要がある fluentd fluentd fluentd こんな感じでパワフルに動いてくれ るとありがたいが…
会社でのKubernetesの導入 • マイクロアドでは数年くらいK8sの準備をインフラチームの方で進めている • それ以外のサーバはDockerデーモンを直で使っていることが多い • ある時、リアルタイム処理の開発が必要になったが大した処理ではないので FluentdとK8sを組み合わせて使ってみることにした
K8sでFluentdの弱点が解消できた • Kafka consumer groupによって複数のFluentdのプロセスは一つのKafkaト ピックから重複することなく一つのデータを受け取ることができる これにより、そこまで難しいこと考えることなくk8sにデプロイして • k8sでFluentdクラスタを作ることができた •
マルチコアのCPUを有効活用をできた • 複数サーバに展開してHA構成にすることができた Kafka Kubernetesクラスタ Pod Pod Fluentd Fluentd Redis 管理が楽
K8sでSpark Streamingの移行先の目処が付きそう • Spark Streamingを動かしているHadoopの老朽化問題があったが • K8sでのSpark検証が進んでいて移行することができそうな状況 Kubenetesクラスタ Pod Pod
Driver Executor K8s Master Spark Kafka Pod Executor
まとめ • KubernetesでFluentdの弱点を大きく改善することができた • ノード管理やHA化なども難しいこと考えることなく実現できた • KubernetesでSpark Streamingを活用することができた • 弊社のリアルタイム処理周りはK8sでほとんどカバーすることができそう
• k8sの威力を思い知り勉強を再開しようと思った
ご清聴ありがとうございました