Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022...
Search
suzukiry
January 12, 2022
Technology
0
100
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022-01-12 / Apache Kafka Workshop QA 2022-01-12
suzukiry
January 12, 2022
Tweet
Share
More Decks by suzukiry
See All by suzukiry
OpenShiftの内部レジストリって何?/What's OpenShift Image Registry
suzukiry
0
1.5k
Strimzi Kafka Operator を試す Part 3 / Try Strimzi Part3
suzukiry
0
540
GitOps と Apache Kafka Part 1 / GitOps and Apache Kafka Part 1
suzukiry
0
270
Strimzi Kafka Operator を試す Part 2 / Try Strimzi Part2
suzukiry
0
310
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2021-11-24 / Apache Kafka Workshop QA 2021-11-24
suzukiry
0
140
Apache KafkaとKubernetes / Kafka and K8s
suzukiry
1
1.4k
Other Decks in Technology
See All in Technology
Unson OS|48時間で「売れるか」を判定する AI 市場検証プラットフォーム
unson
0
170
AIのグローバルトレンド 2025 / ai global trend 2025
kyonmm
PRO
1
120
Amazon Q Developerを活用したアーキテクチャのリファクタリング
k1nakayama
2
180
SRE新規立ち上げ! Hubbleインフラのこれまでと展望
katsuya0515
0
160
ロールが細分化された組織でSREと協働するインフラエンジニアは何をするか? / SRE Lounge #18
kossykinto
0
150
【新卒研修資料】数理最適化 / Mathematical Optimization
brainpadpr
25
11k
Google Cloud で学ぶデータエンジニアリング入門 2025年版 #GoogleCloudNext / 20250805
kazaneya
PRO
11
2.7k
o11yツールを乗り換えた話
tak0x00
1
120
AWS re:Inforce 2025 re:Cap Update Pickup & AWS Control Tower の運用における考慮ポイント
htan
1
200
データエンジニアがクラシルでやりたいことの現在地
gappy50
3
850
風が吹けばWHOISが使えなくなる~なぜWHOIS・RDAPはサーバー証明書のメール認証に使えなくなったのか~
orangemorishita
15
5.5k
AI人生苦節10年で会得したAIがやること_人間がやること.pdf
shibuiwilliam
1
270
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
The Cult of Friendly URLs
andyhume
79
6.5k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
750
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
870
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Docker and Python
trallard
45
3.5k
Unsuck your backbone
ammeep
671
58k
KATA
mclloyd
31
14k
Transcript
Apache Kafka on Kubernetes基礎編 ワークショップ QA 2022.01.12 分
Strimzi • Apache KafkaのクラスタをKubernetes上で管理するOperator ◦ オープンソースプロジェクト( Apache License 2.0) ◦
Cloud Native Computing Foundation (CNCF) • Strimzi で提供するもの: ◦ Apache Kafka, Connect, Zookeeper, MirrorMaker2 の コンテナイメージ ◦ Apache Kafka clusters, topics and users を管理するKubernetes Operators
QA
Note:Kafka Connect でのプロセス数はどのように管理するのですか? • Kafka Connectでは、Worker、Connector、Tasksというスレッドが立ち上がり、処 理を行います。そのうち、Taskが 実際にデータコピーを担当します。 • Taskの数は、tasks.maxによって指定。全クラスタノード上でいくつのTaskかを決め
ています。 Q. Worker-1 Connector-1 Task-1 (Conn1) Task-2 (Conn1) Worker-2 Connector-2 Task-3 (Conn1) Task-1 (Conn2) Worker-3 Thread JVM Process https://www.slideshare.net/vitojeng/streaming-process-with-kafka-connect-and-kafka-streams-80721215
• Connectorで作られるタスク数の最大数 ◦ Source Connector の場合はその対象(テーブル、ファイルなど)、 Sink Connector の場合はTopic のPartition数を気にしながら設定すべき。
◦ Source の場合 ▪ テーブル毎の割り当て • テーブルx3・タスクx3であれば、各タスクで 1テーブルを担当する。 • テーブルx6・タスクx2であれば、各タスクで 3テーブルを担当する。 • テーブルx1・タスクx2であれば、1タスクのみ1テーブルを担当する。(つまり別の 1タスク は無駄になる) ◦ Sink の場合 ▪ 対象Topicのパーティション数次第。 • Sink タスク(=Consumer)は Partition の数より多く持つことができない。 • 高スループットにしたい場合は、パーティション数 =タスク数( パーティション数<タスク 数だとアイドルするだけ ) • パフォーマンスを下げて良い場合は、 パーティション数>タスク数 の設定もOK. 分散処理の仕組み - パラメータ:tasks.max
その他
AMQ Streams • Apache Kafka のエンタープライズ向けディストリビューション ◦ 2018年から Kafka をサポート、Kubernetes
上でも提供 ◦ Red Hat AMQ Streams としてローンチ • 提供形態 ◦ Red Hat Enterprise Linux ◦ Red Hat OpenShift Container Platform Apache Kafka on Kubernetes 基礎編 ワークショップ: https://redhat-open.connpass.com/ Strimzi/AMQ Streamsをハンズオンをしてみたい
Thank you