Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022...
Search
suzukiry
January 12, 2022
Technology
0
100
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022-01-12 / Apache Kafka Workshop QA 2022-01-12
suzukiry
January 12, 2022
Tweet
Share
More Decks by suzukiry
See All by suzukiry
OpenShiftの内部レジストリって何?/What's OpenShift Image Registry
suzukiry
0
1.5k
Strimzi Kafka Operator を試す Part 3 / Try Strimzi Part3
suzukiry
0
540
GitOps と Apache Kafka Part 1 / GitOps and Apache Kafka Part 1
suzukiry
0
280
Strimzi Kafka Operator を試す Part 2 / Try Strimzi Part2
suzukiry
0
320
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2021-11-24 / Apache Kafka Workshop QA 2021-11-24
suzukiry
0
140
Apache KafkaとKubernetes / Kafka and K8s
suzukiry
1
1.4k
Other Decks in Technology
See All in Technology
見てわかるテスト駆動開発
recruitengineers
PRO
4
280
モダンな現場と従来型の組織——そこに生じる "不整合" を解消してこそチームがパフォーマンスを発揮できる / Team-oriented Organization Design 20250825
mtx2s
5
520
現場が抱える様々な問題は “組織設計上” の問題によって生じていることがある / Team-oriented Organization Design 20250827
mtx2s
3
790
Oracle Base Database Service:サービス概要のご紹介
oracle4engineer
PRO
2
20k
Product Management Conference -AI時代に進化するPdM-
kojima111
0
220
第4回 関東Kaggler会 [Training LLMs with Limited VRAM]
tascj
12
1.7k
Goss: Faiss向けの新しい本番環境対応 Goバインディング #coefl_go_jp
bengo4com
0
1.4k
株式会社ARAV 採用案内
maqui
0
340
.NET開発者のためのAzureの概要
tomokusaba
0
230
イオン店舗一覧ページのパフォーマンスチューニング事例 / Performance tuning example for AEON store list page
aeonpeople
2
270
Evolution on AI Agent and Beyond - AGI への道のりと、シンギュラリティの3つのシナリオ
masayamoriofficial
0
170
実践アプリケーション設計 ③ドメイン駆動設計
recruitengineers
PRO
1
160
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.6k
Unsuck your backbone
ammeep
671
58k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.6k
Making Projects Easy
brettharned
117
6.3k
Rails Girls Zürich Keynote
gr2m
95
14k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Scaling GitHub
holman
462
140k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
Art, The Web, and Tiny UX
lynnandtonic
302
21k
How STYLIGHT went responsive
nonsquared
100
5.7k
Transcript
Apache Kafka on Kubernetes基礎編 ワークショップ QA 2022.01.12 分
Strimzi • Apache KafkaのクラスタをKubernetes上で管理するOperator ◦ オープンソースプロジェクト( Apache License 2.0) ◦
Cloud Native Computing Foundation (CNCF) • Strimzi で提供するもの: ◦ Apache Kafka, Connect, Zookeeper, MirrorMaker2 の コンテナイメージ ◦ Apache Kafka clusters, topics and users を管理するKubernetes Operators
QA
Note:Kafka Connect でのプロセス数はどのように管理するのですか? • Kafka Connectでは、Worker、Connector、Tasksというスレッドが立ち上がり、処 理を行います。そのうち、Taskが 実際にデータコピーを担当します。 • Taskの数は、tasks.maxによって指定。全クラスタノード上でいくつのTaskかを決め
ています。 Q. Worker-1 Connector-1 Task-1 (Conn1) Task-2 (Conn1) Worker-2 Connector-2 Task-3 (Conn1) Task-1 (Conn2) Worker-3 Thread JVM Process https://www.slideshare.net/vitojeng/streaming-process-with-kafka-connect-and-kafka-streams-80721215
• Connectorで作られるタスク数の最大数 ◦ Source Connector の場合はその対象(テーブル、ファイルなど)、 Sink Connector の場合はTopic のPartition数を気にしながら設定すべき。
◦ Source の場合 ▪ テーブル毎の割り当て • テーブルx3・タスクx3であれば、各タスクで 1テーブルを担当する。 • テーブルx6・タスクx2であれば、各タスクで 3テーブルを担当する。 • テーブルx1・タスクx2であれば、1タスクのみ1テーブルを担当する。(つまり別の 1タスク は無駄になる) ◦ Sink の場合 ▪ 対象Topicのパーティション数次第。 • Sink タスク(=Consumer)は Partition の数より多く持つことができない。 • 高スループットにしたい場合は、パーティション数 =タスク数( パーティション数<タスク 数だとアイドルするだけ ) • パフォーマンスを下げて良い場合は、 パーティション数>タスク数 の設定もOK. 分散処理の仕組み - パラメータ:tasks.max
その他
AMQ Streams • Apache Kafka のエンタープライズ向けディストリビューション ◦ 2018年から Kafka をサポート、Kubernetes
上でも提供 ◦ Red Hat AMQ Streams としてローンチ • 提供形態 ◦ Red Hat Enterprise Linux ◦ Red Hat OpenShift Container Platform Apache Kafka on Kubernetes 基礎編 ワークショップ: https://redhat-open.connpass.com/ Strimzi/AMQ Streamsをハンズオンをしてみたい
Thank you