Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Active job meets kubernetes
Search
Yasutomo Uemori
PRO
September 24, 2019
Programming
0
14
Active job meets kubernetes
Kubernetes Meetup Osaka #1でのLT資料です
Yasutomo Uemori
PRO
September 24, 2019
Tweet
Share
More Decks by Yasutomo Uemori
See All by Yasutomo Uemori
いまどきのゲームサーバアーキテクチャ
wakaba260
PRO
1
70
オンラインゲームのRails複数db戦略
wakaba260
PRO
0
35
Ruby/Rails Benchmarking and Profiling with TDD
wakaba260
PRO
0
14
GCP・GKEで作るスケーラブルなゲーム開発環境
wakaba260
PRO
0
24
サービスクラス、その前に
wakaba260
PRO
0
18
Rails on Dockerとの戦い
wakaba260
PRO
0
6
Rubocopとの付き合い方
wakaba260
PRO
0
11
Rails api way in aiming
wakaba260
PRO
0
12
ゲーム会社でのRuby : rails活用事例
wakaba260
PRO
0
24
Other Decks in Programming
See All in Programming
A New Era of Testing
mannodermaus
2
490
Perl 5 OOP機構30年史 - Perl 5's OOP Mechanism over the past 30 years
moznion
0
100
Rechartsで楽にゴリゴリにカスタマイズする!
10tera
1
170
rbs-inlineを導入してYARDからRBSに移行する
euglena1215
1
270
LangChainでWebサイトの内容取得やGitHubソースコード取得
shukob
0
160
Amazon BedrockでサーバレスなAIお料理ボットを作成する!!
tosuri13
0
220
Modular Monolith Go Server with GraphQL Federation + gRPC
110y
1
580
Go1.23で入った errorsパッケージの小さなアプデ
kuro_kurorrr
2
390
Ebitengineの1vs1ゲーム WebRTCの活用
ponyo877
0
380
Swiftコードバトル必勝法
toshi0383
0
150
私のEbitengineの第一歩
qt_luigi
0
450
Hono・Prisma・AWSでGeoなAPI開発
nokonoko1203
5
670
Featured
See All Featured
Adopting Sorbet at Scale
ufuk
73
8.9k
Learning to Love Humans: Emotional Interface Design
aarron
270
40k
Debugging Ruby Performance
tmm1
72
12k
Large-scale JavaScript Application Architecture
addyosmani
508
110k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
27
7.4k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
8.9k
Intergalactic Javascript Robots from Outer Space
tanoku
268
26k
Pencils Down: Stop Designing & Start Developing
hursman
119
11k
The Invisible Side of Design
smashingmag
295
50k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
354
29k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
5
480
Transcript
ActiveJob meets Kubernetes Kubernetes Meetup Osaka #1 LT 植森 康友(wakaba260)
me.inspect => { “HN”: "wakaba260", “name”: "Yasutomo Uemori", “company”: "株式会社Aiming",
“twitter”: "https://twitter.com/wakaba260yen", “github”: "https://github.com/yuemori", “skills”: ["rails api", "docker", "kubernetes", "GCP"] }
ActiveJob?
ActiveJob(Rails) - Ruby on Railsの非同期ジョブの仕組み - Adapterを実装することでなんでもバックエンドに出来る - 現在の主な実装例 -
Sidekiq, Resque: ruby製のjob queue worker - Shoryuken: Amazon SQSをメッセージキューに使える
ActiveJobの使用例 class GuestsCleanupJob < ApplicationJob queue_as :default def perform(*args) #
後で実行したい作業をここに書く end end # 「キューイングシステムが空いたらジョブを実行する」とキューに登録する guest = Guest.find(guest_id) GuestsCleanupJob.perform_later(guest)
Rails on Kubernetesでのジョブの運用 - SidekiqのworkerをDeploymentで立てる - ジョブキューのBackendにredisを立てる - replicas指定でworker数を増やしてスケールアウト
唐突な思いつき - Sidekiqのworkerのスケールアウトを考えるとCPU使用率などでは 上手くスケールできない - Kubernetesには既にJobという仕組みがある - リトライ、タイムアウトなど機能も充実 - Kubernetes
Jobを使うことでいい感じにスケールできそう
作ってみた https://github.com/yuemori/kube_queue/
# app/jobs/print_message_job.rb class PrintMessageJob < ApplicationJob include KubeQueue::Worker worker_name 'print-message-job'
image "your-registry/your-image" container_name 'your-container-name' def perform(payload) logger.info payload[:message] end end PrintMessageJob.perform_later(message: ‘hello!’)
class ComputePiJob < ApplicationJob include KubeQueue::Worker worker_name 'pi' image 'perl'
container_name 'pi' command "perl","-Mbignum=bpi","-wle","print bpi(2000)" cpu_limit '0.3' cpu_request '0.2' memory_limit '100m' memory_request '50m' end
kube_queueの実装 - perform_laterを呼んだら指定されたJobを起動 - やってることはJob作成のAPIを呼ぶだけ
やってみてわかったこと - スケールアウトがworkerのreplica数からリソースに依存するように なった - KubernetesのAPI経由でコンテナを呼ぶことで、プラットフォームや 言語に依存せずにコンテナの恩恵を享受できる - KubernetesのAPIを呼ぶことでいろいろ面白いことが出来るので、 活用する機会があれば試していきたい
ご静聴ありがとうございました