Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Kubernetes上で単発のジョブを実行するkube-jobというツールを作った / kub...
Search
h3poteto
August 28, 2019
Technology
6
7.7k
Kubernetes上で単発のジョブを実行するkube-jobというツールを作った / kubernetesmeetuptokyo22
Kubernetes Meetup Tokyo #22 LT『Kubernetes上で単発のジョブを実行するkube-jobというツールを作った』
h3poteto
August 28, 2019
Tweet
Share
More Decks by h3poteto
See All by h3poteto
EKS on Fargateは最高のJob基盤 / jawsug_bgnr
h3poteto
1
900
Electronによるアプリケーション開発事情2018 / builderscon2018
h3poteto
9
9.4k
fluentdサーバをchefで構築するの辛かったけどDockerも別に救世主じゃなかった / tokyu ruby kaigi 12
h3poteto
0
4.1k
ECSのサービスをslack botでデプロイする // ecs-goploy
h3poteto
1
4.9k
まだRailsで消耗してるの?
h3poteto
7
4.7k
阿澄佳奈と昇竜拳
h3poteto
1
470
Other Decks in Technology
See All in Technology
Fargateを使った研修の話
takesection
0
120
AWSコンテナ本出版から3年経った今、もし改めて執筆し直すなら / If I revise our container book
iselegant
15
4k
Gradle: The Build System That Loves To Hate You
aurimas
2
150
新卒1年目が挑む!生成AI × マルチエージェントで実現する次世代オンボーディング / operation-ai-onboarding
cyberagentdevelopers
PRO
1
170
いまならこう作りたい AWSコンテナ[本格]入門ハンズオン 〜2024年版 ハンズオンの構想〜
horsewin
9
2.1k
【技術書典17】OpenFOAM(自宅で極める流体解析)2次元円柱まわりの流れ
kamakiri1225
0
220
分布で見る効果検証入門 / ai-distributional-effect
cyberagentdevelopers
PRO
4
700
リンクアンドモチベーション ソフトウェアエンジニア向け紹介資料 / Introduction to Link and Motivation for Software Engineers
lmi
4
290k
Figma Dev Modeで進化するデザインとエンジニアリングの協働 / figma-with-engineering
cyberagentdevelopers
PRO
1
430
君は隠しイベントを見つけれるか?
mujyun
0
300
新卒1年目が向き合う生成AI事業の開発を加速させる技術選定 / ai-web-launcher
cyberagentdevelopers
PRO
7
1.5k
Product Engineer Night #6プロダクトエンジニアを育む仕組み・施策
hacomono
PRO
1
470
Featured
See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
107
49k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Producing Creativity
orderedlist
PRO
341
39k
Adopting Sorbet at Scale
ufuk
73
9k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Scaling GitHub
holman
458
140k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
25
1.8k
Automating Front-end Workflow
addyosmani
1365
200k
Transcript
Kubernetes 上で単発のジョブを実⾏す るkube-job というツールを作った Kubernetes Meetup Tokyo #22 @h3_poteto
⾃⼰紹介 Akira Fukushima ( 福島 明) GitHub: h3poteto twitter: h3_poteto
仕事: SRE / LAPRAS Inc. 2
Kubernetes 上でcron job を実⾏したい 3
ふつうCronJob を使いますよね? 4
でもRundeck を使いたい Rundeck OSS のジョブスケジューラ Rundeck プロセスからSSH して任意のインスタンスでジョブを実⾏す る スケジュールの書き⽅はだいたいcron
と同じ 失敗時の通知や再実⾏ができる 5
Rundeck を使いたい理由 ジョブの成功/ 失敗をSlack に通知したい ジョブの並列実⾏をしたい ログをWebUI 上で⾒られるようにしたい 元々Rundeck を使っていたので移⾏が楽
6
Kubernetes のCronJob 失敗時の再実⾏はできる Slack 通知は⾃分で作り込む必要がある ジョブの並列実⾏は⼀応できるが,パラメータを少しずつ変えた ジョブを並列実⾏したりはできない 7
Rundeck からKubernetes のJob を実⾏で きればよくね? 8
というわけで単発のジョブを実⾏できる CLI ツールを作った https://github.com/h3poteto/kube-job 9
やってほしいこと 1. ジョブを同期的に実⾏する 2. pod のログを標準出⼒に出してほしい 3. ジョブの定義⾃体は,予め⽤意したyaml を使って良い(ジョブ定義 に必要なパラメータを全てCLI
のパラメータで取るようなことはなし ない) 4. ジョブ定義の⼀部(args )を任意のコマンドで上書きした上でジョブ 実⾏したい 5. Job がFail したらコマンドもFail してほしい 6. 実⾏し終わったらJob/Pod を掃除しておいてほしい 10
Job 定義を⽤意しておく # job.yaml apiVersion: batch/v1 kind: Job metadata: name:
example-job spec: template: spec: containers: - name: alpine image: alpine:latest args: ["env"] # <= ここをCLI で上書き可能 env: - name: HOGE value: fuga restartPolicy: Never backoffLimit: 2 11
kube-job を呼ぶ $ ./kube-job run \ --config=$HOME/.kube/config \ --template-file=./job.yaml \
--container="alpine" \ # <= ログを出したいコンテナを指定する --args="echo fuga" fuga 12
ジョブが失敗する場合 $ ./kube-job run \ --config=$HOME/.kube/config \ --template-file=./job.yaml \ --container="alpine"
\ --args="hoge" container_linux.go:247: starting container process caused "exec: \"hoge\": executable container_linux.go:247: starting container process caused "exec: \"hoge\": executable container_linux.go:247: starting container process caused "exec: \"hoge\": executable FATA[0046] Job is failed: BackoffLimitExceeded exit status 1 $ echo $? 1 コマンドラインツールもexit 1 する 13
中⾝の話 golang で実装している client-go を使う clientcmd.BuildConfigFromFlags すれば $HOME/.kube/config をそのま ま使える
kubectl と同じように認証できる job.yaml は yaml.Unmarshal するだけで k8s.io/api/batch/v1.Job にパー スできる あとはArgs を上書きしてJobs.Create するだけ 14
ジョブを同期的に実⾏する Job をJobs.Create した後に,ジョブを定期的にポーリングする 数秒置きに Jobs.Get する Status.Active をチェックする これを繰り返し
Job が終了した場合 JobCondition に応じてツールを終了させる このときに終了したJob, Pods を削除する 15
ログの取得 Job のLabel を元にPods を探す 失敗してBackoff している可能性があるので常にPods を再取得し続 ける GetLogs
で k8s.io/client-go/rest.Request が取得できる これをStream するとio.ReadCloser が返る os.Stdout に io.Copy するとログが標準出⼒に出る 16
他の細かい機能とか Job 定義はローカルファイルだけでなくURL も指定できる GitHub のprivate repository も指定できる (personal access
token が 必要) Job 終了後の削除では,以下の挙動が選べる 成功時のみJob/Pods を削除する 失敗時のみJob/Pods を削除する 成功でも失敗でも関係なくJob/Pods を削除する 17
Rundeck で使う もはやRundeck からKubernetes のノードにSSH しても何もできない のでSSH はしない ローカルコマンドでkube-job を叩く
認証情報だけはRundeck のホストに保存しておく必要がある 18
副産物 デプロイ時にmigration を流したいような場合に便利 1. migration はコンテナを⼊れ替える前に⾏いたい 異様に重いクエリを流さなきゃいけない場合がある migration が失敗する場合,そこで中断してほしい 2.
migration が失敗した場合に,CI/CD の画⾯上にログが出るのは便利 19
まとめ client-go 使うとかなり⾃由度⾼く作れる kubectl と同じスキームで認証が通るので楽 ただし依存解決にglide を使う必要はある dep とか最近流⾏りのgo mod
は使えない 今の所上書きできるのはargs のみ.そのうち増やすかもしれない 20
この⼿のツールは検索するとかなり出てくるの でみんな結構⾃前で作ってる? 21