Kueue入門/Kueue Introduction

#k8sjp 第50回のLT資料です
https://k8sjp.connpass.com/event/244591/

Transcript

1. Kueue⼊⾨ Kubernetes Meetup Tokyo #50(2022/04/27) @bells17
2. ▶ @bells17 ▶ Software Engineer ▶ 普段やってること: + Kubernetes 関連コンポーネントの開発 + Kubernetes as a Service開発 ▶ Kubernetes SIG-Docs Japanese localization reviewer ▶ Kubernetes Internal Organizer ▶ #kubenews ▶ @bells17_
3. #kubenews ほぼ毎週⾦曜22:00~YouTubeで配信中 Kubernetes/Cloud Native関連のニュースを中⼼に技術雑談してます
4. このセッションでわかること ▶ Kueueというアプリケーションがどんなものかを簡単に紹介できればと思ってます
5. Kueueとは？
6. Kueue ▶ Kubernetesネイティブなバッチ(ジョブ)スケジューラー ▶ Jobリソースを(ある意味)拡張することでJobリソースのキューイングの 仕組みを提供してくれるアプリケーションになっている ▶ キュー管理者は予めResourceFlavor/ClusterQueue/Queueリソースを設定 しておくことで、バッチユーザーが設定したキューを利⽤することができる
7. Kueue Overview https://bit.ly/kueue-controller-design
8. Kueue ▶ 以下のようなポイントはKubernetes⾃⾝の仕組みを使いつつ実現している + Jobリソースのマネジメントはkube-controller-managerを利⽤ + Podのスケジューリングはkube-schedulerを利⽤ ▶ Volcano(kube-batch)のJob API、ジョブライフサイクル管理、スケジューラー といったコアKubernetesにすでに存在する多くの機能を 再実装している点を問題に感じたのがKueueを作成した背景の1つのよう ▶ ドキュメントなどから主なユースケースとしてMLワークロードのような ⼤規模バッチを多数同時並列で実⾏したいようなユースケースにおいて バッチの実⾏順序のコントロールやキューイングなどを⾏うため利⽤する想定？ + ここらへん詳しい⼈教えてください (Design Docs読んでもなんとなくしか想像できなかった)
9. Kueue ▶ Kubernetesコミュニティの #wg-batch により開発されているよう ▶ 2022/4/12にv0.1.0がリリースされたばかり ▶ リポジトリ: https://github.com/kubernetes-sigs/kueue + 今回調べたのはv0.1.0のバージョン + https://github.com/kubernetes-sigs/kueue/tree/v0.1.0 ▶ Design Docs(controller): https://bit.ly/kueue-controller-design ▶ Design Docs(API): https://bit.ly/kueue-apis ▶ Old Proposal: https://bit.ly/k8s-job-management
10. ちょっとだけKueue Architecture
11. デモ
12. k8sクラスターを構築~Kueueをインストール 
    LJOE
    DSFBUF
    DMVTUFS
    OBNFLVFVFFYBNQMF
    
    LVCFDUM
    BQQMZ
    G
    IUUQTHJUIVCDPNDFSUNBOBHFSDFSUNBOBHFSSFMFBTFT EPXOMPBEWDFSUNBOBHFSZBNM
    
    LVCFDUM
    XBJU
    GPSDPOEJUJPOBWBJMBCMF
    UJNFPVUT
    O
    DFSUNBOBHFS
    EFQMPZNFOUTDFSUNBOBHFSXFCIPPL
    
    LVCFDUM
    BQQMZ
    L
    HJUIVCDPNLVCFSOFUFTTJHTLVFVFDPOpHEFGBVMU W
    
13. 状態チェック 
    LVCFDUM
    HFU
    OPEF
    /".&
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    45"564
    
    
    30-&4
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    "(&
    
    
    
    7&34*0/
    LVFVFFYBNQMFDPOUSPMQMBOF
    
    
    3FBEZ
    
    
    
    DPOUSPMQMBOF NBTUFS
    
    
    NT
    
    
    W
    
    LVCFDUM
    OLVFVFTZTUFN
    HFU
    EFQMPZ
    /".&
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    3&"%:
    
    
    6150%"5&
    
    
    "7"*-"#-&
    
    
    "(&
    EFQMPZNFOUBQQTLVFVFDPOUSPMMFSNBOBHFS
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    NT
    
    LVCFDUM
    HFU
    DSE
    c
    HSFQ
    LVFVFYLTJP
    DMVTUFSRVFVFTLVFVFYLTJP
    
    
    
    
    
    
    
    
    
    5;
    RVFVFTLVFVFYLTJP
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    5;
    SFTPVSDFqBWPSTLVFVFYLTJP
    
    
    
    
    
    
    
    5;
    XPSLMPBETLVFVFYLTJP
    
    
    
    
    
    
    
    
    
    
    
    
    
    5;
14. Kueueに必要なカスタムリソースを設定 
    DBU
    &04
    
    TFUUJOHZBNM
    BQJ7FSTJPO
    LVFVFYLTJPWBMQIB
    LJOE
    3FTPVSDF'MBWPS
    NFUBEBUB
    
    
    OBNF
    EFGBVMU
    
    BQJ7FSTJPO
    LVFVFYLTJPWBMQIB
    LJOE
    2VFVF
    NFUBEBUB
    
    
    OBNFTQBDF
    EFGBVMU
    
    
    OBNF
    NBJO
    TQFD
    
    
    DMVTUFS2VFVF
    DMVTUFSUPUBM
    &04 
    DBU
    &04
    
    TFUUJOHZBNM
    
    BQJ7FSTJPO
    LVFVFYLTJPWBMQIB
    LJOE
    $MVTUFS2VFVF
    NFUBEBUB
    
    
    OBNF
    DMVTUFSUPUBM
    TQFD
    
    
    OBNFTQBDF4FMFDUPS
    \^
    
    NBUDI
    BMM
    
    
    SFTPVSDFT
    
    
    
    OBNF
    DQV
    
    
    
    
    qBWPST
    
    
    
    
    
    OBNF
    EFGBVMU
    
    
    
    
    
    
    RVPUB
    
    
    
    
    
    
    
    
    NJO
    
    &04 
    LVFCDUM
    BQQMZ
    a
    
    
    
    
    
    G
    TFUUJOHTZBNM
15. Jobを作成 
    DBU
    &04
    
    KPCZBNM
    
    BQJ7FSTJPO
    CBUDIW
    LJOE
    +PC
    NFUBEBUB
    
    
    HFOFSBUF/BNF
    TBNQMFKPC
    
    
    BOOPUBUJPOT
    
    
    
    
    LVFVFYLTJPRVFVFOBNF
    NBJO
    
    RVFVF໊Λࢦఆ
    TQFD
    
    
    QBSBMMFMJTN
    
    
    
    DPNQMFUJPOT
    
    
    
    TVTQFOE
    USVF
    
    USVFʹ͢Δ͜ͱͰ,VFVFͷॲཧର৅ʹ
    
    
    UFNQMBUF
    
    
    
    
    TQFD
    
    
    
    
    
    
    DPOUBJOFST
    
    
    
    
    
    
    
    OBNF
    EVNNZKPC
    
    
    
    
    
    
    
    
    JNBHF
    HDSJPLTTUBHJOHQFSGUFTUTTMFFQMBUFTU
    
    
    
    
    
    
    
    
    BSHT
    <T>
    
    
    
    
    
    
    
    
    SFTPVSDFT
    
    
    
    
    
    
    
    
    
    
    SFRVFTUT
    
    
    
    
    
    
    
    
    
    
    
    
    DQV
    l
    
    
    
    
    
    
    SFTUBSU1PMJDZ
    /FWFS
    &04 
    LVCFDUM
    DSFBUF
    G
    KPCZBNM
    
16. Jobを確認する 
    LVCFDUM
    HFU
    KPC
    P
    ZBNM
    BQJ7FSTJPO
    W
    JUFNT
    
    BQJ7FSTJPO
    CBUDIW
    
    
    LJOE
    +PC
    
    
    NFUBEBUB
    
    
    
    
    BOOPUBUJPOT
    
    
    
    
    
    
    LVFVFYLTJPRVFVFOBNF
    NBJO
    
    
    
    HFOFSBUF/BNF
    TBNQMFKPC
    
    
    
    
    MBCFMT
    
    
    
    
    
    
    DPOUSPMMFSVJE
    GDFDBBGBFGD
    
    
    
    
    
    
    KPCOBNF
    TBNQMFKPCMK
    
    
    
    
    OBNF
    TBNQMFKPCMK
    
    
    
    
    OBNFTQBDF
    EFGBVMU
    
    
    
    
    ʜ
    
    TQFD
    
    TVTQFOE
    USVF͕ফ͑ͯΔ
    
    
    
    
    CBDLP⒎-JNJU
    
    
    
    
    
    DPNQMFUJPOT
    
    
    
    
    
    QBSBMMFMJTN
    
    
    
    
    
    TFMFDUPS
    
    
    
    
    
    
    NBUDI-BCFMT
    
    
    
    
    
    
    
    
    DPOUSPMMFSVJE
    GDFDBBGBFGD
    ʜ
17. Podが起動する 
    LVCFDUM
    HFU
    QPE
    /".&
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    3&"%:
    
    
    45"564
    
    
    
    
    
    3&45"354
    
    
    "(&
    TBNQMFKPCMKKGL
    
    
    
    
    
    
    
    
    $PNQMFUFE
    
    
    
    
    
    
    
    
    
    
    
    
    NT
    TBNQMFKPCMKNGLS
    
    
    
    
    
    
    
    
    $PNQMFUFE
    
    
    
    
    
    
    
    
    
    
    
    
    NT
    TBNQMFKPCMKWONQ
    
    
    
    
    
    
    
    
    $PNQMFUFE
    
    
    
    
    
    
    
    
    
    
    
    
    NT
    
18. デモまとめ ▶ Kueueをインストールする ▶ ResourceFlavor/ClusterQueue/QueueリソースをセットアップするとKueueを利 ⽤する準備が完了 ▶ Jobリソースを以下のように設定して作成するとKueueがJobの スケジューリングを管理 ▶ “kueue.x-k8s.io/queue-name”アノテーションで利⽤するQueueを指定 ▶ .spec.suspend: true に設定してJobを作成 ▶ 後はKueueがClusterQueueなどの設定に応じてJobをスケジューリング (Jobの.spec.suspendをfalseに変更する) ▶ 以下のような仕組みはKubernetesの機能をそのまま利⽤ ▶ Job→Podリソースの作成 ▶ NodeへのPodのスケジューリング
19. まとめ
20. まとめ ▶ Kueueの全体像をデモを交えながら簡単に説明しました ▶ 本当はKueueの実際の実装に即したアーキテクチャなどやClusterQueueの各種機能の紹介 も⾏いたかったのですが、時間の関係で別で⾏えればと思います ▶ MLワークロード扱かったりVolcanoを触ったりしたことないので、ここらへん詳しい⽅ Kueueの印象とか使い勝⼿良さそうかとか教えてください！ ▶ 調査メモ: https://zenn.dev/bells17/scraps/16625963e51d23 ▶ 検証リポジトリ: https://github.com/bells17/tmp/tree/main/kueue-example
21. Thanks / Question? ▶ @bells17 ▶ Slide: https://speakerdeck.com/bells17 ▶ @bells17_