Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2022-01-29 KServe概要@機械学習の社会実装勉強会
Search
Naka Masato
January 29, 2022
Technology
0
900
2022-01-29 KServe概要@機械学習の社会実装勉強会
1. KServe概要
2. KServeのコンポーネント
3. KServeのアーキテクチャ
4. QuickStartの紹介
5. SklearnServerの仕組み紹介
Naka Masato
January 29, 2022
Tweet
Share
More Decks by Naka Masato
See All by Naka Masato
2025-01-26 Platform EngineeringがあればSREはいらない!? 新時代のSREに求められる役割とは@SREKaigi 2025
nakamasato
0
47
2025-01-25 Devin.aiを使ってみた使用感@機械学習社会実装勉強会第43回
nakamasato
0
460
2024-07-11 Mercari Hallo 立ち上げ時のSRE
nakamasato
2
580
2024-07-03 Eliminating toil with LLM
nakamasato
1
230
2024-05-25LangChain Agentの仕組み@機械学習社会実装勉強会第35回
nakamasato
0
310
2022-06-18 Ray Trainの紹介@機械学習の社会実装勉強会第12回
nakamasato
0
220
Ray Serve@機械学習の社会実装勉強会第11回
nakamasato
0
630
2022-04-29 Ray紹介@機械学習の社会実装勉強会
nakamasato
0
270
2022-03-26 TensorFlow Parameter Server Training紹介@機械学習の社会実装勉強会
nakamasato
0
170
Other Decks in Technology
See All in Technology
PHPからはじめるコンピュータアーキテクチャ / From Scripts to Silicon: A Journey Through the Layers of Computing
tomzoh
2
150
衛星運用をソフトウェアエンジニアに依頼したときにできあがるもの
sankichi92
1
1.1k
ABEMAの本番環境負荷試験への挑戦
mk2taiga
5
1.3k
QAを早期に巻き込む”って どうやるの? モヤモヤから抜け出す実践知
moritamasami
2
100
Talk to Someone At Delta Airlines™️ USA Contact Numbers
travelcarecenter
0
160
〜『世界中の家族のこころのインフラ』を目指して”次の10年”へ〜 SREが導いたグローバルサービスの信頼性向上戦略とその舞台裏 / Towards the Next Decade: Enhancing Global Service Reliability
kohbis
3
1.5k
AIエージェントが書くのなら直接CloudFormationを書かせればいいじゃないですか何故AWS CDKを使う必要があるのさ
watany
19
7.6k
Digitization部 紹介資料
sansan33
PRO
1
4.5k
「Chatwork」のEKS環境を支えるhelmfileを使用したマニフェスト管理術
hanayo04
1
410
Data Engineering Study#30 LT資料
tetsuroito
1
270
「現場で活躍するAIエージェント」を実現するチームと開発プロセス
tkikuchi1002
4
510
LLM拡張解体新書/llm-extension-deep-dive
oracle4engineer
PRO
24
6.5k
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Raft: Consensus for Rubyists
vanstee
140
7k
Rails Girls Zürich Keynote
gr2m
95
14k
Being A Developer After 40
akosma
90
590k
4 Signs Your Business is Dying
shpigford
184
22k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Gamification - CAS2011
davidbonilla
81
5.4k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Transcript
KServe概要 2022/01/29 Naka Masato
自己紹介 名前 那珂将人 経歴 • アルゴリズムエンジニアとしてレコメンドエンジン開発 • インフラ基盤整備 GitHub: https://github.com/nakamasato
Twitter: https://twitter.com/gymnstcs
コンテンツ • KServe 概要 • KServe アーキテクチャ • QuickStart •
SKlearnServer の仕組みの紹介
KServeとは ML model を本番環境へのデプロイと監視に関するチャレンジを解消するために作られ たモデル推論プラットフォーム Highly scalable and standards based
Model Inference Platform on Kubernetes for Trusted API.
KServeの特徴 1. Kubernetes の CustomResourceDefinition を 使ってモデルのサービングを管理 2. Kubernetes の機能を駆使して
ML モデルデ プロイ・管理の問題を解決 a. デプロイ b. モニタリング c. スケール 3. さまざまな ML ライブラリのモデルをサポート 🔺複雑に見えて、初心者にはとっつきにくい ! https://kserve.github.io/website/master/
1. KServe: CRD によってサービングしたいモデルを記述して作成する 2. Knative: オートスケーリング、バージョン管理、 Routing など全部やってくれるパック 3.
Istio: Microservices の可観測性、トラッフィク管理、セキュリティをコード変更なしで実 現 4. Cert Manager: TLS の certificate を管理 KServeで使われているコンポーネント KServce Knative Istio Cert Manager Serving するもの を定義 残りは、いろんなコンポーネントがうまく Deploy 管理、トラフィック管理、スケー リング、モニタリング、セキュリティなどをやってくれる Pod gateway
Control Planeのアーキテクチャ https://kserve.github.io/website/master/modelserving/control_plane/ 超複雑!
Control Planeのアーキテクチャ https://kserve.github.io/website/master/modelserving/control_plane/ 2. KServing の Controller が Knative を
通じて Deployment を作成 3. Pod が Deployment によって作成さ れます 4. AI app からのトラフィックは Transformer → Predictor 1. CustomResource の InferenceService を作成
QuickStart Prerequisite 1. Kubernetes Cluster Install Create InferenceService Check curl
-s "https://raw.githubusercontent.com/kserve/kserve/release-0.7/hack/quick_install.sh" | bash kubectl create ns kserve-test kubectl apply -f sklearn-inference-service.yaml -n kserve-test https://kserve.github.io/website/master/get_started/ curl -H "Host: ${SERVICE_HOSTNAME}" http://$INGRESS_HOST:$INGRESS_PORT/v1/models/sklearn-iris:predict -d @./data/iris-input.json
SKLearn Serverについて scikit-learn server は、 serving Scikit-learn models の実装になります https://github.com/kserve/kserve/tree/master/python/sklearnserver
sklearnserver というのが実装してあり、ローカルや s3 にある sklearn model を指定してサー ビング https://github.com/kserve/kserve/blob/master/python/sklearnserver/sklearnserver/__main__.py
SKLearn Serverについて SKLearnModel には 以下のメソッドが実装されている 1. load 2. predict
SKLearn Serverについて KServe で動かした QuickStart は、こちらがコンテナで動いていた ローカルで動かす場合は、以下のようにできる 1. モデルのファイルを準備 2.
sklearnserver を起動 3. client からアクセス python -m sklearnserver --model_dir ./ --model_name svm
まとめ 1. KServe を紹介 2. KServe の各コンポーネントの大まかな役割を紹介 3. KServe の
QuickStart を紹介 4. KServe の SKlearn Server がどのように作られているかを紹介