Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
machine learning with rancher and K8s on prem
Search
@ジュジュ
May 15, 2019
Technology
5
430
machine learning with rancher and K8s on prem
@ジュジュ
May 15, 2019
Tweet
Share
More Decks by @ジュジュ
See All by @ジュジュ
チーム分割においていかれたアラートをチームで責任を持てる形に再設計した
juju62q
0
120
ボトムアップでSLOを導入 2年半運用して分かった失敗と変化
juju62q
2
980
Firecracker Snapshottingを調べてみた
juju62q
1
540
SLOを活用した技術的改善
juju62q
10
9.8k
IAM Role for Pods and Instance Meta Data Service
juju62q
1
1.5k
telepresence handson
juju62q
2
4.9k
Wanna Use Vitess in Orientation
juju62q
6
1.3k
docker-handson-for-researcher
juju62q
3
300
Getting Started to CRIU
juju62q
0
110
Other Decks in Technology
See All in Technology
20250328_OpenAI製DeepResearchは既に一種のAGIだと思う話
doradora09
PRO
0
150
Restarting_SRE_Road_to_SRENext_.pdf
_awache
0
150
ソフトウェア開発におけるインターフェイスという考え方 / PHPerKaigi 2025
k1low
9
3.9k
一人QA時代が終わり、 QAチームが立ち上がった話
ma_cho29
0
280
非エンジニアにも伝えるメールセキュリティ / Email security for non-engineers
ykanoh
13
3.8k
数百台のオンプレミスのサーバーをEKSに移行した話
yukiteraoka
0
630
製造業の会計システムをDDDで開発した話
caddi_eng
3
910
Proxmox VE超入門 〜 無料で作れるご自宅仮想化プラットフォームブックマークする
devops_vtj
0
110
ペアプログラミングにQAが加わった!職能を超えたモブプログラミングの事例と学び
tonionagauzzi
1
130
技術好きなエンジニアが _リーダーへの進化_ によって得たものと失ったもの / The Gains and Losses of a Tech-Enthusiast Engineer’s “Evolution into Leadership”
kaminashi
0
200
Tirez profit de Messenger pour améliorer votre architecture
tucksaun
1
120
ソフトウェアプロジェクトの成功率が上がらない原因-「社会価値を考える」ということ-
ytanaka5569
0
120
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Visualization
eitanlees
146
15k
4 Signs Your Business is Dying
shpigford
183
22k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
118
51k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.3k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
8
700
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
The Cost Of JavaScript in 2023
addyosmani
48
7.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
102
18k
Producing Creativity
orderedlist
PRO
344
40k
Building Adaptive Systems
keathley
41
2.5k
Transcript
オンプレK8s & Rancher で作る機械学習基盤 2019/05/15 RancherMeetupDeepDive#1@LINE株式会社 岡野兼也
$ whoami name: - 岡野兼也 - @ジュジュ belonging: - CyberAgent
- OpenSaaS Studio role: - Backend Engineer - ほうれん草 エバンジェリスト interest: - CloudNative - DevOps dream: - 働かないこと hobbies: - 登山 - キャンプ 2
注意事項 今回の発表は入社前に株式会社キスモで やっていた内容です 3
お話しすること 1. MLOpsと目指した機械学習基盤 2. Rancherを使って作った機械学習基盤概要 3. なんで機械学習をオンプレで? 4. なんでRancherを? 4
お話しすること 1. MLOpsと目指した機械学習基盤 2. Rancherを使って作った機械学習基盤概要 3. なんで機械学習をオンプレで? 4. なんでRancherを? 5
機械学習の成果がユーザに届くまで 6 Data Collect Compute Delivery リソースを用意して学習 Webサービスや エッジデバイスからデータ収集 システムに組み込んで
ユーザに届ける
データサイエンティストがやりたいところ 7 Data Collect Compute Delivery - どんなデータを集めるか - どういう手法でモデルを作るか
データサイエンティストは専門職 8 - データについての圧倒的知識 - 普段追いかけているのは新たな統計的な手法など - 必ずしもweb技術、エンジニアリングに明るくなくても インパクトを出せる
データサイエンティストがやるべき 9 Data Collect Compute Delivery データサイエンスに注力してもらう それ以外はどうする???
MLOps Machine Learning + Operation DevOpsよろしく機械学習を効率的に利用できるようにする おそらく、会社の数だけ実態がある 10
MLOps 11 Data Collect Compute Delivery データサイエンスで生まれる価値をシームレスにユーザに届ける Fluentd BigQuery Kubernetes
Rekcurd SagerMaker Kubeflow etc etc etc etc
データサイエンティストが データサイエンスだけをしても ユーザに価値が届く仕組みを作る 12
MLOps 13 Data Collect Compute Delivery データサイエンスで生まれる価値をシームレスにユーザに届ける 今日話す部分
お話しすること 1. MLOpsと目指した機械学習基盤 2. Rancherを使って作った機械学習基盤概要 3. なんで機械学習をオンプレで? 4. なんでRancherを? 14
機械学習基盤の概要図 15
機械学習基盤の概要図 16 Jujuで必要なミドルウェアをパッケージング MAASで作られたイメージをマシンに展開
機械学習基盤の概要図 17 RKEでクラスタ作る GPUの管理コンテナをDaemonSetで展開 Rancherの展開
機械学習基盤の概要図 18 学習はJupyterやコンテナの中にexecして実行 リソース管理はK8sにお任せ
お話しすること 1. MLOpsと目指した機械学習基盤 2. Rancherを使って作った機械学習基盤概要 3. なんで機械学習をオンプレで? 4. なんでRancherを? 19
時代はクラウド全盛 • 数多くのマネージドサービス • 高い信頼性を誇るストレージ • 必要な時に必要な分のリソースを利用可能 • 課金対象も使った分だけ •
世界展開も容易 20
機械学習とクラウドの相性は? • 機械学習するときだけ高価なインスタンスを立てられる • SageMaker, Google Cloud ML Engineというような学習 からデプロイまで一気通貫に行うサービス
• 高機能なストレージサービスとも容易に連携 • 推論モデルのバージョン管理も簡単 21
なぜオンプレか 22
機械学習とクラウドの相性は? • 機械学習するときだけ高価なインスタンスを立てられる • SageMaker, Google Cloud ML Engineというような学習 からデプロイまで一気通貫に行うサービス
• 高機能なストレージサービスとも容易に連携 • 推論モデルのバージョン管理も簡単 23 精度の高いモデルを作るために、 機械学習リソースは常に必要になる場合もある
高い精度で高い生産性を出すには • データサイエンティストが数多くの引き出しを持っている • 類似の学習の経験がある 24 データサイエンティストが常に 様々なデータの解析を行うことで結果的に 早く、高い精度のモデルを作ることができる
どう経験を増やす? 25
Kaggle • 主に機械学習を利用したデータ分析の世界大会が 行われるプラットフォーム • 与えられたデータをもとに少しでも高い精度が出せる ように世界中のデータサイエンティストが研鑽している • 高い精度を目指して様々な話し合いが行われている 26
キスモでの機械学習の状況 • Kaggleは業務の一環 • スケールの設定してもほぼ常に業務かKaggleで リソース上限を利用した学習が回り続ける 27 • 機械学習するときだけ高価なインスタンスを立てられる というメリットの消失
• クラウドのメリットが価格面でのコストを下回ると判断
あるKaggler(キスモ役員)の名言 28
29 オフィスに来るなら広瀬すずより 計算資源がいい あるKaggler(キスモ役員)の名言
30 < あるKaggler(キスモ役員)の名言 これほどリソースが常に求められる
お話しすること 1. MLOpsと目指した機械学習基盤 2. Rancherを使って作った機械学習基盤概要 3. なんで機械学習をオンプレで? 4. なんでRancherを? 31
機械学習基盤を導入した結果 • 嬉しいこと ◦ データサイエンティストが空きリソース、 動作中の学習などを意識することがへった ◦ コンテナ化によって変化に強くなった ◦ 学習単位がマシンに縛られなくなった
• 嬉しくないこと ◦ データサイエンティストがK8sやらないといけない ◦ データの扱い面倒臭い 32
機械学習基盤を導入した結果 • 嬉しいこと ◦ データサイエンティストが空きリソース、 動作中の学習などを意識することがへった ◦ コンテナ化によって変化に強くなった ◦ 学習単位がマシンに縛られなくなった
• 嬉しくないこと ◦ データサイエンティストがK8sやらないといけない ◦ データの扱い面倒臭い 33 データサイエンスだけ すればいい世界との落差
Kubernetesを直感的に使うには…? • GUIを使う ◦ Rancherを使った時にK8sへの初期の嫌悪感がかなり 減った • kubectlをラップする ◦ CUIから使った方が効率的なケースもある
◦ リソースを管理して学習支援 34
まとめ • RancherやK8sを使ってCompute Resourceをリソース プールとして扱う • データサイエンティストの尖った部分の穴埋めをMLOps で補い、完成度の高いモデルをいち早くユーザに届ける • データサイエンティストの研鑽の手助けをして、届ける
価値を最大化する • なるべくアレルギーの出なさそうな方法を話し合いなが ら考えると良い 35
36 https://opensaas.studio OpenSaaS Studioでは開かれた文化で サービスと寄り添ってプロダクトを 作りたい人を募集しています!