Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SPCSでMLflow~初心者によるMLOps事始め~
Search
camay
March 03, 2024
Technology
0
180
SPCSでMLflow ~初心者によるMLOps事始め~
2024/03/01「
Snowpark Container Servicesで解き放つ!データアプリケーションの魔法
」発表スライドです。
camay
March 03, 2024
Tweet
Share
More Decks by camay
See All by camay
Lakebaseを使ったAIエージェントを実装してみる
kameitomohiro
0
300
新卒3年目の後悔〜機械学習モデルジョブの運用を頑張った話〜
kameitomohiro
0
520
SnowflakeとDatabricks両方でRAGを構築してみた
kameitomohiro
1
1.1k
Other Decks in Technology
See All in Technology
AIAgentの限界を超え、 現場を動かすWorkflowAgentの設計と実践
miyatakoji
0
110
いま注目しているデータエンジニアリングの論点
ikkimiyazaki
0
570
全てGoで作るP2P対戦ゲーム入門
ponyo877
3
1.3k
Sidekiq その前に:Webアプリケーションにおける非同期ジョブ設計原則
morihirok
17
7.1k
リーダーになったら未来を語れるようになろう/Speak the Future
sanogemaru
0
240
AI時代だからこそ考える、僕らが本当につくりたいスクラムチーム / A Scrum Team we really want to create in this AI era
takaking22
6
2.8k
Flaky Testへの現実解をGoのプロポーザルから考える | Go Conference 2025
upamune
1
390
バイブコーディングと継続的デプロイメント
nwiizo
2
380
「技術負債にならない・間違えない」 権限管理の設計と実装
naro143
35
10k
Goを使ってTDDを体験しよう!
chiroruxx
1
250
神回のメカニズムと再現方法/Mechanisms and Playbook for Kamikai scrumat2025
moriyuya
4
300
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
11
77k
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
PRO
54
11k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
The Straight Up "How To Draw Better" Workshop
denniskardys
237
140k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Balancing Empowerment & Direction
lara
4
670
The Illustrated Children's Guide to Kubernetes
chrisshort
48
51k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
610
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Transcript
SPCSでMLflow ~初⼼者によるMLOps事始め~ DATUM STUDIO株式会社 ⻲井 友裕 2024/03/01 SnowVillage LT会
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 1
⾃⼰紹介 #⼤阪 #RADWIMPS #ライブ #カラオケ #服 #ビール #スノボ #YouTube #オモコロ #vtuber ⻲井 友裕 会社 DATUMSTUDIO株式会社 部署 データエンジニア部 データエンジニア1G 業務経験 データパイプライン、MLパイプラインの開発 データ抽出など 資格 SnowPro Core: Certification SnowPro Advanced: Data Scientist
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 2
MLOpsって何︖ 機械学習を実環境に導⼊するツールのセットやベストプラクティスのこと。SnowflakeでもMLOpsの機能が 続々と提供され始めいています︕ 2023年11⽉の公式ブログより引⽤
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 3
今回やりたいこと 1. JupyterLabコンテナ上で、Snowflake上のデータを使って機械学習モデルを作成 2. 実験の情報をMLflowコンテナに送信(→内部ステージに保存されます) 3. 作成したモデルをMLflow Model Registryに送信(→内部ステージに保存されます) 4. MLflow Model Registryからモデルをデプロイ MLflow(OSSのPython MLOpsツール) と JupyterLabのサーバを⽴ち上げて、Snowflake上に閉 じたリソースで機械学習の実験管理、デプロイをしてみます。 ②, ③ Volume 内部 ステージ コンテナ ① ④ コンテナ 環境構築については記事を書いてますので、以下を参照ください • Snowpark Container ServiceでMLflowサーバーを⽴ち上げる • Snowpark Container ServicesでJupyterLabとMLflowを⽴ち上げてML実験管理をしてみる
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. デモ
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 5
感想 • 実験結果がいい感じのUIで⾒られるのが嬉しい • Snowpark Model Registoryでもタグ付けなどができるが、UIでの確認ができない • Snowflake MLの諸機能との相性が(現時点だと)良くない • Snowpark ML Modeling • 作成した機械学習モデルを、MLflow Model Registryに格納できない • Snowpark Model Registory • SPCSへのモデルのデプロイができない(PrPrの⽅だとできるらしい) • (本アプリケーションが果たす役割に⽐較して)ちょっと⾼い…かも︖ • 今回の構成のサービスを1⽇中つけっぱなしで、Compute Pool費⽤だけで2.6クレジット/⽇ (最⼩サイズを使⽤) • ⼀ヶ⽉つけっぱなしだとざっくり5~6万円くらい • Snowflake謹製のUI付き実験管理機能が待ち遠しいですね︕
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. EOF