Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SPCSでMLflow~初心者によるMLOps事始め~
Search
camay
March 03, 2024
Technology
0
140
SPCSでMLflow ~初心者によるMLOps事始め~
2024/03/01「
Snowpark Container Servicesで解き放つ!データアプリケーションの魔法
」発表スライドです。
camay
March 03, 2024
Tweet
Share
More Decks by camay
See All by camay
新卒3年目の後悔〜機械学習モデルジョブの運用を頑張った話〜
kameitomohiro
0
410
SnowflakeとDatabricks両方でRAGを構築してみた
kameitomohiro
1
790
Other Decks in Technology
See All in Technology
GeminiとNotebookLMによる金融実務の業務革新
abenben
0
220
プロダクトエンジニアリング組織への歩み、その現在地 / Our journey to becoming a product engineering organization
hiro_torii
0
130
「Chatwork」の認証基盤の移行とログ活用によるプロダクト改善
kubell_hr
1
140
実践! AIエージェント導入記
1mono2prod
0
160
MySQL5.6から8.4へ 戦いの記録
kyoshidaxx
1
190
Node-RED × MCP 勉強会 vol.1
1ftseabass
PRO
0
140
Абьюзим random_bytes(). Фёдор Кулаков, разработчик Lamoda Tech
lamodatech
0
330
フィンテック養成勉強会#54
finengine
0
170
BrainPadプログラミングコンテスト記念LT会2025_社内イベント&問題解説
brainpadpr
1
160
AIの最新技術&テーマをつまんで紹介&フリートークするシリーズ #1 量子機械学習の入門
tkhresk
0
130
Oracle Cloud Infrastructure:2025年6月度サービス・アップデート
oracle4engineer
PRO
2
230
Javaで作る RAGを活用した Q&Aアプリケーション
recruitengineers
PRO
1
100
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
42
7.5k
Visualization
eitanlees
146
16k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Producing Creativity
orderedlist
PRO
346
40k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
A Modern Web Designer's Workflow
chriscoyier
694
190k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.8k
Unsuck your backbone
ammeep
671
58k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
The World Runs on Bad Software
bkeepers
PRO
69
11k
Transcript
SPCSでMLflow ~初⼼者によるMLOps事始め~ DATUM STUDIO株式会社 ⻲井 友裕 2024/03/01 SnowVillage LT会
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 1
⾃⼰紹介 #⼤阪 #RADWIMPS #ライブ #カラオケ #服 #ビール #スノボ #YouTube #オモコロ #vtuber ⻲井 友裕 会社 DATUMSTUDIO株式会社 部署 データエンジニア部 データエンジニア1G 業務経験 データパイプライン、MLパイプラインの開発 データ抽出など 資格 SnowPro Core: Certification SnowPro Advanced: Data Scientist
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 2
MLOpsって何︖ 機械学習を実環境に導⼊するツールのセットやベストプラクティスのこと。SnowflakeでもMLOpsの機能が 続々と提供され始めいています︕ 2023年11⽉の公式ブログより引⽤
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 3
今回やりたいこと 1. JupyterLabコンテナ上で、Snowflake上のデータを使って機械学習モデルを作成 2. 実験の情報をMLflowコンテナに送信(→内部ステージに保存されます) 3. 作成したモデルをMLflow Model Registryに送信(→内部ステージに保存されます) 4. MLflow Model Registryからモデルをデプロイ MLflow(OSSのPython MLOpsツール) と JupyterLabのサーバを⽴ち上げて、Snowflake上に閉 じたリソースで機械学習の実験管理、デプロイをしてみます。 ②, ③ Volume 内部 ステージ コンテナ ① ④ コンテナ 環境構築については記事を書いてますので、以下を参照ください • Snowpark Container ServiceでMLflowサーバーを⽴ち上げる • Snowpark Container ServicesでJupyterLabとMLflowを⽴ち上げてML実験管理をしてみる
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. デモ
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 5
感想 • 実験結果がいい感じのUIで⾒られるのが嬉しい • Snowpark Model Registoryでもタグ付けなどができるが、UIでの確認ができない • Snowflake MLの諸機能との相性が(現時点だと)良くない • Snowpark ML Modeling • 作成した機械学習モデルを、MLflow Model Registryに格納できない • Snowpark Model Registory • SPCSへのモデルのデプロイができない(PrPrの⽅だとできるらしい) • (本アプリケーションが果たす役割に⽐較して)ちょっと⾼い…かも︖ • 今回の構成のサービスを1⽇中つけっぱなしで、Compute Pool費⽤だけで2.6クレジット/⽇ (最⼩サイズを使⽤) • ⼀ヶ⽉つけっぱなしだとざっくり5~6万円くらい • Snowflake謹製のUI付き実験管理機能が待ち遠しいですね︕
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. EOF