Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SPCSでMLflow~初心者によるMLOps事始め~
Search
camay
March 03, 2024
Technology
0
180
SPCSでMLflow ~初心者によるMLOps事始め~
2024/03/01「
Snowpark Container Servicesで解き放つ!データアプリケーションの魔法
」発表スライドです。
camay
March 03, 2024
Tweet
Share
More Decks by camay
See All by camay
Databricks AI/BI Genie の「値ディクショナリー」をAmazonの奥地(S3)まで見に行く
kameitomohiro
1
410
Lakebaseを使ったAIエージェントを実装してみる
kameitomohiro
0
320
新卒3年目の後悔〜機械学習モデルジョブの運用を頑張った話〜
kameitomohiro
0
530
SnowflakeとDatabricks両方でRAGを構築してみた
kameitomohiro
1
1.2k
Other Decks in Technology
See All in Technology
QA業務を変える(!?)AIを併用した不具合分析の実践
ma2ri
0
150
Okta Identity Governanceで実現する最小権限の原則 / Implementing the Principle of Least Privilege with Okta Identity Governance
tatsumin39
0
170
Dify on AWS 環境構築手順
yosse95ai
0
140
ViteとTypeScriptのProject Referencesで 大規模モノレポのUIカタログのリリースサイクルを高速化する
shuta13
3
210
OSSで50の競合と戦うためにやったこと
yamadashy
3
990
プロダクト開発と社内データ活用での、BI×AIの現在地 / Data_Findy
sansan_randd
0
190
会社を支える Pythonという言語戦略 ~なぜPythonを主要言語にしているのか?~
curekoshimizu
3
810
From Natural Language to K8s Operations: The MCP Architecture and Practice of kubectl-ai
appleboy
0
230
個人でデジタル庁の デザインシステムをVue.jsで 作っている話
nishiharatsubasa
3
5.1k
入院医療費算定業務をAIで支援する:包括医療費支払い制度とDPCコーディング (公開版)
hagino3000
0
110
Linux カーネルが支えるコンテナの仕組み / LF Japan Community Days 2025 Osaka
tenforward
1
130
Azure Well-Architected Framework入門
tomokusaba
1
130
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
34
2.3k
Site-Speed That Sticks
csswizardry
13
930
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.6k
Optimizing for Happiness
mojombo
379
70k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3k
A Modern Web Designer's Workflow
chriscoyier
697
190k
What’s in a name? Adding method to the madness
productmarketing
PRO
24
3.7k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
640
Speed Design
sergeychernyshev
32
1.2k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Optimising Largest Contentful Paint
csswizardry
37
3.5k
Navigating Team Friction
lara
190
15k
Transcript
SPCSでMLflow ~初⼼者によるMLOps事始め~ DATUM STUDIO株式会社 ⻲井 友裕 2024/03/01 SnowVillage LT会
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 1
⾃⼰紹介 #⼤阪 #RADWIMPS #ライブ #カラオケ #服 #ビール #スノボ #YouTube #オモコロ #vtuber ⻲井 友裕 会社 DATUMSTUDIO株式会社 部署 データエンジニア部 データエンジニア1G 業務経験 データパイプライン、MLパイプラインの開発 データ抽出など 資格 SnowPro Core: Certification SnowPro Advanced: Data Scientist
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 2
MLOpsって何︖ 機械学習を実環境に導⼊するツールのセットやベストプラクティスのこと。SnowflakeでもMLOpsの機能が 続々と提供され始めいています︕ 2023年11⽉の公式ブログより引⽤
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 3
今回やりたいこと 1. JupyterLabコンテナ上で、Snowflake上のデータを使って機械学習モデルを作成 2. 実験の情報をMLflowコンテナに送信(→内部ステージに保存されます) 3. 作成したモデルをMLflow Model Registryに送信(→内部ステージに保存されます) 4. MLflow Model Registryからモデルをデプロイ MLflow(OSSのPython MLOpsツール) と JupyterLabのサーバを⽴ち上げて、Snowflake上に閉 じたリソースで機械学習の実験管理、デプロイをしてみます。 ②, ③ Volume 内部 ステージ コンテナ ① ④ コンテナ 環境構築については記事を書いてますので、以下を参照ください • Snowpark Container ServiceでMLflowサーバーを⽴ち上げる • Snowpark Container ServicesでJupyterLabとMLflowを⽴ち上げてML実験管理をしてみる
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. デモ
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 5
感想 • 実験結果がいい感じのUIで⾒られるのが嬉しい • Snowpark Model Registoryでもタグ付けなどができるが、UIでの確認ができない • Snowflake MLの諸機能との相性が(現時点だと)良くない • Snowpark ML Modeling • 作成した機械学習モデルを、MLflow Model Registryに格納できない • Snowpark Model Registory • SPCSへのモデルのデプロイができない(PrPrの⽅だとできるらしい) • (本アプリケーションが果たす役割に⽐較して)ちょっと⾼い…かも︖ • 今回の構成のサービスを1⽇中つけっぱなしで、Compute Pool費⽤だけで2.6クレジット/⽇ (最⼩サイズを使⽤) • ⼀ヶ⽉つけっぱなしだとざっくり5~6万円くらい • Snowflake謹製のUI付き実験管理機能が待ち遠しいですね︕
© 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. EOF