SPCSでMLflow ~初心者によるMLOps事始め~

2024/03/01「Snowpark Container Servicesで解き放つ！データアプリケーションの魔法」発表スライドです。

Transcript

1. SPCSでMLflow ~初⼼者によるMLOps事始め~ DATUM STUDIO株式会社 ⻲井 友裕 2024/03/01 SnowVillage LT会
2. © 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 1 ⾃⼰紹介 #⼤阪 #RADWIMPS #ライブ #カラオケ #服 #ビール #スノボ #YouTube #オモコロ #vtuber ⻲井 友裕 会社 DATUMSTUDIO株式会社 部署 データエンジニア部 データエンジニア1G 業務経験 データパイプライン、MLパイプラインの開発 データ抽出など 資格 SnowPro Core: Certification SnowPro Advanced: Data Scientist
3. © 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 2 MLOpsって何︖ 機械学習を実環境に導⼊するツールのセットやベストプラクティスのこと。SnowflakeでもMLOpsの機能が 続々と提供され始めいています︕ 2023年11⽉の公式ブログより引⽤
4. © 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 3 今回やりたいこと 1. JupyterLabコンテナ上で、Snowflake上のデータを使って機械学習モデルを作成 2. 実験の情報をMLflowコンテナに送信（→内部ステージに保存されます） 3. 作成したモデルをMLflow Model Registryに送信（→内部ステージに保存されます） 4. MLflow Model Registryからモデルをデプロイ MLflow（OSSのPython MLOpsツール） と JupyterLabのサーバを⽴ち上げて、Snowflake上に閉 じたリソースで機械学習の実験管理、デプロイをしてみます。 ②, ③ Volume 内部 ステージ コンテナ ① ④ コンテナ 環境構築については記事を書いてますので、以下を参照ください • Snowpark Container ServiceでMLflowサーバーを⽴ち上げる • Snowpark Container ServicesでJupyterLabとMLflowを⽴ち上げてML実験管理をしてみる
5. © 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. デモ
6. © 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. 5 感想 • 実験結果がいい感じのUIで⾒られるのが嬉しい • Snowpark Model Registoryでもタグ付けなどができるが、UIでの確認ができない • Snowflake MLの諸機能との相性が（現時点だと）良くない • Snowpark ML Modeling • 作成した機械学習モデルを、MLflow Model Registryに格納できない • Snowpark Model Registory • SPCSへのモデルのデプロイができない（PrPrの⽅だとできるらしい） • (本アプリケーションが果たす役割に⽐較して)ちょっと⾼い…かも︖ • 今回の構成のサービスを１⽇中つけっぱなしで、Compute Pool費⽤だけで2.6クレジット/⽇ (最⼩サイズを使⽤) • ⼀ヶ⽉つけっぱなしだとざっくり5~6万円くらい • Snowflake謹製のUI付き実験管理機能が待ち遠しいですね︕
7. © 2024 DATUM STUDIO Co. Ltd. PROPRIETARY & CONFIDENTIAL. EOF