Databricks Free Edition で始めるMLflow

こちらのイベントの資料です。

Databricks無料版で始めるMLflowもくもく会 - connpass https://jedai.connpass.com/event/374212/

使用するノートブック。

taka-yayoi/mlflow_mokumoku https://github.com/taka-yayoi/mlflow_mokumoku

Transcript

1. Databricks Free Edition で始めるMLflow 2025/11/18 Taka Yayoi 1
2. ©2025 Databricks Inc. — All rights reserved ご参加いただきありがとうございます。 まもなくセッションを開始します。 #jedai #databricksでつぶやこう！ 2
3. ©2025 Databricks Inc. — All rights reserved 自己紹介 弥生 隆明 (やよい たかあき) シニア スペシャリスト ソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにお いて、プレセールス、POCに従事 ▪ 生成AI、データエンジニアリング、 アプリが専門領域です。 ▪ 前職はコンサル、総合電機メーカー にてデータ分析・Webサービス構築 などに従事。インド赴任経験あり。 ▪ Databricks Certified (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 3 @taka_aki
4. ©2025 Databricks Inc. — All rights reserved JEDAI 4回目のもくもく会です！ Databricks Free Editionのリリースに よって、気軽にDatabricksの勉強に着 手できるようになりました！ 4
5. ©2025 Databricks Inc. — All rights reserved はじめる前に • もくもく会なので基本的には皆様に「もくもく」とDatabricksに触っ ていただきます。途中退出、途中入場は自由です。 • 途中の質問はZoomのチャットにお願いします。 5
6. 本日のアジェンダ • MLflowとは何か？ • MLflowが解決する課題 • 誕生から現在に至る変遷 • MLflow 3.0の2つのユーザージャーニー • 主要提供機能 • もくもく会 6
7. MLflowとは何か？ 提供する価値 • 実験の完全な追跡と比較 • ワンクリックでのモデル再現 • 統一的なモデル管理とバージョン管理 • プラットフォーム非依存のデプロイ • チーム全体での知見の共有 機械学習ライフサイクル管理プラットフォーム 実験から本番運用までをシームレスに管理するオープンソースツール https://mlflow.org/ 7
8. MLflowが解決する課題 課題 • 実験管理の混乱 • モデルの再現性の欠如 • チーム間での成果物共有の困難さ • 本番環境へのデプロイの煩雑さ • プロンプトの管理困難 • LLM出力の評価が難しい • 複雑なエージェントフローのデバッグ 解決 • 全実験の自動追跡 • 完全な再現可能性 • 統一されたモデルレジストリ • シームレスなデプロイメント • プロンプトレジストリ • 生成AIの評価 • トレース & 可観測性 8
9. 誕生から現在に至る変遷 2018年 誕生期 Databricksによるオープンソース化。従来型ML向けの実験管理 2018-2023 成長期 多様なMLフレームワーク統合、モデルレジストリ充実、数百万ユーザー獲得 2023-2024 生成AI対応 MLflow 2.x系でLLM対応機能追加、プロンプト管理、LLM評価 2025年〜 MLflow 3.0の革新 LoggedModel導入、2つのユーザージャーニー、最新版は3.5.0 (2025年10月) 9
10. MLflow 3.0の2つのユーザージャーニー モデルトレーニング 従来型機械学習・深層学習ワークフロー •実験トラッキング •モデルパッケージング •レジストリ管理 •デプロイメント 生成AIアプリ & エージェント 生成AI特化の開発ワークフロー •生成AI トレーシング •プロンプト管理 •評価フレームワーク •エージェント最適化 ドキュメント構成が刷新され、ユースケースに応じた最適な情報提供を実現 10
11. 主要提供機能：モデルのトレーニング 📊 実験トラッキング • パラメータ、メトリクス、成果物の自動記録 • 実験の比較と可視化 • LoggedModelによる統合管理 📦 モデルレジストリ • モデルのバージョン管理とステージ管理 • Unity Catalogとの統合 • Model Registry Webhooks (3.3.0以降) 🚀 モデルデプロイメント • 複数形式でのエクスポート、REST APIサービス化 11
12. 主要提供機能：生成 AIアプリ & エージェント 🔍 トレーシング • 生成AIアプリケーションの完全な可観測性 • Auto-tracing対応（OpenAI、Claude、Langchain等） • OpenTelemetryメトリクスエクスポート (3.4.0以降) • PII マスキング、TypeScript SDK対応 📈 評価 • 生成AI評価 in OSS (3.3.0以降) • カスタムジャッジAPI (3.4.0以降) • フィードバック追跡、評価データセット管理 12
13. 主要提供機能：生成 AIアプリ & エージェント 💬 プロンプト管理 • プロンプトレジストリ、プロンプト最適化API (3.5.0以降) 🔌 インテグレーション & ツール連携 • MCP Server (3.4.0以降)、Databricks Agent Framework連携 ⚡ 共通基盤機能 • ジョブ実行バックエンド、FastAPI + Uvicorn Server • エクスペリメントタイプ (ML/GenAI自動判別) 13
14. LoggedModel：新しい第一級オブジェクト 主な特徴 • 生成AIエージェント、DLチェックポイント、モデルバリアントを統合管理 • 複数の評価ラウンドに対応 • トレースとメトリクスを一元的にグループ化 • バージョン間の包括的な比較が可能 Run中心 → Model中心へのパラダイムシフト MLflow 3.0で導入された新しいアーキテクチャの核心概念 14
15. そもそもMLflowは Databricksのどこにいるのか？ 15
16. AI/MLエリアの全ての機能の基盤 MLflow自体はオープンソースですが、 より機能リッチなマネージドサービス として提供されています。 16
17. マネージド MLflow vs OSS MLflow MLflowはオープンソースだが、実験やモデルを保存するための ”サーバー ”が必要。 Databricksやいくつかのクラウド（ AWS、Nebuis）ではこのサーバー部分をマネージドで提供。 Databricks Managed Tracking Server Unity Catalog Model Serving Agent Evaluation Lakehous e Monitorin g MLflow Python SDK OSS Tracking Server クライアント SDKは共通 OSS版のサーバーを 自分で立てて管理する Managed (OSS) Tracking Server AWSやNebiusでは同じ機能の サーバーをマネージドで提供 Databricksではマネージドの サーバーだけでなく、他のサービ スとの連携によって、さらにリッチ な機能を提供 17
18. MLflow 3.0で特に影響の大きい部分 Agent Bricksの基盤となる評価および自己改善部分が MLflow 3.0のコアの機能で実装されています。 実験が古典的 MLとGenAIで分離され、トレース・評価・アノテーション セッションなどの GenAI向けの新機能が 3.0で追加されました。 実験のデータ設計が根本的に変更され、データやモデル、実験結果等 をより一元的に管理できるようになりました。 モデル を本番環境にデプロイする際のワークフロー機能が UCに復活しました。 実験データが DBSQLでクエリ・分析できるようになりました。 モデルサービング のマネージドの監視機能が Beta開始されました。 18
19. もくもく会 19
20. 今日のもくもく会 📚 Notebook 1：MLflow基礎編 • LoggedModelを使った実験管理 • パラメータ、メトリクス、モデルのログ • Unity Catalogへの登録 🤖 Notebook 2：生成AIのトレーシング & 評価 • Tracingの基本とAuto-tracing • 生成AI評価の実践 20
21. 今日のもくもく会 ノートブックのインポート手順 • 今日のノートブックは https://github.com/taka-yayoi/mlflow_mokumoku • Gitフォルダーとして取り込みます 21
22. 今日のもくもく会 ノートブックのインポート手順 22
23. 今日のもくもく会 ノートブックのインポート手順 23
24. MLflowのUI 24
25. ノートブックからエクスペリメントにアクセス 詳細画面へ 25
26. エクスペリメントページ 自動判別される エクスペリメント タイプ 26
27. エクスペリメントページ 27
28. エクスペリメントページ 28
29. エクスペリメントページ 29 自動判別される エクスペリメント タイプ
30. ありがとうございました！ 30