Share
Embed
Transcript
61 slides
-
自己紹介 Yuki Watanabe Harutaka Kawamura 2023年10月にML OSSチームに参加 前職ではMLチームのSDE 趣味:テニス・イラスト 2019年に
MLflow にコントリビュートし始める 2020年に Databricks に入社 趣味:韓国語(初心者) -
MLflowとは • 2018年にDatabricks CTOのMatei ZahariaがUC Berkeleyの研究室と 連携して開発した実験管理ツール • Linux Foundationに参画しているオープンソースツール
• 機能開発や運用は我々DatabricksのMLOpsチームが主導 -
Classical ML Deep Learning GenAI / LLM 昨年の統計では 45%くらいがDL/GenAIで半 数以上がClassical
MLでした 2024年では回答者の 80%がDL/GenAI の開発でmlflowを使っているという結果に -
従来のMLOps Configuration Data Collection Feature Extraction ML Code Data Verification
Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring Hidden Technical Debt in Machine Learning Systems -
従来のMLOps Configuration Data Collection Feature Extraction ML Code Data Verification
Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring Hidden Technical Debt in Machine Learning Systems MLモデルはブラックボックスな f(x) -> y 周りを堅牢にすることで MLシステム全体をReliableに データの検証 Feature Store 実験管理 モデルレジストリ 推論サービス Data Drift -
従来のMLでは、単体のモ デルが単体の推論でタス クを解く Compound AI Systemでは複 数のモデルやコンポーネントが連 携してタスクを解く The Shift
from Models to Compound AI Systems -
LLM時代のMLOps Configuration Data Collection Feature Extraction Data Verification Machine Resource
Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring Hidden Technical Debt in Machine Learning Systems Compound AI System -
MLとSWEの境界はより曖昧に データサイエンティスト ソフトウェアエンジニア ノートブック上で柔軟なEDA やモデルの学習・評価を行 う. 実験の設定や成果物は MLflowのような実験 管理ツールで管理・共有 本番システムのデータパイ
プラインや推論システムは Gitでバージョン管理 TerraformやCDKのような IaCを用いてインフラもGit 管理するのが一般的 これまでのML開発では、モデルの重みファイルを通じてデータサイエンティストから MLE/SWEへの 橋渡しが行われることが一般的だった. -
MLとSWEの境界はより曖昧に データサイエンティスト ソフトウェアエンジニア Compound AI System プロンプト ツール ナレッジ LLM
実験の成果物は単一の重み ではなく、複数ファイルの コードやデータに跨る.効率 的なバージョン管理や共有 方法が欲しい. Compoundシステムの構成要 素はノートブック上では 完結できないことが多い. 🤔 🤔 全てをGit管理したいところだ が、適切なパッケージ粒度と柔 軟性を保つのは難しい.また非 Engにとっては障壁になりうる. 🤔 ナレッジやプロンプトの変更を GitベースでCI/CDに組み込む のは未だに大変. 🤔 Compound AI Systemの開発では、モデル設計の段階からソフトウェアとして開発を進める必要がある. 一方でコード以外の動的なコンポーネントが多く、単純な Git管理では効率が悪い. -
MLとSWEの境界はより曖昧に 現状では、それぞれのコンポーネントに対して別々の解決策がある状態. プロンプト管理 ツール管理 基盤モデル管理 Prompt Registry ナレッジ管理 AI Gateway
全部UIでやっちゃおう 全てをE2Eで完璧に管理できるツールはない 複数ツールを横断してアクセスやバージョンを 管理できるようなLineageが必要 -
モデルの評価は高コストかつ不確実に データセットの作成 評価指標 評価候補の多さ 解決したい問題がより複雑かつ専門的になり、データセットの作成コストは上 昇。Contractorやクラウドソーシングでは簡単に解決できない。 現状LLMが対象としている問題はほとんど定性的評価が欠かせない。評価の 基準はビジネスによって様々なので、リーダーボードは参考になるが評価基準
としては使えない。 システムの各コンポーネントを入れ替えたり構成を変えることで無限に評価候 補が作れる。一度最善の方法を決めても、毎週のように新しい LLMや手法が 発表される。 -
モデルの評価は高コストかつ不確実に データセットの作成 評価指標 評価候補の多さ 現実的なデータを得るために、オフライン評価に見切りをつけて いち早くProductionデータを収集する方針の企業も多い. LLM-as-a-Judgeはビジネス目標に合った柔軟な評価指標を、スケーラブ ルな方法で評価できるため有用.ただし信頼性やバイアスの問題もあり、それ
だけに完全に頼ることは難しい. 推論全体の入出力を評価するだけでなく、各 コンポーネントごとに評価 して小 さな改善サイクルを回す.また簡単にコンポーネントを入れ替えられるよう Modularに設計することも重要。 -
データ分布からソフトウェアとしての監視へ Compound AI Systemではソフトウェアとして監視する必要がある • 全体の入出力データのみでは何が悪いか特定で きない. • 入力データが変わらなければ出力も変わらないだ ろう」という前提も怪しい
• 個別のコンポーネントに対して、性能および非機 能の指標を計測して、改善する必要がある -
Quiz: ライブラリ別のドキュメント訪 問者数のランキング 1. LangChain 2. OpenAI 3. LangGraph 4.
??? 5. Amazon Bedrock MLflow Tracing 9ヶ月間で17個のライブラリ への自動トレーシングが可 能になりました。 1 2 3 5 4 ? -
Quiz: ライブラリ別のドキュメント訪 問者数のランキング 1. LangChain 2. OpenAI 3. LangGraph 4.
CrewAI 5. Amazon Bedrock MLflow Tracing 9ヶ月間で17個のライブラリ への自動トレーシングが可 能になりました。 1 2 3 5 4 -
MLflow Tracing • トレースした結果はMLflow Experiment に保存されます. • Runに自動で紐付けされるので、 モデル評価結果からトレースに 辿って原因を探ることも
• Databricks / Jupyter Notebook 内に直接表示できます! (別タブを開いてリストの中から該当 するトレースを探してという手間なし) -
36 MLflow Tracing、無料で使えます • MLflowのTracking Serverを自分で立てている場合、もちろん料金はかかり ま せん. • DatabricksではManaged
MLflowも無料です. ◦ ”Why the heck is LLM observation and management tools so expensive?” (なんでLLMの監視ツールはこんなに高いの ?) MLflow Tracing -
37 MLflow Tracing • トレースを元にモデルの Performanceや Latency、コストを評価・監視することが できます. • →はつい先週発表された
Databricksの Agent Monitoringという機能で、MLflow のトレースを元にダッシュボードを簡単に 作成できます。 • Databricks / Jupyter Notebook 内に直接表示できます! (別タブを開いてリストの中から該当 するトレースを探してという手間なし) -
38 MLflow Tracing MLflow OSS Client Trace Exporter (serving) Tracing
SDK Any OpenTelemetry Compatible Collector MLflow OSS Client Trace Exporter (OTel) Tracing SDK Trace Data (See documentation for more detailed setup) MLflowのトレースはOpenTelemetryの仕様に準拠しています。そのため、 MLflowやDatabricksだけでなく様々な Traceバックエンドで保存・表示することができます。 -
深層学習向けの UXアップデート • System Metricsのロギング • チャートUIの拡充 • 大規模ロギング •
Pytorch/Keras自動ログ • PEFT (LoRA) サポート Disk使用率 GPU Mem 使用率 Network I/O -
深層学習向けの UXアップデート • System Metricsのロギング • チャートUIの拡充 • 大規模ロギング •
Pytorch/Keras自動ログ • PEFT (LoRA) サポート Epochごと のラン比較 → 複数ランでの Metricの Aggregation ← -
深層学習向けの UXアップデート • System Metricsのロギング • チャートUIの拡充 • 大規模ロギング •
Pytorch/Keras自動ログ • PEFT (LoRA) サポート -
深層学習向けの UXアップデート • System Metricsのロギング • チャートUIの拡充 • 大規模ロギング •
チェックポイント自動ログ • PEFT (LoRA) サポート mlflow.pytorch.autolog()で自動的にチェックポイ ントと評価指標が保存されます -
深層学習向けの UXアップデート • System Metricsのロギング • チャートUIの拡充 • Bulkロギング •
Pytorch/Keras自動ログ • PEFT (LoRA) サポート チュートリアルはこちらから -
マネージドサービスが次々と ! • SageMaker • Nebius • Databricks - 2024年6月にリリース
- SageMakerのデプロイと連携 - 新しいUnified Studioにも - こちらの記事で試しています -
マネージドサービスが次々と • SageMaker • Nebius • Databricks - 2024年9月にリリース -
Nvidia出資のGPUクラウド - LLMのFine-tuningがNebius でのMLflowの主な使い方 -
マネージドサービスが次々と • SageMaker • Nebius • Databricks マネージドMLflowは元々無料で使えたが、 Sign-upがより簡単になり誰でもチームでも無 料でManaged
MLflowが使えるように! Googleアカウントやメールアドレスのみで登録 可能! -
Unity Catalog AI • Unity CatalogがOSSに • Unity CatalogをOSS MLflowの
モデルレジストリとして利用できます! • アクセス管理、ガバナンスなどなど -
Unity Catalog AI • PythonやSQLの関数をUCに登録することで、サンド ボックス内でツール実行できます。 • Unity Catalog AIパッケージでは、様々なライブラリと
UCツールの連携が簡単に行えます。 Unity Catalo g AI LangChain Anthropic OpenAI CrewAI Llama Index AutoGen -
ドキュメントの刷新 • ドキュメントもプロダクトの一部とし て、頻繁に改善しています. • サイドバーと検索ツールが変更され て、見たいページを探しやすくなりま した. • "Ask
AI"という機能を使えば、 ドキュメントやソースコードの情報を 元に答えてくれます。 -
MLflow 2025: デプロイ管理 Version 3 Job Status: ❌ Version 2
Job Status: ✅ Version 1 Job Status: ✅ CI/CDパイプライン モデルレジストリ Event-based Notification