MLflowはどのようにLLMOpsの課題を解決するのか

#さくらのAI Meetup vol.8「MLOpsを学ぼう」 - connpass https://sakura-tokyo.connpass.com/event/345101/

こちらのイベントで発表したスライドです。

Transcript

1. MLflowはどのようにLLMOps の課題を解決するのか 2025/3/6 Taka Yayoi
2. ©2025 Databricks Inc. — All rights reserved 自己紹介 弥生 隆明 (やよい たかあき) シニア スペシャリスト ソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにお いて、プレセールス、POCに従事 ▪ 前職はコンサル、総合電機メーカー にてデータ分析・Webサービス構築 などに従事。インド赴任経験あり。 ▪ Databricks Certified (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 2 @taka_aki
3. ©2025 Databricks Inc. — All rights reserved MLflow Meetup! 日本人メンテナーが 語るMLflowの現在と未来 3 3/18(火) 18:00 WeWork 東京スクエアガーデン MLflowメンテナー陣を囲んで、参加者の皆様と自由に対 話やディスカッションができる時間です。 MLflowに関する 質問や、MLOps全般についての相談など、気軽に話せる 場としてご活用ください。
4. 本日のアジェンダ • LLM/生成AIアプリ開発における課題 • MLflowがLLMOpsの課題を解決する方法 ◦ 実験トラッキング ◦ トレース ◦ 評価 • クイックデモ
5. LLM/生成AIアプリ開 発における課題
6. LLM/生成AIアプリ開発における課題 1. エージェントシステムの複雑性 2. 急速な進化を遂げる業界 3. デバッグ 4. 品質保証 5. 本格運用
7. エージェントシステムの複雑性 • LLMは多くの場合、複数のモデル、ツール、プロンプト、その他のコンポーネントを組み込んだ 大規模なAIエージェントシステムの重要なコンポーネントとなります。自律エージェントの台頭に より、システムの制御フローはより動的で複雑になります。このようなシステムを効果的に管理 するには、その複雑さを扱うための 明確に定義されたプロセスと専門的なツール が必要です。
8. 急激な進化を遂げる業界 • 生成AIの業界は急速に進化しており、新しいモデル、ツール、ライブラリが 毎日のように登場しています。バー ジョンを追跡し、依存関係を管理することは、 AIシステムの安定性と再現性を維持 する ために重要です。 • 以下の図は、LangChainやOpenAIなどの人気のある生成AIライブラリの高いリリース頻度を、従来の MLおよび DLと比較して示しています。バージョンと依存関係を追跡しないと、 AIシステムの安定性と再現性を維持すること が困難になる可能性があります。
9. デバッグ / 品質保証 / 本格稼働 • デバッグの課題：LLMベースのアプリのデバッグは、システムの複雑さと高い抽象化レベ ルのため困難です。LLMとそのコンポーネントの動作を理解するには、適切なツールと技 術が必要です。 • 品質保証の課題：LLMの品質確保は、モデルの複雑さと動的なタスクのため困難です。信 頼性とパフォーマンスのためには、堅牢な QAプロセスが必要です。 • 本格稼働の課題：LLMアプリの動的化に伴い、デプロイ後のパフォーマンス監視が重要で す。機械学習の監視には、モデルの動作とパフォーマンスをリアルタイムで追跡する専門 ツールが必要です。
10. MLflowがLLMOpsの 課題を解決する方法
11. LLMOps文脈でのMLflowの提供機能 構築 構築 テスト デプロイ 監視 実験トラッキング トレース モデルパッケージ 評価 トレース モデルサービング プロンプト エンジニアリングUI
12. 実験トラッキング
13. 実験(Experiment)トラッキング 実験トラッキングはMLflowプラットフォームの基本的な機能であり、モデル、プロンプト、トレース、 メトリクスなど、LLM/GenAIプロジェクト中の多くのアセットやアーティファクトを一箇所に整理することができます。 • 単一の情報源 : MLflowは、モデル、プロンプト、トレースなど、すべてのLLMアセットを保存および管理する ための集中管理された場所として機能し、プロジェクトの単一の情報源を確保します。 • より良いコラボレーション : 実験トラッキングにより、チームメンバーと作業を共有でき、結果を再現しフィードバックを提供 することができます。 • リネージ追跡 : MLflowは、プロジェクトのさまざまな段階を通じてLLMアセットのリネージをキャプチャし、 モデル、プロンプト、その他のアーティファクトのリネージを追跡できるようにします。 • 比較分析: MLflowは、異なるバージョンのLLMモデル、プロンプト、その他のアセットを比較することを可能にし、情報に基 づいた意思決定を行い、LLMアプリケーションの品質を向上させるのに役立ちます。 • ガバナンスとコンプライアンス : 組織内の機械学習アセットの中央リポジトリを使用することで、MLflowは ガバナンスとコンプライアンス基準を維持し、重要なアセットが認可されたユーザーのみがアクセスできるようにします。
14. 14 トラッキングされた実験
15. トレース MLflow Tracing
16. MLflow Tracing MLflow Tracingは、LLM呼び出しやドキュメント取得、データクエリ、ツール呼び出しなどの重要な詳細を キャプチャすることで、生成AIアプリケーションにおけるLLMの可観測性を確保し、アプリケーションの内部動作を監視し深い洞 察を得ることができます。 • デバッグ: トレースは抽象レイヤーの下で何が起こっているかの詳細なビューを提供し、LLMアプリ ケーションの問題を迅速に特定して解決するのに役立ちます。 • 品質の検査 : MLflow Evaluationでモデルやエージェントを評価した後、自動生成されたトレースを分析してLLMの動作 を理解し、情報に基づいた意思決定を行うことができます。 • 本番監視: トレースは本番環境でのLLMのパフォーマンスを監視するために不可欠です。MLflowトレーシングは、本番 環境でのボトルネックやパフォーマンスの問題を特定し、是正措置を講じてアプリケーションを 継続的に最適化することを可能にします。 • OpenTelemetry: MLflowトレースは、業界標準の可観測性フレームワークであるOpenTelemetryと互換性が あり、Prometheus、Grafana、Jaegerなどの人気のある可観測性ツールと統合して高度な監視と分析を行う ことができます。 • フレームワークサポート : MLflowトレーシングは、OpenAI、LangChain、LlamaIndex、DSPy、Anthropic、Amazon Bedrockなど、15以上のGenAIライブラリをサポートしています。これらのライブラリで構築されたLLMアプリケーション のトレースを開始するには、コードに1行追加するだけです。
17. 17 展開されたトレースビュー
18. 18 18 エコシステムの構築 MLflow Tracingは15以上の生成AIライブラリとインテグレーションします New faces in 2.20!
19. 評価 MLflow Evaluation
20. MLflow Evaluation MLflowのLLM評価は、基盤モデル、プロンプト、および複合AIシステムを比較するための簡素化されたアプローチを提供し、 評価プロセスを簡素化するように設計されています。 • 簡素化された評価 : MLflowのmlflow.evaluate() APIと組み込みのハーネスを活用して、GenAIモデルを簡単に テストできます。 • LLM-as-a-Judge: MLflowは柔軟な設定が可能なLLM-as-a-Judgeメトリクスを提供し、評価プロセスに複雑な評価基 準を組み込んで一括評価を行うことができます。 • カスタマイズ可能なメトリクス : 提供されるメトリクスに加えて、MLflowはプラグインスタイルのカスタム スコアリングをサポートし、評価の柔軟性を高めます。 • 比較分析: 基盤モデル、プロバイダー、プロンプトを簡単に比較して、情報に基づいた意思決定を行うことができます。 • 深い洞察: 評価実行のためにトレースが自動的に生成され、評価結果に関する深い洞察を得て、品質問題を 自信を持って修正できます。
21. クイックデモ
22. Databricksも絶賛採用中です！