Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Azure Architecture Center における MLOps Framework ...

Azure Architecture Center における MLOps Framework の概要と比較

第32回 MLOps 勉強会 AzureMLを活用したMLOpsの実践 での発表資料です
https://mlops.connpass.com/event/283873/

Asei Sugiyama

June 14, 2023
Tweet

More Decks by Asei Sugiyama

Other Decks in Technology

Transcript

  1. 自己紹介 杉山 阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Advisor

    @ Money Forward Google Cloud Innovators Champion @ Cloud AI/ML MLSE 機械学習オペレーション WG 機械学習図鑑 共著
  2. 機械学習サービスの種類 (1/2) 非常に多岐にわたる Azure Machine Learning Azure Cognitive Services SQL

    機械学習 Azure Data Science Virtual Machine Microsoft 機械学習製品 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology- choices/data-science-and-machine-learning
  3. 機械学習サービスの種類 (2/2) Azure Databricks ML.NET Windows ML MMLSpark Microsoft 機械学習製品

    - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-guide/technology- choices/data-science-and-machine-learning
  4. Microsoft と機械学習ラ イブラリ とてもクオリティの高いラ イブラリをいくつも出して いる LightGBM ONNX Econ ML

    研究開発も強力 Welcome to LightGBM’s documentation! — LightGBM 3.3.5 documentation https://lightgbm.readthedocs.io/en/v3.3.5/
  5. MLOps on Azure 他社と比較した時の大きな違い 代表的な 3 つのドキュメント Azure Machine Learning

    を使用して機械学習のライフサイクルをア ップスケールするための機械学習運用 (MLOps) フレームワーク 機械学習の運用 (MLOps) v2 Team Data Science Process ライフサイクル
  6. 他社と比較した時の大きな違い Google: 社内の ML システムに SRE のプラクティスを適用 Amazon: 社内の ML

    システムに Microservice のプラクティスを適用 Microsoft: 顧客にサービスを提供し た体験を抽象化 Azure Machine Learning を使用して機械学習のライフサイクルをアップスケールするための機械 学習運用 (MLOps) フレームワーク - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/example-scenario/mlops/mlops- technical-paper
  7. Azure Machine Learning を 使用して機械学習のライフサ イクルをアップスケールする ための機械学習運用 (MLOps) フレームワーク Microsoft

    の CSE チームに よる MLOps のケーススタ ディ Azure Machine Learning を使用して機械学習のライフサイクルをアップスケー ルするための機械学習運用 (MLOps) フレームワーク - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja- jp/azure/architecture/example-scenario/mlops/mlops-technical-paper
  8. Azure Machine Learning を使用して機械学習のライフサイクルをアップ スケールするための機械学習運用 (MLOps) フレームワーク Microsoft の商用ソフトウェア エンジニアリング

    (CSE) チームは、クラ イアントのデータ サイエンティストと協力してパイロット調査を行い、 選択した地域用にカスタマイズされた機械学習モデルを開発しました。
  9. Azure Machine Learning を使用して機械学習のライフサイクルをアップ スケールするための機械学習運用 (MLOps) フレームワーク 「MLOps の課題」が良い 未成熟な

    MLOps の標準 スキルセットの違い 複数モデルの管理 データ コンディショニングの必要性 かなり現実味のある課題を述べている Azure Machine Learning を使用して機械学習のライフサイクルをアップスケールするための機械学習運用 (MLOps) フレームワーク - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/example-scenario/mlops/mlops-technical-paper
  10. Team Data Science Process ライフサイクル もっとも独特 機械学習プロジェクトの円 滑な進め方について記述 Azure の各サービスの具体

    的な操作方法も記述 Team Data Science Process ライフサイクル - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data- science-process/lifecycle
  11. Team Data Science Process ライフサイクル 1. ビジネスの把握 2. データの取得と理解 3.

    モデリング 4. デプロイ 5. 顧客による受け入れ Team Data Science Process ライフサイクル - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data- science-process/lifecycle
  12. Team Data Science Process の役割とタスク グループ マネージャー: 企業のデータ サイエンス部全体を管理 チーム

    リーダー: 企業のデータ サイエンス部のチームを管理 プロジェクト リーダー: 特定のデータ サイエンス プロジェクトの個々の データ サイエンティストの日常業務を管理 プロジェクトの個々の共同作成者:データ サイエンティスト、ビジネス アナリスト、データ エンジニア、アーキテクト、およびデータ サイエン ス プロジェクトを遂行するその他のユーザー。 Azure DevOps と Azure のストレージサービスで上記を実現 Team Data Science Process の役割とタスク - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/data-science- process/roles-tasks
  13. OpenAI GPT-3 の要約 数少ない LLM の活用方法に ついて述べたドキュメント プロンプトエンジニアリン グや評価方法など多岐にわ たる

    クエリベースのドキュメント概要作成 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/guide/ai/query- based-summarization
  14. プロンプト エンジニアリング ショー アンド テル: 命令、例、または 2 つを組み合わせて提供すること で、何を求めているかをさらに明確に 高品質なデータを提供:

    スペルミスなどを修正 (モデルにスペルミスを修 正させない) 設定を確認: 正解が 1 つしかない応答を要求する場合は、 temperature と top_p の設定を低いレベルで構成 一般的な間違いは、これらの設定が "賢さ" や "創造性" のコントロール であると想定することです。 クエリベースのドキュメント概要作成 - Azure Architecture Center | Microsoft Learn https://learn.microsoft.com/ja-jp/azure/architecture/guide/ai/query-based- summarization
  15. 概要作成の評価 ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 人が生成した要約と n-gram レベル

    での重複を評価 BERTScore BERT で生成された要約と元の文章 の Embedding を作成し、それらの コサイン類似度を評価 SummEval: Re-evaluating Summarization Evaluation | Transactions of the Association for Computational Linguistics | MIT Press https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00373/100686/SummEval-Re-evaluating- Summarization-Evaluation
  16. まとめ Microsoft の提供する MLOps についての考え方は MLOps v2 として整 理されている 機械学習システムのアーキテクチャだけではなく、組織的な体制やプロ

    ジェクトの円滑な推進方法について述べている LLM の活用方法について述べられたドキュメントを提供しているのは印 象的 LLM のカスタマイズや運用についてはまた新しい課題が生じる