機械学習エンジニアはMLOpsの夢を見るか？

日本でもようやくビジネスの現場に浸透し始めた機械学習ですが、大規模なシステムの一部として導入されるケースでは、PoCやコア部分のみの開発(モデル学習処理や推論処理の実装)とは異なり、長期的な運用・保守フェーズまで見据えたアーキテクチャ設計・開発が必要になります。
こういったニーズから、最近にわかに盛り上がっている「MLOps」という概念・手法について、その必要性と導入手段についてフォローしつつ、AWS環境を基盤としたMLOps環境構築とそのメリットについて解説します。

Transcript

1. 機械学習エンジニアは MLOpsの夢を⾒るか︖ データアナリティクス事業本部 インテグレーション部 貞松 政史
2. 2 本セッションのゴール
3. 3 ü機械学習システムの基礎を押さえる üMLOpsの概要と必要性について理解する ü例題から具体的な環境構築をイメージする
4. 4 おしながき • 最近の機械学習 • 機械学習システムについて • MLOpsの概要と必要性 • MLOpsを考慮した機械学習基盤構築例 • まとめ
5. 5 最近の機械学習 • 最近の機械学習 • 機械学習システムについて • MLOpsの概要と必要性 • MLOpsを考慮した機械学習基盤構築例 • まとめ
6. 6 多種多様な機械学習課題へのアプローチ Transaction Text Image Movie •画像処理・動画処理 •⾃然⾔語処理 •テーブルデータ・時系列データ (回帰・分類・予測・レコメンド)
7. 7 主要な機械学習アルゴリズムやモデル •画像処理 • EfficientNet •⾃然⾔語処理 • GPT-3 • BERT •テーブルデータ・時系列データ • LightGBM • XGBoost • Graph Neural Network (GNN) •強化学習 • Deep Q Network (DQN)
8. 8 直近の国内ホットトピック ELYZA DIGEST https://www.digest.elyza.ai/ •東京⼤学松尾研発・AIスタートアップ、株式会社ELYZA製の ⽇本語における⽣成型要約モデル •どんな⽂章でも3⾏に要約
9. 9 ビジネスへの適⽤事例の増加 •PoC (概念実証) ⽌まりからの脱却 ↓ •部分的な実践投⼊ •⼤規模なシステムへの組み込み
10. 10 国内企業の機械学習基盤事例 • 最新MLOps（機械学習基盤）とベストプラクティスの実践 - Yamato DX Night #3レポート • https://techplay.jp/column/1454
11. 11 機械学習システムについて • 最近の機械学習 • 機械学習システムについて • MLOpsの概要と必要性 • MLOpsを考慮した機械学習基盤構築例 • まとめ
12. 12 システムにおける機械学習の位置付け Hidden Technical Debt in Machine Learning Systems https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
13. 13 機械学習のコア要素(イメージ) データ 前処理 モデル 学習 モデル 評価 特徴量 エンジニアリング
14. 14 機械学習システムのコア要素(イメージ) データ 収集 データ 前処理 モデル 学習 モデル 評価 モデル デプロイ モデル 監視 特徴量 エンジニアリング CI/CD 特徴量 ストア DWH データレイク BI アプリ
15. 15 MLOpsの概要と必要性 • 最近の機械学習 • 機械学習システムについて • MLOpsの概要と必要性 • MLOpsを考慮した機械学習基盤構築例 • まとめ
16. 16 MLOpsとは •MLOpsとは、機械学習またはディープラーニングのライフサイクルを 管理する為のデータサイエンティスト、エンジニア、保守運⽤担当者の コラボレーションおよびコミュニケーションに関する実践⼿法 •機械学習 Machine Learning (ML)と、ソフトウェア分野での 継続的な開発⼿法であるDevOpsとを組み合わせた造語
17. 17 MLOpsの定義 •Google社の定義 •MLOps はMLシステム開発(Dev)とMLシステムオペレーション (Ops)の統合を⽬的とする ML エンジニアリングの⽂化と⼿法です。 •MLOpsを実践すると、統合、テスト、リリース、デプロイ、インフラストラクチャ 管理など、MLシステム構築のすべてのステップで⾃動化とモニタリングを推進で きます。
18. 18 実践的なMLOpsワークフロー •MLOps:機械学習における継続的デリバリーと⾃動化の パイプライン • https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation- pipelines-in-machine-learning •⾃動化のレベル別に3ステップでワークフローを定義 •MLOps level 0: Manual process • ⾃動化を含まない •MLOps level 1: ML pipeline automation • MLパイプラインを⾃動化 •MLOps level 2: CI/CD pipeline automation • MLパイプラインおよびCI/CDパイプラインを⾃動化
19. 19 なぜMLOpsが必要なのか •Machine Learning: The High Interest Credit Card of Technical Debt • https://research.google/pubs/pub43146/ •機械学習基盤を継続的に開発・運⽤する際に発⽣する様々な課題に 対応する必要がある
20. 20 機械学習基盤に関する課題 • コンセプトドリフト • AIのブラックボックス問題 • モデル構築コスト • 品質管理 etc…
21. 21 MLOpsを考慮した機械学習基盤構築例 • 最近の機械学習 • 機械学習システムについて • MLOpsの概要と必要性 • MLOpsを考慮した機械学習基盤構築例 • まとめ
22. 22 MLOpsに必要な要素 • CI/CD • モデルと予測の再現性 • ソフトウェアの安定性、品質の向上 • スケーラビリティ • チームによるコラボレーション • ⾼速なモデル訓練のライフサイクル • 監視、アラート、セキュリティの統合 • 説明可能なAI(Explainable AI)
23. 23 MLOpsの導⼊を⽀援するツール・サービス • 主要なクラウドサービス • GCP Vertex AI • Amazon SageMaker • Azure Machine Learning • オープンソースのツールキット • Kubeflow • MLflow
24. 24 例) AWSのサービスを利⽤した機械学習基盤 • Amazon SageMakerと周辺機能を中⼼にその他AWSサー ビスと組み合わせて環境を構築 • 機械学習パイプラインの⾃動化周りはSageMakerで完結 • データ収集やCI/CD、推論結果を利⽤するフロント周りは その他のAWSを利⽤
25. 25 Amazon SageMakerと周辺機能
26. 26 各機能とMLOps要素の対応 • モデルと予測の再現性 • SageMaker Experience • SageMaker Feature Store • SageMaker Data Wrangler • スケーラビリティ • SageMaker Notebooks • SageMaker Processing • チームによるコラボレーション • SageMaker Studio • ⾼速なモデル訓練のライフサイクル • SageMaker Pipelines • 監視、アラート、セキュリティの統合 • SageMaker Model Monitor
27. 27 アーキテクチャ構成イメージ Amazon SageMaker Notebook Model Train input AWS CodeBuild AWS CodeCommit AWS CodePipeline Amazon EventBridge Event AWS Cloud Amazon Athena Amazon ECR Feature Store Experiments Pipelines output Model Monitor Processing Image Amazon S3 Data Wrangler Amazon API Gateway Lambda 独自コンテナ利用 CI/CD 特徴量ストア 学習データ 学習モデル etc…
28. 28 まとめ • 最近の機械学習 • 機械学習システムについて • MLOpsの概要と必要性 • MLOpsを考慮した機械学習基盤構築例 • まとめ
29. 29 まとめ •多種多様な課題解決に機械学習が⽤いられている •PoC⽌まりではなく実案件に投⼊されるケースも増加 •機械学習基盤における課題を解決するためにMLOpsが必要 •MLOpsの導⼊を⽀援するツールやサービスを活⽤して現場に 合わせた基盤構築を⾏うことが重要
30. 30 こんな⼈が話してました • 貞松 政史 (サダマツ マサシ) • DA事業本部 インテグレーション部 機械学習チーム info https://classmethod.jp/services/machine-learning/ https://careers.classmethod.jp/requirements/machine-learning-engineer/ work