Upgrade to Pro — share decks privately, control downloads, hide ads and more …

機械学習エンジニアはMLOpsの夢を見るか?

貞松政史
October 05, 2021

 機械学習エンジニアはMLOpsの夢を見るか?

日本でもようやくビジネスの現場に浸透し始めた機械学習ですが、大規模なシステムの一部として導入されるケースでは、PoCやコア部分のみの開発(モデル学習処理や推論処理の実装)とは異なり、長期的な運用・保守フェーズまで見据えたアーキテクチャ設計・開発が必要になります。
こういったニーズから、最近にわかに盛り上がっている「MLOps」という概念・手法について、その必要性と導入手段についてフォローしつつ、AWS環境を基盤としたMLOps環境構築とそのメリットについて解説します。

貞松政史

October 05, 2021
Tweet

More Decks by 貞松政史

Other Decks in Technology

Transcript

  1. 7 主要な機械学習アルゴリズムやモデル •画像処理 • EfficientNet •⾃然⾔語処理 • GPT-3 • BERT

    •テーブルデータ・時系列データ • LightGBM • XGBoost • Graph Neural Network (GNN) •強化学習 • Deep Q Network (DQN)
  2. 14 機械学習システムのコア要素(イメージ) データ 収集 データ 前処理 モデル 学習 モデル 評価

    モデル デプロイ モデル 監視 特徴量 エンジニアリング CI/CD 特徴量 ストア DWH データレイク BI アプリ
  3. 18 実践的なMLOpsワークフロー •MLOps:機械学習における継続的デリバリーと⾃動化の パイプライン • https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation- pipelines-in-machine-learning •⾃動化のレベル別に3ステップでワークフローを定義 •MLOps level

    0: Manual process • ⾃動化を含まない •MLOps level 1: ML pipeline automation • MLパイプラインを⾃動化 •MLOps level 2: CI/CD pipeline automation • MLパイプラインおよびCI/CDパイプラインを⾃動化
  4. 19 なぜMLOpsが必要なのか •Machine Learning: The High Interest Credit Card of

    Technical Debt • https://research.google/pubs/pub43146/ •機械学習基盤を継続的に開発・運⽤する際に発⽣する様々な課題に 対応する必要がある
  5. 22 MLOpsに必要な要素 • CI/CD • モデルと予測の再現性 • ソフトウェアの安定性、品質の向上 • スケーラビリティ

    • チームによるコラボレーション • ⾼速なモデル訓練のライフサイクル • 監視、アラート、セキュリティの統合 • 説明可能なAI(Explainable AI)
  6. 23 MLOpsの導⼊を⽀援するツール・サービス • 主要なクラウドサービス • GCP Vertex AI • Amazon

    SageMaker • Azure Machine Learning • オープンソースのツールキット • Kubeflow • MLflow
  7. 26 各機能とMLOps要素の対応 • モデルと予測の再現性 • SageMaker Experience • SageMaker Feature

    Store • SageMaker Data Wrangler • スケーラビリティ • SageMaker Notebooks • SageMaker Processing • チームによるコラボレーション • SageMaker Studio • ⾼速なモデル訓練のライフサイクル • SageMaker Pipelines • 監視、アラート、セキュリティの統合 • SageMaker Model Monitor
  8. 27 アーキテクチャ構成イメージ Amazon SageMaker Notebook Model Train input AWS CodeBuild

    AWS CodeCommit AWS CodePipeline Amazon EventBridge Event AWS Cloud Amazon Athena Amazon ECR Feature Store Experiments Pipelines output Model Monitor Processing Image Amazon S3 Data Wrangler Amazon API Gateway Lambda 独自コンテナ利用 CI/CD 特徴量ストア 学習データ 学習モデル etc…
  9. 30 こんな⼈が話してました • 貞松 政史 (サダマツ マサシ) • DA事業本部 インテグレーション部

    機械学習チーム info https://classmethod.jp/services/machine-learning/ https://careers.classmethod.jp/requirements/machine-learning-engineer/ work