Azure Machine Learning 実験サービスとセキュリティ 2020年11月アップデート情報 (2020-11-12)

Ignite 2020 最新アップデート Analytics & AI での講演資料です。

Transcript

1. Azure Machine Learning 実験サービスとセキュリティ ⼥部⽥啓太 ⽇本マイクロソフト株式会社 Cloud Solution Architect – Machine Learning & Deep Learning
2. § Azure Machine Learning 初⼼者 § Data Scientist、機械学習エンジニア § AI プロジェクト担当者・責任者 § AI の⺠主化をサポートする実験サービスの概要について理解する § セキュアな Azure Machine Learning の基本構成を理解する 対象者 ゴール
3. アジェンダ
4. アジェンダ
5. Azure Machine Learning
6. Azure Machine Learning service 実験的なモデル開発 ⾃動機械学習 デザイナー Pytyon / R モデル検証 パッケージ化と Azure Container Instnaces での検証 モデル学習 コンピューティング クラスター モニタリング モデルのモニタリング デプロイ スケーラブルな kubernetes サービス へのデプロイ CI/CD & モデル再学習 GitHub & Azure DevOps 統合・連携
10. デザイナー Designer
11. データ ゴール設定 制約条件 Optimized model Feature Engineering model selection Hyperparameter Tuning ⾃動機械学習 Automated ML
12. Trusted Industry leading MLOps Open & Interoperable For all skill levels あらゆるスキルレベルに対応し、 ML の⽣産性・利便性を向上 DevOps 連携による ML ライフサイクルの運⽤管理 責任のある ML ソリューションの構築 オープンテクノロジーの採⽤ と相互運⽤性の実現
13. Industry leading MLOps Open & Interoperable For all skill levels Designer UI & AutoML UI ⼀般提供開始！ Trusted Private Link など セキュリティ機能が充実
14. • 直感的なマウス操作でパイプライン構築 • 特徴量エンジニアリング • モデル学習 (回帰、分類、クラスタリング) • 推論 (リアルタイム & バッチ) • カスタムモデル・スクリプト (Python, R) 機械学習のモデル構築、テスト、デプロイするためのビジュアルパイプライン ※ 参考 : Azure Machine Learning デザイナー とは https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-designer
16. データのインポート データの主導⼊⼒ データのエクスポート データのビン化 データ結合 データ正規化 パーティションとサンプル 重複⾏の削除 SMOTE 列変換 列の選択 データの分割 列の追加 ⾏の追加 算術演算の適⽤ SQL 変換の適⽤ ⽋損値の除去 値の置換 CSA への変換 データセットへ変換 インジケーター値へ変換 メタデータの編集 フィルター特徴量選択 Permutation 特徴量 デシジョンツリー ディジョンフォレスト ⾼速フォレスト分位点回帰 線形回帰 ロジスティック回帰 ニューラルネットワーク ポワソン回帰 ブーストデシジョンツリー サポートベクターマシン K-Means クラスタリング DenseNet ResNet SVD Recommender Wide Deep Recommender PCA 異常検知 LDA Python モデルの作成 Python スクリプトの実⾏ R スクリプトの実⾏ 画像データ変換処理 画像データの分割 テキスト前処理 Word2Vec Glove FastText クロスバリデーション スコアリング パラメータチューニング
18. ユーザーの⼊⼒ 特徴量 エンジニアリング アルゴリズム の選択 ハイパーパラメータ のチューニング モデルの リーダーボードと解釈 データセット 設定と制約 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% 順位 モデル スコア 1 95% 2 76% 3 53% … ⾃動機械学習は、与えられたデータに対して「最⾼のモデル」を探索するために、 特徴量エンジニアリング、アルゴリズムとハイパーパラメータの選択を⾃動実⾏します。
19. Python ユーザーなら こっち！
20. Regression Classification Time Series Forecasting
22. データ準備と探索
23. ターゲット変数と 計算環境の選択
24. タスクの選択
25. モデル⼀覧
26. モデル精度
27. モデル解釈
28. アジェンダ
30. 関連リソース Storage Key Vault Container Registry App Insights モデル推論サービス AKS Cluster ACI 学習データのデータソース Storage Data Lake SQL モデル学習のサービス Compute Instance Compute Cluster 多くの PaaS サービスに 依存している
31. Authenticate Create Workspace and Authenticate Pass secrets SAS mount Training Key-based auth Token/key auth ACI AKS Inference Compute Instance Azure Active Directory SSH Get/set secrets 多要素認証 Azure Machine Learning studio
32. 管理者から⾒える画⾯ データ サイエンティストから⾒える画⾯ リソース作成権限なし リソース作成権限あり
33. Cosmos DB がユーザの Subscription 内で⽴ち上がる (課⾦対象) マイクロソフト 管理 Key お客様管理 Key ドキュメント : Data encryption with Azure Machine Learning Cosmos DB 以外の関連サービスの お客様管理 Key の対応について記載
34. Machine Learning Workspace Compute Instance Compute Cluster AKS Cluster Your VNet Storage Key Vault Container Registry Your VNet 機能 ワークスペース - Private Link 関連リソース - サービスエンドポイント - プライベートエンドポイント モデルトレーニング - Behind VNet - Private IP (on roadmap) モデル推論 - AKS Behind VNet - Private AKS Cluster
35. Private Link を利⽤して、Private Endpoint と Azure PaaS サービスをマッピングします。 Private Endpoint 経由での通信のみ アクセスが許可されるため、インターネット環境 などの外部からのアクセスを遮断できます。 Private Link の発表
36. Microsoft Managed Azure Batch Services AKS Control Plane Machine Learning Workspace Our PC VPN Gateway (Private) Microsoft Managed Compute Cluster Compute Instance AKS (Private) Private Endpoint or Your VNet Private Endpoint Service Endpoint
37. Azure Machine Learning データの監視のリファレンス Azure Policy の組み込みのポリシー定義 – Machine Learning
40. Azure 無償トライアル Azure Machine Learning デザイナーとは ⾃動機械学習 AutoML とは エンタープライズセキュリティの概要 ⾃動機械学習 デザイナー デザイナーサンプル集 Ignite 2020 セッション (E2E machine learning for enterprises in a secure way)