Azure Machine Learning 大規模機械学習

db tech showcase 2021 講演資料
Title : Azure Machine Learning で始める大規模機械学習 @ 女部田啓太

Transcript

1. ク ラ ウ ド ス ケ ー ル 分 析 で デ ー タ 活 用 に 無 限 の 可 能 性 を Find new value on Azure Azure Machine Learning ではじめる 大規模機械学習 女部田啓太 日本マイクロソフト株式会社 https://aka.ms/ml-at-scale
2. 目的 対象ユーザ 本セッションでお話しないこと
3. ML
4. アジェンダ
5. アジェンダ
6. Azure Machine Learning 概要
8. Azure M achine Learning service 実験的なモデル開発 ⾃動機械学習 デザイナー Pytyon / R モデル検証 パッケー ジ化と Azure Container Instnaces での検証 モデル学習 コンピュー ティング クラスター モニタリング モデルのモニタリング デプロイ スケー ラブルな kubernetes サ ー ビス へ のデプロイ CI/CD & モデル再学習 GitHub & Azure DevOps 統合・連携
9. クラウド CPU、GPU データセット プロファイル、ドリフト検知、 ラベリング 推論 バッチ、リアルタイム MLOps 再現性、自動化、GitHub、CLI、REST 機械学習の実験 Python SDK & CLI 、Notebook、ドラック & ドロップ UI、ウィザード形式 エッジ CPU、GPU、ONNX IoT Edge セキュリティ、管理、展開 計算環境 ジョブ管理、マネージドなワークステーション & クラスター モデル登録 モデル登録、イメージ化 モデル学習 実験管理、実行 (Runs)
11. Compute Instance (コンピューティングインスタンス) Compute Clusters (コンピューティングクラスター) • 開発/テスト用途の環境 • 大規模なデータ処理、学習、推論用
12. アジェンダ
13. 1. 分散学習
14. 複数デバイスを用いた大規模モデルの構築 Data Model GPU0 GPU1 GPU2 + Data Model GPU0 GPU1 GPU2 GPU3
15. エラーハンドリング セキュリティ 結果の集計 複数 VM の起動 リソースのスケールアウト データの配布 ジョブのスケジューリング パッケージ依存性と コンテナー
16. 学習ジョブの発行 Azure Storage Account Azure Container Registry Azure ML Experiment Logs and Results 学習スクリプト Mount/Download Azure ML Compute Cluster Azure ML Dataset/Datastore Azure ML Environment Job 設定 YAML ファイル DockerFile
17. サンプルコード https://aka.ms/ml-at-scale
18. Conv2d Max pooling Linear Linear Dropout Conv2d Conv2d Conv2d Max pooling Linear Linear Dropout Conv2d Conv2d
21. サンプルコード https://aka.ms/ml-at-scale
22. [python] [dask] add initial dask integration by SfinxCZ · Pull Request #3515 · microsoft/LightGBM (github.com) Image credit: James Bourbeau
24. 2. ハイパーパラメータチューニング
28. microsoft/nni: An open source AutoML toolkit
29. サンプルコード https://aka.ms/ml-at-scale
30. HyperBand
32. 3. モデル探索
34. ユーザーの入力 特徴量 エンジニアリング アルゴリズム の選択 ハイパーパラメータ のチューニング モデルの リーダーボードと解釈 データセット 設定と制約 76% 34% 82% 41% 88% 72% 81% 54% 73% 88% 90% 91% 95% 68% 56% 89% 89% 79% 順位 モデル スコア 1 95% 2 76% 3 53% … 自動機械学習 AutoML (Automated Machine Learning) は、 与えられたデータと設定に基づいて、「特徴量エンジニアリング」 「アルゴリズム」とその「ハイパーパラメーター」の最良な組み合わせを探索します。
35. microsoft/FLAML: A fast and lightweight AutoML library. (github.com)
36. サンプルコード https://aka.ms/ml-at-scale
37. Head node Worker nodes ＋
40. Azure/machine-learning-at-scale: machine learning at scale on Azure Machine Learning (github.com) Azure Machine Learning - サービスとしての ML | Microsoft Azure Azure/azureml-examples: Official community-driven Azure Machine Learning examples, tested with GitHub Actions. Azure/MachineLearningNotebooks: Python notebooks with ML and deep learning examples with Azure Machine Learning Python SDK | Microsoft (github.com) Distributed Data Parallel — PyTorch 1.10.0 documentation Distributed Learning Guide — LightGBM 3.3.1.99 documentation microsoft/nni: An open source AutoML toolkit (github.com) Dask: Scalable analytics in Python What is Ray? — Ray v1.8.0
41. 41 本セッションについて、日本マイクロソフト株式会社によるアンケートへご回答ご協力お願いいたします。 [D14:Azure Machine Learning で始める大規模機械学習] アンケートご回答のお願い https://aka.ms/dbts2021D14 ※アンケートURL 有効期限 : 2021/12/10
42. 42 クラウドによるデータ活用やAI導入により、 ビジネスを無限に成長させるための事例や手法をご 紹介するポータルサイト https://aka.ms/AAe3f4o 2021年12月14日(火)~15日(水)の2日間に渡って Azure AI活用のベストプラクティスをお届けする オンラインイベント https://aka.ms/AAe3moh