Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
実践Amazon SageMaker - 全体像からユースケースまで
Search
貞松政史
June 26, 2020
Technology
0
2.5k
実践Amazon SageMaker - 全体像からユースケースまで
2020/06/26 Developers.IO 2020 Connect Day4のセッション2。
Amazon SageMakerの最新機能を軸に全体像と実際の利用ケースについて発表。
貞松政史
June 26, 2020
Tweet
Share
More Decks by 貞松政史
See All by 貞松政史
Amazon Forecast亡き今、我々がマネージドサービスに頼らず時系列予測を実行する方法
sadynitro
0
150
今日のハイライトをシステマティックに
sadynitro
1
36
はじめてのレコメンド〜Amazon Personalizeを使った推薦システム超超超入門〜
sadynitro
1
850
予知保全利用を目指した外観検査AIの開発 〜画像処理AIを用いた外観画像に対する異常検知〜
sadynitro
0
520
20230904_GoogleCloudNext23_Recap_AI_ML
sadynitro
0
690
Foundation Model全盛時代を生きるAI/MLエンジニアの生存戦略
sadynitro
0
800
Amazon SageMakerが存在しない世界線 のAWS上で実現する機械学習基盤
sadynitro
0
160
Amazon SageMakerが存在しない世界線のAWS上で実現する機械学習基盤
sadynitro
0
1.5k
みんな大好き強化学習
sadynitro
0
970
Other Decks in Technology
See All in Technology
オープンソースAIとは何か? --「オープンソースAIの定義 v1.0」詳細解説
shujisado
12
1.5k
ドメインの本質を掴む / Get the essence of the domain
sinsoku
2
160
【LT】ソフトウェア産業は進化しているのか? #Agilejapan
takabow
0
120
DynamoDB でスロットリングが発生したとき_大盛りver/when_throttling_occurs_in_dynamodb_long
emiki
1
490
A Tour of Anti-patterns for Functional Programming
guvalif
0
390
テストコード品質を高めるためにMutation Testingライブラリ・Strykerを実戦導入してみた話
ysknsid25
7
2.8k
OCI Network Firewall 概要
oracle4engineer
PRO
0
4.2k
The Role of Developer Relations in AI Product Success.
giftojabu1
0
160
Next.jsとNuxtが混在? iframeでなんとかする!
ypresto
2
970
飲食店データの分析事例とそれを支えるデータ基盤
kimujun
0
230
OCI 運用監視サービス 概要
oracle4engineer
PRO
0
4.8k
CDCL による厳密解法を採用した MILP ソルバー
imai448
3
290
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
How to Think Like a Performance Engineer
csswizardry
20
1.1k
Building Your Own Lightsaber
phodgson
103
6.1k
Designing for humans not robots
tammielis
250
25k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
111
49k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
730
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.4k
A Tale of Four Properties
chriscoyier
156
23k
RailsConf 2023
tenderlove
29
910
The Cost Of JavaScript in 2023
addyosmani
45
6.8k
Transcript
実践 Amazon SageMaker 〜全体像からユースケースまで〜 データアナリティクス事業本部 インテグレーション部 貞松 政史
2 ⾃⼰紹介 ⽒名 貞松 政史 (サダマツ マサシ) 所属 データアナリティクス事業本部 インテグレーション部
機械学習チーム 岡⼭オフィス勤務 好きなAWSサービス SageMaker Personalize Forecast
3 本セッションのゴール Amazon SageMaker ⼤体わかった ü SageMaker Studioを軸とした全体像の理解 ü SageMakerを使うと何が嬉しいか
ü SageMakerを利⽤したなんとなくの活⽤イメージ
4 本セッションで話さないこと × 機械学習とは何ぞや × 機械学習アルゴリズムの詳細な解説 × 全ての関連サービスに関する詳細な解説
5 おしながき 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. アーキテクチャの例 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
6 Amazon SageMakerとは 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker
Studioを軸とした全体像 2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. アーキテクチャの例 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
7 Amazon SageMakerとは ü 機械学習の完全マネージド型サービス ü すべての開発者やデータサイエンティストが対象 ü 機械学習モデルを迅速に構築、学習、デプロイ
8 機械学習の実⾏における課題 ü 実⾏環境 • 学習の為に必要なコンピューティングパワーやストレージ • 機械学習モデルの開発環境 ü 機械学習の前提知識
• 様々な課題に対する機械学習のアルゴリズム ü システムの運⽤ • 学習済みモデルのデプロイ • モデル性能のモニタリングや再学習・再デプロイ
9 SageMakerを使うと何が嬉しいのか︖ ü マネージドな実⾏環境 • スケーラブルなインスタンス • ホストされたJupyter Notebook上での開発 ü
⽬的別に⽤意されたビルトインアルゴリズム • 分類、予測、レコメンデーションなど • コンソール上の操作、Notebookからの呼び出し • 既定のデータセットと幾つかのパラメータ設定で即座に利⽤可能 ü その他サービスとの連携
10 SageMakerの全体像 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. アーキテクチャの例 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
11 これまでのSageMaker (re:Invent 2019以前)
12 これまでのSageMakerの課題 • 学習途中や学習済みモデルの情報が部分的(ブラックボックス) • 有効なアルゴリズムの選別は実装者の知識、経験に依る (ハイパーパラメータの⾃動チューニングは存在する) • Notebookインスタンスの起動・停⽌の管理とスケーリング •
開発から運⽤・保守までのプロセスを集中管理したい
13 現在のSageMakerの全体像 https://aws.amazon.com/jp/sagemaker/
14 現在のSageMakerの全体像 re:Invent 2019(2019年12⽉)で発表されたサービス
開発環境から運⽤・保守までサポート SageMaker Studio SageMaker Notebooks SageMaker AutoPilot SageMaker Debugger SageMaker
Experiments SageMaker Model Monitor 開発・運⽤・保守 AutoML 開発環境・インフラ
16 SageMaker Studio
17 SageMaker Studio SageMaker Studio Keyword: 統合開発環境(IDE)
18 SageMaker Studioとは • SageMaker⽤のWebベースの統合開発環境(IDE) • ビジュアルインターフェースによる操作 • SageMakerによる機械学習の開発プロセスを ⼀元的に管理できる
• データのアップロード • 新規ノートブックの作成 • モデルのトレーニングと調整 • 結果の可視化 • モデルのデプロイ など…
19 SageMakerのメリット・デメリット • メリット • ⼀つの画⾯で関連サービスの恩恵を受けられる • デメリット • 現状利⽤可能なリージョンが限られる
(以下の4リージョンのみ) • us-east-1 ⽶国東部(オハイオ) • us-east-2 ⽶国東部(バージニア北部) • us-west-2 ⽶国⻄部(オレゴン) • eu-west-1 欧州(アイルランド)
20 SageMaker Notebooks
21 SageMaker Notebooks SageMaker Notebooks Keyword: スケーラブルなノートブック
22 SageMaker Notebooks • Notebookインスタンスの作成が不要に • Jupyter Notebookを数秒で利⽤開始 • リソースのスケーリングが容易
• 他のユーザーにNotebookの共有が可能
23 SageMaker Autopilot
24 SageMaker Autopilot SageMaker Autopilot Keyword: AutoML
25 SageMaker Autopilotとは • 俗に⾔うAutoML機能 • 機械学習のプロセスを完全に制御しながら、最適な分類 および回帰の機械学習モデルを⾃動的に作成 • トレーニングの追跡、可視化
26 SageMaker Autopilotでできること • 適⽤可能な問題 • 線形回帰 • バイナリ分類 •
マルチクラス分類 • ⾃動ハイパーパラメーター最適化 • 分散トレーニング • インスタンスとクラスターの⾃動サイズ選択
27 SageMaker Autopilotのメリット・デメリット • メリット • 機械学習の前提知識なしで利⽤可能 • 実⾏される多数のトレーニングを追跡・可視化できる •
デメリット • 全ての問題で使⽤できるわけではない • 学習時間がかかる(それに伴って料⾦もかかる)
28 SageMaker Experiments
29 SageMaker Experiments SageMaker Experiments Keyword: トレーニング結果の保存と追跡
30 SageMaker Experiments • 機械学習モデルへの繰り返し処理を調整および追跡 • 情報を⾃動的に収集 → 実験結果として保存 •
データセット • アルゴリズムのバージョン • モデルのパラメータ など…
31 保存された実験結果
32 SageMaker Debugger
33 SageMaker Debugger SageMaker Debugger Keyword: メトリックの取得とアラートルール
34 SageMaker Debuggerとは • トレーニング中のメトリクスをリアルタイムに取得 • 評価値 • 混同⾏列 •
学習勾配
35 SageMaker Debuggerとは • メトリクスに対するルールを設定 (プリセットのルールも準備されている) • 設定されたルールに従ってアラートをあげたり 学習ジョブを停⽌したりできる •
既存コードの修正は不要
36 SageMaker Model Monitor
37 SageMaker Model Monitor SageMaker Model Monitor Keyword: コンセプトドリフトの検出
38 SageMaker Model Monitor • 開発者がコンセプトドリフトを検出し、修復できる ようになります • デプロイ済みのモデルでコンセプトドリフトを検出 し、問題の原因を特定するのに役⽴つ詳細なアラー
トを出します
39 コンセプトドリフトとは • デプロイされたモデルの精度に影響を及ぼす可能性のあ る⼤きな要因のひとつ • 予測の⽣成に使⽤されたデータが、モデルのトレーニングに 使⽤されたデータと異なるケース • これが⽣じると予測を作るためにモデルで使⽤されるデータ
のパターンが適応できなくなる
40 コンセプトドリフトの例 COVID-19の影響により、短期的に⼩売のトレンドが変化 している為に、過去のデータで学習したモデルが正常に機能 しなくなってしまった https://www.technologyreview.com/2020/05/11/1001563/covid-pandemic- broken-ai-machine-learning-amazon-retail-fraud-humans-in-the-loop/ MIT Technology Review
Our weird behavior during the pandemic is messing with AI models
41 SageMakerを使⽤した予測 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. ユースケース 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
42 ユースケース︓需要予測 レンタル⾃転⾞の需要予測 ⽇別のレンタル⾃転⾞の貸出台数実績データ 平⽇/休⽇、天候などのメタデータ
43 ユースケース︓需要予測 最終的に出来上がるモデル 平⽇/休⽇、天候などのメタデータ ↓ 学習済みモデル ↓ 貸出台数の予測値
44 モデル学習の流れ 学習データの配置 学習アルゴリズムの選択 ハイパーパラメータの設定 ノートブックの作成 ⼊出⼒の指定 データの前処理 評価・可視化の設定 学習データの配置
(事前整形済) SageMaker Experimentsでモデル作成 SageMaker Autopilotで作成実⾏ ⼊出⼒の指定 柔軟さが必要なモデル開発向け ⼊出⼒の形がハッキリした分類・予測向け 今回はコチラで
45 AutopilotとExperimentsを使ってモデルを作成 インプットの設定 ※ S3バケットのリージョンは 実⾏するSageMakerと同⼀にすること
46 AutopilotとExperimentsを使ってモデルを作成 アウトプットの設定 予測の対象 対象の問題タイプ これで実⾏ するだけ︕
47 モデル作成の実⾏ ⾃動的にRegression(回帰)の問題と判定されている
48 ⼤量の学習ジョブが処理される
49 各学習ジョブの詳細も確認できる メトリックとか 実⾏時パラメーターとか メトリックの⾃動収集 ⾃動で設定されている • インスタンス • ストレージ
• ハイパーパラメータ など…
50 作成されたモデルによる予測 精度が良かったBestなモデルをデプロイしてみる
51 予測モデルのエンドポイントを作成
52 エンドポイントを呼び出して予測実⾏ Notebookからエンドポイントを呼び出して予測結果を得てみる エンドポイント名 ⼊⼒パラメーター 予測台数
53 想定されるアーキテクチャの⼀例 AWS Lambda Amazon Redshift Amazon RDS Amazon SageMaker
Amazon CloudWatch Amazon API Gateway Amazon Simple Storage Service Local Computer エンドユーザー システム管理者 or or etc… Endpoint Alert Model Monitor
54 まとめ 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. ユースケース 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
55 まとめ Amazon SageMakerは機械学習の為のフルマネージ ドなクラウドサービス SageMaker Studioを軸として、各種関連サービスを 組み合わせることで機械学習システムの構築に必要な機 能を揃えることができる 予測の例のように、簡単にモデル学習
→ デプロイ → コンテンツへの適⽤が可能
56 Let’s get started! Amazon SageMakerでHappy ML Life!
None
セッション後はアンケートへのご協力をよろしくお願いします。 ご回答いただいた方には後日、資料を送付いたします。 SNS投稿にはこちらをお使いください。 #devio2020 イベントのポータルサイトはこちら https://classmethod.jp/m/devio_2020_connect/ ライブセッション録画もこちらから 視聴できます。 https://forms.gle/3twz4kFZR4Rwe7KE8 14:00〜14:45
「実践 Amazon Sagemaker - 全体像からユースケースまで」 のアンケートはこちらからお願いします。 Q&A Q&A