Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
実践Amazon SageMaker - 全体像からユースケースまで
Search
貞松政史
June 26, 2020
Technology
0
2.5k
実践Amazon SageMaker - 全体像からユースケースまで
2020/06/26 Developers.IO 2020 Connect Day4のセッション2。
Amazon SageMakerの最新機能を軸に全体像と実際の利用ケースについて発表。
貞松政史
June 26, 2020
Tweet
Share
More Decks by 貞松政史
See All by 貞松政史
今日のハイライトをシステマティックに
sadynitro
1
35
はじめてのレコメンド〜Amazon Personalizeを使った推薦システム超超超入門〜
sadynitro
0
670
予知保全利用を目指した外観検査AIの開発 〜画像処理AIを用いた外観画像に対する異常検知〜
sadynitro
0
470
20230904_GoogleCloudNext23_Recap_AI_ML
sadynitro
0
680
Foundation Model全盛時代を生きるAI/MLエンジニアの生存戦略
sadynitro
0
790
Amazon SageMakerが存在しない世界線 のAWS上で実現する機械学習基盤
sadynitro
0
150
Amazon SageMakerが存在しない世界線のAWS上で実現する機械学習基盤
sadynitro
0
1.5k
みんな大好き強化学習
sadynitro
0
950
機械学習エンジニアはMLOpsの夢を見るか?
sadynitro
0
1.2k
Other Decks in Technology
See All in Technology
顧客が本当に必要だったもの - パフォーマンス改善編 / Make what is needed
soudai
24
6.7k
小規模に始めるデータメッシュとデータガバナンスの実践
kimujun
3
560
プロダクトエンジニアが活躍する環境を作りたくて 事業責任者になった話 ~プロダクトエンジニアの行き着く先~
gimupop
1
460
ABEMA のコンテンツ制作を最適化!生成 AI x クラウド映像編集システム / abema-ai-editor
cyberagentdevelopers
PRO
1
180
AWSコンテナ本出版から3年経った今、もし改めて執筆し直すなら / If I revise our container book
iselegant
15
3.9k
失敗しないOpenJDKの非互換調査
tabatad
0
270
新卒1年目が向き合う生成AI事業の開発を加速させる技術選定 / ai-web-launcher
cyberagentdevelopers
PRO
7
1.5k
ガバメントクラウド単独利用方式におけるIaC活用
techniczna
3
260
AWS CDKでデータリストアの運用、どのように設計する?~Aurora・EFSの実践事例を紹介~/aws-cdk-data-restore-aurora-efs
mhrtech
4
630
MAMを軸とした動画ハンドリングにおけるAI活用前提の整備と次世代ビジョン / abema-ai-mam
cyberagentdevelopers
PRO
1
110
2024-10-30-reInventStandby_StudyGroup_Intro
shinichirokawano
1
610
バクラクにおける可観測性向上の取り組み
yuu26
3
400
Featured
See All Featured
Building Adaptive Systems
keathley
38
2.2k
Writing Fast Ruby
sferik
626
61k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Being A Developer After 40
akosma
86
590k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Testing 201, or: Great Expectations
jmmastey
38
7k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.2k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
KATA
mclloyd
29
13k
Designing for humans not robots
tammielis
249
25k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
Adopting Sorbet at Scale
ufuk
73
9k
Transcript
実践 Amazon SageMaker 〜全体像からユースケースまで〜 データアナリティクス事業本部 インテグレーション部 貞松 政史
2 ⾃⼰紹介 ⽒名 貞松 政史 (サダマツ マサシ) 所属 データアナリティクス事業本部 インテグレーション部
機械学習チーム 岡⼭オフィス勤務 好きなAWSサービス SageMaker Personalize Forecast
3 本セッションのゴール Amazon SageMaker ⼤体わかった ü SageMaker Studioを軸とした全体像の理解 ü SageMakerを使うと何が嬉しいか
ü SageMakerを利⽤したなんとなくの活⽤イメージ
4 本セッションで話さないこと × 機械学習とは何ぞや × 機械学習アルゴリズムの詳細な解説 × 全ての関連サービスに関する詳細な解説
5 おしながき 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. アーキテクチャの例 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
6 Amazon SageMakerとは 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker
Studioを軸とした全体像 2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. アーキテクチャの例 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
7 Amazon SageMakerとは ü 機械学習の完全マネージド型サービス ü すべての開発者やデータサイエンティストが対象 ü 機械学習モデルを迅速に構築、学習、デプロイ
8 機械学習の実⾏における課題 ü 実⾏環境 • 学習の為に必要なコンピューティングパワーやストレージ • 機械学習モデルの開発環境 ü 機械学習の前提知識
• 様々な課題に対する機械学習のアルゴリズム ü システムの運⽤ • 学習済みモデルのデプロイ • モデル性能のモニタリングや再学習・再デプロイ
9 SageMakerを使うと何が嬉しいのか︖ ü マネージドな実⾏環境 • スケーラブルなインスタンス • ホストされたJupyter Notebook上での開発 ü
⽬的別に⽤意されたビルトインアルゴリズム • 分類、予測、レコメンデーションなど • コンソール上の操作、Notebookからの呼び出し • 既定のデータセットと幾つかのパラメータ設定で即座に利⽤可能 ü その他サービスとの連携
10 SageMakerの全体像 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. アーキテクチャの例 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
11 これまでのSageMaker (re:Invent 2019以前)
12 これまでのSageMakerの課題 • 学習途中や学習済みモデルの情報が部分的(ブラックボックス) • 有効なアルゴリズムの選別は実装者の知識、経験に依る (ハイパーパラメータの⾃動チューニングは存在する) • Notebookインスタンスの起動・停⽌の管理とスケーリング •
開発から運⽤・保守までのプロセスを集中管理したい
13 現在のSageMakerの全体像 https://aws.amazon.com/jp/sagemaker/
14 現在のSageMakerの全体像 re:Invent 2019(2019年12⽉)で発表されたサービス
開発環境から運⽤・保守までサポート SageMaker Studio SageMaker Notebooks SageMaker AutoPilot SageMaker Debugger SageMaker
Experiments SageMaker Model Monitor 開発・運⽤・保守 AutoML 開発環境・インフラ
16 SageMaker Studio
17 SageMaker Studio SageMaker Studio Keyword: 統合開発環境(IDE)
18 SageMaker Studioとは • SageMaker⽤のWebベースの統合開発環境(IDE) • ビジュアルインターフェースによる操作 • SageMakerによる機械学習の開発プロセスを ⼀元的に管理できる
• データのアップロード • 新規ノートブックの作成 • モデルのトレーニングと調整 • 結果の可視化 • モデルのデプロイ など…
19 SageMakerのメリット・デメリット • メリット • ⼀つの画⾯で関連サービスの恩恵を受けられる • デメリット • 現状利⽤可能なリージョンが限られる
(以下の4リージョンのみ) • us-east-1 ⽶国東部(オハイオ) • us-east-2 ⽶国東部(バージニア北部) • us-west-2 ⽶国⻄部(オレゴン) • eu-west-1 欧州(アイルランド)
20 SageMaker Notebooks
21 SageMaker Notebooks SageMaker Notebooks Keyword: スケーラブルなノートブック
22 SageMaker Notebooks • Notebookインスタンスの作成が不要に • Jupyter Notebookを数秒で利⽤開始 • リソースのスケーリングが容易
• 他のユーザーにNotebookの共有が可能
23 SageMaker Autopilot
24 SageMaker Autopilot SageMaker Autopilot Keyword: AutoML
25 SageMaker Autopilotとは • 俗に⾔うAutoML機能 • 機械学習のプロセスを完全に制御しながら、最適な分類 および回帰の機械学習モデルを⾃動的に作成 • トレーニングの追跡、可視化
26 SageMaker Autopilotでできること • 適⽤可能な問題 • 線形回帰 • バイナリ分類 •
マルチクラス分類 • ⾃動ハイパーパラメーター最適化 • 分散トレーニング • インスタンスとクラスターの⾃動サイズ選択
27 SageMaker Autopilotのメリット・デメリット • メリット • 機械学習の前提知識なしで利⽤可能 • 実⾏される多数のトレーニングを追跡・可視化できる •
デメリット • 全ての問題で使⽤できるわけではない • 学習時間がかかる(それに伴って料⾦もかかる)
28 SageMaker Experiments
29 SageMaker Experiments SageMaker Experiments Keyword: トレーニング結果の保存と追跡
30 SageMaker Experiments • 機械学習モデルへの繰り返し処理を調整および追跡 • 情報を⾃動的に収集 → 実験結果として保存 •
データセット • アルゴリズムのバージョン • モデルのパラメータ など…
31 保存された実験結果
32 SageMaker Debugger
33 SageMaker Debugger SageMaker Debugger Keyword: メトリックの取得とアラートルール
34 SageMaker Debuggerとは • トレーニング中のメトリクスをリアルタイムに取得 • 評価値 • 混同⾏列 •
学習勾配
35 SageMaker Debuggerとは • メトリクスに対するルールを設定 (プリセットのルールも準備されている) • 設定されたルールに従ってアラートをあげたり 学習ジョブを停⽌したりできる •
既存コードの修正は不要
36 SageMaker Model Monitor
37 SageMaker Model Monitor SageMaker Model Monitor Keyword: コンセプトドリフトの検出
38 SageMaker Model Monitor • 開発者がコンセプトドリフトを検出し、修復できる ようになります • デプロイ済みのモデルでコンセプトドリフトを検出 し、問題の原因を特定するのに役⽴つ詳細なアラー
トを出します
39 コンセプトドリフトとは • デプロイされたモデルの精度に影響を及ぼす可能性のあ る⼤きな要因のひとつ • 予測の⽣成に使⽤されたデータが、モデルのトレーニングに 使⽤されたデータと異なるケース • これが⽣じると予測を作るためにモデルで使⽤されるデータ
のパターンが適応できなくなる
40 コンセプトドリフトの例 COVID-19の影響により、短期的に⼩売のトレンドが変化 している為に、過去のデータで学習したモデルが正常に機能 しなくなってしまった https://www.technologyreview.com/2020/05/11/1001563/covid-pandemic- broken-ai-machine-learning-amazon-retail-fraud-humans-in-the-loop/ MIT Technology Review
Our weird behavior during the pandemic is messing with AI models
41 SageMakerを使⽤した予測 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. ユースケース 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
42 ユースケース︓需要予測 レンタル⾃転⾞の需要予測 ⽇別のレンタル⾃転⾞の貸出台数実績データ 平⽇/休⽇、天候などのメタデータ
43 ユースケース︓需要予測 最終的に出来上がるモデル 平⽇/休⽇、天候などのメタデータ ↓ 学習済みモデル ↓ 貸出台数の予測値
44 モデル学習の流れ 学習データの配置 学習アルゴリズムの選択 ハイパーパラメータの設定 ノートブックの作成 ⼊出⼒の指定 データの前処理 評価・可視化の設定 学習データの配置
(事前整形済) SageMaker Experimentsでモデル作成 SageMaker Autopilotで作成実⾏ ⼊出⼒の指定 柔軟さが必要なモデル開発向け ⼊出⼒の形がハッキリした分類・予測向け 今回はコチラで
45 AutopilotとExperimentsを使ってモデルを作成 インプットの設定 ※ S3バケットのリージョンは 実⾏するSageMakerと同⼀にすること
46 AutopilotとExperimentsを使ってモデルを作成 アウトプットの設定 予測の対象 対象の問題タイプ これで実⾏ するだけ︕
47 モデル作成の実⾏ ⾃動的にRegression(回帰)の問題と判定されている
48 ⼤量の学習ジョブが処理される
49 各学習ジョブの詳細も確認できる メトリックとか 実⾏時パラメーターとか メトリックの⾃動収集 ⾃動で設定されている • インスタンス • ストレージ
• ハイパーパラメータ など…
50 作成されたモデルによる予測 精度が良かったBestなモデルをデプロイしてみる
51 予測モデルのエンドポイントを作成
52 エンドポイントを呼び出して予測実⾏ Notebookからエンドポイントを呼び出して予測結果を得てみる エンドポイント名 ⼊⼒パラメーター 予測台数
53 想定されるアーキテクチャの⼀例 AWS Lambda Amazon Redshift Amazon RDS Amazon SageMaker
Amazon CloudWatch Amazon API Gateway Amazon Simple Storage Service Local Computer エンドユーザー システム管理者 or or etc… Endpoint Alert Model Monitor
54 まとめ 1. Amazon SageMakerとは 2. SageMakerの全体像 1. SageMaker Studioを軸とした全体像
2. 各サービスの機能とメリット 3. SageMakerを使⽤した予測 1. ユースケース 2. モデル学習の流れ 3. 作成されたモデルによる予測 4. まとめ
55 まとめ Amazon SageMakerは機械学習の為のフルマネージ ドなクラウドサービス SageMaker Studioを軸として、各種関連サービスを 組み合わせることで機械学習システムの構築に必要な機 能を揃えることができる 予測の例のように、簡単にモデル学習
→ デプロイ → コンテンツへの適⽤が可能
56 Let’s get started! Amazon SageMakerでHappy ML Life!
None
セッション後はアンケートへのご協力をよろしくお願いします。 ご回答いただいた方には後日、資料を送付いたします。 SNS投稿にはこちらをお使いください。 #devio2020 イベントのポータルサイトはこちら https://classmethod.jp/m/devio_2020_connect/ ライブセッション録画もこちらから 視聴できます。 https://forms.gle/3twz4kFZR4Rwe7KE8 14:00〜14:45
「実践 Amazon Sagemaker - 全体像からユースケースまで」 のアンケートはこちらからお願いします。 Q&A Q&A