Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWSで始める機械学習/machine-learning-on-aws-20180310

 AWSで始める機械学習/machine-learning-on-aws-20180310

JAWS DAYS 2018

ryo nakamaru

March 10, 2018
Tweet

More Decks by ryo nakamaru

Other Decks in Technology

Transcript

  1. 中丸 良 @pottava • AWS Certified SA, DevOps Engineer -

    Pro • CTO at SUPINF Inc. / Solutions Architect at Rescale, Inc. • クラサバ ERP → Web → クラウド / Docker → HPC / ML Profile 2
  2. 機械学習の流れ 5 2. σʔλલॲཧ 3. ֶश 4. ਪ࿦ 1. σʔλऩू

    この流れに沿い、AWS をどう使えばいいのか 利用タイミングと目的別にご紹介します
  3. 一般公開された画像集 9 研究もコンテストも盛んで、たくさんあります。 • MNIST   http://yann.lecun.com/exdb/mnist/ • CIFAR-10 &

    CIFAR-100   https://www.cs.toronto.edu/~kriz/cifar.html • ImageNet   http://www.image-net.org/ • …
  4. データ収集に便利なサービス 17 • AWS IoT • Amazon Kinesis Streams •

    Amazon CloudWatch Logs • Amazon S3 • Amazon Cognito + AWS SDK
  5. データ前処理に便利なサービス 20 • Amazon Mechanical Turk • AWS Glue •

    Amazon EMR / EC2 • AWS Lambda / Step Functions • AWS CloudWatch Events
  6. NVIDIA の Docker イメージ 28 cuda:8.0-runtime ubuntu:16.04 cuda:8.0-devel cuda:8.0-cudnn5-runtime cuda:8.0-cudnn5-devel

    digits (v6.0) 以下のような継承関係のイメージが公開されています。 機械学習の動作要件に適したイメージをベースに。 独自 Docker イメージのビルドもできます。 NGC なる サービスも
  7. 試行錯誤に便利なサービス 30 • Amazon Machine Learning • Amazon SageMaker •

    Amazon EMR / EC2 ‣ p3 / g3 (GPU) instances ‣ Deep Learning AMI • Amazon EBS / S3 / ECR
  8. GPU インスタンス 32 汎用コンピューティング用途: p3 系: NVIDIA Tesla P100     単精度演算性能

    9.3 TFLOPS, 半精度演算性能 18.7 TFLOPS     (3,584 CUDA cores) p2 系: NVIDIA Tesla K80     単精度演算性能 8.74 TFLOPS     (2,496 CUDA cores / GPU が 2 つで 1 つの K80)
  9. Amazon DeepLearning AMI 33 CUDA, cuDNN, Anaconda and so on.

    P3, P3 & Intel Math Kernel Library for C5
  10. 学習フェーズに便利なサービス 37 • Amazon EMR / Batch / EC2 ‣

    p3 / g3 (GPU) instances ‣ Deep Learning AMI ‣ Spot Fleet / AutoScaling Group • Amazon SageMaker • Amazon Machine Learning • Amazon EFS / S3
  11. Amazon SageMaker 44 設計 学習 デプロイ • ワンクリック起動 Jupyter notebook

    • プリセットされた 機械学習アルゴリ ズム群 ▶ ▶ • ジョブを定義し   学習開始 • 並列分散学習 • ハイパーパラメタ  最適化 • シンプルな API で   モデルをデプロイ • フルマネージドな 推論エンドポイント の提供
  12. 推論フェーズに便利なサービス 49 • Amazon ECS / EC2 ‣ p3 /

    g3 (GPU) / F1 (FPGA) instances ‣ Deep Learning AMI ‣ Spot Fleet / AutoScaling Group • AWS Lambda / Amazon API Gateway • AWS ElasticBeanstalk • Amazon EFS / EBS / S3 / ECR
  13. AWS の推論 API サービス 55 • Amazon Rekognition • Amazon

    Polly • Amazon Transcribe • Amazon Translate • Amazon Comprehend
  14. まとめ 56 2. σʔλલॲཧ 3. ֶश 4. ਪ࿦ 1. σʔλऩू

    Glue EMR Lambda Lambda ML SageMaker Batch ECS どこで何を使うか 難易度や機能に応じて選択
  15. JAWS-UG AI 支部 58 • AWS で AI サービスを実装・運用するための  一般的な技術情報、知見、事例共有の場

    ‣ すでに活用している方 ‣ 導入を検討している方 ‣ 何それおいしいの?な方(開催ごとに難易度が多少違います)
  16. Containerize your app! 60 • クラウド / コンテナ を強みにした受託開発運用、コンサルティング •

    2015 年から Docker の本番運用を開始・豊富な CI / CD 事例 • スピンフ、と読みます・・
  17. ご静聴ありがとうございました 参考文献: • Cloud Native Technologies in the Fortune 100

              http://redmonk.com/fryan/2017/09/10/cloud-native-technologies-in-the-fortune-100/ • A Study of Security Vulnerabilities on Docker Hub        http://dance.csc.ncsu.edu/papers/codaspy17.pdf