Upgrade to Pro — share decks privately, control downloads, hide ads and more …

WEARにおけるGAE(Google App Engine)を用いた機械学習アプリケーションの...

Trs
July 25, 2019

WEARにおけるGAE(Google App Engine)を用いた機械学習アプリケーションの運用について

Trs

July 25, 2019
Tweet

More Decks by Trs

Other Decks in Programming

Transcript

  1. © ZOZO Technologies, Inc. 株式会社ZOZOテクノロジーズ
 ML Opsチーム
 平田 拓也
 twitter: @TrsNium


    
 2018年 ZOZOテクノロジーズ中途入社
 ML Opsチームにて、アプリケーションの最適化からイ ンフラの整備までをやっています。
 2
  2. © ZOZO Technologies, Inc. 本日のアジェンダ • WEARに導入されたパーソナライズ機能の紹介 • パーソナライズ機能全体のインフラ構成 ◦

    GAEを使ったアプリケーション基盤の構成 ◦ 機械学習を継続的に行うためのパイプライン構成 3
  3. © ZOZO Technologies, Inc. https://wear.jp/
 ・ 日本最大級のファッションコーディネートアプリ
 ・ 1,300万ダウンロード突破、コーディネート投稿総数は900万件 


    以上(ともに2019年5月末時点)
 ・ 全世界(App Store / Google Playが利用可能な全ての国)で
 ダウンロードが可能
 ・ 200万人以上のフォロワーを持つユーザー(WEARISTA)も誕生
 4
  4. © ZOZO Technologies, Inc. 全体のインフラ構成 モデル更新& デプロイパイプライン アプリケーション 機 械

    学 習 モ デ ル 定 義 8 APIのエンドポイント 機械学習モデル定義 APIのエンドポイント アプリケーションコード
  5. © ZOZO Technologies, Inc. なぜGKE, CloudFunctionsではなくGAEなのか 12 GKE Cloud Functions

    GAE 学習コスト 高い 低い 低い 運用コスト 高い 低い 低い 柔軟性 高い 低い 低い GPU? 利用可 利用不可 利用不可 Docker? 利用可 利用不可 利用可
  6. © ZOZO Technologies, Inc. なぜGKE, CloudFunctionsではなくGAEなのか 13 GKE Cloud Functions

    GAE 学習コスト 高い 低い 低い 運用コスト 高い 低い 低い 柔軟性 高い 低い 低い GPU? 利用可 利用不可 利用不可 Docker? 利用可 利用不可 利用可 Docker環境が既にあった + 運用コストを低くしたい
  7. © ZOZO Technologies, Inc. 14 GAEって何だっけ • フルマネージドなPlatform as a

    Service(PaaS)
 ◦ サーバーの環境構築や面倒を見る必要がない
 • Node.js, Python, Rubyなどの言語に対応
 ◦ 対応していない場合も「カスタムランタイム」をDocker上で使用可能
 • アプリケーションのバージョニング、開発、テスト環境を簡単に構築できる
 • 受信したトラフィックを分割してA/Bテストみたいなのもできる
 • Stackdriverを用いたモニタリングやロギングが可能

  8. © ZOZO Technologies, Inc. 15 GAEの環境 Standard Flexible (Go, Python,

    ..) Flexible (Custom Runtime) 実行環境 サンドボックス Compute Engine Compute Engine ランタイムの自由度 ✗ ▲ ◯ リソースの制限 有 有(Standardより緩い) 有(Standardより緩い) スケーリングの速さ 早い(数十 ms) 場合によっては遅い(数分) 場合によっては遅い(数分) [参考] https://cloud.google.com/appengine/docs/flexible/java/flexible-for-standard-users?hl=ja
  9. © ZOZO Technologies, Inc. 16 GAEの環境 Standard Flexible (Go, Python,

    ..) Flexible (Custom Runtime) 実行環境 サンドボックス Compute Engine Compute Engine ランタイムの自由度 ✗ ▲ ◯ リソースの制限 有 有(Standardより緩い) 有(Standardより緩い) スケーリングの速さ 早い(数十 ms) 場合によっては遅い(数分) 場合によっては遅い(数分) [参考] https://cloud.google.com/appengine/docs/flexible/java/flexible-for-standard-users?hl=ja Docker環境があった + Modelのロードも必要
  10. © ZOZO Technologies, Inc. 17 GAEのデプロイ 各環境で必要なファイル Standard Environment 構成ファイル(app.yaml,

    dispatch.yaml,..)とソースファイル Flexible (任意処理系) Environment 構成ファイルとソースファイルとライブラリに関するファイル(requirements.txt) Flexible Custom Runtime Environment 構成ファイルとDockerfile DockerfileにADD句でソースファイルを含めるようにする $ gcloud app deploy
  11. © ZOZO Technologies, Inc. 18 GAEのチューニングパラメータ アプリケーションのパフォーマンス関する主なチューニングパラメータ
 
 パラメータ名 概要

    instance_class(Standard) or resources(Flexible) 必要なコンピュータリソース(CPUやメモリ)要件を定義する automatic_scaling スケーリングポリシーを決める 例. CPU使用率50%以上でスケールアウト チューニングパラメータが少なくて楽

  12. © ZOZO Technologies, Inc. 19 GAEのLogging Stackdriver, New Relic, Datadogからでも収集可能


    • ログ収集に実装コストをかけたくない
 • ユーザーのリクエストログなんかも後で分析できるようにしたいよね?
 
 
 
 
 Stackdriver Loggingに

  13. © ZOZO Technologies, Inc. 20 GAEのStackdriver Logging [参考] https://cloud.google.com/appengine/articles/logging リクエストログ

    アプリケーションに到達したリクエストのログ アプリログ App Engine内のアプリケーションログ(stdout) ランタイムログ ロギングエージェントからのログ(e.g., 例外スタックトレース) Flexible リクエストログ アプリケーションに到達したリクエストのログ アプリログ App logs consist of additional app information included in the request logs. サードパーティパッ ケージログ nginxなどのサードパーティ製のログ Standard 各環境のStackdriverで取得できるログ一覧
 

  14. © ZOZO Technologies, Inc. Stackdriver, New Relic, Datadogで収集可能
 • リソースの使用率


    • アプリケーションのレイテンシのトレーシング
 • API の外形監視
 • アプリケーション外のレイテンシのトレーシング
 
 
 NewRelicに
 
 21 GAEの監視
  15. © ZOZO Technologies, Inc. 22 New Relic APM • リソースの使用率(CPU,

    メインメモリ) • HTTPリクエストのレスポンスタイム • 分間のHTTPリクエスト数 • 簡易なトレーシングツール New Relic Agentを使ったアプリケーションの監視 
 

  16. © ZOZO Technologies, Inc. 23 New Relic Synthetics 以下の項目を監視 •

    アプリケーションの死活監視(HTTP Status) • HTTPリクエストのトレーシング 他にも下記のことが可能 • ブラウザレンダリングした時のレイテンシ • 仮想ブラウザを用いたWebページのテスト [参考] https://newrelic.nissho-ele.co.jp/products/newrelic-synthetics
  17. © ZOZO Technologies, Inc. 24 GAE Flexible Environmentを使ってみて 利点 •

    開発コストが低い ◦ ソースコードと必要なライブラリなどさえ分かれば、実行環境をすぐ に用意できる • 運用が楽 ◦ アプリケーションを手放しで運用できるようになった 欠点 • Flexibleを使うとアプリケーションのスケールに時間がかかる
  18. © ZOZO Technologies, Inc. 28 機械学習の学習パイプライン 1. digdagで jobを実行 Cron

    Job 2. Compute Engine上で 学習スクリプ トのキック 3. 学習デー タの作成 CircleCI 4. モデルの 学習 digdag on CircleCI 5. モデルを GCSへコピー BigQuery Compute Engine Compute Engine Compute Engine Cloud Storage 6. GCSへモ デルがコピー されるまで待 つ digdag on CircleCI 7. デプロイの 開始 CircleCI 毎日発火!!
  19. © ZOZO Technologies, Inc. 機械学習のデプロイパイプライン 1. デプロイの 開始 CircleCI Cloud

    Storage 2. モデルをコ ピー CircleCI 3. GAEへデ プロイ CircleCI App Engine 29
  20. © ZOZO Technologies, Inc. 30 • GAEは運用コストが低い ◦ チューニングパラメータが少ない ◦

    デプロイが簡単 • GPUを使いたくなったらGKE, Cloud Runなどを検討しよう まとめ