Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ある機械学習システムをAWSからGCP/GKEに移行した話 / Machine Learnin...

yukinagae
September 30, 2019

ある機械学習システムをAWSからGCP/GKEに移行した話 / Machine Learning System Migration from AWS to GKE

Data Pipeline Casual Talk Vol.4
https://dpct.connpass.com/event/139163/

yukinagae

September 30, 2019
Tweet

More Decks by yukinagae

Other Decks in Technology

Transcript

  1. TL;DR AWS で動いている機械学習システムをGCP/GKE 化 した(まずAPI 部分のみ) GCP/GKE 化の理由 リリースサイクルの高速化 インフラコスト削減

    ( リソース共有) 既存システムも徐々に移行していく予定 新システムは最初からGCP/GKE で構築 2
  2. 移行方針: どうやって移行するか? 1. まずはAPI 部分(システムの一部)からの移行 2. 段階的にすべてを移行していく まずはAPI 部分からの移行を実施 影響範囲を小さくしたい

    API だけなら最悪どうにでもなる もともとのAWS ヘの切り戻しも容易 機械学習部分をいきなり移行してデグレったら 嫌だよね(/ ・ω ・)/ 汗 19
  3. GKE からCloud SQL に接続 Cloud SQL Proxy で別GCP プロジェクトのDB に接

    続する構成(マイクロサービス的な構成) 原理的にPrivate IP で直で接続するより当然遅い Cloud SQL Proxy にした場合にどれくらい遅くなる かは簡易的に検証(※当然実環境とは異なるが) medium 記事: https://medium.com/google-cloud- jp/eb1fbd049d56 github: https://github.com/yukinagae/latency- comparison-of-cloud-sql-connection 21
  4. (おまけ)GCP での運用・監視 datadog はちょっと辛い 既存のAWS システムではdatadog をdashboard で使 ってたが、GCP で使うのは辛い

    PubSub 経由でdatadog にpush する仕組みを毎回 作らないといけない GCP プロジェクト毎に認証をしないといけない の大変 datadog APM の導入はめちゃくちゃ楽 しかし、もちろんcontainer 周りの指標しか取得 できない 26
  5. (おまけ)現状の運用・監視方法 Stackdriver Monitoring 使う理由 datadog 用に追加のintegration 作業が不要 複数プロジェクトを一つのworkspace にまとめれ ば、GKE

    やCloud SQL のプロジェクトが別でも1 つ のdashboard で監視できる alert policy やヘルスチェックもそのまま作れる (※現状はterraform 使わず、あえてGUI で手動 作成している。理由としては、監視しながらち ょこちょこ値を調整したいから) 27
  6. (おまけ)現状の運用・監視方法 結論 GCP の場合にはStackdriver のみ使うことにした Stackdriver monitoring での監視 alert policy

    の作成 + slack 通知 dashboard の作成 Stackdriver Trace でのパフォーマンスチェック opencensus 入れた Stackdriver for python はα 版。。。( `・ω ・´) 汗 28