Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Vertex Pipelines触ってみた / Try Vertex Pipelines
Search
Civitaspo
June 16, 2021
0
1.4k
Vertex Pipelines触ってみた / Try Vertex Pipelines
2021/06/16 第8回 MLOps 勉強会 Tokyo (Online)
https://mlops.connpass.com/event/211953/
Civitaspo
June 16, 2021
Tweet
Share
More Decks by Civitaspo
See All by Civitaspo
BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜 / The Ultimate Data Platform Migration from BigQuery to Snowflake: Data Ingestion Edition
civitaspo
16
4.9k
データ利用者が最速で価値を評価できるDataOpsを目指して / Towards DataOps that Enables Analysts to Deliver Value Rapidly
civitaspo
3
780
生データを最速で取り込むチャレンジ ~LayerXデータ基盤成長物語 part1~ / Building a data infrastructure that captures raw data at the fastest
civitaspo
4
870
データ基盤における管理の考え方 〜dbtの極意〜:LayerXにdbtを導入するときに意識したこと
civitaspo
3
1.7k
Digdag と Embulk と Athena で作る Gunosy の ELT基盤
civitaspo
8
10k
Embulkに足りない5つのこと
civitaspo
7
5.3k
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Designing for Performance
lara
604
68k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.8k
Adopting Sorbet at Scale
ufuk
73
9.1k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
8.2k
Designing on Purpose - Digital PM Summit 2013
jponch
115
7k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.2k
Agile that works and the tools we love
rasmusluckow
327
21k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.5k
Done Done
chrislema
181
16k
Transcript
Vertex Pipelines触ってみた 2021/06/16 第8回 MLOps 勉強会 Tokyo (Online) 株式会社ZOZOテクノロジーズ EC基盤本部
SRE部 MLOpsチーム 中山 貴博 (civitaspo) Copyright © ZOZO Technologies, Inc.
© ZOZO Technologies, Inc. 株式会社ZOZOテクノロジーズ EC基盤本部 SRE部 MLOpsチーム Tech Lead
中山 貴博 きびたすぽ • Twitter @Civitaspo ◦ 長いので社内で「きびちゃん」と呼ばれてます😊 • DeNA->Gunosy->ZOZOテクノロジーズ(2020/06~) • インフラ・データエンジニアなキャリア • 全国在宅勤務制度を使って福岡に移住しました🍻 • 趣味は骨を割るところからスタートするラーメン作り 2
© ZOZO Technologies, Inc. https://zozo.jp/ • 日本最大級のファッション通販サイト • 1,400以上のショップ、8,100以上のブランドの取り扱い(ともに2020年12 月末時点)
• 常時83万点以上の商品アイテム数と毎日平均3,000点以上の新着商品 を掲載 • 即日配送サービス • ギフトラッピングサービス • ツケ払い など 3
© ZOZO Technologies, Inc. https://wear.jp/ 4 • 日本最大級のファッションコーディネートアプリ • 1,500万ダウンロード突破、コーディネート投稿総数は1,000万件以上(と
もに2020年12月末時点) • App Store / Google Playが利用可能な一部の国と地域でもダウンロー ドが可能 • 等身大の着こなしが支持を集め、10万人以上のフォロワーを持ち WEARISTAに認定された一般ユーザーも誕生
Vertex Pipelines触ってみた 2021/06/16 第8回 MLOps 勉強会 Tokyo (Online) 株式会社ZOZOテクノロジーズ EC基盤本部
SRE部 MLOpsチーム 中山 貴博 (civitaspo) Copyright © ZOZO Technologies, Inc.
© ZOZO Technologies, Inc. はじめに • Vertex Pipelinesの紹介をします! ◦ connpass上では「Vertex
AI触ってみた」と書いてしまっていました。Vertex AI全体の話を聞きたかった方はごめんなさい • 既にVertex Pipelinesを触っている方には目新しい情報は少ないかもしれません! ◦ kfp v2の使い方が分からなくて困ってる方は懇親会で意見交換しましょう🙏🙏🙏 • Vertex Pipelinesの導入の際に気になるポイントを中心にまとめました! ◦ なので、使い方よりもインフラ観点の制約などを多めにまとめています✍✍✍ • この資料の総ページ数は19です! ◦ あとどれくらいで発表が終わりそうかは右下のページ数から感じ取ってください☺☺☺ 6
© ZOZO Technologies, Inc. Vertex Pipelinesとは? • 2021/05/19にGCPが提供を開始したVertex AIのコン ポーネントの一つです
◦ Vertex AIはAI Platform (Unified)の名前が変わった ものです • Full-managed Kubeflow ◦ これまでGCPが提供していたAI Platform Pipelines ではGKEの運用が必要でした ⇒ ◦ Vertex PipelinesではGKEが不要なので運用コスト が大幅に減りました!🎉🎉🎉 7 AI Platform PipelinesでGKEにDeployされていたObject一覧
© ZOZO Technologies, Inc. 気になるポイント 8
© ZOZO Technologies, Inc. どうやって使うの? • Kubeflow Pipelines SDK (a.k.a.
kfp) v2 を使用します • まだドキュメントが少なくハマりどころが多いです • 使い方が分からなかったら ◦ ソースコードを読む ◦ GitHub上で開発者とコミュニケーション ◦ Twitterで助けを求める ◦ などで問題解決していきます 9
© ZOZO Technologies, Inc. どこに何があるの? • PipelineはVertex PipelinesのUIから確認出来ます • 各componentはVertex
TrainingのCustom Jobとして実行されます ◦ Kubeflow PipelinesではPodとして実行されていました ◦ 各JobのログはCloud Loggingで閲覧出来ます ◦ 各JobのメトリクスはCloud Monitoringで閲覧出来ます 10
© ZOZO Technologies, Inc. どのRegionで使えるの? • Pipelinesが使えるRegionは3つのみです ◦ us-central1 ◦
europe-west4 ◦ asia-east1 • 比較的GPUのバラエティが多いのでGPUを利用す る場合に困ることは少ないでしょう 11 ref. GPU regions and zones availability | Compute Engine Documentation
© ZOZO Technologies, Inc. Schedule実行はどうするの? • Vertex Pipelines自体にはSchedule実行機能はありません ◦ Kubeflow
PipelinesではRecurring Runという機能で実現していました • 代わりにCloud SchedulerとCloud Functionsを使用します ◦ kfp v2でも操作可能なインターフェースがありますが現状まだ更新出来ないなど不具合があります😭😭😭 ◦ この方式だとCloud Pub/SubでEvent-Drivenな実行も出来そうです(未検証) 12
© ZOZO Technologies, Inc. component間でファイルの受け渡しをしたいです! • gcsfuseによるGCSのマウント機能があります • component実行時にGCS Bucketがマウントされます
◦ mount path: /gcs/${bucket}/... • pipeline定義時に指定した pipeline_root に含まれるGCS Bucketが対象 ◦ pipeline_root はpathも含んだ gs:// から始まるURIを指定しますが、マウントされるのは GCS Bucket全体となります ◦ なので、他のPipelineと競合しないような運用ルールを決めておく必要があります • GCS BucketはPipelineと同一Regionに存在している必要があります ◦ マルチリージョンバケットはサポートされていません 13
© ZOZO Technologies, Inc. VPC内のリソースにアクセスしたいです! • Pipeline実行時にVPC Networkを指定することで実現 出来ます •
内部的にはGCP管理のVPCとPeeringされています 14
© ZOZO Technologies, Inc. 外部リソースアクセス時のIPを固定したいです! • Vertex Pipelinesではサポートしていません • Cloud
RunやGKE Podへ処理をオフロードすることで実現出来ます 15
© ZOZO Technologies, Inc. おわりに 16
© ZOZO Technologies, Inc. おわりに • Vertex Pipelinesの気になるポイントをまとめてみました! • 他にも気になるポイントがあると思うので懇親会で是非意見交換しましょう!
• Vertex Pipelinesは「機能はあるはずだけど使い方が分からない」部分がまだ多いサービスなの で、今後も情報共有していきましょう! 17
© ZOZO Technologies, Inc. We are hiring! • MLOpsチームでは一緒にZOZOのMLを加速させる仲間を大募集しています! ◦
MLOps エンジニア | 株式会社ZOZOテクノロジーズ • ご興味持たれた方は是非お声をおかけください! 18
None