Implementing Machine Learning Pipelines using Vertex AI Pipelines

第 45 回 『事例でわかる MLOps 機械学習の成果をスケールさせる処方箋』出版記念 MLOps 勉強会でのLT「Vertex AI Pipelinesを用いた機械学習パイプラインの実装」の資料

イベント: https://mlops.connpass.com/event/328296/
書籍: https://www.amazon.co.jp/dp/4065369568/

Transcript

1. © DeNA Co., Ltd. 1 Vertex AI Pipelinesを用いた 機械学習パイプラインの実装 株式会社ディー・エヌ・エー 2024年10月02日 玉木　竜二 第45回 MLOps勉強会
2. © DeNA Co., Ltd. 2 背景 ゲーム ライブストリー ミング スポーツ・ス マートシティ メディカル・ヘ ルスケア その他（エンタメ・ ソリューション等） AIチーム AI需要 AI需要 事業がたくさん！！ AI需要もたくさん！！ なるべく開発素早くやってなるべく運用も楽したい！！
3. © DeNA Co., Ltd. 3 DeNAでよくある機械学習基盤アーキテクチャ
4. © DeNA Co., Ltd. 4 DeNAでよくある機械学習基盤アーキテクチャ データ基盤 機械学習パイプライン 機械学習推論API基盤 各種アプリケーション
5. © DeNA Co., Ltd. 5 DeNAでよくある機械学習基盤アーキテクチャ 今日はここの 実装の話 機械学習パイプライン
6. © DeNA Co., Ltd. 6 機械学習パイプラインのテンプレを作っています 以下の二つを作成 • Vertex AI Pipelinesを立ち上げるための最低限のTerraform module • 機械学習パイプラインを作るとき用のコードサンプル ◦ 上記のTerraform modulesを使う ◦ データ生成→前処理→学習を行うだけ ◦ invokeを用いたdocker build, pushのタスク、pipeline build, pushのタスクサンプル
7. © DeNA Co., Ltd. 7 なんでVertex AI Pipelines？ • DeNAのデータ基盤にBigQueryを使うことが多く、Google Cloudの技術スタックがある • データの扱いやセキュリティ、コスト按分などの観点から、事業ごとにわけたい ◦ サーバーレスで管理が楽なのが嬉しい ◦ 個別にそれぞれパイプラインを実装しやすい ゲーム ライブストリー ミング スポーツ・ス マートシティ メディカル・ヘ ルスケア その他（エンタメ・ ソリューション等） Vertex AI Pipelines データ基盤 Vertex AI Pipelines データ基盤 Vertex AI Pipelines データ基盤 Vertex AI Pipelines データ基盤 Vertex AI Pipelines データ基盤
8. © DeNA Co., Ltd. 8 Vertex AI Pipelinesを立ち上げるための最低限のTerraform module サンプルではこのmoduleを使うのみ
9. © DeNA Co., Ltd. 9 Vertex AI Pipelinesコードサンプルざっくり説明 パイプラインの実装 コンポーネントの実装 ハイパラなどの設定ファイル Cloud Functionsソース terraform Vertex AI Pipelinesのコンポーネントを実行す るdocker imageを作るためのDockerfile置き場
10. © DeNA Co., Ltd. 10 サンプル実行後のVertex AI Pipelines画面 データ生成 前処理 モデル学習 成功/失敗通知 • サンプルを実行するとここまでできる • 実際の案件ではデータサイエンティスト と協力して、各処理を実装していく
11. © DeNA Co., Ltd. 11 よくあるアーキテクチャ再掲 ここのクラウドイン フラは簡単に立ち上 がるようになった。 案件ごとに作成する データ連携部分は案件 に応じてデータエンジ ニアと協力して実装 機械学習の一連の処理 はデータサイエンティ ストと協力して実装 機械学習パイプライン
12. © DeNA Co., Ltd. 12 機械学習パイプラインのテンプレを作ったらどうなったか 開発が楽になった！ • 最初のサンプルのパイプラインを作るところまではすぐにできる • 同じようなコードを書くのでレビュー負荷も軽減 運用保守が楽になった！ • 同じような構成、技術スタックになるので認知負荷が減った • 監視などの方法も統一できてきた
13. © DeNA Co., Ltd. 13 まとめ • DeNAでの機械学習パイプライン事情について書籍と違う観点で紹介 ◦ 書籍にはない具体的な実装の話を少し紹介しました ◦ いろんな事業で機械学習パイプラインが今日も元気に動いています • 開発、運用も標準化により楽になってきています ◦ 最近だと https://github.com/GoogleCloudPlatform/automlops が参考になるかも ◦ 今回紹介したようなサンプルの実装が載ってます • 以下のことは書籍に書いてあるので興味があればぜひ読んでみてください！！ ◦ なぜワークフローエンジンを用いて処理をパイプラインとして管理するか ◦ 手動プロセスからパイプラインを用いた自動化までのプロジェクトの流れ
14. © DeNA Co., Ltd. 14