LightMLOps using Vertex Workbench

https://cloudonair.withgoogle.com/events/google-cloud-day-digital-22
Movie: https://cloudonair.withgoogle.com/events/google-cloud-day-digital-22/watch?talk=d1-ml-10

Transcript

1. MLOps 再入門！Vertex AI で広が る MLOps の世界と実践例 @kargo113 株式会社プレイド Lead Analytics Engineer
2. Agenda • KARTE について • “Light” MLOps • ワークフロー • 今後の展望 • まとめ
3. KARTE について
4. 株式会社プレイド 東京都中央区銀座6-10-1 GINZA SIX 10F 設立：2011 年 10 月 従業員：190 名 ※2020 年 9 月 30 日 時点 資本金：26 億 3201 万 3778 円 ※2021 年 3 月 31 日 時点 創業 CXプラットフォーム「KARTE」正式版を提供開始 「KARTE for App」を提供開始 既存投資家を中心に 7社から総額27億円の資金調達を実施 「2018 年日本テクノロジー Fast 50」で 3 位受賞 Google からの資金調達を実施 「KARTE Blocks」を提供開始 東証マザーズへ新規上場 2011 年 10 月 2015 年 3 月 2018 年 3 月 2018 年 4 月 2018 年 10 月 2019 年 11 月 2020 年 7 月 2020 年 12 月 東京都中央区銀座 6-10-1 GINZA SIX 10F 設立：2011 年 10 月 従業員：240 名（2021 年 12 月時点） 株式会社プレイド
5. Customer Experience Platform karte.io
6. 145 億 UU 累計ユーザー数 ※1 135,000 over 秒間トラッキング数 ※3 0.x 秒/解析 解析速度 2.43 兆円 年間解析流通金額 ※2 ※1 ローンチ〜 2022 年 3 月までの解析ユニークユーザー数の実績 ※2 EC 領域における解析流通金額。 2021 年 3 月 〜 2022 年 2 月までの 単年の実績 ※3 秒間解析イベント数 （閲覧、購入、クリックなど全計測イベントが対象。 2022 年 3 月最大値） 180 + PB 月間解析データ量 8 + PB 蓄積データ量 Customer Experience Platform karte.io
7. KARTE 導入企業様 ※2021 年 9 月 27 日時点（順不同/一部抜粋）
8. KARTE Signals Face book Insta gram
9. KARTE Signals Facebook Instagram
10. “Light” MLOps
11. MLOps vs “Light” MLOps MLOps “Light” MLOps エンジニア工数の削減 △ ◦ モデル開発集中度 △ ◦ 複雑なワークフロー ◦ △ Github 管理 ◦ △
12. MLOps Architecture Data Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery BigQuery AI Pla orm Training AI Pla orm Training AI Pla orm Training AI Pla orm Pipeline Container Registory Github Actions AI Pla orm Notebooks KARTE Data BigQuery Engineer - Facebook - Instagram
13. “Light” MLOps Architecture Data Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Vertex Workbench Simplify - Facebook - Instagram
14. ワークフロー
15. Data Scientist のワークフロー External Table Link 必要に応じて KARTE または 外部のテーブルと連携する Notebook Notebook で分析及び機械学習 モデルを作成 Output Table 出力テーブルが定期更新されて いるか確認する Schedule Execution Notebook を定期実行する Parameterized 変数を Parameter にして汎用化 する
16. “Light” MLOps Architecture Data Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Vertex Workbench - Facebook - Instagram
17. Place Image Here Notebook Component ごとに処理を構築し、 Notebook を作成します install Parameters Preprocess Train, Inference, PostProcess … etc
18. Place Image Here Pamameterized Parameters を設定したい Cell を 選択します
19. Place Image Here Pamameterized Cell に「Parameters」 タグを付与する ことで、Execution する際に変更可能 な Parameters を設定します
20. Place Image Here Schedule Execution Execute ボタンをクリックします
21. Place Image Here Schedule Execution Schedule Execution を設定します
22. Place Image Here Schedule Execution 最後に Submit します
23. Place Image Here Schedule Execution 「Schedules」のタブから設定したタス クが確認できます
24. Place Image Here Schedule Execution 「Executions」のタブからタスクの実行 結果がそれぞれ確認できます
25. Place Image Here Schedule Execution さらに「VIEW RESULT」から実行結果 が簡単に確認できます
26. Place Image Here Schedule Execution Confusion Matrix や Feature Importance なども確認できます
27. Place Image Here Output Table 出力先のテーブルが Schedule 通り に更新されていることを確認します
28. Place Image Here Output Table ユーザーごとに CV するかどうかのラ ベルの予測値が更新されます
29. “Light” MLOps Architecture Data Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Vertex Workbench - Facebook - Instagram
30. Place Image Here External Table Link KARTE Datahub のデータセットと連 携します
31. “Light” MLOps Architecture Data Scientist Client Cloud Storage Cloud Run JobFlow Work ows BigQuery KARTE Data BigQuery BigQuery Vertex Workbench - Facebook - Instagram
32. Place Image Here External Table Link JobFlow にて Facebook Conversions API に日次で連携する ジョブを構築します Face book Insta gram
33. Data Scientist のワークフロー External Table Link 必要に応じて KARTE または 外部のテーブルと連携する Notebook Notebook で分析及び機械学習 モデルを作成 Output Table 出力テーブルが定期更新されて いるか確認する Schedule Execution Notebook を定期実行する Parameterized 変数を Parameter にして汎用化 する エンジニア工数なし！ モデル開発に集中可能！
34. 今後の展望
35. execute notebook operator を利用 することで、任意の notebook を pipeline 連携できるようになります Vertex Pipeline
36. “Light” MLOps Future Architecture Data Scientist Client API Vertex Workbench KARTE Data BigQuery Vertex Pipeline Cloud Storage Cloud Run JobFlow Work ows BigQuery BigQuery Vertex Workbench Vertex Workbench - Facebook - Instagram
37. まとめ
38. エンジニアの工数を用いずに、データサイエンティストの みで MLOps がスムーズに行えるようになる 01 03 02 “Light” MLOps まとめ データサイエンティストがこれまで以上にモデル開発に 集中できるようになる Vertex Pipeline 等の Vertex AI 各種機能を用いること で、さらなる拡張が可能になる