DeNA Sponsored Session at the MLOps Community

第 45 回 『事例でわかる MLOps 機械学習の成果をスケールさせる処方箋』出版記念 MLOps 勉強会でのスポンサーセッションの資料

イベント: https://mlops.connpass.com/event/328296/
書籍: https://www.amazon.co.jp/dp/4065369568/

Transcript

1. © DeNA Co., Ltd. 1 DeNAスポンサーセッション 株式会社ディー・エヌ・エー 2024年10月02日 玉木　竜二 第45回 MLOps勉強会
2. © DeNA Co., Ltd. 2 自己紹介 玉木 竜二 MLエンジニアグループ所属のMLOpsエンジニア • 機械学習モデルをプロダクトとして使えるように機械学習パイプ ラインを作ったり、推論用のシステムを作ったり 経歴 • データサイエンティスト 3年 ◦ 自然言語処理プロジェクトのモデル開発担当 • ITコンサルタント 1.5年 ◦ お客様と話したりバックエンドの開発したり • 機械学習エンジニア 2年(現在) ◦ 機械学習プロジェクトのシステム開発、運用担当
3. © DeNA Co., Ltd. 3 1 DeNA紹介 DeNAでの機械学習プロジェクトの進め方紹介 終わりに 3 2 目次
4. © DeNA Co., Ltd. 4 4 01 DeNA紹介
5. © DeNA Co., Ltd. 5 事業ポートフォリオ ライブコミュニティ ゲーム スポーツ・スマートシティ 新領域 モビリティ・Ｅコマース ヘルスケア・メディカル
6. © DeNA Co., Ltd. 6 事業展開 エンターテインメント領域と社会課題領域の両軸を展開する
7. © DeNA Co., Ltd. 7 7 02 DeNAでの機械学習 プロジェクトの進め方紹介
8. © DeNA Co., Ltd. 8 今日話すこと 『事例でわかるMLOps 機械学習の成果をスケールさせる処方箋』に書いた内容の一部をより細かく紹介 します。書面の都合上説明できなかったけどここで話すと面白いかもといった内容だったり、DeNAドメ インのことがよく含まれた内容だったりします • DeNAのデータ組織紹介 • 機械学習プロジェクトメンバー構成紹介 • 機械学習プロジェクトの進め方紹介
9. © DeNA Co., Ltd. 9 DeNAのデータ組織紹介 ソリューション事業本部 データ統括部 データ基盤部 データ活用推進グループ AI技術開発部 • AI技術開発部 ◦ 機械学習系の研究者、データサイエンティストなどが在籍 ◦ 研究開発、機械学習モデルの作成などを行う • データ基盤部 ◦ データエンジニア、MLOpsエンジニアが在籍 ◦ データの管理、機械学習モデルの組み込み、データの提供などを行う • データ活用推進グループ ◦ AI案件のプロジェクトマネージャーが在籍 ◦ AI案件の提案、プロジェクトマネジメントなどを行う ゲームサービス事業本部 ライブコミュニティ事業本部 … デザイン統括本部 マーケティング統括本部 …
10. © DeNA Co., Ltd. 10 AI案件登場人物 ポジション 役割の例 プロジェクトマネージャー(PM) クライアント、社内各事業における課題発掘、QCD管理 プロダクトマネージャー(PdM) 何をなぜ作るかを定義、推進する データサイエンティスト(DS) 機械学習モデルの開発、評価を行う MLOpsエンジニア(MLE) 機械学習モデルを用いたシステムの開発、運用をする データエンジニア(DE) データ分析、機械学習に必要なデータの収集、加工、提供を行う 『事例でわかるMLOps 機械学習の成果をスケールさせる処方箋』と少々変わっております󰢛 案件の規模や本人の希望により、以下のようなこともあります • PMとPdMを同じ人が担当する(書籍のケース) • PMとPdMと、DS or MLE or DEを同じ人が担当する(PM兼PdM兼DSなど) • 小規模な案件だと1人〜2人ぐらいでPoC、MVPまで作る
11. © DeNA Co., Ltd. 11 機械学習プロジェクトの大まかなフェーズ分け AI Project Management Flow and Build Trap Review - Speaker Deck の内容 から少しずつ変わっています フェーズ 概要 ヒアリング 各事業のサービスオーナーからどのような課題があるかを聞く アセスメント PoC実施に向けて検討を進める。実施内容を明確にする PoC(Proof of Concept) アルゴリズム、システム的に実現可能かを検証する MVP(Minimum Viable Product) プロトタイプを作り、簡単に仮説を検証する 本開発 実際にユーザーが使うものを作る • PoCではアルゴリズムだけでなく、システム的に実現可能かも検証します ◦ 書籍ではシステム的に実現可能か検証するフェーズをMVPと定義しています • 書籍ではヒアリング、アセスメントなどは省略しています
12. © DeNA Co., Ltd. 12 ヒアリング ゲーム ライブストリー ミング スポーツ・ス マートシティ メディカル・ヘ ルスケア その他（エンタメ・ ソリューション等） 事業 強化学習 （ゲーム） マッチング コンピュー タービジョン 音声処理 自然言語処理 技術 AIPM 繋いで推進 ①事業に入り込み課題 （既存・潜在）を肌感で 捉える ・課題ドリブンで中立の立場で判断 ・各事業のプロダクトオーナー(事業部PO) 　からの初期相談対応 ③課題にマッチする 技術を選択し推進 ②課題からAI利活用を発見 ・『大きなアウトカムが見込める』 ・『AIでしか解決できない』 ・『AIでユーザー体験を改善』 （DS/研究者）
13. © DeNA Co., Ltd. 13 アセスメント • プロダクトの仮説を4階層(Core, Why, What, How)に分けて定義する(※) ◦ ビジョンは何か ◦ 誰をどんな状態にしたいか • 上記を明確にすることで、「なぜ作るのか」、「どんなインパクトがあるのか」などをチーム全体 で共有できる。アウトカムを意識し、最大化することが目標 ◦ ここの認識があっていないといいプロダクトが作れない ◦ なぜ作るのかの認識があっていないのにどうやって作るか話してもうまくいかない • 機械学習モデルを現場で実運用するのにあたって個人的にとても重要なことだと考えています ※参考: 2020年にしたプロダクト系図解まとめ｜小城久美子 / ozyozyo 事業部PO AI PM AI PdM DS MLE DE 最初に全員の認識を合わせる！
14. © DeNA Co., Ltd. 14 PoC DSが機械学習モデルを開発、評価を行います(PoC1) 例: • レコメンドモデル開発。ローカルの検証データのAUCがこれくらい • 違反検知モデル開発。ローカルの検証データのAUCがこれくらい • LLMでの情報抽出検証。ローカルでの数件でのサンプルではこのようなアウトプット MLEが要件にあった最小限のシステムを開発します(PoC2) 例: • レコメンドモデルに想定した負荷を与えてみたらレイテンシーが1秒ほど。0.2秒に抑えたい ◦ PoC1に戻る。特徴量、モデルサイズの削減などができないかまた試す ◦ あくまで例で最初は小さいモデルのことが多いです • 違反検知モデルに想定した負荷を与えてみたらかかるコストが月30万円。月10万円ほどに抑えたい ◦ PoC1に戻る。複数のモデルを使う想定であったが単一のモデルで同程度の精度にできないか などを検証する ◦ システム側で効率的にサービングできないかなどの検証も行う
15. © DeNA Co., Ltd. 15 MVP 実際のユースケースを満たすような最小限のプロダクトを作って検証する PoCで検証したい仮説が検証できていたり、A/Bテストなどで検証したい場合はスキップ 例: • 社内向け検索ツールをStreamlitで作って使ってもらう • レコメンド結果を検証環境にデプロイ。POやPdMが想定していたような結果になっているか確認 • 違反検知結果をGoogle スプレッドシートに書き出し。POに確認してもらう
16. © DeNA Co., Ltd. 16 本開発 PoC、MVPではとりあえず動くものを作成したが、実際の運用に耐えられるプロダクトを実装する 例: • 機械学習における学習と推論の自動化 • サービス間の連携の実装 • 主にシステム観点でのQA • 監視などの追加 • フロントエンドをReactで実装 ここまできて本番リリースになります🎉 このあと例えばレコメンドシステムであれば、A/Bテストで効果検証したり、違反検知システムであれ ば、どの程度人間の工数を削減できたかを調査します。 この本開発以降は、違う仮説を検証するため新しいPoCを始めたり、違う案件に着手したりします。 以上がDeNAでの機械学習プロジェクトの進め方でした！ 書籍ではモバオクでのレコメンドシステムの事例を載せています！
17. © DeNA Co., Ltd. 17 17 03 終わりに
18. © DeNA Co., Ltd. 18 一緒に働きませんか AI案件のプロジェクトマネージャー キャリア採用をしております！ 少しでもご興味お持ちの方はDeNA社員までお声がけいただくか、採用HPよりご応募お待ちしております！ ゲーム ライブスト リーミング スポーツ・ス マートシティ メディカル・ ヘルスケア その他（エンタ メ・ソリュー ション等） 事業 強化学習 （ゲーム） マッチング コンピュー タービジョン 音声処理 自然言語処理 技術 AIPM 繋いで推進 ①事業に入り込み課題 （既存・潜在）を肌感で 捉える ・課題ドリブンで中立の立場で判断 ・事業部からの初期相談対応 ③課題にマッチする 技術を選択し推進 ②課題からAI利活用を発見 ・『大きなアウトカムが見込める』 ・『AIでしか解決できない』 ・『AIでユーザー体験を改善』 （DS/研究者） 特に募集している領域 ・AI活用が進んでいない ・明確にアウトカムが見込める こちらの ポジション
19. © DeNA Co., Ltd. 19