Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【3/3】GMOペパボ機械学習研修2022 資料 3日目 (全3日間)

watasan
August 19, 2022

【3/3】GMOペパボ機械学習研修2022 資料 3日目 (全3日間)

GMOペパボの新卒エンジニア向けに実施した機械学習研修の資料です。全3日間のうち3日目の資料です。

本資料中で示している機械学習とサービス連携事例紹介の資料は以下にあります。

BigQuery の日本語データを Dataflow と Vertex AI でトピックモデリング
https://speakerdeck.com/zaimy/topic-modeling-of-japanese-data-in-bigquery-with-dataflow-and-vertex-ai

他の日の資料は以下です。
1日目の資料
https://speakerdeck.com/ae14watanabe/3-gmopepaboji-jie-xue-xi-yan-xiu-2022-zi-liao-fd3f37c8-39c9-4e53-b622-724e9881bc33

2日目の資料
https://speakerdeck.com/ae14watanabe/3-gmopepaboji-jie-xue-xi-yan-xiu-2022-zi-liao

3日間の資料のpdf版は以下にも置いています。
https://github.com/pepabo/training/tree/master/data-and-machine-learning/2022/machine_learning

watasan

August 19, 2022
Tweet

More Decks by watasan

Other Decks in Programming

Transcript

  1. 3 ガイダンス|研修の目的 機械学習研修の目的はこれだ! サービス価値の向上のために「再帰化」を実現する上で、 実装手段として機械学習を検討できるようになる。 • 目的の背景:ペパボのエンジニアとして機械学習を学ぶ動機は、          機械学習を「再帰化」の実現アプローチとして利用することにある •

    サービス価値の向上において「再帰化」は重要な考え方[栗林2022] • 「再帰化 ≠ 機械学習の利用」であることを理解して 再帰化を実現するために機械学習の利用するか否かを判断できることを目指す [栗林2022] GMOペパボが考えるこれからのサービス開発(p.10より引用) https://speakerdeck.com/kentaro/toward-the-next-service-development-era?slide=10
  2. 4 研修についてのおさらい|カリキュラム 研修目的を達成するために以下のカリキュラムを設定しています! サービス価値の向上のために「再帰化」を実現する上で、 実装手段として機械学習を検討できるようになる。 研修の目的 ゴール 実施内容 Day1 機械学習とは何か、

    自分の言葉で説明できる - 機械学習イントロダクション(座学) - Machine Learning Crash Course (ハンズオン) Day2 再帰化を実現するために、 機械学習をどう活用できるか イメージできる - Machine Learning Crash Course (ハンズオン) - 再帰化と機械学習(座学) Day3 サービスの実課題を 機械学習で解決する 一連の流れの例を挙げられる - Machine Learning Crash Course (ハンズオン) - 機械学習のサービス連携事例紹介(座学)
  3. 6 • Machine Learning Crash Course • 今日進めて欲しい単元 • Classification

    (75min) • Video Lectureと ROC Curve and AUCは 飛ばして大丈夫です • 時間が余ったときに進めて欲しい単元 • Representation • Feature Crosses • Regularization: Simplicity ハンズオンを引き続きやっていきましょう! ハンズオン
  4. 15 A. イントロダクション(by 渡辺) B. 機械学習のサービスへの導入 a. イントロダクション(by 渡辺) b.

    実際の導入事例(by 財津) C. サービスにとって有用な「関数」についての検討 a. イントロダクション(by 渡辺) b. ビジネス課題から考える機械学習の適用(by 酒井) Day3座学のアジェンダ
  5. 19 モデルが学習される過程まで含めると以下のようになる(再帰化…!) B. 機械学習のサービスへの導入|イントロ「何を考える必要がある?」 ② 特徴量と ラベルを 抽出する 関数f 機械学習モデル

    予測API サービス ⑤ デプロイ する ③ 送る ログ 学習データ 予測結果を返す (レスポンス) ① ログを送る 予測結果が欲しい 入力を提示する (リクエスト) ④ 学習する :オブジェクト :一度しか実施しない処理 :繰り返し行われる処理
  6. ② 特徴量と ラベルを 抽出する AutoML 20 ペパボで利用している技術スタックによる1つの構築例は以下のようになる B. 機械学習のサービスへの導入|イントロ「何を考える必要がある?」 関数f

    機械学習モデル 予測API サービス ⑥ デプロイ する ④ 送る ① ログを送る ログ BigQuery 学習データ Cloud Storage ③ 要求する 予測結果が欲しい 入力を提示する (リクエスト) 予測結果を返す (レスポンス) ⑤ 学習する :利用するサービス :オブジェクト :一度しか実施しない処理 :繰り返し行われる処理
  7. デプロイ する 21 さらに、このループを繰り返し関数fを定期的に更新できるとより良さそう (もっと再帰化…!) B. 機械学習のサービスへの導入|イントロ「何を考える必要がある?」 追加ログの 特徴量と ラベルを

    抽出する 関数f 機械学習モデル 予測API サービス 送る ログを追加する ログ 予測結果が欲しい 入力を提示する (リクエスト) 予測結果を返す (レスポンス) 学習データ 学習する :オブジェクト :繰り返し行われる処理
  8. 22 ※その都度、入力を1つ受け取り予測結果を返すものはオンライン予測と呼ばれる 高速化のために、予測結果をバッファしておくようなことも考えられる(バッチ予測) B. 機械学習のサービスへの導入|イントロ「何を考える必要がある?」 関数f 学習済みの 機械学習モデル バッチ予測 API

    サービス デプロイ する 予測結果が欲しい 単一の入力を提示する (リクエスト) 単一予測結果を返す (レスポンス) 予測結果 DB 複数の入力を提示 (リクエスト) 複数の予測結果を返す (レスポンス) 以下のような場合の対応として、バッチ予測が考えられる • 予測の対象や結果が一定期間変わらないと見なせ、都度予測するとコスパが悪い • 予測に計算コストがかかり、レスポンスが低速 定期的に実行する
  9. 23 • 発表タイトル:BigQuery の日本語データを Dataflow と Vertex AI でトピックモデリング •

    ペパボとZOZOの勉強会で発表された内容です より詳しい機械学習のサービス導入事例を見ていきましょう! B. 機械学習のサービスへの導入|具体的な導入事例 BigQuery の日本語データを Dataflow と Vertex AI でトピックモデリング https://speakerdeck.com/zaimy/topic-modeling-of-japanese-data-in-bigquery-with-dataflow-and-vertex-ai
  10. 24 A. イントロダクション(by 渡辺) B. 機械学習のサービスへの導入 a. イントロダクション(by 渡辺) b.

    実際の導入事例(by 財津) C. サービスにとって有用な「関数」についての検討 a. イントロダクション(by 渡辺) b. ビジネス課題から考える機械学習の適用(by 酒井) Day3座学のアジェンダ