Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DSOps #1

Yusuke Kaneko
February 28, 2022
32k

DSOps #1

公開用

Yusuke Kaneko

February 28, 2022
Tweet

Transcript

  1. 自己紹介
 名前:安井翔太(34) 職業:Economic Research Scientist 経歴: 2011年 立教大学 経済学部卒業 2013年

    Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社(総合職, 微妙な分析の量産) 2015年 アドテク部門へ異動(専門職, MLの応用) 2017年 AILabへ異動(研究職, ML + CI回りの応用) 2
  2. 自己紹介
 3 名前: 金子 雄祐(29) 職業: AI事業本部 Dynalyst データサイエンスチームリーダー 経歴:

    2018: 東京大学大学院経済学研究科統計学コース卒 (修士) 2018年: CyberAgent 新卒入社 2019年: Dynalyst異動 やってるタスク: 予測モデル開発, クリエイティブ評価&最適化改善, チームマネジメント paper: Kenshi Abe, Yusuke Kaneko: “Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games” AAMAS 2021
  3. この研修で話さない事
 • 実装の話(MLエンジニア固有・・・?)
 ◦ 人によってはやらない
 ◦ 学習機会が非常に多い+すでに別の研修でやった
 ▪ プロダクトで学べる
 ▪

    世の中に良いドキュメントが大量にある 
 • 各手法の詳細
 ◦ 学習機会が非常に多い
 ▪ 論文読めばおk
 ▪ 教科書読めばおk
 4
  4. ビジネスモデルとDS
 • DSにとってのビジネスモデルは大まかに2パターン
 ◦ 分析・予測自体が商品である場合
 ◦ 分析・予測の結果を使った意思決定が商品である場合
 • この二つを混同すると
 ◦

    伸ばすべきスキルがよくわからない
 ◦ 自分のやることに価値があるかわからない
 ◦ 自分の給与が妥当なのかわからない
 
 →いったんこの2パターンをおさらいする
 6
  5. Some Special Cases...
 12 モデルの学習
 API利用
 • これも分析自体が売上に繋がるケース 
 •

    この系統のビジネスは大体Googleが強い 
 • ex) google vision api 
 →ここ数年でこれに近いビジネスモデルがCAでも増えた 

  6. 分析・予測の結果を使った意思決定がお金を産む
 
 
 15 プロダクトで説明
 分析
 プロダクトに実装
 効果分析
 効果の説明
 お金の流れ


    上手くいくと売上発生(プロ ダクト)
 →効果の観測は難しい 
 分析それ自体に
 金銭は発生しない
 全てがプロダクト内の出来事 

  7. AIスタジオ in 2021
 • 実質後者の話も増えてきた
 ◦ アプリ運用センター
 ◦ XX DX系


    • あんまりコンセンサスはないけど・・・
 ◦ ②の経験と実績を強みとして①の市場に殴り込んでいる感じ
 ▪ プロダクト開発で培った経験技術で①を行うパターン(ハイブリッド) 
 
 ◦ けど、あまりこれを理解せずに事業を進めている所もあるのは事実
 ▪ 受注のために「ドラえもん作ろう」という話はよく聞く 
 17
  8. まとめ:DSの役割=なんでDS必要なんだっけ?
 • プロダクトのKPIを改善するのが役割
 ◦ ビジネスの意思決定を変えて改善する
 ▪ 機械学習・強化学習による 意思決定の自動化
 ▪ 因果推論や統計学を使った

    意思決定の改善
 ◦ 改善の確認を効果検証として担保する必要がある
 ▪ A/B テスト等の実験設計と結果分析 
 ▪ 実験が不可能な場合の効果分析 
 ◦ ビジネスのどこでこれらを使うかを考える
 →これらの事をプロダクト内外の様々な人たちと協力しながら進めるのがお仕事 
 18
  9. 改善が起きる条件
 =改善のために担保するべき4つのスキル 
 • 改善する余地が存在する
 ◦ すでに最適なものは改善不可能
 • 改善する余地を埋める手段がある
 ◦

    理想的な行動をした時に改善できるのか?
 • 改善のための活動が機能している
 ◦ 手段が意図通りに機能しているのか?
 • 改善が計測可能
 ◦ 改善したことがちゃんとわかるか?
 20
  10. 改善する余地
 • 余地とは・・・?
 ◦ 余地 = 最適な状態 - 今の状態
 ◦

    この2つがよくわかってないと見つけられない
 • 今の状態→可視化
 ◦ プロダクトのデータをよく見よう
 ◦ 分析結果を深く理解しよう
 • 最適な状態→事業ドメインに詳しくなる
 ◦ これを考えられるくらいプロダクトに詳しくなろう
 ▪ 説明できないことは知らないこと→研修後半のディスカッションの意義 
 ◦ 自分で理想を定義して誰かと議論してみよう
 21
  11. 改善する余地を埋める手段
 • 余地を埋める手段
 ◦ 機械学習で何かを予測して、それに基づいて施策を行う。(機械学習) 
 ◦ 因果推論で選択肢の効果を検証して、意思決定を行う。(因果推論) 
 ◦

    か、それよりもっと単純な何かしらの仕組み。 
 • 理想的に動くと改善できそうか?を考える必要がある
 ◦ 埋めるべき余地に適切な対処ができているのか? 
 ◦ そもそもムリゲーに挑んでいないか? 
 ▪ 「ドラえもんを作ればプロダクトの売り上げは100倍!」→それはそう
 ◦ これらの判断には各方法論の基礎と限界を知っている必要 がある
 22
  12. 改善が計測可能
 • 改善結果の計測
 ◦ 作ったものがどんな結果を引き起こすのかは誰もわからない
 ◦ ↑の前提では起きた結果を正しく計測することが非常に大事
 ▪ 次どうするか?の材料になる 


    ▪ 改善施策が機能してない可能性の検証 
 ▪ 計測できない = フィードバックほぼなし = DSとしての経験値ほぼなし・・・ 
 • どう計測するか?
 ◦ A/Bテストや因果推論
 24
  13. 後半の議論パートについて
 • 目的: 自分と他新卒メンバのプロダクトのビジネスモデルを理解し,適切なDSタスクを行 うための議論ができるようにする
 • 今やっている業務内容についてディスカッション
 ◦ ホワイトボードを使って説明 


    ▪ 1回目 : プロダクトのビジネスモデルの説明. 自分のタスクについて背景とタスクの説明 
 ▪ 2回目 : 現状やっていること, プロダクトでやるべきこと, 今後やりたいこと 
 ◦ それを元にみんなで議論
 ▪ どの部分でプロダクトにお金が発生しているのか? / 何を改善すればお金が発生するのか? 
 ▪ タスクにどんな価値があるのか? / 何か致命的なミスをしてないか? / 何か他の手法が使えないか? 
 26