施策の事業成果への影響メカニズムを明らかにする-ロジックモデルの活用例

メディア統括本部 Data Science Center所属 遠藤 洸貴

Transcript

1. 施策の事業成果への影響メカニズムを明らかにする - ロジックモデルの活用例 Endo Koki
2. 自己紹介 遠藤 洸貴 • 社歴：2017年7月中途入社 • 所属：メディア事業部/DSC • 担当サービス：タップル • 職種：データサイエンティスト • 業務概要： ◦ ユーザ行動分析による課題発見から施策立 案・実施・効果検証・意思決定支援 ◦ 施策の成功確度向上のためのフレームワー クの作成及び普及活動
3. アジェンダ 1. タップルについて a. プロダクト説明 b. 施策例 c. 施策実行のゴール 2. 施策実施で感じる問題意識 a. 問題意識 b. 問題の原因 3. 問題意識解決のための取り組み a. EBPM・ロジックモデルについて b. チーム内の活用例 4. まとめ
4. タップルについて
5. サービス概要 マッチングアプリ「タップル」は、2014年5月にサービスを開始から累計会員数は1700万人を突破。 グルメや映画、スポーツ観戦など、共通の趣味などからパートナーを探せるマッチングアプリです。 ▪公式サイト　https://tapple.me/
6. DSCチームが取り組む施策例 • 推薦アルゴリズムの改善 →　より良い出会いの提供 • UI改善 　　→　利便性の向上 • 機能改善 →　各種機能の体験向上 • 監視フィルタ 　　→　安心安全に利用いただく
7. 施策のGOAL アルゴリズム改善 事業成果への貢献 各施策の指標改善 UI改善 機能改善
8. 施策実施で感じる問題意識
9. 問題意識 アルゴリズム改善施策 A 事業成果への貢献 施策の指標改善 施策の指標が改善しても、上位 KPIが動かない・事業成果に繋がらない
10. 問題の原因：別施策による影響 アルゴリズム改善施策 A 機能改善施策B 評価指標 中間指標 事業評価指標 指標Ａ 指標B 評価指標Ａ 事業評価指標Ａ 指標C ポジティブな影響 ネガティブな影響 評価指標B
11. 問題の原因：別指標による影響 アルゴリズム改善施策 A 評価指標 中間指標 事業評価指標 指標Ａ 評価指標Ａ 事業評価指標Ａ 指標B ポジティブな影響 ネガティブな影響
12. 問題の原因：特定層への悪影響 アルゴリズム改善施策 A 評価指標 中間指標 事業評価指標 新規ユーザ： 指標Ａ 評価指標Ａ 事業評価指標Ａ 継続ユーザ： 指標Ａ 指標B ポジティブな影響 ネガティブな影響
13. 問題意識 アルゴリズム改善施策 A 評価指標 中間指標 事業評価指標 指標Ａ ？ 評価指標Ａ 事業評価指標Ａ ？ 「どういうメカニズムで事業貢献するのか」が施策立案者にしか分からない 　→施策によって「どういう変化」が「どの範囲」で起こり得るのかの認識共有が出来ていない 　・施策の成功を再現できない 　・施策の失敗を繰り返す
14. 問題意識解決のための取り組み
15. 基本的な施策サイクル 課題特定 施策実施 施策決定 検証設計 施策立案 効果検証 意思決定
16. 基本的な施策サイクル 課題特定 施策実施 施策決定 検証設計 施策立案 効果検証 意思決定 立案段階で 施策の事業成果への メカニズムを明らかに したい
17. EBPM・ロジックモデルの活用
18. 参考書籍
19. EBPM（Evidence-Based Policy-Making） エビデンスに基づく政策形成 • 「データや科学的証拠」に基づいて政策及び施策の決定を行う取り組み。 • 政策実施の価値　→　その政策が課題解決に繋がるかどうか ◦ エビデンスに裏付けられた政策 であれば、課題解決に寄与する蓋然性が高まる 大竹文雄,内山融,小林庸平『EBPMエビデンスに基づ く政策形成の導入と実践』.日本経済新聞出版.2022 年,3p-4p
20. ロジックモデル 活動と成果の繋がり（関係性）を図示したもの • 投入（インプット）：人、物（ツール）、予算等 • 活動（アクティビティ）：実際に行う施策の具体内容 • 産出（アウトプット）：活動が実施されたことを示す事実 ◦ 直接コントロールできる • 成果（アウトカム）：活動完了後に期待する変化 ◦ 直接コントロールできない 投入 活動 初期成果 中期成果 最終成果 成果 産出
21. ロジックモデルの事例 駐輪場整備費 駐輪場用地 歩行者の通 路・安全が確 保される 駐輪場を整 備する 駐輪場の利 用者が増加 放置自転車 が減少 投入 活動 初期成果 中期成果 最終成果 駐輪可能台 数が増加 産出 例：「駐輪場の整備」事業のロジックモデル • 左から右に向かって因果関係が働くように記述 佐藤徹.『エビデンスに基づく自治体政策入門』.公職 研.2021年,47p
22. 施策への適用 投入 活動 初期成果 中期成果 最終成果 産出 影響要因 リスク 影響要因 リスク 施策同士の影響要因や発生し得るリスクをまとめて管理、認識共有 施策A： 施策B：
23. チーム内の活用例
24. ロジックモデル作成 施策立案時に仮説ベースでロジックモデルを作成 • 施策例：男性に対して近隣都道府県に住む女性を推薦する 男性の 評価指標Ｘが 増加する 男性に 近隣都道府県 ユーザを推薦 する 女性への 「いいかも※」 が増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で 近隣都道府県 のユーザ が増加する 産出 ※相手への選好表明
25. チーム内議論 作成したロジックモデルを元に施策におけるメカニズムについて議論 ①最終成果が事業成果に繋がるか ②活動と最終成果が具体的に繋がっているか ③施策の妥当性・質・リスクについて ◦ 妥当性：適用が可能かどうか ◦ 質：既存の分析によって因果関係が示されているか ◦ リスク：他の施策に（他の施策から）どのような影響を与えるか
26. チーム内議論：施策の事業貢献 例）最終成果となる指標が事業的に嬉しくないのでは？ 例）対象とするボリュームが小さいのでは？ 例）特定のユーザに悪影響があるので、最終的にインパクトが出ないので は？ 施策の最終成果が事業成果に繋がるかについて議論 男性の 評価指標Ｘが 増加する 男性に 近隣都道府県 ユーザを推薦 する 女性への 「いいかも」が 増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で近 隣都道府県の ユーザが 増加する 産出 施策の最終成果が事業成果に繋がるかについて議論
27. チーム内議論：活動から成果の繋がり 例）対象者（影響を受けるユーザ）は誰なのか？ 例）初期成果と中期成果に繋がりがあるのか？ 活動と最終成果が具体的に繋がっているかについて議論 男性の 評価指標Ｘが 増加する 男性に 近隣都道府県 ユーザを推薦 する 女性への 「いいかも」が 増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で近 隣都道府県の ユーザが 増加する 産出
28. 施策の質・妥当性・リスクについて議論 チーム内議論：施策の質・妥当性・リスク 投入 活動 初期成果 中期成果 最終成果 産出 施策B： 例）妥当性：施策がポリシーと合っていないので、適用しない方がよいのでは？ 例）質：過去の分析で中期成果と最終成果に因果関係がなかった 例）リスク：一部の女性に「いいかも」が集中するのでは？ 例）リスク：施策Ｂからネガティブな影響を受けそう 男性の 評価指標Ｘ が増加する 男性に 近隣都道府県 ユーザを推薦す る 女性への 「いいかも」 が増加する 女性との 「マッチ」 が増加する フリック面で近隣 都道府県のユー ザが 増加する 施策Ｂの指標 一部の女性に 「いいかも」が 集中する 女性からの 「ありがとう」 が返ってきにくくなる
29. 施策立案後のロジックモデル活用 ①施策実験において「測定すべき指標をロジックモデルから洗い出す」 ②施策評価時に「当初立てたロジックモデルとの差異を確認」する
30. チーム内活用：施策実験の設計 投入 活動 初期成果 中期成果 最終成果 産出 男性の 評価指標Ｘ が増加する 男性に 近隣都道府県ユー ザを推薦する 女性への 「いいかも」 が増加する 女性との 「マッチ」 が増加する フリック面で近隣都 道府県のユーザが 増加する 一部の女性に 「いいかも」が 集中する 女性からの 「ありがとう」 が返ってきにくくなる ・近隣都道府県への フリック割合 実験で見るべき指標に落とし込む ・フリックした中でいい かもした割合 ・いいかもの集中度合 ・マッチング割合 ・いいかもに対して ありがとうされた割合 ・評価指標Ｘ 施策実験で見るべき指標への活用
31. チーム内活用：施策評価 男性の 評価指標Ｘが 増加する 男性に 近隣都道府県 ユーザを推薦 する 女性への 「いいかも」が 増加する 女性との「マッ チ」 が増加する 投入 活動 初期成果 中期成果 最終成果 フリック面で近 隣都道府県の ユーザが 増加する 産出 実験した結果、初期成果→中期成果の繋がりが観測されなかった （「いいかも」は増えてるけど「マッチ」は増えなかった） ・　要因の調査・分析 ・　知見の共有 ・　改善施策の立案 立案時に作成したロジックモデルとの差異を確認し、次の施策に繋げる
32. まとめ
33. ロジックモデルを施策サイクルに落とし込む 課題特定 施策実施 施策決定 検証設計 施策立案 効果検証 意思決定 事業貢献までのメカ ニズムの言語化 検証方針の策定 -対象者 -対象指標 -他施策との兼ね合い ロジックモデルに基 づいた振り返り ロジックモデルを活用したコミュニケーションで、 チーム内で施策の事業貢献メカニズムを把握して実施 できる　→　成功 の再現・失敗の防止に繋がる 次回施策で取り組む 課題の参考
34. ご清聴ありがとうございました