検索レコメンド開発における戦略思考とDMMTVにおける事例紹介

検索レコメンド開発における戦略思考と DMM における事例紹介   @ trategic earch & ecommendation Meetup 
2025年6月2日(月)  半熟仮想株式会社齋藤優太 

運任せでなく意図して事業貢献を達成するために   • 前半：ブログ内容ご紹介     • 後半：DMM
における活用事例   https://zenn.dev/dmmdata/articles/bc1a7f4c6d848f

ブログで紹介した事業貢献戦略フレームワーク   ① KGIと貢献目標を設定する   ② KGIを重要KPIに分解する   ③ ボトルネックを特定する
  ④ ボトルネック解消度を   測るため評価基準を確立する   ⑤ ボトルネックを狙い撃ちする   モデル改善を行う   • 工程を飛してしまうと、   事業貢献が“運任せ”に       • 実際に事業貢献について   悩んでいる現場多くで、   戦略思考が浸透していない  

① KGIと貢献目標を設定する   ② KGIを重要KPIに分解する   ④ ボトルネック解消度を  
測るため評価基準を確立する   ⑤ ボトルネックを狙い撃ちする   モデル改善を行う   ③ ボトルネックを特定する   ブログで紹介した事業貢献戦略フレームワーク  

事業貢献目標設定   • KGIを定める = チームや推薦システム役割・存在意義を定める    
• ミッション達成ためにチームや推薦が果たすべき役割明確か？   ◦ 収益最大化？  ◦ ユーザー・顧客満足最大化？  ◦ ユーザー・顧客不満最小化？  • これら事業貢献達成確率を上げるために有効なが戦略思考     • チーム役割や事業貢献が具体的に定義されていない場合、   それを達成することも主張することもできるわけがない   ◦ 貢献目標が定まっていない場合、スタートラインにも立てていない 

事業貢献戦略フレームワーク   ① KGIと貢献目標を設定する   ② KGIを重要KPIに分解する   ③ ボトルネックを特定する
  ④ ボトルネック解消度を   測るため評価基準を確立する   ⑤ ボトルネックを狙い撃ちする   モデル改善を行う   チームや推薦モデル   存在意義を定める  

KPI分解とボトルネック特定   ゴール：収益最大化・ユーザー顧客満足最大化   スタート：検索レコメンドモデル学習・評価   長い道りで、経路
無数に存在     人員も時間も限られているため、   可能な限り効率的な経路を選び取りたい     にもかかわらず、“考えうる中で最も効率的   な経路”を特定せずに走り始めてしまう現場が多い  

身近な戦略思考   ゴール：北海道根室市 (齋藤出身地)   懇親会後22時スタート：六本木一丁目駅   長い道りで、経路
無数に存在     可能な限り効率的な(最 )   経路を選び取りたい     こ時、最初に何をしますか？   最も早くゴールした人 1000万円獲得！  

身近な戦略思考   ゴール：北海道根室市 (齋藤出身地)   こ時、最初に何をしますか？   おそらくほとんど
方が、GoogleMap等で、   ど経路が皆さんにとって最適と思われる経路   を特定するず (たとえ完璧に遂行できないとしても)   懇親会後22時スタート：六本木一丁目駅   最も早くゴールした人 1000万円獲得！  

KPI分解とボトルネック特定   長い道りで、経路無数に存在     人員も時間も限られているなか、   可能な限り効率的な経路を選び取りたい
  GoogleMap等で行程を決めてから   動き始めると、同じことができているか？   ゴール：収益最大化・ユーザー顧客満足最大化   スタート：検索レコメンドモデル学習・評価  

  ④ ボトルネック解消度を   測るため評価基準を確立する   ⑤ ボトルネックを狙い撃ちする   モデル改善を行う   チームや推薦モデル   存在意義を定める   事業貢献を達成するため   効率的な経路を見つける  

ブログで用いた例   総視聴時間  無料ユーザー平均  有料ユーザー平均  全ユーザー平均  Aモデル群  10分  22.2分  21分 
Bモデル群  20分  20分  20分  Aモデル vs Bモデルテストにおいて以下結果が得られた  こ時、どちらモデルを採用すべき？？？   全ユーザー中、無料ユーザーが1割、有料ユーザーが9割を占める想定  

ブログで用いた例   総視聴時間  無料ユーザー平均  有料ユーザー平均  全ユーザー平均  Aモデル群  10分  22.2分  21分 
Bモデル群  20分  20分  20分  Aモデル vs Bモデルテストにおいて以下結果が得られた  こ時、どちらモデルを採用すべき？？？   どういった戦略もとで行われたABテストであるかによる  

ブログで用いた例   総視聴時間*  無料ユーザー平均  有料ユーザー平均  全ユーザー平均  Aモデル群  10分  22.2分  21分 
Bモデル群  20分  20分  20分  • 無料ユーザー体験改善を通じた事業貢献を目指しているならBモデル   • 有料ユーザー体験改善を通じた事業貢献を目指しているならAモデル     • ABテスト結果が出てから議論しているようで遅い   ◦ => そもそもレコメンドモデル学習時点で意図がない  • *総視聴時間改善に意味があるか否かかなり場合によるで注意 

新たなフレームワークに対する第一印象？   ① KGIと貢献目標を設定する   ② KGIを重要KPIに分解する   ③
ボトルネックを特定する   ④ ボトルネック解消度を   測るため評価基準を確立する   ⑤ ボトルネックを狙い撃ちする   モデル改善を行う   チームや推薦モデル存在意義が   明確に定まっているか？   事業貢献達成をどような   経路で達成するか定まっているか？   事業貢献や達成経路に合わせて   ABテスト運用やモデル学習方法   を調整しているか？  

DMM 推薦システムにおけるフレームワーク活用   月額550円 DMMプレミアム会員に登録することでアニメ約5,900作品を中心に19万本以上(※) 映像作品や、漫画、2.5次元、声優に
フォーカスしたオリジナル番組など多彩なエンタメコンテンツを楽しめるサブスクリプション動画配信サービス。    新作アニメ国内トップクラス作品数を配信している他、DMM 他サービスと連携したエンタメ体験を提供。  ※2024年4月時点  約1年半前から、因果関連分析や戦略策定に関して連携  

DMM における事業貢献戦略フレームワーク適用   ① KGIと貢献目標を設定する   ② KGIを重要KPIに分解する  
③ ボトルネックを特定する   ④ ボトルネック解消度を   測るため評価基準を確立する   ⑤ ボトルネックを狙い撃ちする   モデル改善を行う  

DMM レコメンドモデル開発におけるKGI設定   KGI：年度新規獲得売上   各年度に新規入会した会員  による累計総課金額  24年度〇〇万円   25年度
万円 (10%改善など)   • 検索レコメンド役割 = 収益最大化   ◦ 今後状況次第で、役割をユーザー満足に切り替える可能性ある    • 各年度発生売上をKGIとしてしまうと、各年度貢献と乖離が生じる   ◦ 25年度4月発生売上、ほとんど24年度努力によるも     • よって、『年間新規獲得売上(そ年に新規登録したユーザー合計L ) 』  をチーム内KGIとして設定するがわかりやすいと我々考えた 

  ④ ボトルネック解消度を   測るため評価基準を確立する   ⑤ ボトルネックを狙い撃ちする   モデル改善を行う   年度新規獲得売上  

DMM レコメンドモデル開発におけるKPI分解   KGI：年度新規獲得売上   ①   ③   ②
  皆さんなら、どういったKPI分解を考えるでしょうか？   昨年度比10%改善   スタート：検索レコメンドモデル学習・評価  

DMM レコメンドモデル開発におけるKPI分解   KGI：年度新規獲得売上   ①新規獲得会員数   ③有料会員L   ②有料転換率
  新規無料会員を  どれだけ連れて来れるか  新規無料会員   何%を有料会員にできるか  1有料会員あたり  累計いくら課金するか  昨年度比10%改善  

DMM レコメンドモデル開発におけるKPI分解   KGI：年度新規獲得売上   ①新規獲得会員数   ③有料会員L   ②有料転換率
  新規無料会員を  どれだけ連れて来れるか  新規無料会員   何%を有料会員にできるか  1有料会員あたり  累計いくら課金するか  検索レコメンドによる   変動可能性なし   検索レコメンドによる   変動可能性あり   昨年度比10%改善  

  ④ ボトルネック解消度を   測るため評価基準を確立する   ⑤ ボトルネックを狙い撃ちする   モデル改善を行う   年度新規獲得売上   ②有料転換率 vs ③有料会員L  

DMM レコメンドモデル開発におけるボトルネック特定   ③有料会員L   ②有料転換率   新規無料会員   何%を有料会員にできるか 
1有料会員あたり   累計いくら課金するか  • ②と③をそれぞれどれほど改善することで、KGI目標を達成するつもり？   • ②と③ どちらに大きな改善余地が存在するかによって、   モデル学習方法や評価方法が180度異なってくる   • 完璧に遂行するためでなく、運任せよりも高確率貢献を達成するため   KGI：年度新規獲得売上   昨年度比10%改善  

• 無料期間で離脱：50万人  • 1ヶ月以上利用  6ヶ月未満で離脱：20万人  • 6ヶ月以上利用：30万人  • 無料期間離脱率：50%  •
1ヶ月以上利用  6ヶ月未満離脱率：40%  • 6ヶ月以上利用  7ヶ月目離脱率：10%  サブスクサービスにおけるボトルネック特定例   昨年新規加入会員構成比率   (あくまで数値例)  現状各種離脱率  

各種会員平均総課金額   • (無料期間で離脱を含む)全ユーザー平均：2000円 (△2000円)   • 1ヶ月以上利用ユーザー平均：6000円
(△4000円)   • 6ヶ月以上利用ユーザー平均：9000円 (△3000円)   • 無料期間で離脱：50万人  • 1ヶ月以上利用  6ヶ月未満で離脱：20万人  • 6ヶ月以上利用：30万人  • 無料期間離脱率：50%  • 1ヶ月以上利用  6ヶ月未満離脱率：40%  • 6ヶ月以上利用  7ヶ月目離脱率：10%  サブスクサービスにおけるボトルネック特定例   (あくまで数値例)  現状各種離脱率   昨年新規加入会員構成比率  

サブスクサービスにおけるボトルネック特定例   ユーザー変容   母集団  現状離脱率   単位変容あたり
  KGI増分   無料離脱会員有料転換  50万人  50%  4000円  有料会員早期離脱防止  20万人  40%  3000円  これまでに得た集計情報をまとめる  (あくまで数値例) 

サブスクサービスにおけるボトルネック特定例   ユーザー変容   母集団  離脱率改善   1変容あたり
KGI増分   KGI増加量   無料離脱会員有料転換  50万人  50% => 45%  4000円  10,000万円   有料会員早期離脱防止  20万人  40% => 36%  3000円  3,200万円  仮に各種離脱率を現状から10%改善した場合  改善難易度を揃えたとき、無料離脱会員転換率上昇が最大 KGI改善  

サブスクサービスにおけるボトルネック特定例   先ほど数値例において「③有料会員L 」を現状維持した上で、   「②有料転換率」を昨年度比10%改善することが、最も効率的な経路
KGI：年度新規獲得売上   ③有料会員L   ②有料転換率   10%改善したい   昨年度比10%改善   現状維持でよい  

  ④ ボトルネック解消度を   測るため評価基準を確立する   ⑤ ボトルネックを狙い撃ちする   モデル改善を行う   「②有料転換率」に大きな改善余地   年度新規獲得売上   ②有料転換率 vs ③有料会員L  

ボトルネックを踏まえたABテスト運用   KGI：年度新規獲得売上   ③有料会員L   ②有料転換率   10%改善したい  
昨年度比10%改善   現状維持でよい   皆さんなら、どようにABテストを運用しますか？  

ボトルネックを踏まえたABテスト運用   有料会員離脱率をガードレール指標(足切り)に設定した上で、  無料会員における以下指標を主要 and 先行指標に設定 
KPI② 有料転換率   お気に入り登録数  総視聴時間  視聴日数  主要指標  先行指標  などなど・・  • 先行指標についても、無料会員についてみ比較   • 年度が変わって戦略が変われ、必要に応じてABテスト運用も変更  

策定した戦略に基づいたモデル学習   • 本日詳細に踏み込まない     • しかしこれまでに策定した戦略を踏まえると、  
推薦モデル学習方法が（じめて）見えてくる  

策定した戦略に基づいたモデル学習   • 本日詳細に踏み込まない     • しかしこれまでに策定した戦略を踏まえると、  
推薦モデル学習方法が（じめて）見えてくる   全ユーザーに対し均等に視聴時間を改善するモデル学習無料体験中ユーザーに特化してお気に入り登録数や   視聴時間など重要先行指標をバランスよく改善するモデル学習よくある“雰囲気ドリブン”な学習戦略策定後モデル学習

• 『検索レコメンドによる事業貢献フレームワーク』をご紹介   ◦ 事業貢献達成確率が向上したり、失敗したとき役割変更判断が行いやすくなる   ◦ 工程を飛すと、“雰囲気ドリブン”や“運任せ”
モデル開発・評価になってしまう   ◦ 今日話を聞いた上で、フレームワークに乗っかるか否か皆さん次第     • DMM におけるフレームワーク活用事例をご紹介   ◦ 今回発表で、先行指標特定やモデル学習方法詳細に踏み込まず...   ◦ 次回以降勉強会やDMMブログ、書籍等にてさらなる詳細を順次ご紹介予定   まとめ  ご清聴いただきありがとうございました  

検索レコメンド開発における戦略思考とDMMTVにおける事例紹介

検索レコメンド開発における戦略思考とDMMTVにおける事例紹介

More Decks by usaito

Other Decks in Technology

Featured

Transcript