LLM × 機械学習で実現するプッシュ通知のパーソナライズ/nikkei-tech-talk-38

2025/10/23開催のNIKKEI Tech Talkで日本経済新聞社のデジタル編成ユニットAIチーム 湯浅亮也さんが発表しました。#nikkei_tech_talk
https://nikkei.connpass.com/event/369231/

Transcript

1. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. LLM × 機械学習で実現するプッシュ通知のパーソナライズ 
 2025/10/23 NIKKEI Tech Talk
 デジタル編成ユニット AIチーム 湯浅亮也
 1
2. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • 2010年3月創刊のデジタルニュース媒体
 • 毎日約1,000本の記事を配信
 • Webサイトとアプリで提供
 • アプリのプッシュ通知機能
 ◦ 朝刊一面、特報・速報、お昼の注目記事など
 
 日経電子版について 
 2
3. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • 概要 : お昼の注目記事プッシュをパーソナライズして開封率約+8%改善した話
 • 本日お話しする内容
 ◦ LLMを用いた記事選択作業の自動化
 ◦ 機械学習モデルを使用したパーソナライズ記事配信
 ◦ 技術的工夫点と苦労した点
 ◦ MLOps（開発基盤・運用・実験管理）
 
 イントロダクション 
 3
4. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • 自己紹介・チーム紹介
 • お昼の注目記事プッシュ最適化
 • まとめ
 4 目次

5. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • 名前：湯浅 亮也（ゆあさ りょうや）
 • 入社年度 : 2024年新卒入社
 • チーム：デジタル編成ユニット AIチーム
 • 担当業務 : 注目記事プッシュ、SEOチェッカー
 • 趣味 : VR、アニメ、ラーメン巡り
 5 自己紹介
 キジトラのメルちゃん
6. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • Ask! NIKKEI
 • For You
 • お昼の注目記事プッシュ
 • NIKKEI Prime音声読み上げ
 6 AIチームのメインプロジェクト 

7. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • 概要 : 平日のお昼（12:40〜）に配信されている注目記事プッシュを個人ごとにパーソ ナライズする
 • 従来の状況
 ◦ 有料会員40万人に配信しているが、開封率は0.5%〜1%未満 
 ◦ セグメント毎の人気記事配信を行なっているが、いくつかのセグメントは最適化 されているとは言えない雑多なセグメントになっている
 ◦ 人手での配信記事選択作業が発生
 → 記事選択作業を自動化 + 配信記事のパーソナライズ 
 7 プロジェクトについて 

8. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. 1. ルールベースでは完全に除外できない 配信に適さない記事が存在
 ◦ 連載記事・小説（例：岡田武史　私の履歴書（10）アジア制覇）
 ◦ トピック名の変更（例：NY特急便 → ウォール街ラウンドアップ）
 ◦ 状況変化により不適切になる記事（例：市況概況や予告、金融政策など）
 ▪ 例 : SMBC日興操縦事件、動機や組織性は？　きょう初公判
 2. 平日10:30頃に担当者が手作業で確認・除外作業を実施
 従来の運用における課題：人手での記事選択作業 
 8
9. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • 従来のアプローチ
 ◦ 13のユーザーセグメント毎に相互情報量が高いTop1の記事を配信
 ◦ 各セグメントの特色に合った記事を配信 することで開封率向上を狙う
 • 従来の相互情報量ベースの課題
 ◦ 同じセグメント内でもユーザーごとに興味のあるトピックは異なる
 ◦ 既読の有無に関わらず配信するため、既読記事が配信される可能性 がある
 従来の運用における課題 : パーソナライゼーション 
 9
10. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. 新しい記事選択の流れ 
 • 記事フィルタリング : 配信対象の記事を選択する
 ◦ ルールベースフィルタリング
 ◦ LLM記事フィルタリング
 • パーソナライズモデル
 ◦ ユーザー情報や電子版の閲覧履歴、セグメント情報から閲覧記事を予測
 記事候補 記事フィルタリング パーソナライズモデル 10
11. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. LLMによる記事フィルタリング 
 ロジック概要
 • モデル：GPT-4o mini
 • プロンプト : 除外ルール + Few-Shot（実際に人手で除外された例）
 フィルタリング対象
 • 連載記事（小説、企画等）
 • 特定の日時に関連した速報的な記事
 • 重要イベント予告記事
 評価データセット : 過去の配信記事の変更履歴から200件程度手動作成
 11
12. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. データセット
 • 作成方法 : 当日の記事データからユーザ×記事のペアを作成し、午後閲覧記事を 正例、未閲覧記事を負例 として作成
 • 特徴量 : ユーザー情報・セグメント情報・相互情報量・閲覧トピック履歴など
 ロジック概要
 • 学習方法 : LightGBMでユーザ×記事の午後クリック確率を予測
 • 学習設定： 目的関数はLambdaRank、評価指標NDCGを使用
 
 パーソナライズモデル：LightGBMによるクリック予測 
 12
13. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. パーソナライズモデル：上手くいかなかった検証内容 
 • 過去のプッシュ通知開封履歴を用いた開封予測
 ◦ 学習時は上位1件、推論時は上位N件を対象とするため、Training-Serving Skewが発生し、有意に悪化 
 • テキスト特徴量
 ◦ 学習データにoverfitは可能だが、テストデータでの汎化性能が低い
 ▪ 記事の傾向が短期間で変わる のが主要因
 • クリック予測の学習で休日データも入れてしまったこと
 ◦ 休日データを除外 することでスコアが顕著に向上した
 13
14. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. 効率的にA/Bテストを行う環境を構築し、期間内に計6回実施 することができた
 • 専用のA/Bテストパイプラインの実装
 ◦ 複数バケットへの対応 : 2群だけではなく、3群以上にも対応
 ◦ テストコード・期間・割り当て比率を設定ファイルで柔軟に変更可能
 • NotionでのA/Bテスト結果の管理
 A/Bテスト 
 14
15. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • 実験設定
 ◦ 期間 : 2025年5月16日〜現在
 ◦ 介入群 : パーソナライズモデル
 ◦ 比較群 : セグメントランキング
 • 実験結果
 ◦ 開封率：+8%の改善
 ◦ 特にミドルユーザー層で顕著な効果
 • アラート : 7日移動平均で1%以上開封率低下時 に通知
 A/Bテスト : 長期監視 
 15
16. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • 実行環境 : Kedro PipelineをAWS Batchで分散実行
 ◦ 依存関係のないノードの分散実行 + ノード単位のリソース管理
 
 • 実験環境 : GitHub Actions経由のアドホックなパイプライン実行
 • データ品質管理 : Panderaによるデータフレームバリデーション導入
 MLOps : 開発基盤 
 16
17. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • デプロイ : 推薦記事を閲読したかどうかの数値（HR@1）を基準に可否を判断
 • 実験管理 : WandBを用いた評価結果や損失関数、メモリ使用量などの記録
 • 結果確認 : 推薦記事のタイトル・件数を日次でSlackに送信
 ◦ 意図しない記事 が含まれる場合は編集側から連絡・記事候補から除外
 MLOps : 運用・監視 
 17
18. Copyright ⓒ 2025 Nikkei Inc. All rights reserved. • お昼プッシュの開封率が0.5〜1%未満、人手での記事選択作業が発生
 • 従来人手で行われていた記事選択作業をLLMを用いて自動化
 • パーソナライズモデルで配信記事を最適化
 • 従来と比較して+8%の開封率改善を達成
 • Kedro + AWS Batch + WandBで効率的な開発・運用環境を構築
 18 まとめ