論文紹介 / [SIGIR 2020] Query Reformulation in E-Commerce Search

情報検索_推薦論文読み祭り#1 で発表した内容です。

開催内容: https://m3-engineer.connpass.com/event/217338/
開催動画: https://www.youtube.com/watch?v=rxLoMFft7WA

1. 論文紹介
 [SIGIR 2020] Query Reformulation 
 in E-Commerce Search
 @ 情報検索/推薦 各社合同 論文読み祭 #1
 2021/07/15
 株式会社ZOZOテクノロジーズ
 ZOZO研究所検索チーム 山﨑朋哉
 © ZOZO Technologies, Inc. 1
2. © ZOZO Technologies, Inc. 2 イントロダクション Web検索 vs EC検索
3. © ZOZO Technologies, Inc. 3 イントロ: Web検索 vs EC検索 Web検索 EC検索 最近のEC検索系の論文の論調の一例 • 「本提案手法/本調査は、Web検索の文脈では多く研究されて いるが、EC検索に適用した例が無い」 https://www.google.com/ https://www.amazon.co.jp/
4. © ZOZO Technologies, Inc. 4 Web検索 → EC検索の例: ランキング学習 Web検索の場合 • Web検索の文脈ではランキング学習は数多く 研究されている ◦ [2011] Yahoo! Learning to Rank Challenge Overview など 論文の貢献 (一部) • ECサイト検索として初めてランキング学習モデル を活用する際の効果的な特徴量とRelevancyにつ いて網羅的に調査した。 [2017 SIGIR] On Application of Learning to Rank for E-Commerce Search
5. © ZOZO Technologies, Inc. 5 Web検索 → EC検索の例: 検索行動の調査 Web検索の場合 • Web検索でのユーザーの行動の目的 ◦ Navigational: 特定のサイトに行きたい ◦ Informational: 情報を収集したい ◦ Transactional: Webを介した行動したい (購入など) ◦ 参考: [2002 SIGIR] A taxonomy of web search 論文の貢献 (一部) • EC検索においてのユーザー行動を特定した ◦ Target Finding: 購入したい特定の商品を決めている ◦ Decision Making: 漠然とした強い購入意図を持っている ◦ Explore: 特定の商品を意識せず探索したい [2018 WSDM] User Intent, Behaviour, and Perceived Satisfaction in Product Search
6. © ZOZO Technologies, Inc. 6 Web検索 → EC検索の例: クエリサジェスト Web検索の場合 • 過去のクリックログを使って、入力クエリに対するサ ジェストを作成する ◦ [2006 IFIP PPAI] Automatic query recommendation using click-through 論文の貢献 (一部) • Web検索とは異なり、ECサイトでは、 検索結果の商品が売り切れ/補充の可能性がある。 • このようなECサイトならではの問題に対応した サジェスト作成方法を提案した。 [2011 WSDM] Query Suggestion for E-Commerce Sites 画像引用: https://staff.fnwi.uva.nl/m.derijke/wp-content/papercite-data/pdf/cai-survey-2016.pdf
7. © ZOZO Technologies, Inc. 7 本日紹介する論文: 検索クエリ書き換えについて [2020 SIGIR] Query Reformulation in E-Commerce Search 超概要 (今までのとパターンは同じ) • 入力された検索クエリの書き換えは、 Web検索では多く研究されているが、 EC検索では深く調査されていない
8. © ZOZO Technologies, Inc. 8 論文紹介
 Query Reformulation 
 in E-Commerce Search
 Sharon Hirsch , Ido Guy , Alexander Nus , Arnon Dagan , Oren Kurland
 Technion - Israel Institute of Technology, Haifa, Israel 
 eBay Research, Netanya, Israel
 
 @ SIGIR 2020
 論文リンク: https://ie.technion.ac.il/~kurland/queryReform.pdf 

9. © ZOZO Technologies, Inc. 9 論文概要 どんなもの？ • EC検索でのQuery Reformulation (QR)について分析した 先行研究と比べてどこがすごい？ • Web検索では多く分析されていたQRについて、初めてEC検 索で深く分析したこと • ある検索クエリがReformulationされるかを予測するタスクを 初めて提案して、高精度の手法を提案したこと 技術や手法のキモはどこ？ • QRの発生をJaccard係数ベースで定義して、QRの発生する セッションごとに分けて分析した点 どうやって有効だと検証した？ • eBayの大規模なデータについて分析/実装した • 予測タスクについてはナイーブな手法と比較した
10. © ZOZO Technologies, Inc. 10 Query Reformulationとは ECサイトでの ユーザーの セッション ※30分以内 「iPhone」 で検索 検索結果を 探索 「iPhone 10」 で検索 検索結果を 探索 ・・・ 「Tシャツ」 で検索
11. © ZOZO Technologies, Inc. 11 Query Reformulationとは ECサイトでの ユーザーの セッション ※30分以内 「iPhone」 で検索 検索結果を 探索 「iPhone 10」 で検索 検索結果を 探索 ・・・ Query Reformulation Query Reformulation (QR) • ユーザーの検索意図は変わらないまま、 クエリの内容を書き換えること • QRの目的はユーザーの意図に親しい検索結果を表示するこ と 「Tシャツ」 で検索
12. © ZOZO Technologies, Inc. 12 Reformulation Sessionとは 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp
13. © ZOZO Technologies, Inc. 13 Reformulation Sessionとは 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp Reformulation Session (RS) • 前のクエリのトークンのJaccard係数が0より大きいなら Reformulation判定する ※実際に人手で訓練データを作成し、閾値・手法の調査を行っている (詳細は論文参照) Reformulation Session Reformulation Session
14. © ZOZO Technologies, Inc. 14 Reformulation Sessionとは 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp Firstクエリ: 各セッション全体の最初のクエリ Freshクエリ: 各RSの最初のクエリ
15. © ZOZO Technologies, Inc. 15 調査対象のデータセット • eBayのクエリログ ◦ 2019/1, 2019/5 の2つの同様のデータセット ◦ eBay session: 40万 (全体の0.37%に相当) ◦ ユーザー数: 約37.5万人
16. © ZOZO Technologies, Inc. 16 Reformulation Typeの分析 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp • Reformulation Type ◦ Add: 詳しい情報が欲しい ◦ Remove: 広い情報が欲しい • 全体の分析結果 ◦ Add > Remove Type 変換前 変換後 Add iphone iphone 10 Replace iphone ケース iphone カバー Remove iphone 10 iphone
17. © ZOZO Technologies, Inc. 17 Reformulation Typeの分析 • Reformulation Type ◦ Add: 詳しい情報が欲しい ◦ Remove: 広い情報が欲しい • RSの分析結果 ◦ Addは徐々に減っていく ◦ セッションの最初では、特にAddが多い Type 変換前 変換後 Add iphone iphone 10 Replace iphone ケース iphone カバー Remove iphone 10 iphone
18. © ZOZO Technologies, Inc. 18 検索結果の変遷についての分析結果 • RS中の検索結果の重複を各ポジション別に分析 ◦ overlap@k: Top kの重複の割合 ◦ Item: 商品自体の重複 ◦ LC: Leaf category (詳細のカテゴリ) の重複 ◦ MC: Meta category (大分類、全43種) の重複 → アイテムの重複はほぼ無いが、カテゴリは安定していく overlap@10 overlap@50
19. © ZOZO Technologies, Inc. 19 ユーザーのアクションについての分析結果 • クリック率・購入率の調査 高 微高 高 高 高
20. © ZOZO Technologies, Inc. 20 ユーザーのアクションについての分析結果 • クリック率・購入率の調査 ◦ Reformulation vs Non-reformulationのCTRの比較結果は Web検索の結果に類似 高 微高 高 高 高
21. © ZOZO Technologies, Inc. 21 ユーザーのアクションについての分析結果 • 各セッションごとのクリック率・購入率の調査 ◦ セッション最後CTR, 購入率が高い R: reformulation session S: eBay Session
22. © ZOZO Technologies, Inc. 22 RSの分析結果まとめ • Reformulation Typeの分析 ◦ Add > Remove ◦ 特にセッションの初期はAddが多い • 検索結果の変遷の分析 ◦ アイテムの重複はほぼ無いが、カテゴリは安定していく ◦ 「アイテムの重複がない」がWeb検索と異なる点 • クリック率・購入率の分析 ◦ Reformulationされるクエリはクリック率・購入率が低い ◦ 各セッションの最後のクエリが最も高い ◦ Reformulation vs non-ReformulationのCTRの比較は　　 Web検索の結果と類似
23. © ZOZO Technologies, Inc. 23 Reformulationの予測問題への取り組み タスク設定 ◦ 入力されたクエリがReformulationされるかを予測 ◦ AUC, F1で評価 タスクの目的 ◦ Reformulationされないクエリは「特定の商品を求めてい る」意図が強いクエリとして扱える ◦ Reformulationの予測結果に応じて異なるランキングモデ ルを適用するなどの応用が考えられる 対象のクエリ 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp
24. © ZOZO Technologies, Inc. 24 Reformulationの予測問題への取り組み モデル: Random Forest, GBDT, SVM, NN 特徴量: ◦ Pre-retrieval: 過去ログや統計値など、検索前の特徴量 ◦ Post-retrieval: 検索結果TopN件の情報など、検索後の特徴量 特徴量 Pre-retrieval Post-Retrieval カテゴリー ✔ ✔ クエリの属性 (例: あるクエリに対して、あるカテゴリが何回表 示されたか？) ✔ ✔ 既存研究でのQPPの特徴量 ✔ ✔ QPPの追加特徴量 ✔ User History ✔ Query History ✔ QPP: Query Performance Predictors
25. © ZOZO Technologies, Inc. 25 Reformulationの予測問題への取り組み 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp GBDTが最も良い
26. © ZOZO Technologies, Inc. 26 Pre-retrieval vs Post-retrievalの特徴量の比較 画像引用: https://dl.acm.org/doi/10.1145/3397271.3401065#sec-supp GBDTを用いて比較すると、Post-retrievalが良く効いている
27. © ZOZO Technologies, Inc. 27 論文まとめ (再掲) どんなもの？ • EC検索でのQuery Reformulation (QR)について分析した 先行研究と比べてどこがすごい？ • Web検索では多く分析されていたQRについて、初めてEC検 索で深く分析したこと • ある検索クエリがReformulationされるかを予測するタスクを 初めて提案して、高精度の手法を提案したこと 技術や手法のキモはどこ？ • QRの発生をJaccard係数ベースで定義して、QRの発生する セッションごとに分けて分析した点 どうやって有効だと検証した？ • eBayの大規模なデータについて分析/実装した • 予測タスクについてはナイーブな手法と比較した