論文紹介: IRのためのパラメータチューニング / ir-tuning

Transcript

1. 論文紹介 - IRのためのパラメータチューニング - IR Reading (2020/10/31) 株式会社サイバーエージェント 野村 将寛
2. Bayesian Optimization for Optimizing Retrieval Systems
3. どんな論文？ • 著者 : Dan Li, Evangelos Kanoulas (Univ. of Amsterdam) • 出典 : WSDM’18 • 要約 : ◦ 情報検索システムには多数のハイパーパラメータが存在 ◦ チューニングにベイズ最適化を利用し実験で性能を確認
4. IRにおけるハイパーパラメータの重要性 • IRにはチューニングすべきハイパーパラメータが多数存在 ◦ stopwords lists ◦ stemming methods ◦ retrieval model ◦ k1 and b values in BM25 ◦ number of top-ranked documents to consider ◦ number of query expansion terms • ハイパーパラメータの値によって検索の性能が大きく変わる
5. 一般的なチューニングの手順 k1 評価値を計算 BM25 b
6. 一般的なチューニングの手順 k1 評価値を計算 BM25 b
7. 一般的なチューニングの手順 k1 評価値を計算 BM25 b
8. 一般的なチューニングの手順 k1 評価値を計算 BM25 b
9. 一般的なチューニングの手順 k1 評価値を計算 BM25 b
10. Black-Box関数 f(x) x • 中身がBlack-Boxな関数と見なすことができる • チューニングはBlack-Box最適化によって行うことができる
11. チューニングのためのBlack-Box最適化手法 • Grid Search • Random Search • ベイズ最適化 ◦ SOTAなハイパーパラメータのチューニング手法 ◦ OptunaなどのOSSから利用可能
12. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
13. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
14. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
15. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
16. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
17. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
18. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
19. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
20. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
21. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
22. ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3. 2.で得られた点を評価 4. 1.〜3.を繰り返す
23. 実験 • データセット : TREC • Pyndri (IndriのPython Interface) を使用 • ハイパーパラメータ : 2変数 & 18変数 ◦ 2変数 : two stage smoothingのλとμ ◦ 18変数 : stopper, stemmer, retrieval modelなど • 評価指標 ◦ MAP (Mean Average Precision) ◦ NDCG (Normalized Discounted Cumulative Gain) ◦ MRR (Mean reciprocal rank)
24. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
25. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
26. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した 異なる滑らかさの仮定
27. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
28. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
29. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
30. Parameter Tuning in Personal Search Systems
31. どんな論文？ • 著者 : Suming J. Chen et al. (Google) • 出典 : WSDM’20 • 要約 : ◦ 個人データの検索だとクエリとドキュメントのログが非公開 ▪ オフラインでのチューニングができない ◦ 一方でオンラインA/Bテストはユーザ体験を損なう可能性 ◦ 部分的なログしかないデータを使ったチューニングを提案
32. White Box System • 関数についての情報が全て得られているシステム (強い仮定) • オフライン実験にてパラメータをチューニングすることが可能
33. Black Box System • 関数の中身の情報が全く得られないシステム • queryとdocが分からないため，オフライン実験は不可能 ◦ 高コストなA/Bテストを行う必要がある
34. Grey Box System (Main Focus) • White BoxとBlack Boxの中間 ◦ 関数の中身の情報が部分的に得られているシステム
35. 最適化の手順 1. サブスコア(緑枠)を推論する 2. 最終スコアと相関の高いサブスコアを特定 する 3. そのサブスコアのパラメータを最適化
36. 実験 • GMail (約100万クエリ) とGoogle Drive (約25万クエリ) で実験 • サービスの特性的に、実際のDAGの構造は明かせない • 評価手順 ◦ Grey Box : オフラインにおいてパラメータを選択後オンラインで評価 ◦ Black Box : オフライン評価ができないためオンラインで数試行評価 • 評価指標 ◦ ACP (Average Click Position) ◦ CTR (Click-Through Rate) ◦ MRR (Mean Reciprocal Rank)
37. 結果 • 特にDriveで有意に改善 • Grey Box • Black Box • 性能は悪化 • (実質ランダムサーチなので妥当)
38. ハイパーパラメータ最適化の参考資料 • 機械学習におけるハイパーパラメータ最適化の理論と実践 ◦ https://speakerdeck.com/nmasahiro/hpo-theory-practice ◦ PyConJP 2019 発表スライド ◦ チューニングの基本 + ガイドライン (手法の選択、おすすめOSSなど) • 機械学習におけるハイパパラメータ最適化手法：概要と特徴 ◦ https://search.ieice.org/bin/summary.php?id=j103-d_9_615 ◦ 電子情報通信学会論文誌 (2020/09公開; オープンアクセス) ◦ より踏み込んだガイドラインを提示