Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介: IRのためのパラメータチューニング / ir-tuning

論文紹介: IRのためのパラメータチューニング / ir-tuning

Masahiro Nomura

October 31, 2020
Tweet

More Decks by Masahiro Nomura

Other Decks in Research

Transcript

  1. どんな論文? • 著者 : Dan Li, Evangelos Kanoulas (Univ. of

    Amsterdam) • 出典 : WSDM’18 • 要約 : ◦ 情報検索システムには多数のハイパーパラメータが存在 ◦ チューニングにベイズ最適化を利用し実験で性能を確認
  2. IRにおけるハイパーパラメータの重要性 • IRにはチューニングすべきハイパーパラメータが多数存在 ◦ stopwords lists ◦ stemming methods ◦

    retrieval model ◦ k1 and b values in BM25 ◦ number of top-ranked documents to consider ◦ number of query expansion terms • ハイパーパラメータの値によって検索の性能が大きく変わる
  3. チューニングのためのBlack-Box最適化手法 • Grid Search • Random Search • ベイズ最適化 ◦

    SOTAなハイパーパラメータのチューニング手法 ◦ OptunaなどのOSSから利用可能
  4. 実験 • データセット : TREC • Pyndri (IndriのPython Interface) を使用

    • ハイパーパラメータ : 2変数 & 18変数 ◦ 2変数 : two stage smoothingのλとμ ◦ 18変数 : stopper, stemmer, retrieval modelなど • 評価指標 ◦ MAP (Mean Average Precision) ◦ NDCG (Normalized Discounted Cumulative Gain) ◦ MRR (Mean reciprocal rank)
  5. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random

    Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
  6. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random

    Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
  7. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random

    Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した 異なる滑らかさの仮定
  8. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random

    Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
  9. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random

    Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
  10. 結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random

    Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
  11. どんな論文? • 著者 : Suming J. Chen et al. (Google)

    • 出典 : WSDM’20 • 要約 : ◦ 個人データの検索だとクエリとドキュメントのログが非公開 ▪ オフラインでのチューニングができない ◦ 一方でオンラインA/Bテストはユーザ体験を損なう可能性 ◦ 部分的なログしかないデータを使ったチューニングを提案
  12. Grey Box System (Main Focus) • White BoxとBlack Boxの中間 ◦

    関数の中身の情報が部分的に得られているシステム
  13. 実験 • GMail (約100万クエリ) とGoogle Drive (約25万クエリ) で実験 • サービスの特性的に、実際のDAGの構造は明かせない

    • 評価手順 ◦ Grey Box : オフラインにおいてパラメータを選択後オンラインで評価 ◦ Black Box : オフライン評価ができないためオンラインで数試行評価 • 評価指標 ◦ ACP (Average Click Position) ◦ CTR (Click-Through Rate) ◦ MRR (Mean Reciprocal Rank)
  14. 結果 • 特にDriveで有意に改善 • Grey Box • Black Box •

    性能は悪化 • (実質ランダムサーチなので妥当)
  15. ハイパーパラメータ最適化の参考資料 • 機械学習におけるハイパーパラメータ最適化の理論と実践 ◦ https://speakerdeck.com/nmasahiro/hpo-theory-practice ◦ PyConJP 2019 発表スライド ◦

    チューニングの基本 + ガイドライン (手法の選択、おすすめOSSなど) • 機械学習におけるハイパパラメータ最適化手法:概要と特徴 ◦ https://search.ieice.org/bin/summary.php?id=j103-d_9_615 ◦ 電子情報通信学会論文誌 (2020/09公開; オープンアクセス) ◦ より踏み込んだガイドラインを提示