Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介: IRのためのパラメータチューニング / ir-tuning
Search
Masahiro Nomura
October 31, 2020
Research
0
440
論文紹介: IRのためのパラメータチューニング / ir-tuning
Masahiro Nomura
October 31, 2020
Tweet
Share
More Decks by Masahiro Nomura
See All by Masahiro Nomura
ランダム欠損データに依存しない推薦システムのバイアス除去 / towards-resolving-propensity-contradiction-in-offline-recommender-learning
nmasahiro
0
210
転移学習によるハイパーパラメータ最適化の高速化 / warm_starting_cma
nmasahiro
0
2k
論文紹介: Sample Reuse via Importance Sampling in Information Geometric Optimization / sample_reuse_igo
nmasahiro
0
240
機械学習における ハイパーパラメータ最適化の理論と実践 / hpo_theory_practice
nmasahiro
30
36k
論文紹介 : Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
nmasahiro
1
670
広告とAI(とハイパーパラメータ最適化) / Ad with AI
nmasahiro
1
1.9k
Other Decks in Research
See All in Research
Gemini と Looker で営業DX をドライブする / Driving Sales DX with Gemini and Looker
sansan_randd
0
200
SpectralMamba: Efficient Mamba for Hyperspectral Image Classification
satai
3
200
言語モデルの内部機序:解析と解釈
eumesy
PRO
32
13k
TRIPOD+AI Expandedチェックリスト 有志翻訳による日本語版 version.1.1
shuntaros
0
100
Weekly AI Agents News! 11月号 論文のアーカイブ
masatoto
0
320
実行環境に中立なWebAssemblyライブマイグレーション機構/techtalk-2025spring
chikuwait
0
120
Mathematics in the Age of AI and the 4 Generation University
hachama
0
140
CoRL2024サーベイ
rpc
2
1.8k
SI-D案内資料_京都文教大学
ryojitakeuchi1116
0
230
A Segment Anything Model based weakly supervised learning method for crop mapping using Sentinel-2 time series images
satai
3
180
研究を支える拡張性の高い ワークフローツールの提案 / Proposal of highly expandable workflow tools to support research
linyows
0
360
大規模日本語VLM Asagi-VLMにおける合成データセットの構築とモデル実装
kuehara
5
1.7k
Featured
See All Featured
Raft: Consensus for Rubyists
vanstee
137
6.8k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
22
2.6k
What's in a price? How to price your products and services
michaelherold
245
12k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
Making Projects Easy
brettharned
116
6.1k
The Pragmatic Product Professional
lauravandoore
33
6.5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
The Cost Of JavaScript in 2023
addyosmani
48
7.6k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.5k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
30k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.3k
Transcript
論文紹介 - IRのためのパラメータチューニング - IR Reading (2020/10/31) 株式会社サイバーエージェント 野村 将寛
Bayesian Optimization for Optimizing Retrieval Systems
どんな論文? • 著者 : Dan Li, Evangelos Kanoulas (Univ. of
Amsterdam) • 出典 : WSDM’18 • 要約 : ◦ 情報検索システムには多数のハイパーパラメータが存在 ◦ チューニングにベイズ最適化を利用し実験で性能を確認
IRにおけるハイパーパラメータの重要性 • IRにはチューニングすべきハイパーパラメータが多数存在 ◦ stopwords lists ◦ stemming methods ◦
retrieval model ◦ k1 and b values in BM25 ◦ number of top-ranked documents to consider ◦ number of query expansion terms • ハイパーパラメータの値によって検索の性能が大きく変わる
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
一般的なチューニングの手順 k1 評価値を計算 BM25 b
Black-Box関数 f(x) x • 中身がBlack-Boxな関数と見なすことができる • チューニングはBlack-Box最適化によって行うことができる
チューニングのためのBlack-Box最適化手法 • Grid Search • Random Search • ベイズ最適化 ◦
SOTAなハイパーパラメータのチューニング手法 ◦ OptunaなどのOSSから利用可能
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
ベイズ最適化 (Gaussian Process Expected Improvement) 1. ガウス過程によりfを予測 2. E[改善量]が最大の点を選択 3.
2.で得られた点を評価 4. 1.〜3.を繰り返す
実験 • データセット : TREC • Pyndri (IndriのPython Interface) を使用
• ハイパーパラメータ : 2変数 & 18変数 ◦ 2変数 : two stage smoothingのλとμ ◦ 18変数 : stopper, stemmer, retrieval modelなど • 評価指標 ◦ MAP (Mean Average Precision) ◦ NDCG (Normalized Discounted Cumulative Gain) ◦ MRR (Mean reciprocal rank)
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した 異なる滑らかさの仮定
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
結果 • Manual Search (デフォルトパラメータ) よりは改善 • 2変数 : Random
Searchとベイズ最適化はあまり変わらない • 18変数 : ベイズ最適化の方が(少し)良い性能を示した
Parameter Tuning in Personal Search Systems
どんな論文? • 著者 : Suming J. Chen et al. (Google)
• 出典 : WSDM’20 • 要約 : ◦ 個人データの検索だとクエリとドキュメントのログが非公開 ▪ オフラインでのチューニングができない ◦ 一方でオンラインA/Bテストはユーザ体験を損なう可能性 ◦ 部分的なログしかないデータを使ったチューニングを提案
White Box System • 関数についての情報が全て得られているシステム (強い仮定) • オフライン実験にてパラメータをチューニングすることが可能
Black Box System • 関数の中身の情報が全く得られないシステム • queryとdocが分からないため,オフライン実験は不可能 ◦ 高コストなA/Bテストを行う必要がある
Grey Box System (Main Focus) • White BoxとBlack Boxの中間 ◦
関数の中身の情報が部分的に得られているシステム
最適化の手順 1. サブスコア(緑枠)を推論する 2. 最終スコアと相関の高いサブスコアを特定 する 3. そのサブスコアのパラメータを最適化
実験 • GMail (約100万クエリ) とGoogle Drive (約25万クエリ) で実験 • サービスの特性的に、実際のDAGの構造は明かせない
• 評価手順 ◦ Grey Box : オフラインにおいてパラメータを選択後オンラインで評価 ◦ Black Box : オフライン評価ができないためオンラインで数試行評価 • 評価指標 ◦ ACP (Average Click Position) ◦ CTR (Click-Through Rate) ◦ MRR (Mean Reciprocal Rank)
結果 • 特にDriveで有意に改善 • Grey Box • Black Box •
性能は悪化 • (実質ランダムサーチなので妥当)
ハイパーパラメータ最適化の参考資料 • 機械学習におけるハイパーパラメータ最適化の理論と実践 ◦ https://speakerdeck.com/nmasahiro/hpo-theory-practice ◦ PyConJP 2019 発表スライド ◦
チューニングの基本 + ガイドライン (手法の選択、おすすめOSSなど) • 機械学習におけるハイパパラメータ最適化手法:概要と特徴 ◦ https://search.ieice.org/bin/summary.php?id=j103-d_9_615 ◦ 電子情報通信学会論文誌 (2020/09公開; オープンアクセス) ◦ より踏み込んだガイドラインを提示