snlp2023_rogue_scores

Transcript

1. Rogue Scores Max Grusky ACL 2023 読む⼈︓⾼瀬翔（LINE） 2023/8/28 1
2. 本論⽂のまとめ • ROUGEスコアが正しく計測されてない報告 – ROUGEスコア︓参照⽂との⼀致率 – 要約の評価のために考案された – 近年は質問応答やキャプション⽣成の評価でも使⽤される • 20年間でROUGEを使⽤した論⽂2834本を調査 – 20年間︓ROUGEスコアが提案されてから現在まで [Lin, 04] – 再現可能な報告をしている論⽂は 20% • ただし，実装に⾔及している論⽂の 76% が誤ったスコアを出⼒する実装を使⽤ • ⾼瀬の意⾒︓評価とは何をすべきかを考えて欲しい – 「ROUGEは」にとどまらない問題 2
3. ROUGEスコア計測に関わる変数 3 REFERENCE MODEL INPUT LANGUAGE MODEL HYPOTHESIS ROUGE-1.5.5 AJ/pyrouge BZ/pyrouge CW/sumeval DI/pyrouge GL/seq2seq HF/metrics KG/rouge2 ￿ MS/rouge PT/pyrouge PT/rouge Other: ￿ Custom Code Package Tokenization None ￿ NLTK Other: Sentence Splits None NLTK ￿ By Periods Other: Preprocessing Stemming Stopwords Truncation ￿ Words: 100 Bytes: Configuration Variant R-1 R-2 ￿ R-L R-W R-S R-SU4 Subscores Prec. Recall F1 Score ￿ F , = 1.2 Bootstrapping ￿ No Yes Conf. Interval 99% 95% ￿ Other: 0 % Reporting 43.57 ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? How was this ROUGE score computed? Is it correct and comparable with prior work? These decisions affect ROUGE scores. Are they reported in machine learning papers? Figure 2: ROUGE measures similarity between human-written (reference) and model-generated (hypothesis) texts. The 実装 ⼊⼒の加⼯法 報告する値
4. 設定次第でスコアが⼤幅に変わる 4 producible? onfiguration How much ation? Here onstrate the y issues. Microsoft is tandard bal- Using a rogue ROUGE configuration, anyone can achieve state-of-the-art scores! CNN / Daily Mail Summarization Models ROUGE Scores R1 R2 RL Lead-3 (Baseline) 40.34 17.55 36.58 T5 (Raffel et al., 2020) 43.52 21.55 40.69 BART (Lewis et al., 2020) 44.16 21.28 40.90 PEGASUS (Zhang et al., 2020) 44.17 21.47 41.11 SIMCLS (Liu and Liu, 2021) 46.67 22.15 43.54 BRIO (Liu et al., 2022) 47.78 23.55 44.57 Rogue-3 (Ours) 73.89 55.80 73.89 Table 3: Surprise! Our spectacular Rogue-3 “model” is ⼊⼒は同じでも 設定次第で ここまで上がる
5. 設定次第でスコアが⼤幅に変わる 5 producible? onfiguration How much ation? Here onstrate the y issues. Microsoft is tandard bal- Using a rogue ROUGE configuration, anyone can achieve state-of-the-art scores! CNN / Daily Mail Summarization Models ROUGE Scores R1 R2 RL Lead-3 (Baseline) 40.34 17.55 36.58 T5 (Raffel et al., 2020) 43.52 21.55 40.69 BART (Lewis et al., 2020) 44.16 21.28 40.90 PEGASUS (Zhang et al., 2020) 44.17 21.47 41.11 SIMCLS (Liu and Liu, 2021) 46.67 22.15 43.54 BRIO (Liu et al., 2022) 47.78 23.55 44.57 Rogue-3 (Ours) 73.89 55.80 73.89 Table 3: Surprise! Our spectacular Rogue-3 “model” is ⼊⼒は同じでも 設定次第で ここまで上がる 著者⽈く この辺りは 正しくない 実装で計測 → 何が起こる︖
6. 実装が違うと値が異なる 6 ing a ion 2 76% ts the 000+ ngly, ainst ation urred used; . ndard n our s. On with ately. dated ation cores e av- Thousands of machine learning models are evaluated by ROUGE packages with errors. Common ROUGE Packages Percentage of Incorrect Scores STEMMING + STEMMING R1 R2 RL R1 R2 RL Standard Implementation ￿ ROUGE-1.5.5 0 0 0 0 0 0 Nonstandard — Wrappers ￿ AJ/pyrouge 100 100 100 100 100 100 ￿ BZ/pyrouge 46 28 56 0 0 0 ￿ DD/sacrerouge 0 0 0 0 0 0 ￿ LP/rougemetric 0 0 0 13 6 18 ￿ PT/files2rouge 0 0 83 13 6 86 ￿ PT/pyrouge 0 0 0 0 0 0 ￿ TG/pythonrouge 100 100 84 100 100 86 Nonstandard — Reimplementations ￿ CW/sumeval 98 97 100 98 97 100 ￿ +stopwords 0 0 97 73 61 99 ￿ DD/sacrerouge 0 0 97 0 0 98 ￿ DI/pyrouge 4 4 4 4 4 4 ￿ GL/rougescore 0 0 97 14 6 98 ￿ +rougeLSum — — 0 — — 19 ￿ GL/seq2seq 98 97 100 — — — ￿ KG/rouge2 98 97 100 98 97 100 ￿ +stopwords 93 97 100 94 97 100 ￿ LP/rougemetric 97 95 99 — — — ￿ MS/rouge — — 100 — — — ￿ ND/easyrouge 98 97 100 — — — ￿ PT/rouge 98 96 100 — — — KEY ￿ Correct ￿ Incorrect Individual and Overall Scores ￿ Correct Individual Scores, Incorrect Overall Scores ROUGEのオリジナル実装と⽐較して スコアの差が出るパーセンテージ （ROUGEは事例ごとに算出可能 何パーセントの事例でスコアがずれたかを提⽰） ほぼすべての実装がオリジナルと異なる値を出⼒ → 値を相互に⽐較して モデルの是⾮を議論することは不可能
7. どうすれば良いのか︖ • 素朴な考え︓正しく測定できるようにする – オリジナル実装を⽤いる + パラメータもすべて表記 • ⾼瀬の意⾒︓値の再現の担保を諦め，相対的な差の議論に限定する – 本論⽂と同じような主張・調査は BLEU でもされている • SacreBLEU [Post 18], [Marie+ 21] の調査 • 改善しているか︖ → 体感としては No，査読時の要求は増えたが改善はなし – 「正しい測定の仕⽅」が難しすぎる • 正しい実装 + 正しい⼊出⼒ + 正しいパラメータで評価は新規参⼊者には不可能 • できること – 既存論⽂からスコアのコピペを⽌める – ⾃分の環境で各モデルのスコアを算出する • ⾃分の環境の上で相対的な良し悪しを議論することは可能 7
8. 本論⽂のまとめ（再掲） • ROUGEスコアが正しく計測されてない報告 – ROUGEスコア︓参照⽂との⼀致率 – 要約の評価のために考案された – 近年は質問応答やキャプション⽣成の評価でも使⽤される • 20年間でROUGEを使⽤した論⽂2834本を調査 – 20年間︓ROUGEスコアが提案されてから現在まで [Lin, 04] – 再現可能な報告をしている論⽂は 20% • ただし，実装に⾔及している論⽂の 76% が誤ったスコアを出⼒する実装を使⽤ • ⾼瀬の意⾒︓評価とは何をすべきかを考えて欲しい – 「ROUGEは」にとどまらない問題 8