論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences

1. Expectations over Unspoken Alternatives Predict Pragmatic Inferences 1 2024-08-26, 第16回最先端NLP勉強会 Jennifer Hu, Roger Levy, Judith Degen, Sebastian Schuster (TACL 2023) 読み手: 三田雅人（CyberAgent）
2. スカラー推論（ Scalar Inference;SI） • 話し手が言わなかった「暗黙の代替案」に関する語用論的推論 2 “Some of the students passed the exam” 学生の全員は試験に合格していないんだな
3. グライスの発話含意理論 （論文に書いていない補足） • 語用論的推論は, 話し手と聞き手が協調性原理（coorporation principle）に則って会話するも のであるという仮定（格率に従う＝協調性原理に従う） • この仮定を保つために, しばしば言語表現が意味すること以上のことを , 聞き手が理解する必 要がある 3 [須藤’17]より 新グライス主義的SIの分析の例
4. SI率はスケール内（ Within-scale）で変動する 4 Within-scale From [Degan’15]
5. SI率はスケール横断（ Cross-scale）でも変動する 5 Within-scale Cross-scale From [Degan’15] From [van Tiel+’16]
6. 問い 6 1. SIのスケール内/横断におけるばらつきの要因は何？ e.g.) “The movie was good” → The movie was not amazing. or The movie was not very good. 2. 聞き手は代替案に対して, 言語形式 or 概念レベルで推論するのか？
7. まとめ • 目的 ◦ 人間のスカラー推論（SI）に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明 による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 7
8. 期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 8 仮説 “Some of the students passed the exam”
9. 期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 9 仮説 “Some of the students passed the exam”
10. 期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 10 仮説 “Some of the students passed the exam” Not all students passed the exam 話者が強い意味を伝えるために [STRONG]と言った可能性が高いのであれば, [WEAK]と発話する話者の選択は[STRONG]と言う根拠がなかったことを示唆 ➔ SIが生じる可能性が高くなるはず
11. 代替案に対する「期待値」の測り方 11 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定 • 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
12. 代替案に対する「期待値」の測り方 12 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定 • 言語モデルを使って人間の予測分布を近似する surprisalは意外性を測定するため , SI率と[STRONG]のsurprisalの間には負の関係 [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
13. 代替案に対する「期待値」の測り方 13 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定 • 言語モデルを使って人間の予測分布を近似する 文字列ベースのsurprisalは, その根底にある概念 の予測可能性を捉えられないかも？ [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
14. 代替案に対する「期待値」の測り方 14 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定 • 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT] 概念的に類似した代替案で , surprisalが低いものが 多数ある場合, 仮に評価されたscalemateの surprisalが高くても, 加重平均は低くなる
15. Within-scale（<some, all> ）のばらつきの説明 • Human SI strength ratings [Dagan, 2015] ◦ 1363 unique contexts for <some,all> scale • モデル: GPT-2 • 代替候補={every, few, half, much, many, most, all} 15 文の類似度を1-7で評価（数値が高いほど SIも高い）
16. Within-scale（<some, all> ）のばらつきの説明 16
17. Cross-scaleのばらつきの説明 • Human SI strengths from 4 datasets [Ronai&Xiang’22, Pankarts&van Tiel`21, Gotzner+’18, van Tiel+’16] ◦ 148 unique scale <WEAK,STRONG> • モデル: BERT • 代替候補:[WEAK]と同じ品詞を持つ単語（WordNet+NLTK + 頻度フィルター w/ OpenSubtitles[Lison&Tiedemann’16]） ◦ 形容詞1000語, 副詞960語, 動詞224語 17
18. Cross-scaleのばらつきの説明 18
19. まとめ • 目的 ◦ 人間のスカラー推論（SI）に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明 による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 19