Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文紹介/Expectations over Unspoken Alternatives Pr...
Search
Masato Mita
August 20, 2024
Research
2
430
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
Masato Mita
August 20, 2024
Tweet
Share
More Decks by Masato Mita
See All by Masato Mita
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
610
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
2
660
国際会議ACL2024参加報告
chemical_tree
1
610
広告文生成タスクの規定とベンチマーク構築(NLP2023)
chemical_tree
0
550
論述リビジョンのためのメタ評価基盤
chemical_tree
0
370
ライティング支援のための文法誤り訂正
chemical_tree
2
1.9k
Other Decks in Research
See All in Research
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
190
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
630
論文紹介:Not All Tokens Are What You Need for Pretraining
kosuken
0
190
Galileo: Learning Global & Local Features of Many Remote Sensing Modalities
satai
3
340
Generative Models 2025
takahashihiroshi
25
13k
AIグラフィックデザインの進化:断片から統合(One Piece)へ / From Fragment to One Piece: A Survey on AI-Driven Graphic Design
shunk031
0
500
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
580
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
3
310
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
180
ip71_contraflow_reconfiguration
stkmsd
0
110
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
8.5k
[CV勉強会@関東 CVPR2025] VLM自動運転model S4-Driver
shinkyoto
2
510
Featured
See All Featured
Practical Orchestrator
shlominoach
190
11k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
2.6k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Visualization
eitanlees
148
16k
Automating Front-end Workflow
addyosmani
1371
200k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
20k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
We Have a Design System, Now What?
morganepeng
53
7.8k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
How STYLIGHT went responsive
nonsquared
100
5.8k
Navigating Team Friction
lara
189
15k
Transcript
Expectations over Unspoken Alternatives Predict Pragmatic Inferences 1 2024-08-26, 第16回最先端NLP勉強会
Jennifer Hu, Roger Levy, Judith Degen, Sebastian Schuster (TACL 2023) 読み手: 三田雅人(CyberAgent)
スカラー推論( Scalar Inference;SI) • 話し手が言わなかった「暗黙の代替案」に関する語用論的推論 2 “Some of the students
passed the exam” 学生の全員は試験に合格していないんだな
グライスの発話含意理論 (論文に書いていない補足) • 語用論的推論は, 話し手と聞き手が協調性原理(coorporation principle)に則って会話するも のであるという仮定(格率に従う=協調性原理に従う) • この仮定を保つために, しばしば言語表現が意味すること以上のことを
, 聞き手が理解する必 要がある 3 [須藤’17]より 新グライス主義的SIの分析の例
SI率はスケール内( Within-scale)で変動する 4 Within-scale From [Degan’15]
SI率はスケール横断( Cross-scale)でも変動する 5 Within-scale Cross-scale From [Degan’15] From [van Tiel+’16]
問い 6 1. SIのスケール内/横断におけるばらつきの要因は何? e.g.) “The movie was good” →
The movie was not amazing. or The movie was not very good. 2. 聞き手は代替案に対して, 言語形式 or 概念レベルで推論するのか?
まとめ • 目的 ◦ 人間のスカラー推論(SI)に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明
による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 7
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 8 仮説 “Some of the
students passed the exam”
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 9 仮説 “Some of the
students passed the exam”
期待値に基づく SIの説明 SIは文脈駆動な期待値に基づく代替案の可用性に依存する [Degan&Tanehas, 2015] 10 仮説 “Some of the
students passed the exam” Not all students passed the exam 話者が強い意味を伝えるために [STRONG]と言った可能性が高いのであれば, [WEAK]と発話する話者の選択は[STRONG]と言う根拠がなかったことを示唆 ➔ SIが生じる可能性が高くなるはず
代替案に対する「期待値」の測り方 11 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 12 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する surprisalは意外性を測定するため , SI率と[STRONG]のsurprisalの間には負の関係 [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 13 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する 文字列ベースのsurprisalは, その根底にある概念 の予測可能性を捉えられないかも? [CONTEXT] [WEAK], but not [STRONG], [CONTEXT]
代替案に対する「期待値」の測り方 14 • “X, but not Y” という構造における確率を測定することにより , スカラー関係に関する期待値を推定
• 言語モデルを使って人間の予測分布を近似する [CONTEXT] [WEAK], but not [STRONG], [CONTEXT] 概念的に類似した代替案で , surprisalが低いものが 多数ある場合, 仮に評価されたscalemateの surprisalが高くても, 加重平均は低くなる
Within-scale(<some, all> )のばらつきの説明 • Human SI strength ratings [Dagan, 2015]
◦ 1363 unique contexts for <some,all> scale • モデル: GPT-2 • 代替候補={every, few, half, much, many, most, all} 15 文の類似度を1-7で評価(数値が高いほど SIも高い)
Within-scale(<some, all> )のばらつきの説明 16
Cross-scaleのばらつきの説明 • Human SI strengths from 4 datasets [Ronai&Xiang’22, Pankarts&van
Tiel`21, Gotzner+’18, van Tiel+’16] ◦ 148 unique scale <WEAK,STRONG> • モデル: BERT • 代替候補:[WEAK]と同じ品詞を持つ単語(WordNet+NLTK + 頻度フィルター w/ OpenSubtitles[Lison&Tiedemann’16]) ◦ 形容詞1000語, 副詞960語, 動詞224語 17
Cross-scaleのばらつきの説明 18
まとめ • 目的 ◦ 人間のスカラー推論(SI)に関する定量的・統一的な説明 の提供 • 方法論 ◦ 代替案に対する期待値ベースの説明
による形式化 ◦ 言語モデルに基づく文字列/概念ベースの説明モデルを提案し, どのく らい人間のSIを説明できるか調査 • 知見 ◦ SI率のばらつきは代替案に対する期待値によって捉えられる ◦ 人間のSIは表層レベルよりも概念レベルで行われる 19