文献紹介：A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications

https://aclanthology.org/2024.acl-long.76/

Transcript

1. 論文紹介 A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications Naomi Baes, Nick Haslam, Ekaterina Vylomova ACL2024
2. 概要 2 • 問題：意味変化の有無は算出できるが、種類は複雑 • 提案：単語の意味変化の種類を評価する3＋2つの尺度 ◦ sentiment：（感情的に）ネガティブ⇔ポジティブ ◦ breadth：（意味的に）似ていない⇔似ている ◦ intensity：（感情的に）落ち着いている⇔緊張状態 ◦ [sub] thematic concept：任意の分野の用語との共起頻度 ◦ [sub] salience：相対的な頻度情報 • 実験：心理学/社会学における分析で有用性を調査 ◦ 心理的に意味が変化した用語、そうでない単語を区別できた
3. • 単語の意味は時代とともに変わる（ことがある） ◦ plane：平面🔲→平面🔲、飛行機✈ ◦ record：記録📝→記録📝、大会記録🎖、レコード🎵 背景：単語の意味変化 3
4. 背景：単語の意味変化 4 • 単語の意味は時代とともに変わる（ことがある） ◦ plane：平面🔲→平面🔲、飛行機✈ ◦ record：記録📝→記録📝、大会記録🎖、レコード🎵 • 目的1：時代で意味が変わる単語を自動で検出したい！ ◦ 時代の異なる文書（大抵2つ、19世紀vs20世紀など） ◦ 本タスクの難しい点：文書間で時間も意味も変わる！
5. 背景：単語の意味変化 5 • 単語の意味は時代とともに変わる（ことがある） ◦ plane：平面🔲→平面🔲、飛行機✈ ◦ record：記録📝→記録📝、大会記録🎖、レコード🎵 • 目的1：時代で意味が変わる単語を自動で検出したい！ ◦ 時代の異なる文書（大抵2つ、19世紀vs20世紀など） ◦ 本タスクの難しい点：文書間で時間も意味も変わる！ ◦ 単語ベクトルを使用して検出 1. word2vec > BERT [Schlechtweg+20] 2. word2vec << 時間を考慮した BERT [Rosin+22] 3. 時間を考慮した BERT << 意味を考慮した XLM-R [Cassotti+23] < 意味を考慮した XLM-R + 意味を考慮した距離関数 [Aida+24] ◦ ある程度できるようになった👍（人手相関が 0.6 → 0.8）
6. 背景：単語の意味変化 6 • 単語の意味は時代とともに変わる（ことがある） ◦ plane：平面🔲→平面🔲、飛行機✈ ◦ record：記録📝→記録📝、大会記録🎖、レコード🎵 • ✅目的1：時代で意味が変わる単語を自動で検出したい！ • 目的2：意味の変わり方について、種類を知りたい！ ◦ 意味変化した単語は、「どのような変化」であるか？ ◦ 本タスクの難しい点（その1）： ◦ 意味変化の種類をどのように定義するか？ ◦ 定義した意味変化の種類をどのように予測・評価するか？ 技術革新 技術革新 拡張
7. 背景：単語の意味変化 7 • 単語の意味は時代とともに変わる（ことがある） ◦ plane：平面🔲→平面🔲、飛行機✈ ◦ record：記録📝→記録📝、大会記録🎖、レコード🎵 • ✅目的1：時代で意味が変わる単語を自動で検出したい！ • 目的2：意味の変わり方について、種類を知りたい！ ◦ 意味変化した単語は、「どのような変化」であるか？ ◦ 本タスクの難しい点（その2）：意味変化の種類は結構ある！ ◦ 拡大：dog（特定種の犬🐕→犬全般🦮🐕🐩󰯬🐶） ◦ 縮小：meat（食べ物全般🍙🦀🍖🥦 → 肉🍖） ◦ 比喩：bite/bitter（噛む動作🦷😬→苦い🫑😖） ◦ 良化：knight（男の子👦→騎士💂） ◦ 悪化：knave（男の子👦→悪党󰬸） ◦ ＋社会的な要因による変化：plane（平面🔲→飛行機✈） 技術革新 技術革新 拡張
8. 背景：単語の意味変化 8 • 単語の意味は時代とともに変わる（ことがある） ◦ plane：平面🔲→平面🔲、飛行機✈ ◦ record：記録📝→記録📝、大会記録🎖、レコード🎵 • ✅目的1：時代で意味が変わる単語を自動で検出したい！ • 目的2：意味の変わり方について、種類を知りたい！ ◦ 意味変化した単語は、「どのような変化」であるか？ ◦ wordnet を使って 発生/統合/分離/死滅 を評価 [Mitra+14] ◦ 7種類の（意味）変化を擬似的に再現 [Shoemark+19] ◦ 文単位で 一般化/特殊化/比喩 を予測 [Cassotti+24] ◦ まだまだ難しい…🧐 技術革新 技術革新 拡張
9. 提案：意味変化を評価する尺度 • ✅目的1：時代で意味が変わる単語を自動で検出したい！ • 🎯目的2：意味の変わり方について、種類を知りたい！ • 提案：複数次元での評価尺度で意味変化を区別 ◦ sentiment：（感情的に）ネガティブ⇔ポジティブ ◦ breadth：（意味的に）似ていない⇔似ている ◦ intensity：（感情的に）落ち着いている⇔緊張状態 9
10. 提案：意味変化を評価する尺度 • ✅目的1：時代で意味が変わる単語を自動で検出したい！ • 🎯目的2：意味の変わり方について、種類を知りたい！ • 提案：複数次元での評価尺度で意味変化を区別 ◦ sentiment：（感情的に）ネガティブ⇔ポジティブ ◦ breadth：（意味的に）似ていない⇔似ている ◦ intensity：（感情的に）落ち着いている⇔緊張状態 • 🎯先行研究と比べてここがすごい！： ◦ ニューラルの分類器 [Cassotti+24] とは 異なり、直交する複数の要素で評価 →説明性◎（各要素から種類を説明できる？） ◦ 事前に種類を定義 [Mitra+14] せず、 種類を区別するための指標を提案 →応用性◎（未知の種類にも対応可能？） 10
11. • 提案：複数次元での評価尺度で意味変化を区別 ◦ sentiment：（感情的に）ネガティブ⇔ポジティブ ◦ 9段階でラベルづけされた辞書を使用 ◦ 対象単語と共起した単語について、感情ラベルの平均値を算出 ◦ 今回：前後5単語で共起する、辞書に含まれている単語を使用 ◦ 教師情報が必要 ◦ breadth：（意味的に）似ていない⇔似ている ◦ average pairwise cosine distance を使用 ◦ 教師情報なしでOK ◦ intensity：（感情的に）落ち着いている⇔緊張状態 ◦ 9段階でラベルづけされた辞書を使用 ◦ sentiment と同様の算出 ◦ 教師情報が必要 提案：意味変化を評価する尺度 11
12. • 提案：複数次元での評価尺度で意味変化を区別 ◦ 補助的な軸も2つ提案 →社会的な要因、特定の分野の変化はこれでわかるかも？ ◦ [sub] thematic concept：任意の分野の用語との共起頻度 ◦ 今回：分野は心理学/社会学、前後5単語以内にあるかどうか ◦ 教師情報が必要 ◦ [sub] salience：相対的な頻度情報 ◦ 教師情報なしでOK 提案：意味変化を評価する尺度 12
13. （再掲）背景：単語の意味変化 13 • 単語の意味は時代とともに変わる（ことがある） ◦ plane：平面🔲→平面🔲、飛行機✈ ◦ record：記録📝→記録📝、大会記録🎖、レコード🎵 • ✅目的1：時代で意味が変わる単語を自動で検出したい！ • 目的2：意味の変わり方について、種類を知りたい！ ◦ 意味変化した単語は、「どのような変化」であるか？ ◦ 本タスクの難しい点（その2）：意味変化の種類は結構ある！ ◦ 拡大：dog（特定種の犬🐕→犬全般🦮🐕🐩󰯬🐶） ◦ 縮小：meat（食べ物全般🍙🦀🍖🥦 → 肉🍖） ◦ 比喩：bite/bitter（噛む動作🦷😬→苦い🫑😖） ◦ 良化：knight（男の子👦→騎士💂） ◦ 悪化：knave（男の子👦→悪党󰬸） ◦ ＋社会的な要因による変化：plane（平面🔲→飛行機✈） 技術革新 技術革新 拡張
14. （再掲）背景：単語の意味変化 14 • 単語の意味は時代とともに変わる（ことがある） ◦ plane：平面🔲→平面🔲、飛行機✈ ◦ record：記録📝→記録📝、大会記録🎖、レコード🎵 • ✅目的1：時代で意味が変わる単語を自動で検出したい！ • 目的2：意味の変わり方について、種類を知りたい！ ◦ 意味変化した単語は、「どのような変化」であるか？ ◦ 本タスクの難しい点（その2）：意味変化の種類は結構ある！ ◦ 拡大：dog（特定種の犬🐕→犬全般🦮🐕🐩󰯬🐶） ◦ 縮小：meat（食べ物全般🍙🦀🍖🥦 → 肉🍖） ◦ 比喩：bite/bitter（噛む動作🦷😬→苦い🫑😖） ◦ 良化：knight（男の子👦→騎士💂） ◦ 悪化：knave（男の子👦→悪党󰬸） ◦ ＋社会的な要因による変化：plane（平面🔲→飛行機✈） 技術革新 技術革新 拡張 提案された 3つの尺度 は 下記のような意味変化を分類できる？
15. 提案：意味変化を評価する尺度 15 提案された 3つの尺度 は 下記のような意味変化を分類できる？ →各尺度の上昇・下降で表現できる！
16. 実験 • 心理学/社会学の分野の用語を使用 ◦ 危害に関する用語が意味的に拡張する（concept creep） ◦ 例）trauma：外傷→心理的 • 調査：「心理的な用語の変化（concept creep）」と 「それ以外」を区別できるか？ ◦ 心理的・より広義になった単語：“mental health” ◦ 心理的・より専門的な意味になった単語：“mental illness” ◦ 中立的な単語：“perceptron” 16 心理関係 コーパス 一般的な コーパス
17. 結果：主要な3つの軸で調査 • sentiment 軸：心理的な単語は減少（＝ネガティブ） • breadth 軸：どの単語も緩やかに増加（＝意味の拡張） 17 illness はより 専門的になった はずでは…？ 🧐 （下降すべき）
18. 結果：主要な3つの軸で調査 • intensity 軸：心理的な単語は変動が激しく（左）、 大幅に増加傾向にある（らしい）（右） 18
19. 結果：補助的な2つの軸で調査 19 health < illness →さらに 専門的に なった • thematic concept 軸：心理的な単語は有意に共起する • salience 軸：（心理的な文書で）mental health が急増
20. 結果：複数軸での評価でわかること 20 • 通常の単語（perception）と比較して、 心理的な単語（mental health, mental illness）は…？ • sentiment, intensity 軸： ◦ 通常のコーパスだとポジティブ・落ち着いた状態に移行するが、 ◦ 心理的なコーパスだとネガティブ・緊張状態に移行 • breadth 軸： ◦ 「専門性⇔意味の広がり」を捉える重要な軸 ◦ 通常のコーパスだと意味が近いようにみえるが、 ◦ 心理的なコーパスだと意味の幅が広い → mental illness は専門性↑なので、狭まって欲しかった… • [sub] thematic concept, salience 軸： ◦ 指定した分野の用語と有意に共起 ◦ mental illness の頻度はほぼ一定だが、mental health の頻度は 急増する（→関心の高まり？）
21. まとめ 21 • 問題：意味変化の有無は算出できるが、種類は複雑 • 提案：単語の意味変化の種類を評価する3＋2つの尺度 ◦ sentiment：（感情的に）ネガティブ⇔ポジティブ ◦ breadth：（意味的に）似ていない⇔似ている ◦ intensity：（感情的に）落ち着いている⇔緊張状態 ◦ [sub] thematic concept：任意の分野の用語との共起頻度 ◦ [sub] salience：相対的な頻度情報 • 実験：心理学/社会学における分析で有用性を調査 ◦ 心理的に意味が変化した用語、そうでない単語を区別できた
22. まとめ • 問題：意味変化の有無は算出できるが、種類は複雑 • 提案：単語の意味変化の種類を評価する3＋2つの尺度 ◦ sentiment：（感情的に）ネガティブ⇔ポジティブ ◦ breadth：（意味的に）似ていない⇔似ている ◦ intensity：（感情的に）落ち着いている⇔緊張状態 ◦ [sub] thematic concept：任意の分野の用語との共起頻度 ◦ [sub] salience：相対的な頻度情報 →これらの要素は本当に直交しているのか？必要十分か？ • 実験：心理学/社会学における分析で有用性を調査 ◦ 心理的に意味が変化した用語、そうでない単語を区別できた →各要素を教師情報なしで算出するにはどうしたらいいか？ （参考：感情分析＋意味変化 [Goworek+24]、 LLMで置き換えるための単語を生成 [Periti+24]） ◦ とはいえ、難しい課題を簡潔に評価する試みはとても良い！ 22