国際会議参加報告 AACL-IJCNLP 2022 / AACL-IJCNLP 2022 Report

11 月 29 日〜12 月 1 日開催の「第24回音声言語シンポジウム（SP/SLP）兼第9回自然言語処理シンポジウム（NLC/NL）」での発表資料

- https://nl-ipsj.or.jp/2022/11/21/nl254-program/
- https://www.aacl2022.org/
- https://aclanthology.org/events/aacl-2022/

Transcript

1. 石原祥太郎、日本経済新聞社 日経イノベーション・ラボ 主任研究員 第 24 回音声言語シンポジウム（SP/SLP）兼第 9 回自然言語処理シンポ ジウム（NLC/NL） 2022 年 11 月 30 日 https://upura.github.io/projects/publications/ 国際会議 参加報告 AACL-IJCNLP 2022 Nov 20-23, Online only
2. 2 報道機関での大規模言語モデルの利活用 • 開発：要約・分類・校正などでの業務支援 • 研究：性能劣化・再学習・公平性など • Shotaro Ishihara, Hiromu Takahashi, and Hono Shirai (2022). Semantic Shift Stability: Efficient Way to Detect Performance Degradation of Word Embeddings and Pre-trained Language Models. In Proceedings of AACL-IJCNLP 2022. [paper] [github] [poster, slide] • https://hack.nikkei.com/publications/
3. 3 • AACL-IJCNLP 2022 会議概要（7 分） • 論文紹介（13 分） ◦ Best paper awards ◦ その他、気になった発表 ◦ 我々の採択論文 本発表の概要
4. 4 • The 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing • アジアでの ACL 系会議 （北米の NAACL、欧州の EACL に対応） • AACL としては 2020 年以来 2 度目 AACL-IJCNLP 2022 [aacl2022.org] [proceedings]
5. 5 • 2022：投稿 554 => 採択 147（26.5 %） ◦ Long 87、Short 60 ◦ Findings 44 (Long 27、Short 17) • 2020：投稿 392 => 採択 106（28.3 %） ◦ Long 73、Short 33 採択率
6. 6 • 地域別投稿数：アジア太平洋が 275 で最多。次い で欧州 153、北米 120、南米とアフリカが 3。 • 国別：米国が最多（約 100 投稿 40 採択）。中国 （約 80+ 投稿 20+ 採択）が続き、次いでインド ・英国・日本（約 50 投稿 20- 採択）。 地域・国別の投稿・採択数
7. 7 • 通常提出 ◦ Rebuttal 時に論文改訂が可能（約半数が実施） • ACL Rolling Review (ARR) 経由 ◦ 論文誌のように毎月締切で論文を投稿・査読 ◦ 個別の会議に査読結果を流用でき、最終的な採 択が判断される 投稿方法は 2 種類
8. 8 • 通常提出：投稿 518 => 採択 139（26.5 %） ◦ Findings 39 • ARR：投稿 36 => 採択 8（22.2 %） ◦ Findings 5 投稿方法別の採択率
9. 9 • 2022 年 11 月 20-23 日 ◦ 初日は、チュートリアル・ワークショップ • 2022：ハイブリッド予定 => オンラインに変更 ◦ Zoom（口頭発表）、Gather Town（ポスター） ◦ Underline（資料・動画など） • ※ 2020：現地予定 => オンラインに変更 開催日程・形式：完全オンライン
10. 10 • AACL-IJCNLP 2022 会議概要（7 分） • 論文紹介（13 分） ◦ Best paper awards ◦ その他、気になった発表 ◦ 我々の採択論文 本発表の概要
11. • Best Paper Award: Dead or Murdered? Predicting Responsibility Perception in Femicide News Reports [paper] [code] • Best Theme Paper Award: What's Different between Visual Question Answering for Machine "Understanding” Versus for Accessibility? [paper] • Best Paper Runner-up: Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation [paper] 11 Best paper awards https://www.aacl2022.org/Blog/Best-paper-awards
12. 12 • とある事象を描写する文章表現の違いで、読者が 「誰に責任がある」と認識するかを調査 ◦ 特に Gender-Based Violence (GBV) に注目 • イタリアの新聞コーパスから自動抽出し、調査で ラベル付けし、機械学習モデルを学習し、考察 Dead or Murdered? Predicting Responsibility Perception in Femicide News Reports
13. 13 1. 自転車が車のドアに激突 2. 車の運転手がドアを開け、 自転車にぶつかる 3. 5 番街で交通事故、自転車 が負傷 4. 自転車と車の衝突事故 描写による責任への認識の違い 論文から引用
14. 14 • イタリア語の新聞記事から、著者らが開発した ツール（ACL2022 Demo）で、異なる単語や文法 を使用した暴力に関する記述を抽出 • オンライン調査で、文章を評価 ◦ FOCUS: 何に焦点を当てているか？ ◦ CAUSE: 出来事の原因は人間か？ ◦ BLAME: 責任はどこにあるか？ データセットの収集・アノテーション
15. 15 • リッジ回帰や BERT 系のモデルを学習し、ある程 度の性能が達成可能であると示した • メディア関係者のためのサポートツールとして、 潜在的な認識効果を特定できる？ • 今後は回答者の個人差や属性差を考慮した分析や 他言語や文化的文脈を調査していく 機械学習モデルの構築・考察
16. 16 • 記事の要約などの文脈でも議論がある ◦ NeuS: Neutral Multi-News Summarization for Mitigating Framing Bias (Lee et al., NAACL2022) [paper] • 報道機関でも対応を進めている ◦ AIJO Project [url][code] 潜在するバイアスに関する議論や対応
17. 17 ここからは 1 論文 1 ページで概要紹介
18. 18 • Best Theme Paper (Theme Track: “Fairness in Natural Language Processing”) • 視覚的質問応答を題材に「理解」データセットで の大きな改善が、必ずしも「アクセシビリティ」 データセットでの改善につながらないと指摘 • 丁寧な分析・考察から、今後の方向性を提案 What's Different between Visual Question Answering for Machine "Understanding” Versus for Accessibility?
19. • 言語モデルで否定文がうまく扱えない問題を調査 するためデータセットを構築し広範な実験を実施 • 特に、数量詞を含む否定文が難易度が高いことを 見い出し、今後の探求が必要だと主張 19 Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation
20. 20 • 「フェイクニュース」に関するチュートリアル [proposal] • 現実社会での実例、技術的な対策、認知的・社会 的・感情的要因、訂正後の知識修正に対する心理 的障壁など、幅広い話題を解説 • KDD 2022 での同名企画 [url] The Battlefront of Combating Misinformation and Coping with Media Bias
21. 21 • 広東語を題材に、低資源言語に関する NLP 研究の 課題や今後の方向性を議論したチュートリアル [proposal] • 近年の大規模言語モデルの潮流を踏まえ、広東語 の特殊性と照らし合わせながら解説 When Cantonese NLP Meets Pre-training: Progress and Challenges
22. 22 • Bloomberg による「Entity-Centric Extractive Summarization」に関する研究 ◦ query-focused や aspect-based に近い • ニュース記事を特定の entity の視点で要約するタ スク（ACL2022）を、文選択の問題と見なして Bi-Encoder モデルで解く [paper] Extractive Entity-Centric Summarization as Sentence Selection using Bi-Encoders
23. • ニューラル言語モデルが繰り返し表現を出力しや すい問題について、さまざまな組み合わせで実験 • 5 つの学習・評価データと3 つのモデル（BART, T5, Pegasus）の 75 通りで、どういう条件で繰り 返しが発生しやすいかを考察 [paper] • BART や科学論文を使った際に多い傾向がみられた 23 Self-Repetition in Abstractive Neural Summarizers
24. 24 最後に、我々の 採択論文の紹介
25. 25 採択論文：独自モデルをいつ再学習？ Shotaro Ishihara, Hiromu Takahashi, and Hono Shirai (2022). Semantic Shift Stability: Efficient Way to Detect Performance Degradation of Word Embeddings and Pre-trained Language Models. In Proceedings of AACL-IJCNLP 2022. [paper] [code] [poster, slide]
26. 26 • 大規模言語モデルとして「BERT」が 2018 年末に 発表され話題に • 外部企業の協力を経て 2019 年、日経電子版の記 事を用いた BERT モデルを構築 • ニュース記事の要約などの応用を検証 日経電子版 BERT 2019
27. 27 新型コロナの流行前の 文章で学習した BERT モデルは、コロナ後の 文章の処理が苦手 言葉は日々変化 石原慧人, 石原祥太郎, 白井穂乃 (2021). “BertSumを用いた日本語ニュース 記事の抽象型要約手法の検討.” 人工知能学会全国大会論文集.
28. 28 • 時期の異なる日経電子版 記事で構築した 2 つの 単語分散表現のベクトル 空間を比較 • 「コロナ」の周辺単語が コロナ前と以後で変化 言葉は日々変化 高橋寛武, 石原祥太郎, 白井穂乃 (2022). “単語分散表現を用いた新型コロナ ウイルスによる意味変化検出.” 言語処理学会第28回年次大会発表論文集.
29. 29 • 入力：2 つの word2vec モデル • 出力：共通する語彙の 意味変化の度合いの平均 意味変化の度合い Semantic Shift Stability Corpus 2019 Corpus 2020 Word embeddings Anchor words Mapping: Rotate in two directions
30. 30 • 学習用コーパスの “Semantic Shift Stability” と 事前学習済みモデル・単語分散表現の時系列性能 劣化の関係性を分析 • 12 パターンの日経電子版 RoBERTa や日英の word2vec を構築 • 大きな性能劣化は、Semantic Shift Stability が 小さいタイミングで発生（相関を確認） 学習用コーパスから性能を推察
31. 31 • AACL-IJCNLP 2022 会議概要（7 分） • 論文紹介（13 分） ◦ Best paper awards ◦ その他、気になった発表 ◦ 我々の採択論文 まとめ