Upgrade to Pro — share decks privately, control downloads, hide ads and more …

The Web Conference 2022 国際会議報告 / SIGMOD-J_79_ya...

The Web Conference 2022 国際会議報告 / SIGMOD-J_79_yanagida

The Web Conference 2022 国際会議報告にて以下の論文を紹介しました.

Qiurong Song and Jiepu Jiang. How Misinformation Density Affects Health Information Search. Proceedings of the ACM Web Conference 2022 (WWW 2022). 2022, https://dl.acm.org/doi/10.1145/3485447.3512141.

Junho Song, Kyungsik Han, Sang-Wook Kim. “I Have No Text in My Post”: Using Visual Hints to Model User Emotions in Social Media. Proceedings of the ACM Web Conference 2022 (WWW 2022). 2022, https://dl.acm.org/doi/10.1145/3485447.3512009.

YANAGIDA Yuki

July 22, 2022
Tweet

More Decks by YANAGIDA Yuki

Other Decks in Research

Transcript

  1. 1. How Misinformation Density Affects Health Information Search 2. “I

    Have No Text in My Post”: Using Visual Hints to Model User Emotions in Social Media の紹介 筑波⼤学 加藤研究室 博⼠前期課程2年 柳⽥雄輝 https://ynagi2.github.io/ 2022-06-25 第42回先端的データベースとWeb技術動向講演会 (ACM SIGMOD ⽇本⽀部第79回⽀部⼤会) TheWebConf 2022 国際会議報告
  2. 投⼊したクエリ数 3 質問の正解率 0.90 検索エンジンは 信頼できたか? 5 ⁝ ⁝ 投⼊したクエリ数

    8 質問の正解率 0.20 検索エンジンは 信頼できたか? 4 ⁝ ⁝ Web検索結果における誤情報の密度が検索⾏動・学習・体験に与える影響を調査 誤情報の密度が異なる検索エンジンでWeb検索,検索⾏動や質問の回答を⽐較 どんな論⽂? 3 被験者がWeb検索 ワクチンで5G コロナは陰謀 ワクチンの効果 コロナ感染者数 タスクに関する 情報を探索 • mRNAワクチンを打つと 重症化しにくくなるか? • 検索エンジンは信頼 できたか? (5段階評価) ⁝ 差があるか? タスクに関する質問・ アンケート タスク例: mRNA ワクチンはコロナ ウイルスに有効? 被験者の結果 誤情報密度: 低 誤情報密度: ⾼
  3. • H1: 誤情報の密度はユーザの検索活動に影響する ◦ Yes. 密度が⾼いと投⼊クエリ数・クエリ⻑が有意に増加 • H2: 誤情報の密度はタスクに関する質問の正解率に影響する ◦

    Yes. 密度が⾼いと正解率が有意に低い • H3: 誤情報の密度は検索システムの良さの評価に影響する ◦ No. 検索システムの評価は密度間で有意差なし • 影響するとはいえない 仮説とその回答 4
  4. 1. タスクに関する記事を⾒せ,質問を通して情報探索前の知識を記録 2. 分類器で誤情報密度を操作した検索結果から情報探索,質問に再回答 調査の流れ 5 探索開始 タスクに関する 記事を閲覧 タスクの学習を捉える

    ため探索前にも質問 投⼊したクエリ数 3 質問の正解率 0.90 検索エンジンは 信頼できたか? 5 ⁝ ⁝ 投⼊したクエリ数 8 質問の正解率 0.20 検索エンジンは 信頼できたか? 4 ⁝ ⁝ 被験者がWeb検索 ワクチンで5G コロナは陰謀 ワクチンの効果 コロナ感染者数 タスクに関する 情報を探索 • mRNAワクチンを打つと 重症化しにくくなるか? • 検索エンジンは信頼 できたか? (5段階評価) ⁝ 差があるか? タスクに関する質問・ アンケート タスク例: mRNA ワクチンはコロナ ウイルスに有効? 被験者の結果 誤情報密度: 低 誤情報密度: ⾼ 誤情報の密度を操作するため, 分類器で検索結果をフィルタリング 記事には誤情報が含まれている
  5. 投⼊クエリに応じて,誤情報密度を操作した検索結果を返したい →Web検索APIで得た検索結果を⾃動分類,選択的に出⼒ 分類器による誤情報の密度の操作 6 • 学習データ • 3段階の誤情報密度で実験 密度 操作

    誤情報の割合 ⾼ 正しい情報と予測された結果を除外 0.90 中 正しい情報と誤情報を同数にする 0.55 低 誤情報と予測された結果を除外 0.12 mRNAワクチン 効果 ワクチンの効果 検索 著者らが作成したクエリ mRNAワクチンとは、 ウイルスが…… 検索結果の概要部の BoW (Bag-of-Words)を作成 BoW 4 ⋮ 3 ワクチン ⁝ ウイルス ⼊⼒ 出⼒ 正しい情報 正しい情報・誤情報・無関係のいずれか Webページを閲覧し⼈⼿で判定 訓練事例 実験中において,無関係なWeb ページを除いた場合の割合
  6. 誤情報の密度はユーザの検索活動に影響するか? 7 1. 密度⾼ではクエリ数・クエリ⻑ が⼤きい ◦ 頻繁かつ複雑なクエリで検索 2. 密度低ではクエリが低類似度 ◦

    再構成前後で⾼類似度: 検索に苦労 していることがわかっている ◦ 密度低では低類似度: 検索での苦労 を回避できている 図は論⽂中より クエリ数 クエリ⻑ 1. クエリ数とクエリ⻑ 2. クエリの再構成前後での⽂字列類似度 ユニークな クエリ数 Unigram類似度 Bigram類似度
  7. 誤情報の密度はタスクに関する質問の正解率に影響するか? 8 1. 各密度でタスク後の正解率に 有意差あり ◦ 誤情報の密度が⾼くなるにつれ, 学習は難しくなる • 特に密度⾼では探索時間

    (10分)以内 に学習できなかったと考えられる 2. 質問に対する確度の差も1と 同様の傾向 ◦ 各質問は2択 ◦ 確度: 強く賛成から強く反対の 5段階評価の回答で⾃信を⽰す 図は論⽂中より タスク前 タスク後 タスク後 ‒ タスク前 タスク前 タスク後 タスク後 ‒ タスク前 1. 質問の正解率 2. 質問の正解と確度の差
  8. 誤情報の密度は検索システムの良さの評価に影響するか? 9 • タスク後にアンケートを実施 ◦ 検索システムは有⽤だったか? ◦ 検索システムは信頼できたか? ◦ 質問の回答に⾃信はあるか?

    など • システムの評価について,密度 ⾼では低い傾向だが有意差なし ユーザは誤情報による影響を⾃覚 できない可能性がある 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 有⽤性 信頼性 回答の⾃信 システムの評価 (5段階評価) 低 中 ⾼ 図は論⽂中の表4の⼀部をグラフにしたもの
  9. Web検索結果における誤情報の密度が検索⾏動・学習・体験に与える影響を調査 誤情報の密度が異なる検索エンジンでWeb検索,検索⾏動や質問の回答を⽐較 まとめ 10 • H1: 誤情報の密度はユーザの検索活動に影響する ◦ Yes. 密度が⾼いと投⼊クエリ数・クエリ⻑が有意に増加

    • H2: 誤情報の密度はタスクに関する質問の正解率に影響する ◦ Yes. 密度が⾼いと正解率が有意に低い • H3: 誤情報の密度は検索システムの良さの評価に影響する ◦ No. 検索システムの評価は密度間で有意差なし • 影響するとはいえない
  10. • ユネスコによる好ましくない情報の分類 [1] ◦ Disinformation (偽情報): 間違っており,⼈や団体などに害を与える ために意図的に作られた情報 ◦ Misinformation

    (誤情報): 間違っているが,害を引き起こすことを 意図して作成されていない情報 • 紹介した論⽂ではDisinformationも誤情報として扱っている ◦ Mal-information (悪意ある情報): 事実に基づく,情報⼈や団体に 害を与えるために使われる情報 補⾜: 好ましくない情報の分類 11 [1] Journalism, 'Fake News' and Disinformation: A Handbook for Journalism Education and Training. https://en.unesco.org/fightfakenews (2022-06-23 閲覧)
  11. 2. “I Have No Text in My Post”: Using Visual

    Hints to Model User Emotions in Social Media Authors: Junho Song, Kyungsik Han, Sang-Wook Kim
  12. • 近年のSNSではテキストというよりも動画や画像が主流 ◦ e.g. Instagram, TikTok • また,これまでテキスト特徴による感情分析が⾏われてきた ◦ しかし,動画や画像が主流の投稿では感情分析が困難

    • 画像⾃体の特徴から感情分析を⾏った研究はあるが, 画像が⽰す内容に注⽬した分析は⼗分にされていない ◦ 画像⾃体の特徴: ⾊,明るさ,グラデーション など ◦ 画像が⽰す内容: 何が写っているか,何をしているか など 背景 13
  13. 画像の内容 (Visual hints)を⽤いた感情分析+画像特徴との関係分析 Visual hints: 写っている物体や動作とその信頼度 どんな論⽂? 14 図は論⽂中より ⾊(RGB・HSV)

    ハッシュタグ (TF-IDF) テキスト本⽂ (TF-IDF) Visual hints (TF-IDF) 次 元 削 減 • ⽤いるモデル e.g. {name: dog, confidence: 0.99}
  14. 教師データを⽤意するため,感情を表す語のハッシュタグを利⽤ 分析データ 15 • 以下のハッシュタグが1つだけ付与されたInstagramの投稿 ◦ #happy, #excite, #satisfy →

    正例 ◦ #sad, #angry, #scary → 負例 • これらのハッシュタグは先⾏研究をもとに決定 ◦ 著者らが適切に付与されていると判定した投稿のみ採⽤ ◦ クラウドソーシングでの事前調査により,74%のユーザはハッシュ タグで感情表現をすることを確認 • Visual hintsはMicrosoftの物体検出APIを⽤いて抽出,列挙
  15. Visual hintsのトピック 16 • Visual hintsをLDAで 15トピックに集約 ◦ LDA: 語をトピックに集約する

    教師なし学習 • Latent Dirichlet Allocation • 抽象的なトピックで Negativeの割合が⾼い傾向 ◦ e.g. stateトピックにはsink, oldなどの単語が属している ◦ 具体的なトピックでは Positiveの割合が⾼い傾向 図表は論⽂中の⼀部 各トピックに属するVisual hintsの具体例
  16. Visual hintsを⽤いた予測 17 • 投稿のテキスト情報を⽤いた 場合と⼤きく変わらない性能 ◦ Visual hintsを⽤いることで,本⽂ のない投稿に対しても予測が可能

    • ⾊の特徴はVisual hintsを⽤いた モデルの精度向上に貢献せず ◦ ⾊の特徴: RGB, HSV 0.57 0.59 0.71 0.74 0.73 0.57 0.71 0.74 0.76 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 R G B H SV Visual hints ハ ッ シ ュ タ グ 本 ⽂ R G B + H SV R G B + H SV + Visual hints ハ ッ シ ュ タ グ + 本 ⽂ 全 部 各特徴で予測したときのF1値
  17. 画像特徴のみを⽤いるモデルとの⽐較 18 • 画像特徴のみを⽤いるCNNモデル と⽐較 ◦ CNN: 特に画像認識で使われるモデル • Convolutional

    Neural Network ◦ Visual hintsのみを⽤いるモデルの⽅ が⾼い予測性能 • ⾊の分布は,ネガ/ポジの間で差が あるとはいえなかった ◦ 絵画などを⽤いた先⾏研究では 有意差が⾒られていた • SNSでは雑多な画像が投稿されるため, 差があるとはいえなかった? 0.67 0.63 0.64 0.71 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 ResNet VGG AlexNet Visual hints 各モデルで予測したときのF1値 代表的なCNNモデル
  18. 画像の内容 (Visual hints)を⽤いた感情分析+画像特徴との関係分析 Visual hints: 写っている物体や動作とその信頼度 まとめ 19 • Visual

    hintsは抽象的なトピックでNegativeの割合が⾼い傾向 ◦ 具体的なトピックではPositiveの割合が⾼い傾向 • Visual hintsは感情分析の特徴として有⽤ ◦ 投稿のテキスト情報を⽤いた場合と⼤きく変わらない性能 • Visual hintsを⽤いることで,本⽂のない投稿に対しても予測が可能 ◦ 画像特徴を⽤いるモデルよりも⾼い予測性能 e.g. {name: dog, confidence: 0.99}