ウェブ・ソーシャルメディア論文読み会 - Machine-Made Media: Monitoring the Mobilization of Machine-Generated Articles on Misinformation and Mainstream News Websites

ウェブ・ソーシャルメディア論文読み会 第24回で紹介した論文です。

Transcript

1. 第24回ウェブ・ソーシャルメディア勉強会 （発表者）新妻 巧朗 ICWSM2024
2. 読み手の自己紹介 • 新妻巧朗（朝日新聞社メディア研究開発センター） • 直近の経歴 • 2019〜2021 奈良先端科学技術大学院大学（修士） • 2021〜 朝日新聞社メディア研究開発センター • 興味の範囲 • 自然言語処理 • 特にテキスト分析手法 • 計算社会科学 • （主にオンラインコミュニティにおける）情報拡散の研究 • 直近ではLLMがネット上に与える影響の研究も 1
3. 論文の概要 Machine-Made Media: Monitoring the Mobilization of Machine- Generated Articles on Misinformation and Mainstream News Websites • ICWSMの2024年の会議で発表された論文 • 著者はHans W. A. Hanley, Zakir Durumeric • 両者ともスタンフォード大学。おそらくPhD学生とPI。 • インターネットセキュリティなどをやっている研究室 • 学生はネット上の誤情報や陰謀論に関する研究を中心にやってきている模様 • PIは複雑系ネットワークを計測可能にして人間の行動からセキュリティ上の弱点 などを発見するなど、やっている模様 2
4. どんな論文？ • ChatGPTの登場以降で、ネット上に生成AIによって書かれた 「合成ニュース」がどれくらい増えたのかを検証した論文 • 1年分のニュース記事を対象に合成ニュースかどうかを分類し、 分類結果を時系列データに整理 • 対象としたメディアを主流メディアか誤報メディアか、または 規模で分けて分析したところ、ChatGPTのリリース前後で合成 ニュースだと判定される記事はどちらのメディアでも上昇して いたが、特に誤報メディアおよび小規模メディアでは顕著に上 昇していることがわかった 3
5. 合成ニュース (Synthetic News) この論文では、ChatGPTなどのいわゆる生成AIや自動化ソフト ウェアによって書かれた記事を • 合成記事 (synthetic article) • 合成ニュース (synthetic news) • 合成コンテンツ(synthetic content) と定義している。 4
6. 論文のモチベーション • LLMはハルシネーションを通して事実と異なる記事を生成し、 誤情報の拡散を加速させる可能性があるが、ニュースメディア における生成AIの使用実態は十分に調査されておらず、信頼で きるサイトを含めたメディア全体での影響が不明確だった（の で、実際に調査してみた） • 実際、CNET（ガジェットのレビューなどを手掛ける大手ネットメディ ア）はAIによって生成された記事を掲載*したが、これに複数の誤りが あることが後から判明したという事例がある 5 * https://gizmodo.com/cnet-ai-chatgpt-news-robot-1849996151
7. 分析のための準備 6
8. データ（ニュース記事）の収集 (1/4) • 英語圏のニュース記事をスクレイピングして収集 • 対象は2022年1月1日から2023年5月1日までのニュース記事 • これはChatGPTのリリース時期を含む前後の1年程度を想定 • 3,074のニュースサイトを対象 • 対象のウェブサイトのリストをMedia Bias/Fact Check*と先行研究 (Hanley, Kumar and Durumeric, 2023)**によって「ニュース」とラベ ル付けされているドメインを集めて構成されている • メディアの規模や信頼性を問わず集めている 7 * https://mediabiasfactcheck.com/ ** A Golden Age: Conspiracy Theories' Relationship with Misinformation Outlets, News Media, and the Wider Internet
9. データ（ニュース記事）の収集 (2/4) • 対象のニュースサイトを次の条件でニュースサイトを分類 • 信頼できないサイト • Media Bias/Fact Checkによって「陰謀/疑似科学」とラベルづけされ ているドメイン • あるいは(Hanley, Kumar and Durumeric, 2023), (Barret Golding, 2022)*, (Szpakowsk, 2020)**によって「信頼性の低い」、あるいは 「誤報」、「偽情報」のラベルがつけられたドメイン • このラベルが与えられたサイトの例 • realjewnews.com, davidduke.com, thegatewaypudit.com, breitbart.comなど 8 * https://iffy.news/ ** https://github.com/several27/FakeNewsCorpus
10. データ（ニュース記事）の収集 (3/4) • 信頼できるサイト • Media Bias/Fact Checkによって「center」「center-left」「center- right」とラベル付されたドメイン • あるいは(Hanley, Kumar and Durumeric, 2023), (Barret Golding, 2022)*, (Szpakowsk, 2020)**によって「主流」あるいは「信頼でき る」とラベルづけされているドメイン • このラベルが与えられたサイトの例 • washingtonpost.com, reuters.com, apnews.com, cnn.com, foxnews.comなど • 2,015サイトが対象となった。 9 * https://iffy.news/ ** https://github.com/several27/FakeNewsCorpus
11. データ（ニュース記事）の収集 (4/4) • メディアの規模の層別化には「Google Chrome User Report （CrUX）」によって提供されるランキングデータを利用。 ランクのオーダーを以下に分類 • Rank < 10K (125サイト) • 10K < Rank < 100K (511サイト) • 100K < Rank < 1M (1,164サイト) • 1M < Rank < 10M (802サイト) • Rank > 10M+ (472サイト) 10
12. 合成ニュースの分類器 (1/2) • 言語モデルを使った分類器を学習 • ベースモデルはDeBERTa (deberta-v3-base)* • いわゆる一般的な文分類タスクでのFine-tuning • 学習データ • Turing BenchmarkやGrover, GPT-3.5に生成させたものなどからなる約 33,000件の合成記事と同数の人間が書いた記事を利用 • 頑健性を高めるため、生成記事に対してT5-1.1-XLによる文章の書き換 えやDipperによるパラフレーズを適用して訓練データを拡張し、生成 記事側のデータは最大で約52,000件となっている 11 * https://huggingface.co/microsoft/deberta-v3-base
13. 合成ニュースの分類器 (2/2) • 偽陽性率を下げるために閾値を0.98に設定 • この閾値では、Turing Benchmarkの検証データを含む合成記事判定のテ ストデータで適合率が0.993で再現率が0.973を達成しFPRは0.7% • さらに2018年の記事をランダムに選んだ1,000件とそれらをChatGPTで 書き換えた1,000件のペアデータを作って分類させたところ適合率は 0.989だったが、再現率は0.639となっている • 再現率を犠牲にすれば、ChatGPTによる書き換え記事でも現実的な FPRを達成できることわかった • このため、この研究の合成ニュースの量に関する数字は保守的 に見積もった量であることに留意が必要 12 * https://huggingface.co/microsoft/deberta-v3-base
14. 分類結果の時系列データ化 • 分類器によって合成ニュースだと判定された記事を集計し、そ の割合を日別に集計して時系列データにした • これによって、合成ニュースの割合の推移を可視化している 13
15. 実験結果 14
16. 主流サイトと誤情報サイトの比較 (1/4) • 2022年1月時点では生 成記事は全体の1% • 2023年5月時点では 1.78%に上昇 • 相対的には66%の上昇 • 実数でみるとほぼ2倍 （1.3万記事→2.5万記事） 15
17. 主流サイトと誤情報サイトの比較 (2/4) • 主流サイトでは生成記 事は相対的に57.3%の 上昇しか見られなかっ たのに対して、誤情報 サイトでは相対的に 474%の増加が見られ ている 16
18. 主流サイトと誤情報サイトの比較 (3/4) • ChatGPTの登場以前は、 主流メディアの方が生 成記事を出していたた め、主流メディアの方 がその割合が高い • 例えば、Figure2のよ うなロイターの金融関 連の単純な情報を含む 記事 17
19. 主流サイトと誤情報サイトの比較 (4/4) • 少なくとも合成ニュー スを1つ以上掲載した サイトをカウントした • 全体的に増加傾向 • 2022年1月から2023年 4月の期間でみると • 主流サイト • 34.6% → 46.6% • 誤情報サイト • 10.4%→16.9% 18
20. ChatGPTの利用の急増の示唆 • ChatGPTのエラーレスポン ス* • “my cutoff date in September 2021” • “I cannot complete this prompt” • などが含まれる文を集計し たら、ChatGPTのリリース 後は毎月6本近くあった 19 * News Guard社が定義しているリストを使っている
21. サイトの規模感で層別化（1/2） • 主流サイトでは生成記 事は相対的に57.3%の 上昇しか見られなかっ たのに対して、誤情報 サイトでは相対的に 474%の増加 • 小規模なサイトほど上 昇率が高い 20 合成ニュースの（絶対/相対）増加率
22. サイトの規模感で層別化（2/2） • すべての層で増加の傾向。誤情報サイトではChatGPTのリリー ス後に合成ニュースの割合が上昇している • 上昇率が高いのは最も小規模なサイト群 • 大規模な主流サイトの増加傾向は前述のロイターのような用途 21
23. トピック分析（1/2） • 記事をトピックをトピック分類 タスクのデータセット*で学習 したモデルで記事を分類 • トピックごとに人間の書いた記 事の量と合成ニュースの量から オッズ比を算出 • 誤情報サイトでは健康や科学の ニュース、主流サイトではビジ ネスのオッズ比が高い 22 * https://www.newscatcherapi.com/blog/topic-labeled-news-dataset
24. トピック分析（2/2） • 合成ニュースは主流サイトでは多くがビジネス系(金融情報な ど)に、誤情報サイトではエンタメや国際、国内系(ウクライナ 侵攻やCOVID-19、エド・シーランのゴシップなど)に関連 23 合成データだけでトピックの割合をプロット
25. ChatGPTのインパクト評価 24 • ChatGPTの登場が合成ニュースの増加の要因になっているの か？を検証する • 2022年11月30日のChatGPTのリリースを境に、合成ニュース が予測されるトレンド的上昇以上に増えているのかを調べる • これを検証するためにARIMAを用いたInterrupted time series analysis（中断時系列分析）という手法を使う
26. （脱線）ARIMA (自己回帰和分移動平均） Auto Regressive Integrated Moving Average • 時系列分析のモデルのひとつで、トレンドなどで変動が大きく平均 や分散が時間とともに変わってしまう（非定常な）データを扱いや すくするモデルの略 • データの増減傾向（トレンド）を差分操作で取り除いて、安定した 変動パターン（定常過程）に変換 • 定常化したデータを、過去の値（自己回帰）や過去の予測誤差（移 動平均）を組み合わせたARMAに当てはめて未来の値を予測 • 最後にARMAの予測値を元の形（トレンドを含む元のスケール）に 戻せば、ARIMAの実際の予測値になる • これによって今回の点でいえば、ChatGPT登場前の合成ニュース増 加のトレンドが予測できる 25
27. (脱線) Interrupted time series • 介入の時点までのデータから予測されるトレ ンドと実際の結果を比較することで、介入に よる効果を見積もる手法 • 介入が発生するある時点(ChatGPTのリリー ス)までのデータからARIMAなどで介入時点以 降のトレンドを予測する • 予測結果と実際の結果を比較をすることで介 入(ChatGPTのリリース)によって、アウトカ ム(合成ニュース)が変化したのかを検証する 26
28. ChatGPTのインパクト評価 27 • ARIMAの予測した Trendに比べて、実際 の数字(Abs.)は全体的 に上昇している • 誤情報サイトはランク にかかわらず顕著 • 最も最下層のサイトは 顕著なジャンプがある ARIMAベースの中断時系列分析の結果（合成ニュースの絶対増加率）
29. この論文の限界 • 偽陽性率を下げるために保守的な分類にたおしており、やはり 実数値を見積もれてはいない • どの分類問題にも言えることだが、現実的にはChatGPT等のモ デルの完全な分類は難しいし、高性能なモデルほど分類が難し くなる • また、この論文においては人間が加筆修正を加えた場合という のは考慮できないとしている • 論文が書かれた時期もあって、GPT-3.5時代のChatGPTが最も 新しいモデルであるため、GPT-4以降のモデルを考慮できてい ない 28
30. 感想 • この論文執筆当時と比べて、LLMの性能がだいぶ向上している ため、現在のモデル（GPT-4oやClaude3.5-Sonnetなど）の分 類で実験と同程度の精度で再現するのは難しそうに感じる • 生成されたと判定された記事にどれくらい誤情報が含まれてい たのか？にフォーカスを当てても良い気がしている 29
31. おわり 30
32. 付録: トレーニングデータ一覧 • 生成データ • Turing Benchmark (Uchenduら, 2021) • GPT-3/CTRL/XLMなど19種のモデルによって生成されたテキスト • Groover (Zellersら, 2019) • CNNやNYTimesなどを模倣するようGrooverから生成した記事 • GPT-3.5によって生成された記事 • 2018年の実際のニュースの最初の10単語から生成させており、加えて摂動攻撃 やパラフレーズ攻撃を加えてバリエーションを増やしている • 人間の書いた記事 • 2018年のニュース記事 • Turing BenchmarkとGrooverのうちの人間作成データ 31
33. 付録: テストデータ一覧 • モデルのパラメータの決定時 • Turing Benchmark • GPT-3.5で生成した記事 • 上の2つは訓練データと同じで、テスト用に分割されたデータ • AI Writer & AI Forger (Puら, 2023) • 企業作成のAI生成記事 • 摂動やパラフレーズ攻撃を加えてちょっと変えたものも加えている • 追加の検証 • 2018年の記事とそれをChatGPTに書き換えたデータ • Signal Mediaの記事データ（すべて人間が書いたもの） 32
34. 付録: 合成ニュース率の高いサイト 33 2022年1月時点と2023年4月時点のの合成ニュース率の高いサ イトの比較