Upgrade to Pro — share decks privately, control downloads, hide ads and more …

生成的情報検索時代におけるAI利用と認知バイアス

 生成的情報検索時代におけるAI利用と認知バイアス

某大学の講義で使った講義資料です

Avatar for Y. Yamamoto

Y. Yamamoto PRO

November 24, 2025
Tweet

More Decks by Y. Yamamoto

Other Decks in Research

Transcript

  1. 情報精査のための判断⽀援システム ウェブ情報の信憑性分析・判断支援システムの開発 1. 2. 3. 4. ᱥᱏᰬ᭑ᱯଢ଼ᬶٸശ௸ ΕᏜᱥᱏᰬ᭑ᱯଢ଼ٸശ сଢ଼ɬṞᱥᱏᰬ᭑ᱯଢ଼ वӂ૟Ṟṫ

    ᱥᱏᰬ᭑ᱯଢ଼ ᱥᱏᰬᱯଢ଼ԃЩڑ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ೸ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ 信憑性指向ウェブ検索エンジン*1,2 さまざまな信憑性判断情報の 集約システム*3,4 ৴ጪੑ͕ෆ͔֬ͳϑΝΫτ υΠπ͸Ϗʔϧ͕༗໊ ո͍͠Օॴ υΠπ ΄Μͱ ݕࡧ݁Ռ < ೖྗ >υΠπ͸Ϗʔϧ͕༗໊ ൑அͷࡍʹ༗༻ͳ؍఺ ߬ૉ ۤΈ ৭ ຯ ϰΝΠεϏʔϧ ൺֱ͢΂͖ϑΝΫτ ϑΝΫτͷೝ஌౓ )POUP4FBSDI ϕϧΪʔ͸Ϗʔϧ͕༗໊ έϧϯ͸Ϗʔϧ͕༗໊ ϛϡϯϔϯ͸Ϗʔϧ͕༗໊ νΣί͸Ϗʔϧ͕༗໊ ΞΠϧϥϯυ͸Ϗʔϧ͕༗໊ ফඅྔ ৭ ৭ ৭ ৭ ৭ ۤΈ ফඅྔ ຯ ߬ૉ  *3 Y. Yamamoto and K. Tanaka, “ImageAlert: Credibility Analysis of Text-Image Pairs on the Web”, SAC 2011 *2 ⼭本祐輔、⽥中克⼰、「データ対間のサポート関係分析に基づくWeb情報の信憑性評価」、情処論⽂誌2010など *1 Y. Yamamoto and K. Tanaka, “Enhancing Credibility Judgment on Web Search Results”, ACM CHI 2011 *4 Y. Yamamoto and K. Tanaka, “Finding Comparative Facts and Aspects for Judging the Credibility of Uncertain Facts”, WISE 2009 社会的受容度 引⽤重要度 詳細度 典型度 更新 頻度 3
  2. ⼤規模⾔語モデル 単語(系列)の後にある単語が出現する確率分布 超⼤量の⽂書データ ⼤規模⾔語モデル 学習 - ⼤量の⽂書を使って⾔語の出現確率を計算し, ⼈間の⾔葉の使い⽅の傾向を抽出 - 抽出した⾔語モデルを使って質問⽂に続く回答を予測

    ポイントは学習データの中で確率的によく見かけそうか • 「高確率」と「論理的に妥当」は異なる • 学習データに含まれないものは うまく扱えない (例: 最新の話) • 確率的にありうる文が正しいわけではない (例:大衆の意見 vs. 専門家の意見) 検索エンジンであれ対話的生成AIであれ、 最後はユーザによる情報精査が必要 12
  3. 57% ウェブ検索エンジンの結果を信⽤する⼈々 82% ウェブ情報の信憑性を疑った ことがない15〜35歳の⽇本⼈*1 *1 Adobe Inc., “The State

    of Content : Rules of Engagement”, 2015 *2 S.Nakamura et al., “Trustworthiness analysis of Web search results (ECDL 2007) 気にしない、 気にしない。 検索エンジンが返す結果ページ の信頼性を疑わない⽇本⼈*2 Googleだったら 信⽤できる! 13
  4. ChatGPTとウェブ検索エンジンに対するユーザの認識 Xu, R., Feng, Y., & Chen, H. (2023). Chatgpt

    vs. google: A comparative study of search performance and user experience. arXiv preprint arXiv:2307.01135. 14
  5. ChatGPTとウェブ検索エンジンに対するユーザの認識 Xu, R., Feng, Y., & Chen, H. (2023). Chatgpt

    vs. google: A comparative study of search performance and user experience. arXiv preprint arXiv:2307.01135. 対話型生成AIへの過度な依存が発生する恐れアリ 対話型生成AIのほうが手っ取り早く品質が高い気がする!? 15
  6. AI利⽤時における誤った・偏った判断が⾏われる要因 AIの問題 ユーザの問題 純粋な性能 バイアス ⾼度認知能⼒ 情報処理態度 (algorithmic bias, data

    bias…) (情報への関⼼程度, AIへの依存, 認知バイアス) ブラックボックス (判断根拠が不明) 16
  7. ⼆重過程理論(Dual process theory) 人間の思考は2種類の異なる過程を経て生じる システム1 (fast, 直感モード) システム2 (slow; 推論モード)

    • 注意・努⼒が不要 • 経験に基づく速い判断 • ⾃動的(衝動的)に駆動 • 時に認知バイアスを 発⽣させる • 注意・努⼒が必要 • 論理的/統計的な思考 • 遅い 普段はシステム1を使い,必要に応じてシステム2に移行 Kahneman, Daniel. "Thinking, fast and slow." Farrar, Straus and Giroux (2011). 20
  8. 2: 忘れっぽい はげ ごま塩 シワ プライム刺激 おじいさん 観念を想起 刺激を受けた人の 行動が変化

    歩行速度がゆっくりに 先行する刺激(プライム)の処理が後の行動・ 判断を促進または抑制する効果 Bargh, J. A., Chen, M. and Burrows, L.: Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action, Journal of personality and social psychology, 71(2), pp. 230-244 (1996). 25
  9. 情報精査のための判断⽀援システム ウェブ情報の信憑性分析・判断支援システムの開発 1. 2. 3. 4. ᱥᱏᰬ᭑ᱯଢ଼ᬶٸശ௸ ΕᏜᱥᱏᰬ᭑ᱯଢ଼ٸശ сଢ଼ɬṞᱥᱏᰬ᭑ᱯଢ଼ वӂ૟Ṟṫ

    ᱥᱏᰬ᭑ᱯଢ଼ ᱥᱏᰬᱯଢ଼ԃЩڑ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ೸ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ 信憑性指向ウェブ検索エンジン*1,2 さまざまな信憑性判断情報の 集約システム*3,4 ৴ጪੑ͕ෆ͔֬ͳϑΝΫτ υΠπ͸Ϗʔϧ͕༗໊ ո͍͠Օॴ υΠπ ΄Μͱ ݕࡧ݁Ռ < ೖྗ >υΠπ͸Ϗʔϧ͕༗໊ ൑அͷࡍʹ༗༻ͳ؍఺ ߬ૉ ۤΈ ৭ ຯ ϰΝΠεϏʔϧ ൺֱ͢΂͖ϑΝΫτ ϑΝΫτͷೝ஌౓ )POUP4FBSDI ϕϧΪʔ͸Ϗʔϧ͕༗໊ έϧϯ͸Ϗʔϧ͕༗໊ ϛϡϯϔϯ͸Ϗʔϧ͕༗໊ νΣί͸Ϗʔϧ͕༗໊ ΞΠϧϥϯυ͸Ϗʔϧ͕༗໊ ফඅྔ ৭ ৭ ৭ ৭ ৭ ۤΈ ফඅྔ ຯ ߬ૉ  *3 Y. Yamamoto and K. Tanaka, “ImageAlert: Credibility Analysis of Text-Image Pairs on the Web”, SAC 2011 *2 ⼭本祐輔、⽥中克⼰、「データ対間のサポート関係分析に基づくWeb情報の信憑性評価」、情処論⽂誌2010など *1 Y. Yamamoto and K. Tanaka, “Enhancing Credibility Judgment on Web Search Results”, ACM CHI 2011 *4 Y. Yamamoto and K. Tanaka, “Finding Comparative Facts and Aspects for Judging the Credibility of Uncertain Facts”, WISE 2009 社会的受容度 引⽤重要度 詳細度 典型度 更新 頻度 リッチな判断情報を提供するシステムも精査を促進しない場合も… 30
  10. ウェブ検索パーソナライゼーションへの認識 0 20 40 60 80 100 Shopping Entertainment Health

    Sports Culture Science/Tech Nature Economics Politics > 50% 40-50% 30-40% 20-30% 10-20% < 10% Q. 実際に、ウェブ検索結果は個人の趣向に応じてどの 程度調整されていると思うか? 43
  11. ウェブ検索パーソナライゼーションへの認識 0 20 40 60 80 100 Shopping Entertainment Health

    Sports Culture Science/Tech Nature Economics Politics > 50% 40-50% 30-40% 20-30% 10-20% < 10% Q. 実際に、ウェブ検索結果は個人の趣向に応じてどの 程度調整されていると思うか? エンタメトピックの検索結果は パーソナライズされていると多くの⼈が 感じている 44
  12. ウェブ検索パーソナライゼーションへの認識 0 20 40 60 80 100 Shopping Entertainment Health

    Sports Culture Science/Tech Nature Economics Politics > 50% 40-50% 30-40% 20-30% 10-20% < 10% Q. 実際に、ウェブ検索結果は個人の趣向に応じてどの 程度調整されていると思うか? 政治・経済トピックの検索結果は あまりパーソナライズされていないと 思っている⼈が多い 45
  13. ⼈によって同じ検索ワードでも検索結果が異なる DuckDuckGo’s Survey: Measuring the "Filter Bubble” - How Google

    is influencing what you click, https://spreadprivacy.com/google-filter-bubble-study/ 87名のユーザが「銃規制」という検索ワードで Google検索した結果を比較 19種類のウェブページが31通りの並びで表示 47
  14. キャプションバイアス: 検索結果情報の⽣成⽅法がクリック確率に影響 クリック確率のモデリング結果(重みの⼤きさ = 影響⼒) K. Hofmann et. al. “On

    caption bias in interleaving experiments”. In Proceedings of the 21st ACM international conference on Information and knowledge management (CIKM '12). pp.115–124. 検索結果の表示情報の機微がクリックのしやすさに影響する 52
  15. 確証バイアス 自分が信じている仮説・信念を支持する情報を探そうとし、 反証する情報を無視してしまう傾向 * D. Kahneman. A perspective on judgment

    and choice: mapping bounded rationality. American psychologist, 58(9):697, 2003. 新型コロナは 利権団体に よるデマ!! コロナはデマ!! ワクチン接種を! 54
  16. ウェブ検索前後の信念の変化(1/2) Ryen White. “Beliefs and biases in web search”. In

    Proceedings of the 36th international ACM SIGIR conference on Research and development in information retrieval (SIGIR '13). pp.3–12. “Does chocolate contain caffeine” のようなYes-No質問を 過去2週間以内にしたユーザに事前信念の変化を調査 • ウェブ検索前の時点で58%の ⼈は回答がYESだと思っている • 事前信念が強くない⼈(47%) は信念の確認のためにウェブ 検索をしていると明⾔ • ウェブ検索を経て YES/NOの確信が強くなる (YESの割合が最も多くなる) 55
  17. ウェブ検索前後の信念の変化(2/2) Ryen White. “Beliefs and biases in web search”. In

    Proceedings of the 36th international ACM SIGIR conference on Research and development in information retrieval (SIGIR '13). pp.3–12. • ある方向に事前信念を持っている場合,信念は 同じ方向で維持/強化される • 事前信念が是々非々(equal)の場合, ウェブ検索後にYES側に信念が変化するケースが多い 56
  18. エコーチェンバー in Web Search & Conversational Search N. Sharma et

    al. 2024. “Generative Echo Chamber? Effect of LLM-Powered Search Systems on Diverse Information Seeking”. In Proceedings of CHI 2024 賛否両論あるトピックの情報を集めるとき, ウェブ検索とAIベースの会話型検索で違いはあるか? 57
  19. エコーチェンバー in Web Search & Conversational Search A1. 会話型検索の⽅が「⾃分の信念にマッチする検索」 をしやすい

    A2. 会話型検索の⽅が「⾃分の信念にマッチする回答」 をより認めたくなる 58
  20. オートメーションバイアスに対する懸念 K. Goddard et. al. 2011. Automation bias: a systematic

    review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association 19, 1 (06 2011), 121–127 意思決定支援システムに依存するがあまり、 誤った情報が提示されたとしても、 システムの判断を優先してしまうバイアス ⾶⾏機オートパイロット かな⽂字変換 ウェブ検索 運転能⼒/判断能⼒の低下 漢字想起能⼒の低下 デジタル性健忘 AIの過剰利⽤は誤判断だけでなく認知能⼒の低下も招く 60
  21. ⼈間のフィードバックを⽤いた⼤規模⾔語モデルの調整 ⼤規模⾔語 モデル 超⼤量の⽂書 (主にウェブページ) ⼈⼿で作った 質問応答問題集 (点数付き) ⼈間の好みを模倣 する評価関数

    (報酬モデル) 深層 学習 ② ③問題集を解きながら ⼈間の好みに合うように モデルを強化学習 by 深層学習 ①単語予測学習 ハルシネーションを防ぐために人間に望ましい回答を誘導 64 で た ら め 情 報 ⽣ 成
  22. 検索結果の多様化 (Search results diversification) × 効果的なダイエット A ダイエット A ダイエット

    A ダイエット A ダイエット 適合性 × 効果的なダイエット A ダイエット B ダイエット C ダイエット A ダイエット リスト内 要素の 多様化 適合性を担保しつつ、検索結果リストの上位要素を多様化 66
  23. 注意深い情報探索の必要性を感じさせる情報探索インタフェース ウェブ検索結果の個人最適化 効果の顕在化と抑制*2 情報ソースが曖昧な文の 自動検出・ハイライト*1 *1 ⿑藤史明, ⼭本祐輔,「Weasel Finder:⽂章表現の曖昧さ指摘による批判的なウェブ情報探索」, ⼈⼯知能学会論⽂誌,

    Vol.36, No.1 (WI2-H), pp.1-13, 2021. *2 Yusuke Yamamoto and Takehiro Yamamoto: “Personalization Finder: A Search Interface for Identifying and Self- controlling Web Search Personalization”, Proceedings of the 20th ACM/IEEE on Joint Conference on Digital Libraries (JCDL 2020), pp.37-46, 2020 (The Vannevar Bush Best Paper Award). 69
  24. Personalization Finder ウェブ検索の個人最適化の影響を可視化・制御する Google Chrome拡張 Yusuke Yamamoto and Takehiro Yamamoto:

    "Personalization Finder: A Search Interface for Identifying and Self-controlling Web Search Personalization", Proceedings of the 20th ACM/IEEE on Joint Conference on Digital Libraries (JCDL 2020), pp.37-46, 2020. 70
  25. 検索ワードプライミング:情報精査を促す検索ワード推薦 糖尿病 症状 糖尿病 症状 目 糖尿病 症状 看護 糖尿病

    症状 数値 糖尿病 症状 女性 糖尿病 症状 眠気 糖尿病 症状 痩せる 糖尿病 症状 子供 糖尿病 症状 尿 糖尿病 症状 爪 糖尿病 症状 めまい POΫΤϦิ׬ C ҰൠతͳΫΤϦิ׬ Y. Yamamoto et. al.: "Query Priming for Promoting Critical Thinking in Web Search", Proceedings of the 3rd ACM SIGIR Conference on Human Information Interaction and Retrieval (CHIIR 2018), pp.12-21, 2018. 73
  26. 糖尿病 症状 糖尿病 症状 比較 糖尿病 症状 統計 糖尿病 症状

    分析 糖尿病 症状 調査 糖尿病 症状 研究 糖尿病 症状 検証 糖尿病 症状 根拠 糖尿病 症状 実証 糖尿病 症状 データ 糖尿病 症状 原理 糖尿病 症状 糖尿病 症状 目 糖尿病 症状 看護 糖尿病 症状 数値 糖尿病 症状 女性 糖尿病 症状 眠気 糖尿病 症状 痩せ 糖尿病 症状 子供 糖尿病 症状 尿 糖尿病 症状 爪 糖尿病 症状 めま B ΫΤϦϓϥΠϛϯάPOΫΤϦิ׬ C Ұൠ 情報精査の促進効果が 期待される語(クエリプライム) 検索ワードプライミング:情報精査を促す検索ワード推薦 プライミング効果に着目し、情報精査をする気にさせる 単語を検索ワード補完・推薦に溶け込ませる Y. Yamamoto et. al.: "Query Priming for Promoting Critical Thinking in Web Search", Proceedings of the 3rd ACM SIGIR Conference on Human Information Interaction and Retrieval (CHIIR 2018), pp.12-21, 2018. 74
  27. 検索ワードプライミングの狙い 糖尿病 症状 糖尿病 症状 比較 糖尿病 症状 統計 糖尿病

    症状 分析 糖尿病 症状 調査 糖尿病 症状 研究 糖尿病 症状 検証 糖尿病 症状 根拠 糖尿病 症状 実証 糖尿病 症状 データ 糖尿病 症状 原理 糖尿病 糖尿病 糖尿病 糖尿病 糖尿病 糖尿病 糖尿病 糖尿病 糖尿病 糖尿病 糖尿病 B ΫΤϦϓϥΠϛϯάPOΫΤϦิ׬ 検索者の 行動変化を誘発 批判的思考 態度* 喚起 批判的な情報精査 * 楠見孝, 道田泰司ほか:「批判的思考:21世紀を生き抜 くリテラシーの基盤」, 新曜社 (2015) 刺激(プライム語) 75
  28. AIによる意思決定 × 対⽐を使った説明 ナタリーは筋⾁をつけ,柔軟性を⾼めたいと思っています. 彼⼥は62歳で退職しています.運動量は少なめで,体重も 少ないです.室内活動を好む⼈です.彼⼥に会う運動を考え てください. よくあるAIの回答 ピラティスをオススメします. なぜなら,ピラティスは筋⼒

    強化と柔軟性向上に貢献しま す.また,運動負荷はそれほ ど⾼くないので,ナタリーの 状況にぴったり. 対⽐を交えたのAIの回答 私はピラティスをオススメします. 筋トレは筋⾁増強効果が⼤きい⼀⽅ ,ピラティスは柔軟性向上により効 果的.筋⼒強化と柔軟性向上を両⽴ したいのであれば,ピラティスがナ タリーの状況にぴったりです. 多くの⼈は筋トレを思いつきますが, ユーザが考える考え⽅と紐付けることで思考と理解がより深まる Z. Buçinca, et al.: "Contrastive Explanations That Anticipate Human Misconceptions Can Improve Human Decision-Making Skills.", CHI 2025. 76
  29. 答えの推薦 vs 考え⽅の提⽰ ⼩⾖と⻘菜 レタスとミニトマト, ニンジンのサラダ K. Gajos at al.

    “Do People Engage Cognitively with AI? Impact of AI Assistance on Incidental Learning.”, IUI 2022. 答えを推薦するAI 「⼩⾖と⻘菜」と思われます. なぜなら,⼩⾖は炭⽔化物を摂取 する上で重要な⾷物だからです. 考え⽅だけを⽰すAI ⼩⾖は炭⽔化物を多く含む⾷物 の⼀つです. Q. どちらの料理の方が炭水化物が多そうですか? 考え⽅を⽰すだけでも意思決定⽀援効果は⼗分あり 考え⽅だけ⽰すほうが⼈間側の学習効果が⾼い 77
  30. 意思決定を⽀援するAIのインタラクション設計のポイント 信頼と依存のトレードオフ 人間の思考特性の理解 - 認知バイアスの存在 - 認知科学,認知⼼理学,社会⼼理学の知⾒の活⽤ - 過剰依存は誤判断を招くだけでなく,認知能⼒の低下を招く -

    ⼈間側の⾃⼰効⼒感(self-efficiency)を⾼める タスクの適切な分担 - AIに何ができて,何ができないのかを把握する - 何をAIに任せて,何を⼈間が担当するかを考える 78