[Human-AI Decision Making勉強会] 説明を部分的に見せることで人に考えさせ、AIへの不適切な依存を減らす

2025/11/19 Human-AI Decision Makingの発表資料
Cognitive Forcing for Better Decision-Making: Reducing Overreliance on AI Systems Through Partial Explanations
CSCW2025

Transcript

1. 説明を部分的に見せることで人に考えさせ、AIへの不適切な依存を減らす Human-AI Decision Making勉強会 2025/11/19 楊明哲
2. 本日紹介する論文 3 Cognitive Forcing for Better Decision-Making: Reducing Overreliance on AI Systems Through Partial Explanations • 著者：SANDER DE JONG, VILLE PAANANEN, BENJAMIN TAG, NIELS VAN BERKEL • 発表：CSCW 2025 https://dl.acm.org/doi/pdf/10.1145/3710946 ゴール ：AIの助言を“ちょうどよく”採用されるようにする 課題 ：AIが間違っていても、説明がわかりやすいと、つい鵜呑みする（＝過信） アイデア：説明をあえて部分的して、ユーザに自分の頭で考えさせる（＝認知強制） 結果 ：AIを過信するリスクが減少する
3. 背景：過信（Over-reliane）の問題 4 • AIを用いた意思決定支援では、人間はAIから助言と説明を受け取り、人間が最 終判断を行う • AIの助言を受け取ることで、人間の意思決定精度は向上する • ※人間単独よりは向上するが、AIの精度を超えないパターンも多く存在 • AIの助言が間違っている時に、人間が間違いを鵜呑みにする問題（過信）が発生 • 医療や司法など判断結果が重要な状況では、過信は大問題となり得る
4. 背景：過信の発生原因 5 • アンカリング効果 • 最初に見たAIの助言に影響を受けた判断をする → 助言のタイミングを変更し ただけで改善される[29] • 確認コストの高さ • 全部説明されると、人間は簡単に確認するだけで、きちんと確かめない • 過剰な安心感 • 説明内容が妥当そうに見えると、正しそうに感じてしまう • これらに対処するために、認知的強制[18]を用いた方法を検討する
5. 背景：認知的強制によって、過信を減らしたい 6 • 認知的強制とは、人間自身がより考えるように促す仕組みを指す。 • 回答を振り返る[6,57], 助言を提示せず説明のみを提示[26]など様々な方法で認 知的強制をさせた • 例えば「反対理由を考えさせる」のも、その一つ • https://tinyurl.com/jcrurs （別のところで紹介した論文の中で扱っている） • 完全に過信をなくせたわけではないが、過信を減少させる傾向を確認 • 本研究では、「説明を部分的に見せ、ユーザに考えされる」という認知的強制によ る効果を確かめる
6. 本研究でのリサーチクエスチョン 7 • AI説明の粒度（全部、部分的、なし）は、過信や意思決定精度にどう影響するか？ • AIの助言が間違っている時、過信減少に効く説明はどれか？ • タスクの難易度（易、中、難）はどう影響するか？ • これらに答えるために、２つの実験を行った • 1. 最短経路問題（視覚的タスク） ２. 英文校正（文章タスク）
7. 研究１：最短経路問題 8 • 指定された開始ノード、終了ノードを結ぶ経路のなかで、重みが最小となる経路 を見つける（重みを合計を回答） • Baseline : AIの説明が何もない • Single edge : 正答経路のうち、ランダムに選択された1つのエッジを強調 • Ends : 正答経路のうち、最初と最後のエッジを強調 • Full : 正答経路をそのまま提示
8. 研究１：難易度調整 9 • ノード数、エッジ数を調整することで、難易度を３種類設計
9. 研究１：測定項目 10 • パフォーマンス： 実験参加者の回答した値が、正答しているか • AIの依存度： 参加者の回答がAIの助言とどれだけ一致しているか • 課題の難易度： 自己申告で課題の難易度の５段階リッカートで評価 • 有用性： 自己申告でAIの助言と説明の有用度を５段階リッカートで評価 • 確信度： 自己申告でのAI助言と説明の確信度を５段階リッカートで評価
10. 実験１：手順 11 • 合計１２コの最短経路問題を回答 • ９コはAIの助言が正しく、３コはAI助言が間違っている　＝AI精度７５％ • 難易度（易、中、難）別にそれぞれ４コ用意 • 実験参加者にはAI精度が７５％であることは知らせず、AIの回答は完璧ではない ことのみを通知 • AIが間違っていることを知覚させないため、AIの正誤については通知しない
11. 実験１：パフォーマンスの結果 12 • Prolificから264人の実験参加者を募集 • 中難易度でパフォーマンスが低下　 → 自力でいけそうな難易度では適切にAIが使えてない
12. 実験１：AI依存の結果 13 • 説明条件(Baseline以外)ですべて、AI依存傾向が確認 • 部分説明(Single, Ends)はFullと比較して、有意に依存が低い • AI Incorrect問題で部分説明はFullよりも依存が低い　= 過信の減少 • 一方でAI Correct問題では、部分説明はFullよりも不信の傾向を確認
13. 研究２：英文校正 14 • 短いテキストを提示して、その中にあるスペル・文法間違いの数を回答させる •Baseline: ミスカウントのみを提示し、どれが間違っているかは見せない •Partial explanation: 検出した間違い箇所のみを提示 •Full explanation: 検出した間違いと修正案を提示
14. 研究２：難易度調整 15 • 用いる文章の読みにくさ（Flesch-Kincaid reading ease test）によって難 易度を設定 • 易（会話英語レベル）、中（読みにくい文章）、難（大学教科書）レベルに相当
15. 研究２：手順 16 • 210人が実験に参加。参加者はいずれも英語圏在住。 • 研究１と同様に12コ問題を用意し、うち９コはAIが正しく３コはAIが間違い • 難易度も易・中・難で４コずつ振り分ける • 間違ったAI助言としては、 • Full explanation, partial explanationは検出間違い • また、Full explanationのみ誤った置換を行う
16. 研究２：パフォーマンスの結果 17 • Baselineと比較して、説明を提示することでパフォーマンスが向上 • AI Incorrect条件では、 Partial vs. Fullで有意な差が存在
17. 研究２：AI依存の結果 18 • Baselineと比較して、Partial, Fullは有意に高い • Full, Baselineと比較して、依存度が低下　= 過信の減少 （不信の増加） • 難易度では、難しいほど依存度が低下していた（有意な差はない）
18. 研究１、２の結果まとめ 19 • 研究１、２から説明を与えることで、パフォーマンスの向上が確認できた（既存研究 と同様の結果） • 説明が与えられることによって、AIへの依存を高めることが確認できた（既存研 究と同様の結果） • 完全な説明と比較して、部分的な説明を提示した時、AIの助言への依存が減少す る傾向を確認　（個人的にはパフォーマンスも低下しているから過信を抑えるとは言えないのでは？） • 説明の粒度は、タスクの難易度にも影響されることも確認 • 難易度“中”のタスクは、難易度“易”、“難”と比較して、パフォーマンスが低下す ることが確認された。
19. 議論 20 • 部分的説明は、認知強制の既存手法と結果と過信を抑えることで一致 • 提示される説明が一部（間違っていること）がユーザに再考させることを強制 させることができた • ただ一方で、ユーザにとっては、部分的な説明（＝不完全な説明）は満足度を下げ る • 満足度と過信防止のトレードオフが存在 • 完全な説明と比較して、タスク完了時間が増加するデメリットがある • 同じタスクでも難易度の違いによって、説明の効果が異なる • 説明有効性の一般化をするにあたって、注意しなくてはならない
20. 紹介した論文 21 Cognitive Forcing for Better Decision-Making: Reducing Overreliance on AI Systems Through Partial Explanations • 著者：SANDER DE JONG, VILLE PAANANEN, BENJAMIN TAG, NIELS VAN BERKEL • 発表：CSCW 2025 https://dl.acm.org/doi/pdf/10.1145/3710946 ゴール ：AIの助言を“ちょうどよく”採用されるようにする 課題 ：AIが間違っていても、説明がわかりやすいと、つい鵜呑みする（＝過信） アイデア：説明をあえて部分的して、ユーザに自分の頭で考えさせる（＝認知強制） 結果 ：AIを過信するリスクが減少する