Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIをつくる・つかう人間

rinabouk
October 11, 2024
420

 AIをつくる・つかう人間

rinabouk

October 11, 2024
Tweet

Transcript

  1. 研究の興味:人間の認知特性とAI開発ライフサイクル  u 医師の判断の不確実性 ⇄ 医療ビッグデータの品質評価指標の提案 [Int. J. Med. Inf.

    ’19][MedInfo’17] u 理解できなくても模倣できる ⇄ クラウドワーカーによる擬似カルテテキスト作成 [IEEE BigData’21] u 限定合理性 ⇄ 医療ビッグデータへの正解ラベル付与の品質向上 [CogSci’24][CogSci’23][CogSci’22] u アンカリング効果・ブースティング ⇄ 集合知の品質向上 [Cognition’24][SciRep’22] u 意見変更への影響要素 ⇄ アルゴリズム嫌悪の克服の基盤研究 [CogSci’24] u 確証バイアス ⇄ AIの説明への信頼向上 [人工知能学会’24] u 人間の関数学習 ⇄ AIの能力との相補性実現のための基盤研究 [認知心理学会’24] u その他:文書設計 [ICADL’24(accepted) ][CMMR’23] 、プライバシー保護AI [J. Biomed. Inform. ’23][SciRep’23]…など AIをつくる人間 AIをつかう人間
  2. 人工知能学のどこに認知科学が必要なのか  認知科学 が必要 [1] http://www.critical-media.org/cscw23/ [2] https://sites.google.com/view/behavioralml/ [3] https://ai-behavioral-science.github.io/2024

    [4] https://sites.google.com/view/theory-of-min d-aaai-2025/ [5] Steyvers, M., & Kumar, A. (2023). Three c hallenges for AI-assisted decision-making. Pe rspectives on Psychological Science, 174569 16231181102. [6] Collins, K. M., Sucholutsky, I., Bhatt, U., C handra, K., Wong, L., Lee, M., ... & Griffiths, T. L. (2024). Building Machines that Learn an d Think with People. arXiv preprint arXiv:240 8.03943. 活用 「借り」 ◆AIの課題 [1, 2, 3, 4] ◆人間-AI協調における認知バイアスの理解と緩和(CSCW’23 WS) ◆行動科学を反映した機械学習技術(NeurIPS’24 WS, KDD’24 WS) ◆心の理論とAI(AAAI’25 WS) ◆認知科学の課題 [5, 6] ◆相補性(AI×人間>{人間|AI})を支える条件 ◆AIに対する人間のメンタルモデル ◆人間とAIの相互作用に関する様々な介入の効果 ◆人間と共に考えるAIの要件 ・・ h"ps://www.ai-gakkai.or.jp/pdf/aim ap/AIMap_JP_20230510.pdf
  3. 人工知能学のどこに認知科学が必要なのか  認知科学 が必要 活用 「借り」 h"ps://www.ai-gakkai.or.jp/pdf/aim ap/AIMap_JP_20230510.pdf 単にHuman Factorの研究でしょ?wwwww

    A1. その通りです。 A2. 分野名だと捉えると、Human Factorよりも Human Computer Interactionの方が波長が合う(お気持ち) ʁ
  4. / 86   認知科学とAI活用研究のコラボ 1. AI活用の課題を紐解く認知科学研究 2. 認知科学の蓄積を活かすAI活用研究 3.

    認知科学の新たな知見で加速するAI活用研究 4. 独自の視点で問題解決を目指すAI活用研究 !演者の研究対象(意思決定支援AI)に偏ります!
  5. / 86   認知科学とAI活用研究のコラボ 1. AI活用の課題を紐解く認知科学研究 2. 認知科学の蓄積を活かすAI活用研究 3.

    認知科学の新たな知見で加速するAI活用研究 4. 独自の視点で問題解決を目指すAI活用研究 !演者の研究対象(意思決定支援AI)に偏ります!
  6. / 86  人間×AIの共同意思決定過程を数理モデルで表現 ⇄ 人間×AIの判断>{人間|AI}の単独判断 となる条件を定量化 限界:実用的な詳細設定はモデルパラメーターに包含されている  AI活用

    認知科学 意思決定過程 ⇄ 意思決定支援AI Steyvers, M., Tejeda, H., Kerrigan, G., & Smyth, P. (2022). Bayesian modeling of human–AI complementarity. Proceedings of the National Academy of Sciences, 119(11), e2111547119. AIの使い方の提案 ρHM = 0.33, ρHH = 0.62, ρMM = 0.71のとき
  7. / 86   AI活用 認知科学 注意・プライミング効果 ⇄ 誤情報(デマ・流言)・フェイクニュース AIを使う人間の理解

    SNSでは情報の正確さ以外に注意が向く ⇄ あるニュースの正確性を評価 ▶ 信頼できるニュースの共有↑ 限界:効果に持続性はない 信頼できるニュースの共有↑ Pennycook, G., Epstein, Z., Mosleh, M., Arechar, A. A., Eckles, D., & Rand, D. G. (2021). Shifting attention to accuracy can reduce misinformation online. Nature, 592(7855), 590-595. 信頼できないニュースの共有↓ 関係ないニュースの正確性を事前に評価
  8. / 86   AI活用 認知科学 ほかにもたくさん u 逐次的協働過程 ⇄

    自動運転・信頼(trustworthy AI) u Tsirtsis, S., Gomez Rodriguez, M., & Gerstenberg, T. (2024). Towards a computational model of responsibility judgments in sequential human-AI collaboration. In Proceedings of the Annual Meeting of the Cognitive Science Society (Vol. 46). u Shirado, H., Kasahara, S., & Christakis, N. A. (2023). Emergence and collapse of reciprocity in semiautomatic driving coordination experiments with humans. Proceedings of the National Academy of Sciences, 120(51), e2307804120. u カテゴリー学習・教育 ⇄ 説明可能AI(XAI) u Moskvichev, A., Tikhonov, R., & Steyvers, M. (2023). Teaching categories via examples and explanations. Cognition, 238, 105511. u Sumers, T. R., Ho, M. K., Hawkins, R. D., & Griffiths, T. L. (2023). Show or Tell? Exploring when (and why) teaching with language outperforms demonstration. Cognition, 232, 105326. u 説明深度の錯覚 ⇄ アルゴリズム嫌悪 u Bonezzi, A., Ostinelli, M., & Melzner, J. (2022). The human black-box: The illusion of understanding human better than algorithmic decision- making. Journal of Experimental Psychology: General, 151(9), 2250. u deliberate ignorance・信号検出理論 ⇄ 誤情報・フェイクニュース u Fuławka, K., Hertwig, R., & Pachur, T. (2024). COVID-19 vaccine refusal is driven by deliberate ignorance and cognitive distortions. npj Vaccines, 9(1), 167. u Gawronski, B., Nahon, L.S. & Ng, N.L. (2024). A signal-detection framework for misinformation interventions. Nature Human Behaviour 筆頭著者はAI系の博士過程学生 これらの論文はAIに直接的には言及しないが、 著者らはXAIを知っているはず(他の論文からの推測)
  9. / 86   認知科学とAI活用研究のコラボ 1. AI活用の課題を紐解く認知科学研究 2. 認知科学の蓄積を活かすAI活用研究 3.

    認知科学の新たな知見で加速するAI活用研究 4. 独自の視点で問題解決を目指すAI活用研究 !演者の研究対象(意思決定支援AI)に偏ります!
  10. 限定合理性 ⇄ AIの解釈可能性  認知科学 AI活用 限定合理性 ⇄ AIの解釈可能性が過度に高いと、人間の理解度は低下する。 限界:結果の一般化可能性

    Kaur, H., Conrad, M. R., Rule, D., Lampe, C., & Gilbert, E. (2024). Interpretability Gone Bad: The Role of Bounded Rationality in How Practitioners Understand Machine Learning. Proceedings of the ACM on Human-Computer Interaction, 8(CSCW1), 1-34. AIを使う人間の理解 視覚的説明 インタラクティブな説明 AIがブラックボックスではいけない! インタラクティブな説明の例(Explanation Dashboard(ED))
  11. アンカリング効果 ⇄ 意思決定支援AI  認知科学 AI活用 アンカリング効果 ⇄ アンカリング効果が軽減する順番で問題を提示するAI 限界:一般化可能性

    Echterhoff, J. M., Yarmand, M., & McAuley, J. (2022, April). AI-moderated decision-making: Capturing and balancing anchoring bias in sequential decision tasks. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (pp. 1-9). AIの提案 この論文が対象とするアンカリング効果 その人がどれくらいアンカリング効果を受けそうか推定 アンカリング効果を減らす次のタスクを決定
  12. / 86   認知科学 AI活用 ほかにもたくさん u 累積プロスペクト理論 ⇄

    意思決定支援AI u Wang, X., Lu, Z., & Yin, M. (2022, April). Will you accept the ai recommendation? predicting human behavior in ai-assisted decision making. In Proceedings of the ACM web conference 2022 (pp. 1697-1708). u 認知負荷・知覚 ⇄ XAI・信頼 u Abdul, A., Von Der Weth, C., Kankanhalli, M., & Lim, B. Y. (2020, April). COGAM: measuring and moderating cognitive load in machine learning model explanations. In Proceedings of the 2020 CHI conference on human factors in computing systems (pp. 1-14). u Zhang, W., & Lim, B. Y. (2022, April). Towards relatable explainable AI with the perceptual process. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (pp. 1-24). u 認知バイアス・言語確率 ⇄ LLM u Echterhoff, J., Liu, Y., Alessa, A., McAuley, J., & He, Z. (2024). Cognitive bias in high-stakes decision-making with llms. arXiv preprint arXiv:2403.00811. u Stureborg, R., Alikaniotis, D., & Suhara, Y. (2024). Large language models are inconsistent and biased evaluators. arXiv preprint arXiv:2405.01724. u Kim, S. S., Liao, Q. V., Vorvoreanu, M., Ballard, S., & Vaughan, J. W. (2024, June). " I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust. In The 2024 ACM Conference on Fairness, Accountability, and Transparency (pp. 822- 835). u 認知アーキテクチャ(事例ベース学習) ⇄ 人間の行動予測・LLM u Nguyen, T. N., Jamale, K., & Gonzalez, C. (2024). Predicting and Understanding Human Action Decisions: Insights from Large Language Models and Cognitive Instance-Based Learning. arXiv preprint arXiv:2407.09281. 人間の行動予測における事例ベース学習とLLMの精度比較
  13. / 86   認知科学とAI活用研究のコラボ 1. AI活用の課題を紐解く認知科学研究 2. 認知科学の蓄積を活かすAI活用研究 3.

    認知科学の新たな知見で加速するAI活用研究 4. 独自の視点で問題解決を目指すAI活用研究 !演者の研究対象(意思決定支援AI)に偏ります!
  14. / 86  認知科学 AI活用 ナッジ ⇄ 意思決定支援AI ナッジを利用した意思決定過程を数理モデルで表現 ⇄

    人間の行動予測を組み込んだ意思決定支援AIの提案 限界:AI設計者と意思決定者の利害が大きく異なる場合  人間の理解 Callaway, F., Hardy, M., & Griffiths, T. L. (2023). Optimal nudging for cognitively bounded agents: A framework for modeling, predicting, and controlling the effects of choice architectures. Psychological Review. 多肢選択における人間の意思決定過程
  15. / 86   認知科学 AI活用 ナッジ ⇄ 意思決定支援AI ナッジを利用した意思決定過程を数理モデルで表現

    ⇄ 人間の行動予測を組み込んだ意思決定支援AIの提案 限界:AI設計者と意思決定者の利害が大きく異なる場合 AIの提案 Li, Z., Lu, Z., & Yin, M. (2024, March). Decoding AI’s Nudge: A Unified Framework to Predict Human Behavior in AI-assisted Decision Making. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 38, No. 9, pp. 10083-10091).
  16. / 86  認知科学 AI活用 advice taking ⇄ アルゴリズム嫌悪 

    人間の理解 Himmelstein, M. (2022). Decline, adopt or compromise? A dual hurdle model for advice utilization. Journal of Mathematical Psychology, 110, 102695. “the decision process happens in two stages: an initial discrete 'choosing' stage [...] and a subsequent continuous 'averaging' stage” 自身の意見と助言を統合する現象のモデル化 ⇄ アルゴリズム嫌悪の理解 限界:アルゴリズム嫌悪の軽減 “choosing stage” “averaging stage” アドバイス完全無視 アドバイス使う 最終的な判断は アドバイス通り アドバイスに対する最終的な選択 最終的な判断は アドバイスと自説の間 無視 助言のまま その間
  17. / 86  認知科学 AI活用 advice taking ⇄ アルゴリズム嫌悪 

    AIを使う人間の理解 Vodrahalli, K., Daneshjou, R., Gerstenberg, T., & Zou, J. (2022, July). Do humans trust advice more if it comes from ai? an analysis of human-ai interactions. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 763-777). “We propose the ‘activation-integration’ model [...], where humans first decide whether to use advice and subsequently decide how to update their judgments.” 自身の意見と助言を統合する現象のモデル化 ⇄ アルゴリズム嫌悪の理解 限界:アルゴリズム嫌悪の軽減 h"ps://dl.acm.org/doi/10.1145/3514094.3534150
  18. / 86   認知科学とAI活用研究のコラボ 1. AI活用の課題を紐解く認知科学研究 2. 認知科学の蓄積を活かすAI活用研究 3.

    認知科学の新たな知見で加速するAI活用研究 4. 独自の視点で問題解決を目指すAI活用研究 !演者の研究対象(意思決定支援AI)に偏ります!
  19. / 86   AI活用 集合知 ⇄ LLM Chun-Wei Chiang,

    Zhuoran Lu, Zhuoyan Li, and Ming Yin. 2024. Enhancing AI-Assisted Group Decision Making through LLM-Powered Devil's Advocate. In Proceedings of the 29th Interna0onal Conference on Intelligent User Interfaces (IUI '24). Associa0on for Compu0ng Machinery, New York, NY, USA, 103–119. h"ps://doi.org/10.1145/3640543.3645199 AIの使い方の提案 より良い集合知を達成したい ⇄ LLMを悪魔の代弁者として使う 限界:悪魔の代弁者はなぜ効果を持つのか
  20. / 86   AI活用 認知科学 思考・言語 ⇄ Large Language

    Model (LLM) 形式的な言語能力と機能的な言語能力 ⇄ LLMはこの2種の能力に乖離があった 限界:人間がどうかはわからない ※ AIの理解 Mahowald, K., Ivanova, A. A., Blank, I. A., Kanwisher, N., Tenenbaum, J. B., & Fedorenko, E. (2024). Dissociating language and thought in large language models. Trends in Cognitive Sciences. ※2つの能力の乖離を支持する認知科学・神経科学の知見も論文中にまとめられている
  21. / 86   AI活用 逐次的意思決定・メンタルエフォート ⇄ 推薦システム Echterhoff, J.

    M., Melkote, A., Kancherla, S., & McAuley, J. (2024, June). Avoiding Decision Fatigue with AI-Assisted Decision-Making. In Proceedings of the 32nd ACM Conference on User Modeling, Adaptation and Personalization (pp. 1-11). AIの提案 逐次的意思決定における最終意思決定までの疲労 ⇄ メンタルエフォートを少なくする推薦システム 限界:意思決定スタイルの個人差の考慮 意思決定数は少なく、満足する最終選択
  22. / 86  AI活用 ほかにもたくさん u 人間の判断の不確実性 ⇄ Human-in-the-loop u

    Collins, K. M., Barker, M., Espinosa Zarlenga, M., Raman, N., Bhatt, U., Jamnik, M., ... & Dvijotham, K. (2023, August). Human uncertainty in concept-based ai systems. In Proceedings of the 2023 AAAI/ACM Conference on AI, Ethics, and Society (pp. 869-889) u 人間がAIの出力を検証できる ⇄ 人間とAIの相補性 u Fok, R., & Weld, D. S. (2024). In search of verifiability: Explanations rarely enable complementary performance in AI-advised decision making. AI Magazine. u 情報の非対称性 ⇄ 意思決定支援AI u Holstein, K., De-Arteaga, M., Tumati, L., & Cheng, Y. (2023). Toward supporting perceptual complementarity in human-AI collaboration via reflection on unobservables. Proceedings of the ACM on Human-Computer Interaction, 7(CSCW1), 1-20. u 集合知・意思決定 ⇄ 不完全なAI・XAI u Morrison, K., Spitzer, P., Turri, V., Feng, M., Kühl, N., & Perer, A. (2024). The Impact of Imperfect XAI on Human-AI Decision- Making. Proceedings of the ACM on Human-Computer Interaction, 8(CSCW1), 1-39. u Lai, V., Zhang, Y., Chen, C., Liao, Q. V., & Tan, C. (2023). Selective explanations: Leveraging human input to align explainable ai. Proceedings of the ACM on Human-Computer Interaction, 7(CSCW2), 1-35. u Zöller, N., Berger, J., Lin, I., Fu, N., Komarneni, J., Barabucci, G., ... & Herzog, S. M. (2024). Human-AI collectives produce the most accurate differential diagnoses. arXiv preprint arXiv:2406.14981. u Agudo, U., Liberal, K. G., Arrese, M., & Matute, H. (2024). The impact of AI errors in a human-in-the-loop process. Cognitive Research: Principles and Implications, 9(1), 1. 
  23. / 86  AI活用 ほかにもたくさん u 人間-AIチームの意思決定を最適化するAI u Syed Hasan

    Amin Mahmood, Zhuoran Lu, Ming Yin (2024). Designing Behavior-Aware AI to Improve the Human-AI Team Performance in AI-Assisted Decision Making. In Proceedings of the 33rd International Joint Conference on Artificial Intelligence (IJCAI). u 人間-AIの相補性のモデル化 u Hemmer, P., Schemmer, M., Kühl, N., Vössing, M., & Satzger, G. (2024). Complementarity in Human-AI Collaboration: Concept, Sources, and Evidence. arXiv preprint arXiv:2404.00029.  発表時点で未公開だが、関連しそう!な論文 (HCOMP 2024) u Combining Human and AI Strengths in Object Counting under Information Asymmetry, Songyu Liu and Mark Steyvers u Mix and Match: Characterizing Heterogeneous Human Behavior in AI-assisted Decision Making, Zhuoran Lu, Hasan Amin, Zhuoyan Li and Ming Yin u User Profiling in Human-AI Design: An Empirical Case Study of Anchoring Bias, Individual Differences, and AI Attitudes, Mahsan Nourani, Amal Hashky and Eric Ragan 情報の非対称性と能力の非対称性に着目
  24. AIと人間の関わり 研究を主導するのは誰?  認知科学者にとっても、特別なテーマではないのでは・・・? ◆AIは人間をとりまく要素の一つに過ぎない ▶ 応用先の一つ ◆LLMを勉強したいとおもう認知科学者は約1/3 [1] 人工知能学者が主導すべき

    ◆AIの開発・社会実装の立場から知りたいこと ◆個人的な心配 “人工知能学者が考える最強の{インタラクション|バイアス}研究” …工学的にはたぶん 悪いことではない [1] Cogsci2024 Symposium “Higher cogni0on in large language models” より(予稿集原稿なし).