Using Generative AI Productivity Support Tools Han Qiao (Autodesk Research) et al. ▍概要 生成AIを「使う/使わない」判断には ①待たされると使わない“gulf of impatience”と ②速くても質が低いと頼り過ぎる“gulf of overreliance”と いう2つの落とし穴があり、ユーザは最適行動が分かっていてもそこに陥る。ツール設計は性能提示だけでなく行動支援 UI やタスク分担の仕組みが必要 ▍背景 • 大多数の知的労働者は AI が無くてもタスクを完了できるため、「使うことで生産性が上がるか」は導入可否で大切 • 判断を誤ると「待った挙げ句に修正で時間超過」または「自分でやった方が速かった」など、生産性も満足度も下がる • 現在の設計ガイドは「モデル性能を提示しよう」で止まっており、十分ではない可能性がある。 • 生成 AI は時間短縮に寄与するはずだが、出力の質の不確実性と生成待ち時間があるため「本当に使った方が速いのか」をユーザ自身が判断しづらい。 ▍RQ • RQ1 最適な生産性を基準に見て、人はどれだけ良い決定ができるか? • RQ2 その決定はどのような戦略で行われているか?
と、説明なし(21.8 %)や矛盾なし(16.7 %)より高かった。 • 出典クリックは全体の約 26 % に留まり、クリックした場合は回答精度が平均 +11 pt 向上したが所要時間も倍増した。 Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies Sunnie S. Y. Kim (Princeton University) et al. ▍概要 LLM への“適切な依存”を促すには、回答に ①説明(Explanation) ②出典(Sources) ③説明内の不整合(Inconsistency)をどう組み込むか/強調 するかが鍵になる。 ▍調査方法 • 実ユーザ行動を対象とした二段階アプローチ ◦ 1. シンクアラウド調査(N=16)で依存を左右する要素を 探索的に抽出。 ◦ 2. 大規模オンライン実験(N=308, 2×2×2 要因)で 「説明×出典×正誤」を操作し、依存・精度・信頼感など 8 指標を混合効果モデルで分析。
When Using LLM Agents As A Daily Assistant Gaole He (Delft University of Technology, Netherlands) et al. ▍概要 LLM(大規模言語モデル)を活用したエージェントが「日常アシスタント」として機能する際のユーザー信頼と協働成果(チームパフォーマンス)に 与える影響を検証した。特に「Plan-Then-Execute(まず計画し、その後実行)」という方式を採用し、ユーザーが計画・実行の各ステップで関 与できる仕組みを構築した。 ▍背景 • 従来のAIアシスタントはシンプルなタスク(例:音楽再生、天気確認)に は有効だったが、金銭的リスクや信用が関わるタスクでは「アルゴリズ ム忌避(algorithm aversion)」により利用が進まなかった。 ▍RQ • RQ1:計画および実行における人間の関与は、LLMエージェン トに対する信頼にどのように影響するか? • RQ2:計画および実行における人間の関与は、タスク全体の 成果にどのように影響するか?