Large Language Model Agent: A Survey on Methodology, Applications and Challenges

大規模言語モデル（LLM）を搭載した「LLMエージェント」は、自律的な目標達成や動的な環境適応能力により、人工知能の新たなフロンティアを切り開いています 。本発表では、この急速に進化するLLMエージェントの全貌を、最新の包括的サーベイ論文「Large Language Model Agent: A Survey on Methodology, Applications and Challenges (Luo et al. - 2025)」 に基づき詳細に解説します。

- 📝：https://arxiv.org/abs/2503.21460
- 🐙：https://github.com/luo-junyu/Awesome-Agent-Papers

Transcript

1. © LY Corporation Large Language Model Agent: A Survey on Methodology, Applications and Challenges Junyu Luo1, … (24 authors) …, Ming Zhang1 1School of Computer Science and PKU-Anker Lab, Peking University Project page: github.com/luo-junyu/Awesome-Agent-Papers Image and Video Dept. / Generation team Shunsuke Kitada, Ph.D. HP: shunk031.me / 𝕏: @shunk031 ※本発表で紹介する図や数式は 対象の論文およびブログ記事から 引用しております
2. © LY Corporation 経歴 • ‘23/04 LINE ➜ ‘23/10 LINEヤフー Research Scientist • ‘23/03 法政大学大学院 彌冨研 博士 (工学) / 学振 DC2 研究分野 • 自然言語処理 (NLP) / 画像処理 (CV) ◦ 摂動に頑健で解釈可能な深層学習 [Kitada+ IEEE Access’21, Appl. Intell.’22] • 計算機広告 (Multi-modal / Vision & Language) ◦ 効果の高いデジタル広告の作成支援 [Kitada+ KDD’19] ◦ 効果の低いデジタル広告の停止支援 [Kitada+ Appl. Sci.’22] • デザイン生成 AI ◦ 離散拡散モデルで生成されたレイアウトの再調整 [Iwai+ ECCV’24] ◦ LLMによるレイアウトの生成に対する自己修正 [Zhang+ arXiv’24] 自己紹介: 北田俊輔 Shunsuke KITADA 2
 🏠: shunk031.me / 𝕏: @shunk031 画像生成AIにおける 拡散モデルの理論と実践 リサーチサイエンティスト 北田俊輔 www.youtube.com/watch?v =-IPEUOcPTas Pythonで学ぶ画像生成 北田俊輔 インプレス社 https://book.impress.co.j p/books/1123101104
3. © LY Corporation LINEヤフー、AIエージェント やるってよ • LINEヤフー、AI使った「パーソナルエージェント」構想発表　100超サービスのAI機能 強化、“横断AIエージェント”開発へ - ITmedia AI＋ ◦ 記事中の文章より。“パーソナルエージェントでは、ユーザーの求めるタスクの分野 ごとに機能するAIエージェント「ドメインエージェント」を組み合わせる想定。 ドメインエージェント下では、詳細な機能を担うAIエージェント 「ファンクショナルエージェント」が連携してタスクを遂行するという。” AIエージェントってどうやって構築するんだろう？ これまでの研究は？ 🤖 • AIエージェントの定義は何となく分かるけど [OpenAI, Anthropic, Google] 、構築方法は？🤔 ◦ OpenAI “Agents are systems that independently accomplish tasks on your behalf.” / Anthropic “Agent can be defined in several ways. …” / Google “AI agents are software systems that use AI to pursue goals and complete tasks on behalf of users.” • AIエージェントに関するサーベイにあたって先行事例を調査しよう💡 本論文の選定理由 3

4. © LY Corporation 🤖エージェントの方法論 • エージェントの構築・協調・進化の方法 🔧エージェントの評価とツール • 評価ベンチマーク・外部ツールおよび API との統合方法 ⚠ 実世界における問題 • セキュリティ・プライバシー・社会への影響や倫理的な問題 📊エージェントを用いた応用例 • 科学的発見・ゲーム・社会科学・生産性を高めるツール 🔭 今後の挑戦・トレンド • スケーラビリティ・記憶の制限・科学的厳密性 • マルチターン・マルチエージェント構成の評価 • エージェントが暴走しないような安全装置について • エージェントにおけるロールプレイング 本論文の構成 4
 本サーベイは GitHub 上で “awesomeまとめ” として 公開されている github.com/luo-junyu/Awes ome-Agent-Papers
5. © LY Corporation 大規模言語モデル (LLM) の性能向上により人工知能 (AI) 技術は次なるステップへ [Xi+ SCIS’25] • LLM を基に、環境の認識・目標に対する推論および行動するエージェントの実現が見えてきた 従来の AI システム vs. 現在の LLM ベースエージェント • ユーザの入力に単に反応するのみ vs. 継続的な学習・推論・環境適応を通じた相互作用能力 • 商用 LLM エージェント (例：DeepResearch (OpenAI/Google)、DeepSearch, Manus) は非常に強力で有用 • 人間が専門知識を要していた複雑なタスクを自律的に実行し、ユーザのニーズに適応 従来のエージェントシステム [Wooldridge+ KER’95] vs. 現在の LLM ベースエージェント • 複数の軸で大きな進化：知識量 [Zheng+ arXiv’24] ・汎化能力 [Lotfi+ ICML’24]・相互作用 [Fei+ LREC’24] LLM エージェントの進化の鍵は主に 3 つ • 高い推論能力 [Huang+ ACL-F’23] • ツール操作や環境適応能力 [Zhao+ ’23, Zhang+ ’24 arXiv] • 長期依存の記憶力 [Sumers+ TMLR’24] 導入 5
 本論文では：最新のエージェント システムに関してまとめる • 急速な発展を研究者が理解するた めの分類体系や調査結果を提示
6. © LY Corporation • ◦ • ◦ • ◦ • ◦ • ◦ • ◦ • ◦ 6
 導入 | LLM エージェントを取り巻くエコシステム
7. © LY Corporation • ◦ • ◦ • ◦ • ◦ • ◦ • ◦ • ◦ 7
 導入 | LLM エージェントを取り巻くエコシステム コアとなる LLM エージェントの方法論 構築：エージェントの定義方法 協働：相互作用し協力する方法 進化：時間経過に伴う学習と改善
8. © LY Corporation • ◦ • ◦ • ◦ • ◦ • ◦ • ◦ • ◦ 8
 導入 | LLM エージェントを取り巻くエコシステム LLM エージェントの方法論の 3 軸 を補完する要素を体系的に紹介 評価手法・開発ツール・ セキュリティと倫理・ 多様な応用分野 etc.
9. © LY Corporation 従来のサーベイ (1)：個別の応用事例に特化したもの • 応用 e.g., ゲーム [Hu+ arXiv’24, Xu+ arXiv’24]、デプロイ環境 [Xu+ ICST’2024, Qu+ ICST’24]、 マルチモーダル [Durante+ arXiv’24]、セキュリティ [Wang+ arXiv’24] • 方法論の詳細な分類は行わずに広く研究概要を紹介したもの [Xi+ SCIS’25, Wang+ FCS’24] 従来のサーベイ (2)：これまでのパラダイムと比較したもの • 従来の AI エージェント [Zhao+ arXiv’23]、マルチエージェントの相互作用 [Li+ Vicinagearth’24]、 ワークフロー [Li COLING’25]、協調的意思決定機構 [Jin+ arXiv’25] etc. 本サーベイの貢献 • 方法論中心の体系的整理 ◦ 提案された LLM エージェントシステムに対する体系的整理を提示 • 構築・協調・進化の側面で従来のサーベイ [Guo+ IJCAI’24, Masterman+ arXiv’24] よりも包括的に調査 ◦ 各側面は別々に扱われることが多かった [Guo+ IJCAI’24, Cheng+ arXiv’24] • 最先端の応用と現実世界に着眼: 理論に対して応用事例についても広く調査を実施 AIエージェントに関する他サーベイとの比較 9

10. © LY Corporation 構築・協調・進化の3つの視点から LLM ベースのエージェントシステムを 理解するための枠組みを紹介 • エージェントの構築 ◦ プロファイル（= 役割）定義・ 記憶機構・計画能力・行動実行など • エージェントの協調 ◦ 中央集権型・分散協調型・ハイブリッド型 • エージェントの進化 ◦ 自律的最適化・マルチエージェントに おける共進化・外部リソースの統合 エージェントの方法論 10

11. © LY Corporation エージェントの構築：LLM に基づく自律システムの開発のおける基礎 > 目標指向で行動を可能にするコンポーネントを体系的に解説 プロファイルの定義：エージェント固有の属性や行動パターンを設定 • 静的プロファイル：ドメインの専門家によるエージェントの役割定義 ◦ AutoGen [Wu+ COLM’24], MetaGPT [Hong+, ICLR'24], ChatDev [Qian+, ACL'24] etc. • 動的プロファイル：人間の社会的行動を模倣できるようなプロファイルを自動で生成 ◦ Generative Agents [Park+, UIST'23], RecAgent [Wang+ TOIS’25], DSPy [Khattab+, ICLR'24] etc. メモリ機構：エージェントが情報の保存・整理・検索する方法 • 短期記憶：即時タスク実行のための履歴保持 ◦ ReAct [Yao+ ICLR’23], ChatDev, Graph of Thoughts [Besta+ AAAI’24], AFlow [Zhang+ ICLR’25], etc. • 長期記憶：エージェントの中・長期的行動計画を保持 ◦ Voyager [Wang+ TMLR’25], GITM [Zhu+ arXiv’23], ExpeL [Zhao+ AAAI’24], Reflexion [Shinn+ NeurIPS’23], etc. • 外部記憶：エージェントがアクセス可能な知識を効果的に拡大 ◦ RAG [Lewis+ NeurIPS’20], GraphRAG [Edge+ arXiv’24], CoA [Zhang+ NeurIPS’24], IRCoT [Trivedi+ ACL’23] エージェントの方法論 |エージェントの構築 1/2 11

12. © LY Corporation 計画能力：LLM エージェントが複雑なタスクや問題解決を高精度に実現する • タスク分解：LLM の計画能力を強化するアプローチ ◦ Plan-and-solve Prompting [Wang+ ACL’23], ReAct, Tree-planner [Hu+ ICLR’24], Tree-of-thought [Long arXiv’23] • フィードバッグ型反復：人間の指示・環境等からフィードバッグをもらって性能向上 ◦ BrainBody-LLM [Bhat+ arXiv’24], TrainerAgent [Li+ arXiv’23], RASC [Wan+ NAACL’25] 行動実行：LLMエージェントが行動するために重要な能力 • ツール利用：数値の正確な計算・最新情報の理解・高度なコード生成 etc. ◦ TRICE [Qiao+ NAAC’24], GPT4Tools [Yang+ NeurIPS’23], EASYTOOL [Yuan+ NAAC’25] • 物理世界との相互作用：実世界に対してLLMエージェントの行動を支援 ◦ DriVLMe [Huang+ IROS’24], ReAd [Zhang+ arXiv’24] エージェントの方法論 |エージェントの構築 2/2 12

13. © LY Corporation LLMエージェント間の連携は個々の推論を超えて問題解決能力を拡張する上で重要 > 既存の連携・協調パラダイムを3つのアーキテクチャに分類 中央集権型：メインのコントローラがタスク割当や意思決定をする方法 • 明示的な制御：複数の専門エージェントをコントロールするアーキテクチャ ◦ Cosientist [Boiko+ Nature’23], LLM-Blender [Jiang+ EMNLP’23], MetaGPT • 差分ベースシステム：メタ的エージェントが分化していくアーキテクチャ ◦ AutoAct [Qiao+ ACL’24], Meta-Prompting [Suzgun+ arXiv’24], Wjudge [Khan+ ICML’24], etc. 分散協調型：メインコントローラのボトルネックをノード間直接相互作用で解消 • Revision ベース：エージェント同士が最終決定のみを共有して順番に編集・修正して合意形成 ◦ MedAgents [Tang+ ACL-F’24], ReConcile [Chen+ ACL’24], METAL [Li+ ACL’25], etc. • Communication ベース：エージェント同士が直接対話して推論過程を観察し合う ◦ MAD [Liang+ EMNLP’24], MADR [Kim+ arXiv’24], MDebate [Du+ ICML’23], AutoGen, etc. ハイブリッド：... 次ページへ エージェントの方法論 |エージェントの協調 1/2 13

14. © LY Corporation ハイブリッド：制御性と柔軟性のバランスを取って様々なタスク要件に適応 • 静的構造：複数の協調方式を固定したパターンで組み合わせる ◦ CAMEL [Li+ NeurIPS’23], AFlow, EoT [Yin+ EMNLP’23], etc. • 動的構造：実行中のパフォーマンスに応じて協調方式を自動で再構築する ◦ DiscoGraph [Li+ NeurIPS’21], DyLAN [Liu+ COLM’24], MDAgents [Kim+ NeurIPS’24], etc. エージェントの方法論 |エージェントの協調 2/2 14
 MDAgents [Kim+ NeurIPS’24] EoT [Yin+ EMNLP’23]
15. © LY Corporation LLMエージェントは自律的改善・複数エージェント間の相互作用等により進化する > エージェントの進化に関する 3 つのアプローチ 自律最適化・自己学習：教師信号なしにLLMエージェントが能力を向上させる方法 • 自己教師あり学習：人手に頼らず自律的かつ効率的に学習・適応し汎化性能を向上 ◦ 自己進化学習 [Zhong+ ACL-F’23], DiverseEvol [Wu+ arXiv’23], etc. • Self-Reflection / Correction：自己で”反省”や”修正”を行って精度を高めて予測品質向上 ◦ SELF-REFINE [Madaan+ NeurIPS’23], STaR [Zelikman+ NeurIPS’24], V-STaR [Hosseini+ COLM’24], etc. • Self-Rewarding / 強化学習：LLM自身の出力を報酬にした自己改善の実現 ◦ Self-rewarding LM [Yuan+ ICML’24], RLCD [Yang+ ICLR’24], RLC [Pang+ ICLR’24], etc. マルチエージェントの共進化：LLM が他のエージェントとの相互作用を通じて改善 • 協調学習：LLMエージェント同士が知識を共有したり共同で意思決定をする枠組み ◦ ProAgent [Zhang+ AAAI’24], CORY [Ma+ NeurIPS’24], CAMEL, etc. • 競争的進化：LLM同士の競争を通じて互いの弱点を指摘し合い、適応力を高める枠組み ◦ Red-team LLM [Ma+ arXiv’23], MDebate, MAD, etc. エージェントの方法論 |エージェントの進化 1/2 15

16. © LY Corporation 外部リソースによる進化：構造化された情報とフィードバッグにより、進化を促す • 知識強化による進化：推論や意思決定、タスク実行の信頼性と効率を高める ◦ KnowAgent [Zhu+ NAACL-F’24], World Knowledge Model [Qiao+ NeurIPS’24], etc. • 外部フィードバック駆動進化：ツールや評価者・人間の信号から出力を検証して進化する ◦ CRITIC [Guo+ ICLR’24], STE [Song+ ACL’24], SelfEvolve [Jiang+ arXiv’23], etc. エージェントの方法論 |エージェントの進化 2/2 16
 KnowAgent [Zhu+ NAACL-F’24] World Knowledge Model [Qiao+ NeurIPS’24]
17. © LY Corporation LLM エージェントの評価方法の確立が急務 > LLM エージェントの開発・評価・デプロイを評価可能なベンチマークやツールを紹介 • LLM エージェントの評価方法 ◦ 一般的な評価の枠組み ◦ ドメイン特化評価の枠組み ◦ 協調度合いの評価の枠組み • LLM エージェントとツール ◦ エージェントが使用するツール ◦ エージェントがツールを作る ◦ エージェントのデプロイ環境 エージェントの評価とツール 17

18. © LY Corporation LLM エージェントのこれまでの進化は適切なベンチマークの構築により推進 > 3 つの観点から評価ベンチマーク構築の研究が進んでいる 一般的な評価の枠組み • 多次元能力評価：単純な予測精度のみではなく複数の観点からLLMエージェントを分析 ◦ AgentBench [Liu+ ICLR’23], Mind2Web [Deng+ NeurIPS’23], MMAU [Yin+ NAACL-F’24], BLADE [Gu+ EMNLP-F’24], VisualAgentBench [Liu+ ICLR’25] etc. • 動的・自己進化型評価：ベンチマークの陳腐化防止。自動生成や人間との協働を取り入れる ◦ BENCHAGENTS [Butt+ ICLRW’24], TestAgent [Wang+ arXiv’24], Seal-Tools [Wu+ NLPCC’24], CToolEval [Guo+ ACL-F’24], etc. エージェントの評価とツール | 評価ベンチマークとデータセット 1/2 18

19. © LY Corporation ドメイン特化の評価 • 医療・自動運転・データサイエンス等の専門領域評価：現実的なシナリオや専門タスクで評価 ◦ 医療：MedAgentBench [Jiang+ arXiv’24], AI Hospital [Fan+ COLING’25], etc. ◦ 自動運転：LaMPilot [Ma+ CVPR’24] etc. ◦ データサイエンス：DSEval [Zhang+ ACL’24], DA-Code [Huang+ EMNLP’24], DCA-Bench [Huang+ arXiv’24] ◦ 機械学習エンジニア・セキュリティエンジニア：MLAgent-Bench [Huang+ NeurIPSW’23], MLE-Bench [Chan+ ICLR’25], AgentHarm [Andriushchenko+ ICLR’25], etc. • 実世界シュミレーション：実世界で要求される設定で LLM エージェントの性能を測る ◦ OSWorld [Xie+ NeirPS’24], TurkingBench [Xu+ NAACL’25], OmniACT [Kapoor+ ECCV’24], etc. 協調度合いの評価 • マルチエージェントシステムのベンチマーク：組織的な複雑さに対して集合知を定量化 ◦ TestAgentCompany [Xu+ arXiv’24], AutoGen / CrewAI [Barbarroxa PAAMS’24], etc. エージェントの評価とツール | 評価ベンチマークとデータセット 2/2 19

20. © LY Corporation “ツール” は LLM エージェントの重要な部分 > 複雑なタスクを処理するために外部ツールを適切に呼び出して課題解決が可能 エージェントが “使う” ツール：LLM が苦手な処理をツールで補う • 知識検索：LLM の学習データに入っていないようなリアルタイムの情報を取得するのに有効 ◦ WebGPT [Nakano+ arXiv’21], WebCPM [Qin+ ACL’23], ToolCoder [Zhang+ arXiv’23], etc. • 計算・コード実行：LLM は計算が苦手。プログラミング言語などを呼び出し可能 ◦ AutoCoder [Lei+ arXiv’24], CodeActAgent [Wang+ ICML’24], Toolformer [Schick+ NeurIPS’23], etc. • API 連携：外部 API を LLM から利用することでさらなる能力拡張が実現 ◦ RestGPT [Song+ arXiv’23], GraphQLRestBench [Saha+ EMNLP’24], etc. エージェントが “作る” ツール：LLMが利用する前提のツールを生成・管理・活用 • タスクに応じたツールの自動生成：ツールは人間が使用する前提なためLLM用に抽象化 ◦ CRAFT [Yuan+ ICLR’24]:特定のタスク向け GPT-4 生成コードを収集・コードスニペットへ • ツール計画と呼び出しの自動化：生成したツールを適切に呼び出し実行する枠組みの提案 ◦ Toolink [Qian+ NAACL’24], CREATOR [Qian+ EMNLP-F’23], LATM [Cai+ ICLR’24], etc. エージェントの評価とツール | LLMと外部をつなぐツール 1/2 20

21. © LY Corporation LLMエージェント運用ツール • LLM エージェントの本番運用支援：LLMアプリケーションを簡単に本番環境へ導入可能な基盤 ◦ AutoGen [Wu+ COLM’24], LangChain, LamaIndex, Dify, etc. • LLM エージェントの運用・監視：学習や本番環境での性能監視 ◦ Ollama による監視, Dify によるアプリケーションログ分析, etc. • Model Context Protocol (MCP)：LLM とアプリケーションの接続方法を標準化 ◦ MCP は USB type-C のように同じコネクタで色々なものを繋げられるため注目 エージェントの評価とツール | LLMと外部をつなぐツール 2/2 21
 norahsakal.com/blog/mcp-vs-api-model-context-protocol-explained/
22. © LY Corporation LLM エージェントが社会に展開されるにつれて顕在化してくる課題 > 主に実世界での運用において 3 つの観点が注目されている • セキュリティの問題 ◦ エージェント中心 ◦ データ中心 • プライバシーの問題 ◦ 記憶に関する脆弱性 ◦ 知的財産権の悪用 • 社会的影響 ◦ 社会への潜在的な 利益とリスク ◦ 倫理的な懸念事項 実世界における問題 22

23. © LY Corporation エージェントに焦点を当てたセキュリティ > LLM のパラメータ、アーキテクチャ、推論過程等を標的とした攻撃 vs. その防御が目的 敵対的攻撃とその防御 • 攻撃方法：LLM を騙すような入力の改変や自己増殖的な敵対的攻撃が可能 ◦ SoK [Sun+ arXiv’24], CheatAgent [Ning+ KDD’24], GIGA [Yu+ NeurIPSW’24], AgentDojo, etc. • 防御方法：入力をクリーンにしたり、複数エージェントによる議論を通じて影響低減 ◦ LLAMOS [Lin+ arXiv’24], Multi-agent debate [Chern+ arXiv’24], etc. 脱獄攻撃とその防御 • 攻撃方法：強化学習ベースで悪意のあるプロンプトや入力を自動生成 ◦ RLTA [Wang+ ACLW’24], Atlas [Dong+ arXiv’24], RLbreaker [Chen+ arXiv’24], PathSeeker [Li+ arXiv’24], etc. • 防御方法：複数エージェントの協調によるフィルタリング、攻撃パターンの自己学習・検知 ◦ AutoDefence [Zeng+ NeurIPSW’24], Guardians [Barua+ arXiv’24], ShieldLearner [Ni+ arXiv’25], etc. 実世界における問題 | Agent-centric セキュリティ 1/2 23

24. © LY Corporation バックドア攻撃とその防御 • 攻撃方法：通常時は正常動作しているが、特定のトリガーで誤動作や有害な出力を誘発 ◦ 暗号化や難読化による検知回避や評価モデルの操作・推論過程の隠れた改変等が存在 ◦ DemonAgent [Zhu+ arXiv’25], BadAgent [Wang+ ACL’24], BadJudge [Tong+ ICLR’25], etc. • 防御方法：（本サーベイでは明示的には解説されていないため本発表者が追加調査） ◦ ユーザの指示やエージェントの計画・実行の矛盾を見つける ReAgent [Li+ arXiv’24] ◦ 入力に対する異常検知や監視、モデルそのものに対する監視の導入 モデル協調攻撃とその防御 • 攻撃方法：複数エージェント間の連携や通信を操作することで妨害 ◦ COBRA [Zhou+ arXiv’25], AiTM [He+ arXiv’25], etc. • 防御方法：エージェント間の安全性やトポロジーの分析、グラフNNによる異常検知等 ◦ Netsafe [Yu+ arXiv’24], Trustangent [Hua+ EMNLP’24], PsySafe [Zhang+ ACL’24], etc. 実世界における問題 | Agent-centric セキュリティ 2/2 24

25. © LY Corporation LLMエージェントに関するデータに焦点を当てたセキュリティ > 入力データを汚染して、最終的に不適切なツールの呼び出し等が目的 外部データ攻撃とその防御 1/2 • ユーザー入力の改ざん ◦ 攻撃方法：悪意のある入力をして目的を達成する比較的成功率が高い攻撃方法の一つ ▪ Agent-Pro [Zhang+ ACL’24], AgentDojo, InjectAgent [Zhan+ ACL-F’24], etc. ◦ 防御方法：入力のファイアウォール・情報監視・逐次チェック・サンドイッチ防御 ▪ Mantis [Pasquini+ arXiv’24], RTBAS [Zhong+ arXiv’25], TaskShield [Jia+ arXiv’24], etc. • 暗黒的心理誘導：悪い方に言い換えて誘導; ”配慮”→”不正”、”公平さ”→”裏切り”、”権威”→”転覆” ◦ 攻撃方法：✝ダーク✝な心理要素や特定の役割を注入してエージェントの攻撃性を上げる ▪ Evil Geniuses [Tian+ arXiv’23], etc. ◦ 防御方法：システムの心理評価を行う”ドクターエージェント”や”ポリスエージェント”の導入 ▪ PsySafe [Zhang+ ACL’24], etc. 実世界における問題 | Data-centric セキュリティ 1/2 25

26. © LY Corporation 外部データ攻撃とその防御 2/2 • 外部ソースによるポイズニング ◦ 攻撃方法：知識データベースや外部情報源へ悪意のあるサンプルを注入し指示への逸脱を図る ▪ Web agent attack pipeline [Li+ arXiv’25], Indirect Prompt Injection [Xiang+ NeurIPS’24 Comp.], etc. ◦ 防御方法：複数のエージェントを用いて外部知識の事実性を検証する ▪ FITD attack [Nakash+ arXiv’24], AgentPoison [Chen+ NeurIPS’24], Multi-agent debate, etc. インタラクション攻撃とその防御 • ユーザ・エージェント間：やりとりの履歴情報に直接悪意のある入力を注入する ◦ Memory Extraction Attack [Wang+ arXiv’25], Thief GPT [WUNDERWUZZI ‘23], etc. • 複数エージェント間：一つのエージェントに攻撃することで再帰的に影響を与える ◦ AgentSmith [Gu+ ICML’24], CORBA, AiTM, etc. • ツール・エージェント間：悪意のあるツールを呼び出させて攻撃する ◦ AgentHarm, InjectAgent, Agent Firewall [Abdelnabi+ arXiv’25], etc. 実世界における問題 | Data-centric セキュリティ 2/2 26

27. © LY Corporation LLMベースのマルチエージェントが使用されるにつれて浮き彫りとなるプライバシー問題 > LLM の記憶に介入した攻撃やプロンプトや知的財産の”窃盗”を含む攻撃に脆弱 LLMにおける記憶の脆弱性 • データ抽出攻撃：LLMの記憶力を悪用して訓練データから個人情報等を抜き取る [Carlini+ USENIX’21] ◦ モデルの規模やデータの訓練回数、入力文長が増すほどリスクが高まる [Carlini+ ICLR’23] • メンバ推論攻撃：特定のデータがLLMの訓練データに含まれているか判定する [Mireshghallah+ EMNLP’22] ◦ Fine-tuning すると脆弱性が高まり、マルチエージェント環境ではリスク大 • 属性推論攻撃：LLM の訓練データを利用して特定データの属性や特徴を推測 ◦ 多くの生成モデルがこのタイプの攻撃に対して非常に脆弱 [Pan+ IEEE SP’20] • 防御方法：訓練データからの個人情報の除去 [Kandpal+ ICML’22]、事前学習や微調整時の 差分プライバシーの導入 [Hoory+ EMNLP-F’21]、知識蒸留による知識移転 [Kang+ NeurIPS’23]、 プライバシー漏洩検出ツールによる事前評価 [Kim+ NeurIPS’23], etc 実世界における問題 | プライバシー 1/2 27

28. © LY Corporation 知的財産権の侵害 • モデル盗用攻撃：モデルに複数回入力して応答を観察し、モデルのパラメータ等 情報を抽出 ◦ BERT ベース API からモデルを抽出 [Krishna+ ICLR’20] ◦ デコーディング手法の抽出 [Naseh+ CCS’23] ◦ 使用されているコードの抽出 [Li+ ICSE’24] • プロンプト盗用攻撃：生成されたデータから元のプロンプト（=しばしばビジネス的価値が高い）を抽出 ◦ Text-to-image 生成モデルに 対する PromptStealer [Shen+ USENIX’24] ◦ PromptStealer を LLM へ応用した PromptStealing Attack [Sha+ arXiv’24] ◦ システムプロンプトを盗む PLeak [Hui+ CCS’24] 実世界における問題 | プライバシー 2/2 28
 PLeak [Hui+ CCS’24]
29. © LY Corporation 社会への利点 • 自動化による効率化：医療や法律、教育など多様な分野で自動化・効率化と生産性向上 ◦ 基盤モデルの登場による影響や問題の指摘 [Bommasani+ arXiv’23, Floridi+ M&M’20, Touvron+ arXiv’23] • 雇用の創出：単に人間の仕事を代替するのではなく、専門的な仕事をもカバーしつつある ◦ 人間の仕事の代替可能性 [Bommasani+ arXiv’23] ◦ 代替したあとにも新たな仕事が生まれる可能性 [Tadas+ SPICES’24] • 情報拡散の強化：企業の情報流通の効率化 up vs. フェイクニュースなど誤情報拡散の危険 up ◦ 教育分野における教員の知識補完 [Floridi+ M&M’20] ◦ 情報流通の高度化による社会全体の利便性向上 [Moore+ AIED’23] 実世界における問題 | 社会的影響や倫理的な問題 1/2 29

30. © LY Corporation 倫理的懸念 • バイアスや差別：訓練データの影響を受けないよう公平性向上・有害コンテンツ抑制に努める ◦ 依然として LLM（エージェント）はバイアスを引き継いでしまう [Liu+ arXiv’25] ◦ モデルの訓練をより洗練させたものにする [Bommasani+ arXiv’23, Floridi+ M&M’20, Touvron+ arXiv’23] • 生成結果に対する責任：品質の高いデータセットとガバナンス体制の構築が不可欠 ◦ 野良データを使用すると有害な出力が出てしまう可能性はゼロにはできない [Oh+ arXiv’24] ◦ 高品質なデータを作るべき [Bender+ FAACT’21] ◦ 有害性をチェックする機構が必要 [Brundage+ arXiv’20, Ganguli+ FAACT’22] • 著作権：AIも人間と同様倫理基準を守るべき？明確な規制がないまま需要が拡大 ◦ クリエイターの作品が無断利用されるなどの乱用が広がっている [Deng+ arXiv’24] ◦ 生成データが訓練データに混在するとモデルの出力が劣化する可能性 [Shumailov+ Nature’24] • その他：LLM モデルの本質的な弱点に目を向ける ◦ プライバシーの懸念 [Weidinger+ arXiv’21], 悪意のあるデータ操作 [Alber+ Nature’25], 誤情報拡散 [Floridi+ M&M’20] ◦ LLM が真の意味理解と文脈理解に欠けている・純粋な統計的な単語の関連付けに頼っている 実世界における問題 | 社会的影響や倫理的な問題 2/2 30

31. © LY Corporation LLM エージェントの高い汎用性による多数領域への応用 > 複雑なタスクへ学術・産業の両面から変革を後押し • 科学発見の加速 • インタラクティブなゲーム体験の向上 • 複雑な社会現象のモデル化 • 日々の生産性の向上 エージェントの応用例 31
 [The AI Scientist] [SciAgents]
32. © LY Corporation 複数のエージェントを活用することで多様な専門知識の組み合わせ・ツールの使用・ タスク分解が可能になり、単一の LLM の能力を拡張可能 [AAAI’25] 学際的応用 • マルチエージェントによる仮説生成・実験計画・査読自動化：SciAgents [Ghafarollahi+ AM’25], etc. • 専門知識の統合・役割分担による信頼性向上： Curie [Kon+ arXiv’25], AgentReview [Jin+ EMNLP’24], etc. 化学・材料・天文学への応用 • 専門ツールによる合成計画・物質設計・観測支援：ChemCrow [Bran+ Nature MI’24], etc. • 物理知識の活用・自律的な実験遂行：AtomAgents [Ghafarollahi+ arXiv’24], etc. 生物学への応用 • 遺伝子実験設計・バイオデータ解析・自己検証型発見：BioDiscoveryAgent [Roohani+ arXiv’24], etc. • マルチエージェントによる信頼性向上：RiGPS [Xiao+ arXiv’25], BioRAG [Wang+ arXiv’24], etc. エージェントの応用例 | 科学的発見 1/2 32

33. © LY Corporation 学術的データセットの構築 • 大規模データセットの自動生成・自己評価・知識更新：PathGen-1.6M [Sun+ ICLR’25], etc. • マルチエージェントによる品質向上：KALIN [Cai+ arXiv’25], GeneSUM [Chen+ BIBM’24], etc. 医療への応用 • “仮想”病院・診断支援・医療画像解析：AgentHospital [Li+ arXiv’24], ClinicalLab [Yan+ arXiv’24], etc. • 患者・医師エージェントによるシミュレーションと意思決定：AIPatient [Yu+ arXiv’24], CXR-Agent [Sharma+ arXiv’24], MedRAX [Fallahpour+ arXiv’25], Chest X-ray Benchmark [Lee+ CM’24], etc. エージェントの応用例 | 科学的発見 2/2 33
 AgentHospital [Li+ arXiv’24] ClinicalLab [Yan+ arXiv’24]
34. © LY Corporation LLM エージェントはゲーム開発にも大きな影響を与える > エージェントの複雑なゲーム環境下でも人間のような意思決定スキルを発揮 ゲームの実施 • ボットの制御・意思決定・継続学習・ 複雑環境での適応・人間らしい行動戦略の模倣 ◦ ReAct [Yao+ ICLR’23], Voyager [Wang+ TMLR’25], ChessGPT [Feng+ NeurIPS’23], GLAM [Carta+ ICML’23], etc. ゲームの生成 • 物語生成・自動ゲーム開発・インタラクティブ体験 ◦ ダンジョンズ&ドラゴンズをプレイすること でより良い物語を生成する CALYPSO [Zhu+ AIIDE’23] • マルチエージェントによる世界観の構築 ◦ GameGPT [Chen+ arXiv’23], 1001 Nights [Sun+ AIIDE’23], etc. エージェントの応用例 | ゲーム 34
 GameGPT [Chen+ arXiv’23]
35. © LY Corporation LLM エージェントの発展により、 人間の複雑な行動や相互作用をシミュレーション可能に 経済学への応用 • 経済活動・金融取引・市場競争シュミレーション・人間の意思決定や経済理論の再現 ◦ Econagent [Li+ ACL’24], TradingGPT [Li+ arXiv’23], CompeteAI [Zhao+ ICML’24], etc. 心理学への応用 • メンタルヘルス支援・社会的行動模倣・心理実験・多様な性格・思考プロセスの再現 ◦ 対話botによる利点とチャレンジ [Ma+ arXiv’23], MachineSOM [Zhang+ ACL’24], Turing Experiment [Aher+ ICML’23] (≠ turing test), etc. 社会シミュレーション • 社会行動・ネットワーク挙動・情報拡散の再現・現実的な人間集団のシミュレーション ◦ Generative Agents [Park+, UIST'23], SANDBOX [Liu+ ICLR’23], S3 [Gao+ arXiv’23], etc. エージェントの応用例 | 社会科学 35

36. © LY Corporation LLM エージェントの性能向上によりタスク解決の自動化が大きく全身 > 複数のドメインにまたがるようなタスクを効率的に捌けて生産性向上 ソフトウエア開発 • 複数役割の協調によるコード生成・開発プロセスの自動化・標準化手段・チャット駆動型開発 ◦ Software-development methodology (SDM) [Dong+ TOSEM’24], ChatDev, MetaGPT, etc. 推薦システムの構築 • ユーザ行動・ユーザ / アイテム相互作用のシミュレーション ◦ Agent4Rec [Zhang+ SIGIR’24], AgentCF [Zhang+ WWW’24], etc. • 知識統合・ツール活用によるパーソナライズ ◦ MACRec [Wang+ SIGIR’24], RecMind [Wang+ NAACL-F’24], etc. エージェントの応用例 | 生産性を高めるツール 36
 [Zhang+ SIGIR’24]
37. © LY Corporation 特に LLM ベースのマルチエージェントの進歩は大きな可能性をもたらす一方… > スケーラビリティ、メモリ・記憶機構、信頼性、評価などなど懸念はある > AI エージェントの将来を形作るトレンドを概説 今後 | LLM ベースのエージェントの展望 37
 [Qian+ ICLR’25] [Chan+ ICLR’24] [Jin+ EMNLP’24] [Wang+ arXiv’23]
38. © LY Corporation • 大規模LLMエージェントシステムの計算コストの増大 [Chan+ ICLR’24, Qian+ ICLR’25] ◦ エージェント間協調の非効率化（通信・同期・競合解決）[Rana+ AGENTS’00, Deters JGI’01] • 従来の軽量エージェント用フレームワーク ◦ LLM に最適化されていない [Wu+ COLM’24] • 将来の方向性 e.g, [Chan+ ICLR’24, Qian+ ICLR’25] ◦ エージェント間の階層構造の導入 上位 Agent が下位 Agent にタスクを委任 ◦ 分散計画による並列処理と定期的な同期 ◦ 効率的な通信プロトコルや スケジューリング機構の開発 今後 | スケーラビリティと協調 38
 [Qian+ ICLR’25]
39. © LY Corporation • マルチターン対話や長期知識の蓄積の困難さ [Verma+ NeurIPSW’24] ◦ LLM の有効なコンテキスト長が限定的・長期の履歴統合が難しい [Jiang+ EMNLP’23, Jin+ ACL-F’24] ◦ 現状のメモリ管理（ベクターデータベース・キャッシュ・RAG等）では限界あり [Yao+ ICWS’24] • 将来の方向性 e.g., [Cheng+ NeurIPS’24] ◦ 階層型メモリアーキテクチャ ▪ 短期・長期記憶の統合 ◦ 自律的知識圧縮・ 動的メモリのリファインメント 今後 |エージェントの記憶の制限と長期間の適応 39
 [Cheng+ NeurIPS’24]
40. © LY Corporation • LLM は知識が最新ではなく・網羅的でもない ◦ 出力のゆらぎやハルシネーションが生じやすい [Jin+ WWW’24, Agarwal+ AAAIW’25] ◦ 高リスク領域（医療・法務・科学研究等）では出力が重大な影響を及ぼす [Lu+ arXiv’24] • 将来の方向性 ◦ 知識グラフや外部情報源とのクロスリファレンス [Agrawal+ NAACL’24, Nakano+ arXiv’21] ➜ 出力に直接引用を付与するLLM の開発 [Gao+ EMNLP’23, Wang+ ICLR’23] ◦ AIと人間の協働による検証ループの標準化 ◦ 一貫性・説明責任を高める監査の枠組みの導入 今後 |エージェントの信頼性と科学的厳密性 40
 [Gao+ EMNLP’23]
41. © LY Corporation [Zhu+ ICML’24] • 従来の静的・単一ターン評価 [Verma+ NeurIPSW’24] ◦ プログラミングコンペ [Zhou+ EMNLP’23, Wang+ EMNLP-F’23]・対話生成 [Lykov+ arXiv’23] などにとどまる ◦ LLM エージェントの複雑な動作挙動を捉えきれない [Zhu+ ICLR’24] ◦ 長期適応・協調推論・エージェント間相互作用の評価が困難 • ベンチマークの陳腐化・データ汚染の懸念 • 将来の方向性 e.g., [Zhu+ ICML’24] ◦ マルチエージェント・マルチターンを考慮した動的評価手法 ◦ 構造化されたパフォーマンス指標の提案 ◦ 適応的サンプル生成の導入 今後 | マルチターン・マルチエージェント構成 41

42. © LY Corporation • エージェント AI の自律性の向上に伴った問題 ◦ 説明責任・動作の透明性・安全性の確保が課題 • バイアスや差別といったリスクの検出の難しさ [Yi+ arXiv’23, Liu+ arXiv’25] • 将来の方向性 e.g., [Wang+ arXiv’23] ◦ 標準化されたバイアス監査・トレーサビリティ機構の導入 ◦ 法制度、倫理規範と連携した運用ガイドラインの策定 ◦ 多分野連携（政策・研究・産業界）による規制の枠組みの構築 今後 |エージェントが暴走しないような安全装置 42
 [Wang+ arXiv’23]
43. © LY Corporation • LLM エージェントによる役割の再現の限界 [Chan+ ICLR’24, ChatArena] ◦ 研究者・議論者・教育者等の模倣がよく使用されるが限界もある [Wang+ arXiv’23, Yao+ NAACL’24] • 学習データの偏りや人間認知の不完全な理解が課題 [Nguyen+ NAACL-F’25] • 現実的な多様性・対話の再現が困難 [Jin+ EMNLP’24] • 将来の方向性 ◦ マルチエージェント協調による多様なロールプレイの高度化 ◦ 現実世界の推論・対話の枠組みの導入 / 対話多様性・現実性向上のためのデータ拡充 今後 |エージェントにおけるロールプレイング 43
 AgentReview [Jin+ EMNLP’24]
44. © LY Corporation • LLM エージェントの分類体系の提示 ◦ エージェントの方法論の分解（構築・協調・進化） • シングル・マルチエージェントの統一的なアーキテクチャ視点の提供 ◦ 個々のエージェント設計原則とマルチエージェント協働システムの橋渡し • LLM エージェントに関する課題・問題の指摘 ◦ スケーラビリティ、メモリ成約、信頼性、不十分な評価の枠組み etc. • これからのエージェント能力の向上 ◦ 協調プロトコル・ハイブリッドなアーキテクチャ ・自己教師あり学習・安全性担保機構 etc. • 既存の研究を理解して有望な方向性の発見 ◦ LLM エージェント技術が人間と計算機の協業を根本的に変革 まとめ 44