AI Agentを「期待通り」に動かすために：設計アプローチの模索と現在地

zawakin (Yuki Miyake) / 株式会社ナレッジワーク AIエンジニア

※2025/4/16(水) 開催「AI AgentOps LT大会！！！」 での登壇資料です。
https://mlops.connpass.com/event/347046/

Transcript

1. AI Agentを「期待通り」に動かすために ： 設計アプローチの模索と現在地 @zawakin (株式会社ナレッジワーク)
2. © Knowledge Work Inc. ⾃⼰紹介 zawakin (@zawawahoge) 株式会社ナレッジワーク AIエンジニア エキスパート (2020年⼊社) ⾃社開発BtoB SaaS「ナレッジワーク」のAI機能開発‧導 ⼊を多数経験。 現在やっていること • AI技術戦略策定 • AIエージェント開発 • 組織イネーブルメント（社内AI活⽤推進含む） 2
3. © Knowledge Work Inc. Profile 会社概要 3 Profile 会社概要 創業日 代表者 事業内容 2020年4月1日 麻野 耕司 ナレッジワークの開発・提供
4. © Knowledge Work Inc. 4 • ぶつかる壁：「⾃律性」と「制御性」のバランス • 試みていること：「ツール」への分解と設計 • 共有したいこと：その際の「粒度」の悩みと模索のリアル 本⽇のテーマ
5. © Knowledge Work Inc. Agenda ⽬次 5 • はじめに：AI Agent、期待通りに動いてますか？ • 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ • 提案：「ツール」にどう分ける？ - 設計アプローチの模索 • 具体例：旅⾏プランAgentで⾒る「粒度」の影響 • まとめ
6. © Knowledge Work Inc. Agenda ⽬次 6 • はじめに：AI Agent、期待通りに動いてますか？ • 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ • 提案：「ツール」にどう分ける？ - 設計アプローチの模索 • 具体例：旅⾏プランAgentで⾒る「粒度」の影響 • まとめ
7. © Knowledge Work Inc. 7 AI Agent、可能性は感じるけど、 『期待通り』に動かすのって 結構難しくないですか？ 課題
8. © Knowledge Work Inc. なぜAgentは期待通り動かない？：安定性の低さ 8 8 「思ったように動かない」「意図通りに制御できない」ことが多い 判断結果が安定せず気まぐれ • Agentの「気まぐれ」な判断（「やたら深掘り」 vs 「あっさり完了」） • 意図通りに進まないステップ（「今はそっちじゃないんだけどなぁ」） ⼈間にとっての「ちょうどいい塩梅」が伝わってない • 柔軟なアウトプット制御の難しさ • 「ちょうどいい塩梅」の調整が難しい（「1個ずつ丁寧」vs「まとめてドカン」）
9. © Knowledge Work Inc. Agenda ⽬次 9 • はじめに：AI Agent、期待通りに動いてますか？ • 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ • 提案：「ツール」にどう分ける？ - 設計アプローチの模索 • 具体例：旅⾏プランAgentで⾒る「粒度」の影響 • まとめ
10. © Knowledge Work Inc. 10 『Agentが期待通りに動かない』問題 これらの根底には、多くの場合 『⾃律性』と『制御性』 のトレードオフが存在する 『Agentが期待通りに動かない』問題
11. © Knowledge Work Inc. ⾔葉の定義 11 ⾃律性：どれだけ任せられるか LLMが推論に基づいて⾃由に計画を⽴て、状況に応じて ツールを選択‧実⾏する度合い 制御性：どれだけ意図通りに動かせるか 設計者の意図通りに、予測可能かつ安定して動作する度 合い
12. © Knowledge Work Inc. AI Agent のトレードオフ 12 12 あちらを⽴てればこちらが⽴たず、という関係になりがち ⾃律性と制御性のトレードオフ ⾃律性を⾼めると 柔軟になるが、予測不能性が増⼤ • メリット: 未知の状況への対応、⼈間の介⼊削減、効率化 • デメリット: 予測不能性の増⼤、意図しない動作のリスク、エラー時の原因特定困難 制御性を⾼めると: 意図通りの動作になるが、柔軟性を失う • メリット: 意図通りの動作、安全性‧信頼性の確保、結果の予測可能性 • デメリット: 柔軟性の低下、想定外の状況への対応不可、開発‧メンテナンスコスト増
13. © Knowledge Work Inc. Agenda ⽬次 13 • はじめに：AI Agent、期待通りに動いてますか？ • 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ • 提案：「ツール」にどう分ける？ - 設計アプローチの模索 • 具体例：旅⾏プランAgentで⾒る「粒度」の影響 • まとめ
14. © Knowledge Work Inc. 14 AI Agentを『期待通り』に動かすためには、 この避けられないトレードオフといかに向き合い 設計によってバランスを取るか重要 （特定のモデルやツールを使えば解決する、という単純な話ではない） AI Agent を期待通りに動かすために
15. © Knowledge Work Inc. 15 じゃあ、この業務プロセスを、どう分析して、 どんな単位で「ツール」に分割‧設計すればいい？ 実践上の課題提起
16. © Knowledge Work Inc. 16 業務プロセスを構造的に分析し、 意味のある単位で「ツール」に分解‧抽象化していくためのア プローチを模索する！ 実践上の課題提起
17. © Knowledge Work Inc. 設計の考え⽅：プロセスフロー図的なアプローチの活⽤ 17 17 業務フローを可視化‧分析する考え⽅を使ってツール設計します ① プロセスの可視化 • まず、対象となる業務プロセスを、具体的なステップに分解し、順番に並べる ◦ （例：〇〇を受け取る→△△を確認→□□を判断→...） ② ⼊出⼒成果物とアクションの明確化 • 各ステップについて、何を⼊⼒とし、何を実⾏し、何を出⼒するのかを明確に定義する ③ 「ツール」としての切り出し • 検討：「アクション」部分を、再利⽤可能でテスト可能な単位として『ツール』に切り出せない か？
18. © Knowledge Work Inc. 設計上の勘所：「粒度」の重要性 18 18 『ちょうどいい粒度』を⾒つけることが、設計の鍵 ツールが⼤きすぎる • ツールが多くを知りすぎてしまい柔軟性に⽋ける • 再利⽤性が低下する ツールが細かすぎる • 管理コスト増⼤ • Agentがツール選択で迷う
19. © Knowledge Work Inc. Agenda ⽬次 19 • はじめに：AI Agent、期待通りに動いてますか？ • 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ • 提案：「ツール」にどう分ける？ - 設計アプローチの模索 • 具体例：旅⾏プランAgentで⾒る「粒度」の影響 • まとめ
20. © Knowledge Work Inc. プロセス可視化 20 ⼊出⼒定義とアクションを定義し、プロセスを可視化します ⼊⼒１ ⼊⼒２ アクション （ツール） 出⼒１ ⼊⼒３ 出⼒２ 🔧
21. © Knowledge Work Inc. ツール粒度の影響を 『旅⾏プラン作成Agent』を例に 具体的にみていきましょう 21 適⽤イメージと現状‧考察（旅⾏プランAgent Ver.）
22. © Knowledge Work Inc. パターン1：粒度の粗いツール設計（低⾃律性‧⾼制御性） 22 事前に定義されたツールの内部ロジックに従う 従来のプログラムに近い感覚（＝⾼い制御性）で扱える部分が多い でもエージェントぽくはない。 出発地 ⽬的地 宿泊予算 興味 プランを 作成する プラン 🔧 内部ロジックは ツール開発者が定義！ （＝⾼い制御性）
23. © Knowledge Work Inc. パターン2：粒度の細かいツール設計（⾼⾃律性‧低制御性） 23 LLMによって計画‧ツール呼び出しが多く⾏われる ⾮決定論的な振る舞いが多くなり、制御難易度が⾼い フライト予定 プランを まとめる プラン ホテル選択肢 観光名所選択肢 出発地‧⽬的地‧⽇付 ⾶⾏機検索 フライト予定 場所‧⽇付‧予算 ホテル検索 ホテル選択肢 場所‧興味 観光名所検索 観光名所選択肢 🔧 🔧 🔧 🔧 🔧 … 🔧 🔧 …
24. © Knowledge Work Inc. パターン３：ちょうどよい粒度（中間の⾃律性‧中間の制御性） 24 ⼤まかなプランを作るところまではワークフローで⼈間が設計（⾼制御性） あとの細かいところはツールに任せる（⾼⾃律性） プランを 作る プラン 場所のイメージ ⽇程候補 ⼤まかな予算 旅⾏プラン検索 ⼤まかなプラン 🔧 🔧 ある程度ワークフローで 候補抽出まで組んじゃう ⼤まかなプラン ⼤まかなプラン ⾶⾏機検索 フライト予定 🔧 フライト予定 …
25. © Knowledge Work Inc. Agenda ⽬次 25 • はじめに：AI Agent、期待通りに動いてますか？ • 課題：なぜ難しい？ - ⾃律性と制御性のジレンマ • 提案：「ツール」にどう分ける？ - 設計アプローチの模索 • 具体例：旅⾏プランAgentで⾒る「粒度」の影響 • まとめ
26. © Knowledge Work Inc. まとめ：今⽇のポイント 26 • 今⽇のポイント ◦ AI Agent設計の核⼼課題：「⾃律性」と「制御性」のバランス ◦ 有⼒なアプローチ候補：業務プロセスを「ツール」へ分解‧設計 ◦ 設計の鍵であり悩み：「ツール粒度」の最適化（← ここを模索中！） ◦ ⽬指す価値：制御しやすく、評価‧再利⽤‧拡張しやすいAgentへ 良いツール粒度を 探していこう！
27. © Knowledge Work Inc. 【宣伝】エンジニア積極募集中！ 27 27 https://kwork.studio/recruit-engineer ナレッジワークではエンジニアを絶賛大募集中です！