非機能要件起点のAIエージェント構築

非機能要件ーけんけんけーーーーーーん！

Transcript

1. 2026.08.17 非機能要件起点のAIエージェント構築 KDDIアジャイル開発センター 髙谷 憲司
2. 自己紹介 KDDIアジャイル開発センター 名古屋サテライトオフィス長/スクラムマスター 髙谷 憲司 (たかたに) ずっと好きなもの： • 作曲、バンド、キャンプ、お笑い芸人 ◦ 多次元制御機構よだか (おすすめのバンド 最近の娯楽： • 個室サウナで聞くお笑い芸人のラジオ ◦ 真空ジェシカのラジオ父ちゃん ◦ ママタルトのラジオ母ちゃん ◦ 金属バットの社会の窓 ◦ 雷獣の声刀（※ 芸人ではない） KDDI Agile Development Center Corporation 1
4. 書籍 KAGメンバーの執筆書籍のご紹介 新刊 御田 稔（みのるん） 上田 瀟逸 伊野瀬 出 前川 蒼 大岩 潤矢 高崎 和成 御田 稔（みのるん） 平湯 太郎 高槻 大貴 米道 卓音 既刊 第4刷決定 累計8000部突破 小田中育生 第3刷決定 累計6000部突破 第4刷決定 累計1万部突破
6. かわいい ｽﾀｯｸﾁｬﾝ x AgentCoreめっちゃいいよ KDDI Agile Development Center Corporation 5
7. アーキテクチャ（一部抜粋） 6 応答 + 音声 AgentCore 認証トークン 付きリクエスト 話しかける 検証OK 1 2 ｽﾀｯｸﾁｬﾝ ユーザー 声で返す AgentCore Gateway (MCP) AgentCore Runtime M5Stack CoreS3 認証 Cognito JWT認証 会話エージェント 4 3 会話履歴とMemory参照を保 持する唯一の推論ループ。 Transcribe / Pollyで音声翻訳・ 出力 7 使用するツールや呼び出しを権限の 中で適切に操作 AgentCore Memory 5 好み(Preference)・事実(Fact)を 記憶。レポートも作成 フローざっくり ①②③ 話しかけ →認証→リクエスト ④⑤ RuntimeがGatewayでツール実行 ・Memoryを読み書き ⑥⑦ 応答を音声で返す 推論を含まない 単一機能ツール Lambda 会話 / 写真 / 天気 / アジャイル / ニュース / 感情分析 ... etc のツールを保持 AgentCore Evaluations ・会話の妥当性を非同期で評価 ・トークン数の確認 「かぐかぐのキャラ設定担保」 ※ Evaluationsが会話を非同期評価 KDDI Agile Development Center Corporation 6
8. アーキテクチャ（一部抜粋） 6 応答 + 音声 AgentCore 認証トークン 付きリクエスト 話しかける 検証OK 1 2 ｽﾀｯｸﾁｬﾝ ユーザー 声で返す 7 AgentCore Gateway (MCP) AgentCore Runtime M5Stack CoreS3 認証 Cognito JWT認証 会話エージェント 4 3 使用するツールや呼び出しを権限の 中で適切に操作 通信に時間かかるので ローカルの方がいいなぁ・・・って思いました 会話履歴とMemory参照を保 持する唯一の推論ループ。 Transcribe / Pollyで音声翻訳・ 出力 5 AgentCore Memory 好み(Preference)・事実(Fact)を 記憶。レポートも作成 フローざっくり ①②③ 話しかけ →認証→リクエスト ④⑤ RuntimeがGatewayでツール実行 ・Memoryを読み書き ⑥⑦ 応答を音声で返す 推論を含まない 単一機能ツール Lambda 会話 / 写真 / 天気 / アジャイル / ニュース / 感情分析 ... etc のツールを保持 AgentCore Evaluations ・会話の妥当性を非同期で評価 ・トークン数の確認 「かぐかぐのキャラ設定担保」 ※ Evaluationsが会話を非同期評価 KDDI Agile Development Center Corporation 7
9. Outline • Learning Outcome • 昨今のAIエージェント情勢(core) • 越えられない壁(why) • 何を解決すべきなのか(what) / 手段は？(How) • まとめ KDDI Agile Development Center Corporation 8
10. Learning Outcome 非機能要件を起点に AIエー ジェントに昨今求められる実 装を考えよう 〜非機能要件四天王を倒そう〜 KDDI Agile Development Center Corporation 9
11. AIエージェント導入における昨今の課題 野良AIエージェントは作れる AIを用いたバイブコーディングで簡単に作れる AIエージェントを本番に出せる ・情シス・法務の観点よりリリース判断が難しい。 ・特定ユーザーが使わないため無駄なコストがかかる KDDI Agile Development Center Corporation 10
12. AIエージェント導入における昨今の課題 参考：IPA 2026 DX動向 2026年7月30日 第1版発行 2026年4月中旬〜6月中旬に実施 KDDI Agile Development Center Corporation 11
13. ・現場でよく聞く声 四天王 1 渡す 「社外秘、入れて大丈夫？」 2 触れる 「連携時の権限管理大丈夫？」 3 測る 「コストはいくら？」 4 見える 「証跡って追えるの？」 KDDI Agile Development Center Corporation 12
14. ・現場でよく聞く声 四天王 1 渡す 「社外秘、入れて大丈夫？」 2 触れる 「連携時の権限管理大丈夫？」 3 測る 「コストはいくら？」 4 見える 「証跡って追えるの？」 KDDI Agile Development Center Corporation OWA SP LLM Top4 13
15. AIエージェント開発で課題になっていること 特に、セキュリティ、ガイドラインへの課題が多い。 参考： IPA 2026 DX動向 参考： McKinsey AI Trust Maturity Survey（回答者の %・複数回答可） エージェント型 AIの完全なスケール化を妨げる主な障壁（回答者の割合、 %） セキュリティ・リスクの懸念 62 規制の不確実性 38 技術的な制約 38 責任あるAIのツール・統制の不足 36 リソース・予算の制約 34 ビジネス価値が不明確・不十分 32 ベンダー・エコシステムの未成熟 28 組織の抵抗 経営層の支持不足 23 9 出典：McKinsey「State of AI trust in 2026」Exhibit 6 ／ 調査期間 2025年12月〜2026年1月（n=496） 「なし」1%・「その他」2%は非表示。回答者は当てはまるものをすべて選択 セキュリティとリスクへの懸念が、エージェント型 AIの完全なスケール化を妨げる最も頻繁に挙げられる障壁である。 参考：IPA 2026 DX動向 2026年7月30日 第1版発行 2026年4月中旬〜6月中旬に実施されたもので、副題は「広がる AI導入、DXは変われるか」 KDDI Agile Development Center Corporation 14
16. 理想の世界線 vs 現実 KDDI Agile Development Center Corporation 15
17. 理想の世界線 vs 現実 越えられない壁 KDDI Agile Development Center Corporation 16
18. 越えられない壁に必要なもの (why) 現場にしかない 非機能要件のレベルを理解すること • AIに対するセキュリティ • 権限管理 • コスト • 監視できること ・現場でよく聞く声 四天王 1 渡す 「社外秘、入れて 大丈夫？」 2 触れる 「このエージェント、 どこまでデータ触れん 3 測る 4 見える 「で、いくら 「こいつらが何やってる かかってる？」 かって追えるの？」 の？」 KDDI Agile Development Center Corporation 17
19. 越えられない壁に必要なもの 現場にしかない 非機能要件 • AIに対するセキュリティ 非機能要件とか考え出したら • 権限管理 キリないじゃないすかーーー • コスト • 監視できること ・現場でよく聞く声 四天王 1 渡す 「社外秘、入れて 大丈夫？」 2 触れる 「このエージェント、 どこまでデータ触れん 3 測る 4 見える 「で、いくら 「こいつらが何やってる かかってる？」 かって追えるの？」 の？」 KDDI Agile Development Center Corporation 18
20. まぁ、、、仮説検証しましょう。 小さく試してなんぼ そのためのクラウド KDDI Agile Development Center Corporation ユーザーの声、聞いて いきましょう 19
21. AIエージェント /アプリ利用における課題認識 入口と出口の安全性に加え、コンプライアンス・API管理・レート制御・認可への対応 ユーザー / 各種データ 入力操作 ▶ ▶ 入口 ゲートウェイ 危険な入力の検出 出口 ゲートウェイ ▶ 応答の安全性 チェック KDDI Agile Development Center Corporation ▶ AIエージェント / モ デル 推論・ツール実行 ユーザーへの 応答 安全な出力 20
22. AIエージェント /アプリ利用における課題認識 ユーザー / 各種データ 入力操作 ▶ 入口 ゲートウェイ 危険な入力の検出 ▶ AIエージェント / モ デル ▶ 推論・ツール実行 出口 ゲートウェイ 応答の安全性 チェック ▶ ユーザーへの 応答 安全な出力 認証・認可・データ利 用 レート制御・クォータ コンプライアンス AIによるデータアクセ スの権限管理(MCP / API制御) ユーザー別トークン 容量管理 / 申請制御 ログ追跡・保持・違反 検出 KDDI Agile Development Center Corporation 21
23. 越えられない壁に必要なもの (what) ① ユーザー / 各種データ 入力データソース → ② 入口ゲートウェイ 危険な入力の検出 ・AIに渡していいか判断（個 人/企業情報） ・認証認可（この人がどこま で触れるか判断） → ④ 出口ゲートウェイ 応答の安全性チェック → → ③ AIエージェント / モデル 推論・ツール実行 ・モデルのコスト ・ツール触っていいか 判断 ・AIの証跡取得 ⑤ ユーザーへの応答 安全な出力 ・出力結果 ・ユーザーへのログの 確認 KDDI Agile Development Center Corporation 22
24. 越えられない壁に必要なもの ユーザー / 各種データ 入力データソース → 入口ゲートウェイ 危険な入力の検出 AIエージェント / モデル → 推論・ツール実行 → 出口ゲートウェイ 応答の安全性チェック → ユーザーへの応答 安全な出力 横断で支える 4つの機能 コンプライアンス ログ追跡・保持・違反 検出 AWS：実装がとにかく楽 AgentCore Observability / Guardtrails API管理・ルーティング レート制御・クォータ 認証・認可・データ利用 モデル切替・フェイル オーバー・混雑制御 部署別トークン容量 管理 誰がどのデータを使 えるか / ツール制御 Azure：自動切り替えが楽 Azure：事前に止められる AWS：ルール制御しやすい Bedrock Bedrock Inference Profiles KDDI Agile Development Center Corporation AgentCore Identity AgentCore Policy AgentCore Gateway 23
25. AgentCoreとは？ 任意のフレームワーク・モデルで作った AIエージェントを、インフラ管理なしで安全に本番稼働させるための AWSのプラッ トフォーム。認証・記憶・監視などをコンポーネントとして提供する。 実行基盤 エージェントとツール群を つなぐ管理型の入口 認証認可 監視 KDDI Agile Development Center Corporation 24
26. なんかブログに上がってた（ 2026/08/06） KDDI Agile Development Center Corporation 25
27. AIエージェント活動におけるセキュリティにおいて必要なもの どのように構築しても、モデル・ツール・エージェントへの呼び出しはすべて同じチェックポイントを通過する 呼び出し元 自社で構築したエージェント 任意のフレームワーク・モデル AgentCore Gateway 単一の安全なエンドポイント Identity（識別） 到達先 モデル 任意のプロバイダー 誰がこの呼び出しをしているか コーディングアシスタント 変更できないもの Policy（ポリシー） 何をすることが許可されているか エージェント 自社・他チームのエージェント MCP クライアント MCP で通信するすべて Limits（制限） どれだけ消費できるか ツール・API 既存のアプリケーション 既存サービス・ジョブ Observability（可視化） 実際に何が起きたか MCP サーバー、Lambda、REST ガードレールはエージェントの推論ループの外側にあるため、すべての呼び出しに同じ基準が適用される KDDI Agile Development Center Corporation 26
28. ・現場でよく聞く声 四天王 1 渡す 「社外秘、入れて大丈夫？」 2 触れる 「連携時の権限管理大丈夫？」 3 測る 「コストはいくら？」 4 見える 「証跡って追えるの？」 KDDI Agile Development Center Corporation 27
29. ・現場でよく聞く声 四天王 1 渡す 「社外秘、入れて大丈夫？」 2 触れる 「連携時の権限管理大丈夫？」 3 測る 「コストはいくら？」 4 見える 「証跡って追えるの？」 KDDI Agile Development Center Corporation 28
30. ① 渡す ― 入口と出口は「別物」(what) LLM Gateway / Guardrails ｜ Where: AgentCoreの手前 入口と出口でポリシーは別々 User 入口フィルタ PII / 個人情報 AWS LLM / Agent 社外秘・機密区分 出口フィルタ User 有害・逸脱出力 AgentCore Guardrails + InvokeGuardrailChecks ｜ Guardrails＝モデルの事故 / 業務ルール。入口と出口は別ポリシー 最頻の事故 ― 入口だけ守って、出口が素通り KDDI Agile Development Center Corporation 29
31. ① 渡す ― 入口と出口は「別物」 Amazon Bedrock Guardrails モデル呼び出しの入出力を検査する マネージド機能 InvokeGuardrailChecks API リソース不要で単体チェックを呼べる API • PII の検出とマスク、拒否トピックの設定 • プロンプトアタック検知を単体チェックとして分離 • 有害表現のフィルタ、根拠付けチェック • リクエストごとに実行するセーフガードを直接指 定 • 自社固有の機密区分ルールは書けない AIエージェントの行動を一つ一つ、その場でパッと 採点して『これ危なくない?』ってスコアで教えてくれ る検査キット 置き場所：モデル呼び出しの直近 置き場所：モデル呼び出しの前後・任意のステップ 役割を割る — Guardrails＝恒久的な防御ルール、 InvokeGuardrailChecks＝任意地点の単発チェック KDDI Agile Development Center Corporation 30
32. ・現場でよく聞く声 四天王 1 渡す 「社外秘、入れて大丈夫？」 2 触れる 「連携時の権限管理大丈夫？」 3 測る 「コストはいくら？」 4 見える 「証跡って追えるの？」 KDDI Agile Development Center Corporation 31
33. ② 触れる ― エージェントの権限は「人の権限」 AgentCore Identity + Gateway ｜ Key: OBO（On-Behalf-Of） ◦ 委譲する（ OBO） 人の権限 AWS ✕ エージェントに固有権限 Agent 人の権限 ≠ Agent（強い IAM） AgentCore Identity / Gateway ｜ Inbound / Outbound を分離。3LO（OBO）を既定に、 Cedar は principal × action で 「誰の権限で動いているか」に即答できるか KDDI Agile Development Center Corporation 32
34. ②の続き ― 1回ずつ正しくても、合計は正しくない New: Temporal Policies（Dogwood）｜ 2026.08.06 発表 これまで ― 1アクションずつ判定 作業ホゲ ◦ 作業ホゲ ◦ これから ― 系列で判定 作業ホゲ ◦ 作業ホゲ ◦ 作業ホゲ ◦ 作業ホゲ ✕ 各リクエストは承認閾値の下 ― 個別には全部合法 過去のセッションのリクエスト評価が可能になる（時間的ポリシー） セッション内の累計を見て、次の 1件を止める（レート制御） 合計は予算超過。誰も見ていない Gateway層で強制 ― エージェントのコードの外 AWS AgentCore Gateway + Dogwood ｜ 既存エージェントの作り直しは不要。Cedar の延長で導入できる KDDI Agile Development Center Corporation 33
35. ②の続き ― 1回ずつ正しくても、合計は正しくない What ― 「誰の権限か」を保ったまま下流へ渡す部品 AgentCore Identity AgentCore Gateway Cedar / Dogwood エージェントの認証・認可を扱う層 既存 API を MCP ツールとして公開す る層 認可ポリシーを宣言的に書く言語 ・Outbound：下流を叩くときの資格情報 ・認可とレート制限をここで強制する ・Dogwood：Cedar を内包し時間軸を追加 ・3LO（OBO）でユーザー権限を委譲する ・エージェントのコードの外なので回避され ない ・エージェント名ではなく人の権限で書く ・Inbound：誰がエージェントを呼んだか 置き場所：エージェントの入口と出口 ・ツール追加時にコードを触らない ・Cedar：principal と action で記述する 置き場所： Gateway のポリシー評価 置き場所：エージェントとツールの間 エージェント固有の IAM ロールを作った時点で、②は敗北している KDDI Agile Development Center Corporation 34
36. 1. 2. 3. 4. 5. ユーザー →エージェント :ユーザーがIdPで認証し、JWTを取得してエー ジェントに渡す エージェント →AgentCore Gateway:エージェントがそのJWTを持って ツールを呼ぶと、Gatewayが検証してCedarの認可リクエスト (principal/action/resource/context)を組み立てる Cedar + Dogwood(ポリシー判定 ):Cedarが「このリクエストは許可か拒 否か」を判断し、Dogwoodがそこに「このセッションで過去に何をしたか」 という時間軸の条件を追加する。ここでPermit/Denyが決まる AgentCore Identity(OBOトークン交換 ):Permitされたら、Gatewayは 呼び出し先(ダウンストリームAPI)向けの新しいトークンが必要になるの で、Identityがユーザーの権限とエージェントの権限を両方含んだスコー プの狙われたトークンに交換する ダウンストリームリソース :交換されたトークンでServiceNowなどの実際 のAPIにアクセスする つまり「Gatewayが入口で誰が何をしようとしているかを整理 」→ 「Cedar/Dogwoodが許可するか判断 (Dogwoodは過去の履歴も見る )」→ 「Identityが実際にリソースへアクセスするためのトークンを用意 KDDI Agile Development Center Corporation 35
37. ・現場でよく聞く声 四天王 1 渡す 「社外秘、入れて大丈夫？」 2 触れる 「連携時の権限管理大丈夫？」 3 測る 「コストはいくら？」 4 見える 「証跡って追えるの？」 KDDI Agile Development Center Corporation 36
38. ③④ 測る/監視 ― 「高い」ではなく「どこが高い」 AgentCore Observability ｜ 単位はステップ 入力 ツール呼出 LLM推論 出力 1.2k tok 3 calls 18.4k tok 0.9k tok 1リクエストのトレースを、ステップ単位で分解する トークン レイテンシ 失敗率 誰が・どのモデルで使ったか どのステップで待っているか どのツールで落ちているか AWS AgentCore Observability → CloudWatch ｜ OTel 準拠の span に user_id / model_id を付与。 最初のトレースから入れる KDDI Agile Development Center Corporation 37
39. ③の続き ― 測るの次は「止める」 New: Gateway Rate Limiting ｜ 上限は3次元でかける リクエスト数 トークン数 接続保持時間 リトライループが ここに出る 推論の重いタスクが ここに出る 長時間リサーチが ここに出る 1つの尺度だけでは、上限に触れずに使い切る抜け道が残る AgentCore Gateway Rate Limiting ｜ AWS 秒 / 分のウィンドウ。OAuth・IAM の既存 ID でユーザー単位に。コード 変更不要 KDDI Agile Development Center Corporation 38
40. ③④で使うリソース What ― 測る側と、止める側 AgentCore Observability Amazon CloudWatch Gateway Rate Limiting エージェントの実行をトレースとして記 録 トレースとログを可視化・集計する先 使用量に上限をかけて止める仕組み ・GenAI 向けのダッシュボードで一望する ・リクエスト数・トークン数・接続時間の3次元 ・OpenTelemetry 準拠の span を自動発行 ・Logs Insights でユーザー別にコスト按分 ・秒 / 分のウィンドウで判定する ・ステップ単位でトークン・レイテンシを持つ ・OTel 互換なので他の APM へも出せる ・OAuth・IAM の既存 ID でユーザー単位に 置き場所：監視・分析のバックエンド 置き場所： Gateway（エージェントの外） ・span 属性に user_id / model_id を付ける 置き場所： Runtime に組み込み 測るのは Observability、止めるのは Gateway ― 担当が違う KDDI Agile Development Center Corporation 39
41. まとめ 四天王、非機能要件に沿って考えよう。 現場の声を聞く仮説検証が大事。 ・現場でよく聞く声 四天王 1 渡す 「社外秘、入れて 大丈夫？」 2 触れる 「このエージェント、 どこまでデータ触れん 3 測る 4 見える 「で、いくら 「こいつらが何やってる かかってる？」 かって追えるの？」 の？」 KDDI Agile Development Center Corporation 40
42. 宣伝① 名古屋アジャイル勉強会 08/24（月） KDDI Agile Development Center Corporation 41
43. 宣伝② アジャイルワークショップ会 09/04（金） KDDI Agile Development Center Corporation 42