AI Agent を始める前のチェックリスト:実例から学ぶ期待効果の見積りと備えるべきリスク

© 2025, Amazon Web Services, Inc. or its affiliates. All
rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Machine Learning Developer Relations Takahiro Kubo AI Agent を始める前のチェックリスト実例から学ぶ期待効果の見積りと備えるべきリスク

rights reserved. 2 自己紹介アマゾンウェブサービスジャパン合同会社 Machine Learning Developer Relations 久保隆宏 (Takahiro Kubo) 技術監修翻訳 AI/ML についての技術的な解説や AWS のサービスの紹介はもちろん、「機械学習の実プロダクトでの活用」を進めるためのワークショップや情報提供、また AWS のサービス改善に取り組んでいます。単著寄稿

rights reserved. 3 AI Agent を始める前に・・・生成 AI 技術の発展はどれぐらい続くか ? 1~2 年の投資拡大で知見を得る短期戦 5~10 年超の見通しで継続的に取り入れる長期戦

rights reserved. 4 過去登場した技術は 10 年以上にわたり発展 Mobile Cloud Social Video eCommerce 3D&I AI Web

rights reserved. 5 生成 AI に対する取り組みは長期戦に

rights reserved. 6 長期戦なら・・・コンディション (環境) を整えるケガ (リスク) の予防レース全体の計画

rights reserved. 7 特に聞いて頂きたいポイント役職企画職開発者技術責任者共通・長期の計画を立てる際の 3 つのチェック項目・生成 AI を長期で活用する際に発現しうるリスク・会社内の生成 AI 活用、最新モデル / ユースケースをキャッチアップする環境を整える AWS のアセット・AI エージェントの技術的特徴と今後の発展動向

rights reserved. AI エージェント登場の背景テキスト入力の続きを生成する Key Words: 言語モデル基礎的な自然言語処理技術からはじまった 10

rights reserved. AI エージェント登場の背景テキスト入力の続きを生成する Key Words: 言語モデル会話形式入力の続きを (外部知識と連携し) 生成する Key Words: Instruction Tuning RLHF RAG * Training language models to follow instructions with human feedback (2022) * Retrieval-Augmented Generation for Knowledge- Intensive NLP Tasks (2020) 2022 11 Instruct GPT 以後、 ”対話形式の生成” が実用的なレベルに

rights reserved. AI エージェント登場の背景テキスト入力の続きを生成する Key Words: 言語モデル会話形式入力の続きを (外部知識と連携し) 生成する Key Words: Instruction Tuning RLHF RAG * Training language models to follow instructions with human feedback (2022) * Retrieval-Augmented Generation for Knowledge- Intensive NLP Tasks (2020) タスク完了に至る計画を生成する Key Words: Reasoning model (Thinking model) * Evaluation of OpenAI o1: Opportunities and Challenges of AGI (2024) タスク完了に至る計画を実行する Key Words: AI Agent * SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (2023) * AgentBench: Evaluating LLMs as Agents (2023) AI Agent (2025) + 画面入力・操作を扱えるように * Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku (2024) 外部システム連携計画策定能力外部連携可能なデータ形式を生成し処理を起動する Key Words: Function Calling Code Interpreter * Gorilla: Large Language Model Connected with Massive APIs (2023) * Function calling and other API updates (2023) 12

rights reserved. AI エージェントの特徴モデルの計画能力と構造データ出力機能により、目的の指示のみでタスクを完了する 13

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導入効果 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本田技研工業 : LLM エージェントによりコールセンターへの問合せ対応期間を数日から数分に効率化 ” • ホンダでは、同社の車両を利用する顧客からの問合せ対応の効率化と品質改善が課題となっています。 • 現在、コールセンターへの問合せは、チケットを起票する形でグローバルチームに対応が依頼されます。同チームでは複数の社内システム、および車両走行ログが格納されたDBなど、複数の情報源から必要な情報を収集し、調査結果をまとめた回答を作成する必要があります。 • 各地域とグローバル側の担当者のやりとりが発生するため、1チケットあたりの対応に数日間を要することがあります。また、回答内容も各担当者の経験などに依拠しており、質の均質化が望まれています。 • AWS Generative AI Innovation Center (GenAIIC)では、この課題を解決するため、生成AIを用いたチャットボットを構築し、具体的な問合せに対する正しい回答が生成できるかを検証。 • 問合せ内容に基づくチケットの作成、同チケットの対応のために参照すべき情報やログデータなどを取得するためのAPI リクエストや SQL 文の作成と実行と、これらの処理をサブタスクとして実行可能な LLM エージェントを開発。これらの情報に基づいた調査内容をレポートとして作成する LLM も併せて実装。 • LLM による問合せ対応のアーキテクチャ構築:生成AIの活用を想定した各種ドキュメントの前処理、同処理後のドキュメントを検索対象としたベクトル DB、Amazon Athena によるアクセスログ検索など、問合せ対応に必要なバックエンドアーキテクチャを構築。 • 高精度かつ高速な問合せ対応: ホンダから提供されたデータに基づく8つのユースケースについて、LLM により平均 70% 以上の高い確率で適切な回答が得られることを確認。処理時間も各問合せに対し数分程度で完了。 “ GenAIIC からの支援により、当社コールセンターにおける対応の大幅な効率化を生成AIで実現できる見込みが得られ、感謝しています。本プロジェクトを通じ、当社内での生成 AI 活用をさらに拡張するための学びが得られたことも、非常に貴重な経験となりました。野川忠文電動事業開発本部 SDV事業開発統括部コネクテッドソリューション開発部部長 I N D U S T R Y 自動車 C O U N T R Y 日本本田技研工業（ホンダ）は、日本を代表するグローバル企業で、自動車、オートバイ、発電機などの製造を主要事業としています。 1948 年に創業された同社は、世界有数の自動車メーカーとして成長し、革新的なデザイン、先進的な技術、そして環境への配慮で全世界から評価されています。

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導入効果 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本田技研工業 : LLM エージェントによりコールセンターへの問合せ対応期間を数日から数分に効率化 ” • ホンダでは、同社の車両を利用する顧客からの問合せ対応の効率化と品質改善が課題となっています。 • 現在、コールセンターへの問合せは、チケットを起票する形でグローバルチームに対応が依頼されます。同チームでは複数の社内システム、および車両走行ログが格納されたDBなど、複数の情報源から必要な情報を収集し、調査結果をまとめた回答を作成する必要があります。 • 各地域とグローバル側の担当者のやりとりが発生するため、1チケットあたりの対応に数日間を要することがあります。また、回答内容も各担当者の経験などに依拠しており、質の均質化が望まれています。 • AWS Generative AI Innovation Center (GenAIIC)では、この課題を解決するため、生成AIを用いたチャットボットを構築し、具体的な問合せに対する正しい回答が生成できるかを検証。 • 問合せ内容に基づくチケットの作成、同チケットの対応のために参照すべき情報やログデータなどを取得するためのAPI リクエストや SQL 文の作成と実行と、これらの処理をサブタスクとして実行可能な LLM エージェントを開発。これらの情報に基づいた調査内容をレポートとして作成する LLM も併せて実装。 • LLM による問合せ対応のアーキテクチャ構築:生成AIの活用を想定した各種ドキュメントの前処理、同処理後のドキュメントを検索対象としたベクトル DB、Amazon Athena によるアクセスログ検索など、問合せ対応に必要なバックエンドアーキテクチャを構築。 • 高精度かつ高速な問合せ対応: ホンダから提供されたデータに基づく8つのユースケースについて、LLM により平均 70% 以上の高い確率で適切な回答が得られることを確認。処理時間も各問合せに対し数分程度で完了。 “ GenAIIC からの支援により、当社コールセンターにおける対応の大幅な効率化を生成AIで実現できる見込みが得られ、感謝しています。本プロジェクトを通じ、当社内での生成 AI 活用をさらに拡張するための学びが得られたことも、非常に貴重な経験となりました。野川忠文電動事業開発本部 SDV事業開発統括部コネクテッドソリューション開発部部長 I N D U S T R Y 自動車 C O U N T R Y 日本本田技研工業（ホンダ）は、日本を代表するグローバル企業で、自動車、オートバイ、発電機などの製造を主要事業としています。 1948 年に創業された同社は、世界有数の自動車メーカーとして成長し、革新的なデザイン、先進的な技術、そして環境への配慮で全世界から評価されています。目的 : チケットへの回答手段 : 社内システムや DB から必要な情報を収集結果 : 70% 以上の確率で回答

rights reserved. AI エージェントの特徴 : 事例を基に AI エージェント環境目的 : 「チケットに回答」結果 : 回答 ※説明のために形式化しているため、実際に事例の中で取られた手法と一致しない点に注意ください ①計画 : チケットに回答するにはどんな情報が必要 ? ・顧客 DB にある購入車種の詳細情報・ファイルサーバーにある障害対応マニュアル・チケット DB にある過去の類似対応履歴・・・ ②行動 : クエリを実行・DB クエリ (SQL) 作成・ファイルサーバーを検索 ③観測 : データを取得・購入車種のインプット・障害対応方法のインプット 16

rights reserved. 今後の動向 : より「行動」と「環境」が広がるタスク完了に至る計画を生成する Key Words: Reasoning model (Thinking model) * Evaluation of OpenAI o1: Opportunities and Challenges of AGI (2024) 会話形式入力の続きを (外部知識と連携し) 生成する Key Words: Instruction Tuning RLHF RAG * Training language models to follow instructions with human feedback (2022) * Retrieval-Augmented Generation for Knowledge- Intensive NLP Tasks (2020) 外部連携可能なデータ形式を生成し処理を起動する Key Words: Function Calling Code Interpreter * Gorilla: Large Language Model Connected with Massive APIs (2023) * Function calling and other API updates (2023) タスク完了に至る計画を実行する Key Words: AI Agent * SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (2023) * AgentBench: Evaluating LLMs as Agents (2023) + 画面入力・操作を扱えるように * Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku (2024) 実行できる行動の増加動作できる環境の増加 * ブラウザ操作 * 音声対話 * 多様なシステムのつなぎ込み (MCP) * 認証・認可の整備 20XX 17

rights reserved. 19 生成 AI 導入の基本的な進め方生成 AI を試し知見を共有する Step 1 生成 AI に業務を任せ実用性を確認 Step 2 Step 3 生成 AI の実績を内外に広める KPI : PoC 候補アイデア数 KPI : 業務に応じた効果指標 KPI : 関係者の数・職位

rights reserved. 20 持続的な生成 AI 導入を進めるためのチェック項目生成 AI を試し知見を共有する Step 1 生成 AI に業務を任せ実用性を確認 Step 2 Step 3 生成 AI の実績を内外に広める KPI : PoC 候補アイデア数 KPI : 業務に応じた効果指標 KPI : 関係者の数・職位新技術を継続的に検証・展開できる環境はあるか? リスクを計測し対応できる体制はあるか ? あるべき姿に向けた段階の定義と計画はあるか ?

rights reserved. 21 Step1 : 試すフェーズのチェック項目新技術を継続的に検証・展開できる環境はあるか?

rights reserved. 22 生成 AI の能力は日々向上、向上に伴うユースケースも日々増加 https://epoch.ai/data/ai-benchmarking-dashboard 日常的な検証・展開による用途の検討は不可欠左図は、博士号を持つ人でも正答率 65% 程度である GPQA データセットで、30% 台から専門家以上になるまで約 1 年半。

rights reserved. 23 そうはいっても・・・ 😫 日々起こる変化をキャッチアップするリソースを割けない 😫 ユーザーに展開する UI までは実装しきれない 😫 AWS で AI エージェントを実装するのは学習コストが高い

rights reserved. 24 Generative AI Use Cases (GenU) による展開プロンプトの書き方を覚えなくても生成 AI の鉄板ユースケースをすぐに利用できるアプリケーション。 • 導入実績上場企業や医療機関をはじめとした 1,000 を超えるお客様での利用実績 • アクセス制限ログイン認証や SAML 連携 (Azure AD / Google Workspaces 等) による認証に加え、 IP アドレスを制限可能 • データセキュリティ送受信されるデータは暗号化され第三者の参照やモデルの学習に使用されることがない。データの流通を国内に閉じることも可能。チャットはもちろん、翻訳、文書校正、要約など頻繁に使う機能をビルトインで提供。 ※ AWS が MIT ライセンスの元 GitHub 上でオープンソースとして開発。導入するにはお客様の AWS 環境へのデプロイが必要です

rights reserved. 25 Generative AI Use Cases によるキャッチアップ日々のレベルで機能を更新。 DeepSeek や Palmyra といった新しく発表したモデルにもほぼ即日で対応。 v4.2.0 (5/7) : Nova Sonic, Nova Premier, Llama4, Palmyra 対応等 V4.1.0 (4/21) : 国際化対応 (i18n) Nova Reel 対応

rights reserved. 26 AI エージェントの組込みに対応 Amazon Bedrock Agents で作成したエージェントを組み込んで利用することが可能。

rights reserved. Amazon Bedrock Agents による開発 AI エージェント環境目的 : 「チケットに回答」結果 : 回答 ①計画 : ②行動 : ③観測 : Amazon Bedrock Agents で利用可能な基盤モデルで計画 Action Groups に登録された API の実行 Knowledge Bases の検索 </> Code Interprepreter によるコード実行 Computer use による画面操作 Session 単位でインタラクションを自動記録可能 27 AI エージェントの動作に必要なコンポーネントを Managed で提供

rights reserved. お客様プロフィール “ ビジネスの課題ソリューション導入効果 © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. 株式会社アイ・アイ・エムはセイコーグループの事業会社です。日本でいち早くコンピューターの性能管理に取り組み、「性能管理」、「セキュリティ」、「AI 型予兆管理」のソリューションを提供しています。 I N D U S T R Y 情報通信・インターネット C O U N T R Y 日本お客様の求める「改善案がすぐ欲しい」という要望を実現することができました。AWS の伴走支援のおかげで価値ある顧客体験を提供できました株式会社アイ・アイ・エム常務執行役員 CTO 住友邦男様株式会社アイ・アイ・エム部長熊本真子様株式会社アイ・アイ・エム: 生成 AI を活用し、経験の少ない方が習熟者と同等の意思決定ができる予兆予測サービスを 6 か月で構築 • お客様の重要なビジネスを支える様々なサービスの障害兆候検知とサジェスチョンサービスを提供する上で、障害対応、サーバーメンテナンス、利用者への価値を産まない部分の開発などにエンジニアの工数の半分以上を要していた。 • お客様のシステム統計情報の分析エンジンに Amazon SageMaker Pipeline や Amazon EventBridge スケジューラーを用いて自動化。 • 35 年培った IIM の専門知識を基にしたサジェスチョンを Amazon Bedrock の Agents と Knowledge Bases を用いて自動化。 • 異常の兆候と裏付けグラフ、サジェスチョンを Amazon QuickSight でコスト効率よく表現。 • AWS のフルマネージド型サービスを活用することにより、サービスのセキュリティや顧客体験の向上に専念でき、2 年を想定していたサービス開発を半年で終えることができた。 • IIM の専門知識の自動提供により、経験の少ない方でも改善活動に取り組める顧客体験を実現した。一例では、これまで監視アラートから分析・改善で 2 週間から 1 か月かかっていた業務を即日〜数日にできた。

rights reserved. 29 NTT データ様での LangGraph × Bedrock による広告素材作成エージェント開発 https://qiita.com/yamato0811/items/54117737efd4a066531e 作成できた広告のサンプル広告の「キャッチコピー文」と「画像」を生成する Multi-Agent アプリケーションを実装。オープンソースと組み合わせ、バックエンドに AWS を活用する方式も選択できる。

rights reserved. 30 Step2 : 任せるフェーズのチェック項目リスクを計測し対応できる体制はあるか ?

rights reserved. 31 持続的な期間においてリスクは高確率で発現するエアカナダ : 2024/2 忌引割引の利用が、事後でも可能と生成 AI チャットボットが誤って回答。払い戻しについて裁判となり、エアカナダが敗訴。裁判所は、「自社サービスの運用をゆだねる以上、出力結果に対し当該企業が責任を負うべき」と判断。チャットボットは事案発生後に停止。マクドナルド : 2024/6 ドライブスルーでの AI 音声注文システムを 2021 年に導入。2023 年に、注文が誤認識される様子が Tiktok で拡散、100 店舗以上に展開していたシステムを撤去することを 2024 年 6 月に決定。 Dynamic Parcel Distribution (DPD) : 2024/1 フランスの配送会社で、AI チャットボットが求める回答をしないことに苛立ったユーザーが、DPD について悪口を言うよう指示したところ、会社批判を行う返信を始めた。その様子がソーシャルメディアで拡散し、チャットボットは一時運用停止となった。

rights reserved. 32 AI エージェントが動作する環境で発現しうるリスクの兆候を監視する必要がある環境ミッションリスクの兆候を示す KPI 安全性重視: 医療、航空、原子力等人命に関わる判断やシステム操作について、安全性を最優先し、エラーを最小化する・インシデント数・シミュレーション合格率 (%) ・フォールバック頻度・トレーニング完了率コンプライアンス重視 : 銀行、保険、製薬等複雑な規制環境において法令・規制遵守を徹底し透明性のある意思決定と監査可能な記録を行う・規制に基づく正答率・規制の網羅性・回答 / 判断に至るトレースの完全性業務効率重視 : 製造、物流生産性と効率性を最大化し、運用コストを削減しながら、プロセスの信頼性と品質を維持する・サイクルタイム・スループット・誤答率・例外対応時間人間体験重視 : 小売、教育、ホスピタリティ顧客満足度を最大化し、パーソナライズされた体験を提供することで、顧客ロイヤルティと長期的な関係を構築する・顧客満足度スコア・リピート / 解約率・エスカレーション数イノベーション重視: スタートアップ、R&D 部門新しいアイデアや技術を迅速に検証し、市場に投入することで競争優位性を確立し、ユーザー基盤の拡大と維持を実現する・アクティブユーザー数・新規顧客獲得数・コストエアカナダの場合

rights reserved. 33 監視して「どうする」を決めておく必要がある KPI は「対応方法」を教えてくれるわけではない。エアカナダは顧客満足度やエスカレーション数をモニタリングしていたかもしれないが、「その値が異常であった場合の対応」に課題があった。組織横断のチームで閾値と、超えた場合の対応を決めておく必要がある。

rights reserved. 34 そうはいっても・・・ 😫: 導入先部門における、リスク対応による工数増への忌避感 😫: リスクを上回る費用対効果があることの証明が困難 😫: リスクの評価は人手でないと困難

rights reserved. 35 実績が出ている事例を基にゴールを共有 AWS の事例集を無料で公開日本のお客様の 100 を超える本番業務・サービスで実際に活用し定量的効果が得られたお客様事例を AWS Web サイト上で公開 2025 年 4 月版で AI エージェント事例も複数追加

rights reserved. 36 ML Enablement Workshop によるワンチームの組成企画の段階からビジネス面、技術面、運用面の実現性やリスクを洗い出すために新規サービスや機能の実装に関わる人を一同に集め、顧客の体験から逆算する Amazon のプロダクトづくりのプロセス “Working Backwards” を実践・習得。効果計測 KPI を決め、ワークショップ後 ~6 ヵ月での到達まで計画する。資料は一般公開済プロダクトマネージャーデータサイエンティスト開発者営業プリセールスデザイナーカスタマーサポート CTO

rights reserved. 37 リスクの高いアプリケーション利用を、トレースで検知 • Amazon Bedrock Guardrails により、標準に加えカスタムのプロンプトで特定リスクを検知 • Application Signals を活用し Guardrail のスコアをリクエスト単位で記録。オープンソースの観測フレームワーク OpenTelemetry 互換のため、対応したツールでのモニタリングが可能 https://aws.amazon.com/jp/blogs/mt/improve-amazon-bedrock-observability-with-amazon-cloudwatch-appsignals/ ソースコードに手を入れなくても、自動計装によりかなりの部分追跡できる

rights reserved. 38 Step3 : 広めるフェーズのチェック項目あるべき姿に向けた段階の定義と計画はあるか ?

rights reserved. 39 長期戦のマイルストンを決めて着実に到達する Level 5 Level 4 Level 3 Level 2 Level 1 AI 主体人間主体タスクの受付から完了まで、 AI が自律的に実行特定条件下において、AI が自律的にタスクを実行左記は、自動運転のレベルをベースにした「業務の委譲」レベル。 • どんな業務 (環境) で • 何年後に • どの Level まで到達するかを決めて着実に到達していく。緊急・例外時に人間が介入する前提で AI が自律的にタスクを実行人間の業務を、指示に基づき一部「代行」する人間の業務を AI が「支援」する

rights reserved. 40 そうはいっても・・・ 😫: 巻き込むステークホルダーを増やしていくためのきっかけや場がない 😫: 全社的な方針の話になりそうで気後れする 😫: 新しく巻き込んだステークホルダーへのトレーニングや教育に割く時間がない

rights reserved. 41 AWS の Executive 向けのプログラムを活用 AWS Executive Insights で Amazon の継続的にイノベーションを起こす手法を発信。 AWS Executive Briefing Center (EBC) を活用し個別課題について具体的に話すことも可能。 https://aws.amazon.com/jp/executive-insights/ebc-executive-briefing-center/ https://aws.amazon.com/jp/executive-insights/

rights reserved. 42 AWS での事例化を通じた社内外へのプレゼンス向上 AWS のイベントで動画チャンネルで外部広告で https://www.youtube.com/watch?v=RJkDBchnixQ https://www.youtube.com/@JPAmazonWebServices ※ AWS での事例化や、イベントやメディアでの露出は確約されるものではございません

rights reserved. 43 AWS の教育プログラムスキル・アセスメントに基づく個別学習プラン AWS専門家が設計したハイブリッド型トレーニング人気の認定資格お客様の業務目標に不可欠な AI/ML スキルの定義と、ギャップを埋めるための学習計画を提供オンライン、インストラクター主導クラス、ゲーム感覚の学習等、多様な研修ニーズに対応 AWS Skill Builder に、生成AI含む 100以上の AI/ML 学習リソース安全なサンドボックス環境でインタラクティブに学習認定資格により AI/ML の専門性を証明。試験料の支援により優秀な人材のを維持確保に貢献 2024/8/13 より新規認定開始 AWS Certified AI Practitioner AWS Certified Machine Learning Engineer - Associate

rights reserved. 45 本日のサマリ • AI エージェントへの取り組みは、今後 10 数年にわたって続くことになる長期戦 • 生成 AI の活用は、試す、任せる、広めるの 3 Step が基本 📢 長期戦に備えるには事前のチェックが重要 • [Step 1] 試す : 新技術を継続的に検証・展開できる環境はあるか? • [Step 2] 任せる :リスクを計測し対応できる体制はあるか ? • [Step 3] 広める : あるべき姿に向けた段階の定義と計画はあるか ? • AWS は各ステップのよくある課題を解決するサービス、プログラムを提供できる

rights reserved. 46 Next Action のためのクイックリファレンス生成 AI 事例集 AWS Generative AI Solution Box ML Enablement Workshop 役職企画職開発者技術責任者共通業務やサービスで提供したい体験をワンチームで検討し生成 AI 適用を開始新規技術・用途の展開に役立つ AWS のアセットを 1 クリックでデプロイ AI エージェントを含めた生成 AI の事例を確認

rights reserved. 47 一番早く先頭に立った人が勝者とは限らない。走り続けられる環境・リスク対策・計画を大切に

AI Agent を始める前のチェックリスト:実例から学ぶ期待効果の見積りと備えるべきリスク

AI Agent を始める前のチェックリスト:実例から学ぶ期待効果の見積りと備えるべきリスク

More Decks by Takahiro Kubo

Other Decks in Business

Featured

Transcript