そのAIエージェント、役に立っていますか？―AIエージェントの評価を小さく始めるためのヒント

イベントページ - AIエージェントの活用・開発のための「評価」入門―基本的な考え方から、小さく始める実践のヒントまで
https://studyco.connpass.com/event/404991/

書籍「LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』
https://www.amazon.co.jp/dp/4798190721

ブログ記事「AIエージェントとの協働を考え続けた結果、タスク管理ツールとチャットツールを内製しました」
https://blog.generative-agents.co.jp/entry/2026/08/31/173537

株式会社ジェネラティブエージェンツ - 採用情報
https://generative-agents.co.jp/recruitment/

Transcript

1. 2026年9月9日 #StudyCo そのAIエージェント、役に立っていますか？ ―AIエージェントの評価を小さく始めるためのヒント
2. 自己紹介 大嶋勇樹（おおしまゆうき） https://x.com/oshima_123 株式会社ジェネラティブエージェンツ取締役CTO/Co-founder ChatGPT/LangChainによるチャットシステム構築［実践］入門 LangChainとLangGraphによるRAG・AIエージェント［実践］入門 実践Claude Code入門―現場で活用するためのAIコーディングの思考法 LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知
3. 株式会社ジェネラティブエージェンツ - 会社概要 AIエージェントが「ハブ」となり 人間とAIエージェントの協働が 当たり前になる世界を実現する 会社名 所在地 株式会社ジェネラティブエージェンツ （英文：Generative Agents, Inc.） 東京都新宿区四谷坂町10-10 AIエージェントインテグレーションサービスの提供 AIエージェントを実業務で本当に活用するためには、AIエージェントの技術特性 と問題解決領域の両面から検討を進める必要があります。当社は「LangChain」 の公式エキスパートとして、AIエージェントを開発するための確かな技術力を活 CEO 西見 公宏 役員構成 COO 吉田 真吾 CTO 大嶋 勇樹 かし、生成AIアプリケーション開発支援からコンサルティング、教育・研修サービ スまでのあらゆる方面において、AIエージェントを活用した問題解決サービスを 提供します。 設立年月 2024年3月14日 インテグレーションを支えるサービス群の提供 AIエージェントを効果的に運用するためには、AIエージェントを動かすためのイ ンフラが必要です。当社はマルチエージェントのオーケストレーション基盤である 「tasq0 - タスクゼロ（※開発中）」をはじめ、AIエージェントのためのツール群 「middleman.ai」の提供を通して、AIエージェント活用のための基盤構築をサ ポートします。 事業内容 AIエージェント技術を軸とした生成AIアプリケーション開発 支援、コンサルティング、教育・研修サービスの提供
4. 【9/24発売予定】Amazonで予約受付中！ 『LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』（翔泳社） 上野 彰大 (著), 大嶋 勇樹 (著) 第1部 理論編 第1章 なぜLLM アプリケーションを評価する必要があるのか Amazonで 第2章 LLMアプリケーション評価設計の全体像 第3章 LLMアプリケーション評価の実行プロセスと運用設計 ご予約ください！ 第4章 評価指標の設定の考え方 第5章 LLM-as-a-Judge 第6章 LLMOpsによる継続的な改善 第2部 実践編 第7章 テーマ設定とサンプルアプリケーションの準備 第8章 評価の初期設計とデータセットの作成 第9章 リリース前の評価とチューニング 第10章 リリース後の評価と継続的な改善 https://www.amazon.co.jp/dp/4798190721
5. 2026年9月9日 #StudyCo そのAIエージェント、役に立っていますか？ ―AIエージェントの評価を小さく始めるためのヒント
6. アジェンダ • AIエージェントをうまく使うための「評価」の必要性 • 評価に小さく取り組み始めるには • 評価を整備していくには ※書籍の内容紹介ではなく、書籍中で扱っていない話も多いです
7. AIエージェントをうまく使うための 「評価」の必要性
8. AI生成の低品質コンテンツの問題（AIスロップ） AIで生成したコンテンツ（文章や資料）を、そのまま仕事で使ったり記事などとして公開することが 問題になっています よくある意見 • AIが生成した文章や資料は頭に入ってこない • AIで適当に生成したものをそのまま使うのでは、人が介在する意味がなく、直接AIに頼めばよい
9. 何が問題なのか 私の見解としては、AIで生成したコンテンツを使うこと自体は問題ではありません それが良いコンテンツなのか悪いコンテンツなのか判断できないまま使うことが問題だと考えます AIで生成したコンテンツを使うこと → それ自体は問題ではない 良いコンテンツなのか悪いコンテンツなのか 判断できないまま使うこと → これが問題！
10. 生成物が「良いコンテンツ」か判断できること 重要なのは、生成物が「良いコンテンツ」か判断できることです これは、手作業で「良いコンテンツ」を作ることができることと近いかもしれません その場面に使うのに十分 → そのまま使う AIの生成物 良し悪しを判断 （評価） ある程度使えそう → 手作業やAIへの指示で修正 全然ダメ → 使わない判断 私も資料作成・執筆・コーディングなどでAIをよく使っています AIの生成物を使う際は、その場面で十分な品質になったと思うまで手作業やAIへの依頼で修正しています
11. AIエージェントをうまく使える条件のひとつ その分野の「良い仕事」が分かること = AIの出力や行動を評価できること 品質が重要な場面と重要ではない場面の判断も必要です （状況次第では、適当に生成したコンテンツで十分な場合もあります）
12. 良し悪しを判断できない場合 良し悪しを判断できない分野では、AIを使って「良い仕事」ができるかは分かりません もしできたとしてもその人やその会社の強みにはなりません 良し悪しを判断できない分野でAIをうまく使うには、良し悪しが判断できる（評価できる）ように なるか、判断できる（評価できる）人と一緒に取り組む必要があります 自分が判断できる（評価できる）ようになる その分野の「良い仕事」を学ぶ 良し悪しを判断できない分野 判断できる（評価できる）人と一緒に取り組む その分野の専門家に評価してもらう
13. AIエージェントをうまく使うためには、 その分野の「良い仕事」を理解していることが必要
14. 評価に小さく取り組み始めるには
15. AIモデルとAIエージェント（LLMアプリケーション） AIエージェント AIモデル • 開発する際にデータセットが必要 （LLMアプリケーション） • （教師なし学習は除く） • そのため、データセットでの評価が 必ず存在した データセットがなくても、 使い始める・作り始めることが可能 • そのため、データセットでの評価が 必ずしも存在しない AIエージェント（LLMアプリケーション）の簡単に動かせるという特徴を活かすには、 まずは試しに動かしてみて、その出力が「役立つか」を見てみることが重要です
16. 評価に小さく取り組み始めるためのヒント ここから、評価に小さく取り組み始めるためのヒントを3つ紹介します （1）試して「いいかんじ」か見てみる （2）作る人と使う人を近づける （3）ログをAIで分析する
17. （1）試して「いいかんじ」か見てみる 【例】 「AGENTS.md（CLAUDE.md）やエージェントスキルがいいかんじか知りたい」 → 設定してみて、AIエージェントの挙動がよさそうであれば、個人や数人での利用では十分な評価 【例】 「業務用のAIエージェントが役立っている実感はあるが、データセットなどでの評価はしていない」 → 少人数の利用でエラーの際に人間がリカバリーできる業務では、動かしてみて役に立っていればOK 数名しか使わないAIエージェントの調整や、人間がリカバリーできるリスクの低い業務では、 このような担当者の感覚による評価で十分な場合もあります ただし、「挙動がよさそうか」「役に立っているか」が判断できることが必要です
18. （2）作る人と使う人を近づける 開発するAIエージェントや作成するスキルなどは、「使う人」しか評価できないことも多いです そのため、「作る人と使う人を近づけるを近づける」ことが有用な場合があります 別々に働いている 作る人 評価しにくい 使う人 一緒に働いている 作る人 使う人 同じ人 作る人 ＝ 使う人 評価しやすい
19. （3）ログをAIで分析する AGENTS.md（CLAUDE.md）やエージェントスキルの評価では、 AIエージェントの動作のログをAIで分析することも小さく始めやすいです Claude Codeを実行 「〜〜を実装して」 ログが保存される ~/.claude/projects/<プロジェクト>/ <セッションID>.jsonl ログをAIで分析（評価） 「Claude Codeのこのログを見て、 困っていることがないか調べて」 ※手前の2つとは少し異なる視点の話です
20. AIエージェントは簡単に動かすことができるので、 できるだけ早く実用して「役立つか」確認することが有用
21. 評価を整備していくには
22. オフライン評価とオンライン評価 AIモデルやAIエージェント（LLMアプリケーション）の評価は、 オフライン評価とオンライン評価に分けて議論されることがあります 補足 「オフライン評価」「オンライン評価」の 正確な定義は難しいため、書籍 『LLMアプリケーション評価駆動開発』では、 「リリース前の評価」「リリース後の評価」 オフライン評価 • という表現を使っています あらかじめ用意したデータセットを使った評価 オンライン評価 • 実ユーザーの反応など、実際のトラフィックを使った評価 ここまでに扱ったような評価方法は、「個人の取り組みとしてのオンライン評価」と考えられます ※定義が難しい言葉のため、「オンライン評価」と呼ぶことに違和感がある方もいるかもしれません
23. 評価の整備 個人の取り組みとしてのオンライン評価には、客観性・再現性・網羅性などの限界があります 個人の取り組みとしてのオンライン評価 試して「いいかんじ」か見てみる オフライン評価 しくみでのオンライン評価 データセットで客観性・再現性を確保 フィードバックやログを集めて分析 AIエージェント（エージェントスキルなどを含む）を本格的に展開していく際は、 オフライン評価やしくみでのオンライン評価を整えていくことになります
24. オフライン評価 評価の取り組みとして最も分かりやすいのは、データセットを使用したオフライン評価です データセット 入力 期待される出力 出力 評価スコア 評価指標をもとに算出 ワークフローや AIエージェントを実行 データセットを使った評価は、本格的な展開前のチューニングや 新モデルがリリースされた際の挙動の変化の確認などで必要となります
25. しくみでのオンライン評価 しくみでのオンライン評価は、典型的にはユーザーフィードバックの収集やA/Bテストがあります 現在では、収集したログ（トレース）をLLMに分析させる手法もあります （例）W&B WeaveのSignals機能、LangSmithのOnline Evaluators/Insights機能 メンバーA ログ（トレース）を保存 エージェントを実行 ログ ログ ログ メンバーB エージェントを実行 メンバーC エージェントを実行 ログ ログ ログ LLMOpsのプラットフォーム LLMで分析（評価） 「ユーザーの不満の兆候は？」 「よくある失敗は？」 「スキルはよく使われている？」
26. 評価として何ができるか選択肢を持ちつつ、 今どこまで実施するか判断することになります
27. まとめ
28. まとめ • AIエージェントをうまく使うためには、その分野の「良い仕事」を理解していることが必要 その分野の「良い仕事」が分かること = AIの出力や行動を評価できること • AIエージェントは簡単に動かすことができるので、早く動かして「役立つか」確認するべき 試して「いいかんじ」か見てみる、作る人と使う人を近づける、ログをAIで分析する • 評価として何ができるか選択肢を持ちつつ、今どこまで実施するか判断する 必要に応じて、データセットを使ったオフライン評価やしくみでのオンライン評価を整えていく AIエージェントの活用、開発、そして評価では、 成果を出すまでのスピードや時間的金銭的な費用対効果も重要です
29. ご紹介 自社のブログにこんな記事を書きました！（評価の話ではないです） AIエージェントとの協働を考え続けた結果、タスク管理ツールとチャットツールを内製しました https://blog.generative-agents.co.jp/entry/2026/08/31/173537
30. 当社では「AIとの協働から、組織と働き方を再定義する」仲間を募集しています！ 株式会社ジェネラティブエージェンツ - 採用情報 https://generative-agents.co.jp/recruitment/
31. ご清聴ありがとうございました