【CA.ai #4】Vertex AI Gen AI Evaluation Service の活用事例紹介

https://cyberagent.connpass.com/event/383129/

Transcript

1. Vertex AI Gen AI Evaluation Service の活用事例紹介 2026/03/05 「CA.ai#4 〜AIOpsの最前線〜」 株式会社サイバーエージェント MIU AI戦略本部 原 和希
2. 1.自己紹介 2.今日皆さんに持ち帰って欲しいこと 3.事例①〜占いチャットアプリ〜 4.事例②〜記事校正支援用エージェント〜 5.まとめ
3. 原 和希 株式会社サイバーエージェント / MIU AI戦略本部 AIエンジニア • Google Developer Experts (Google Cloud: AI) • CyberAgent Developer Experts (Google Cloud/ ML) • X: @harappa80
4. LLMを使った機能・アプリケーションを 開発している方 ✋
5. 出力評価 (LLM-as-a-Judgeとか) をしている方 ✋
6. 今日皆さんに 持ち帰って欲しいこと
7. 今日話すこと • 事例紹介 ◦ 出力評価の重要性 ◦ Vertex AI Gen AI Evaluation Serviceの強み
8. LLMをサービスインする時に決めること • LLM • システムプロンプト • パラメータ etc. エージェントの場合は加えて、 • ツール(とディスクリプション) これらは何度も出力・確認して調整していくもの
9. 出力評価の必要性 前述の変数の決定に加えて... • あらゆるユーザー入力に対応できている？ • 意図せぬ出力(意味不明な記号とか文字とか)は出ない？ • プロンプトインジェクションなどの攻撃には堅牢？ LLMは非決定論的振る舞いをするため、完璧な対応は難しいが、 サービス品質に関わる問題。可能な範囲での対策はしておくべき。
11. 事例① 〜占いチャットアプリ〜
12. サービス •
13. 直面していた課題
14. アーキテクチャ • LangChainをVertex AI SDKでラップ • 結果はGCSへ格納 ◦ → エンジニア: 専用アプリ(Streamlit), Notebook ◦ → ビジネスメンバー: スプレッドシート
15. アプローチ Rubric(評価基準 ) User prompt Response Vertex AI Gen AI Evaluation Service LLM as a Judge スコア & 評価理由
16. Vertex AI Gen AI Evaluation Serviceの良いところ①
17. 重要なポイント ① 専門家の暗黙知をルーブリックに落とし込む • 「理想の出力」とはどのようなものか？ ◦ ドメイン専門家にヒアリング(こだわりや優位性) ◦ 定性評価からはじめて良し悪しを分解していく • ルーブリックを継続的に改善していく ◦ 人手評価と LLM-as-a-Judge の結果を突き合わせて信頼性を検証
18. 重要なポイント ② ユースケースを網羅したデータセットを作成 • 想定される入力に対して理想の出力を用意する ◦ 既存のデータが使用・参考にする • 10 件程度の高品質なデータセットからはじめて、徐々に増やす • 品質担保のためのデータと改善領域にフォーカスした、チャレンジングな データを使う
20. 事例② 〜記事校正支援用エージェント〜
21. 現在開発しているアプリケーション とあるメディアサイトの記事校正支援用 AIエージェント 📝 • 業務効率化が目的 • 社内用のWebアプリケーションとして提供 • ADKで開発, VertexAI AgentEngineへデプロイ
22. 事例①の時からのアップデート • エージェントのための評価機能 ◦ Trajectory(軌跡) 評価 • 適応型ルーブリックが追加 ◦ 自動的にルーブリックリストを生成 ◦ guidelinesパラメータでカスタマイズも可能 • SDKがGenAI Client(from vertexai import Client)に移行 ◦ 旧(from vertexai.evaluation import EvalTask)
23. 課題 🤔 instructionやツール定義（説明文）が曖昧だと、 ツールを使わずに出力をしてしまうことがある 🤔 複数のサブエージェントがあり、 ルートエージェントが適切に呼び出しているかを評価したい
24. 評価観点 1. ツールの実行内容・順序を評価 2. 最終出力を評価 Root Agent(LLMAgent) Agent-as-a-Tool① Agent-as-a-Tool② Tools Agent-as-a-Tool③ Tools
25. 評価観点 1. ツールの実行内容・順序を評価 2. 最終出力を評価 Sub AgentをAgent-as-a-Toolとして使用 Root Agent(LLMAgent) Agent-as-a-Tool① Agent-as-a-Tool② Tools Agent-as-a-Tool③ オーケストレートに対しての Trajectory評価 Tools
26. 評価観点 1. ツールの実行内容・順序を評価 2. 最終出力を評価 Root Agent(LLMAgent) Agent-as-a-Tool① Agent-as-a-Tool② Tools Agent-as-a-Tool③ Tools Agent as a ToolはToolとして扱われるので eventが含まれない サブエージェント に対しての Trajectory評価
27. 評価観点 1. ツールの実行内容・順序を評価 LLM as a Judge カスタム &適応型ルーブリック 2. 最終出力を評価 出力 Root Agent(LLMAgent) Agent-as-a-Tool① Agent-as-a-Tool② Tools Agent-as-a-Tool③ Tools
28. Vertex AI Gen AI Evaluation Serviceの良いところ② • ADK×AgentEngineとの親和性の高さ ◦ AgentEngineへのリクエスト〜評価をサポート ◦ 評価に必要なAgentのメタデータを簡単に渡せる ▪ メタデータ: instruction,ツール定義（関数名・引数・説明文）など ◦ 上記を考慮して、適応型ルーブリックが動的に基準を作成
29. まとめ
30. まとめ • AI機能をサービスインする際に出力評価は大切。 • Vertex AI Gen AI Evaluation Service を使えばマネージドで実現可能 • 最も重要なのは「良い出力」を「言語化」 すること