AI Agent評価体系構築セミナー ハンズオンパート

Transcript

1. AI Agent評価体系構築セミナー: 座学からハンズオン handson part
2. HandsonのGoal • • Agentの評価の具体的な流れがわかる ◦ offline evaluation (評価のバージョン管理と結果の可読性 ) ◦ online evaluation (online evaluation の考え方と実装 ) Coding Agentを用いた改善手法（ with W&B skills）も体験する Handsonの流れ • • • • Weaveの概要 オフライン評価の実装 オンライン評価の実装 Coding Agentを用いた改善 2
3. 本日の題材 • • • arXiv論文からスライドを生成するエージェント ◦ https://github.com/GenerativeAgents/evalsseminar-20260910 画像中の使用論文 ◦ https://arxiv.org/abs/1706.03762 まずはGitHubに記載の以下を実施します ◦ 前提条件 ◦ セットアップ ◦ Web UIでの動作確認
4. Weave 4
5. W&B Weave: World ClassのLLMOpsをチームに提供 Playground | Traces • Agent-native tracing • Agent分析ダッシュボード • 柔軟な評価体系の構築（offline evals） • フィードバック収集 • 本番モニタリング (online evals / Signals) • Coding Agentとの柔軟な接続 • W&B のUI上でもCoding Agentを提供（β機能） • エンタープライズ要件への対応 オブザーブ プロトタイプ 監視・フィードバック収 集 AIアプリの初期バージョ ンを試作する User feedback Weave GenAI Application Development Evaluations | Leaderboards デプロイ 反復（品質向上） デプロイ・ ガードレール 精度・遅延・コスト・安全 性を評価・最適化 Guardrails 5
6. Trace: エージェントネイティブな高度ビュー • • OTELのGenAI semantic conventions に従い、エー ジェントのフレームワークに寄らず、エージェントト レースの高度なビューを実現 マルチエージェントシステム全体の挙動を簡単に 追跡 KEY VALUE 生ログでは埋もれてしまう障害障害の根本原因をすばやく 発見 Blog: New in W&B Weave: Observability and continuous improvement for production agents
7. 論文スライド生成エージェントの構成 • • • • workspacesディレクトリ以下の「baseline」「improvement-1」 「improvement-2」を指定して実行 ワークスペースの各ディレクトリには、AGENTS.mdと pptx-generatorスキルが配置 「baseline」→「improvement-1」→「improvement-2」の順でス キルをアップデートして評価 時間の都合上、GitHub中の以下2つを実行してから、「何を どう評価するか？」を検討します ◦ 1. Datasetのpublish ◦ 2. オフライン評価（ベースライン）
8. 何をどう評価するか？ • • • ハンズオンのソースコードに実装されているScorerは あくまで例です 何をどう評価するか、考えてみてください GitHubに記載の「2. オフライン評価（ベースライン）」が 完了した方は、「3. オフライン評価（改善後）」も進めて ください
9. Weave : オフライン評価 9
10. Background… すぐに訪れる AI Agentの再開発 • • • 新しいフレームワークやライブラリが出るたび に、既存のワークフローが壊れるリスク（レグ レッション） LLMを変えると連携している下流処理が壊れ る ユーザーからの要望反映期待値が短い GSKのケーススタディ 評価体系を設ける必要性 • • 変更の影響範囲を把握できない 改善効果を説明できない その評価体系もすぐには構築できない • Demystifying evals for AI agents (Anthropic) 最初からデータがなく、明確な基準がないので 少しずつ評価体系を作る必要がある 10
11. 柔軟な評価フレームワーク • • • ハーネスおよびモデルの改善を、信頼性高く測定できる評価 API 各イテレーションで、ユーザーに影響が及ぶ前に回帰を検知し、より信頼性の高いエージェントをリリース 組織で統一された評価体系を最小限の SDKで構築可能（可視化のコードは必要なし） Dataset ver1 ver2 … Scorers Metrics Evaluation Framework わかりやすい可視化 Accuracy Latency Cost Safety AI Application ver1 ver2 … User experience ver1 ver2 … AI application / Evaluation の自動バージョン管理 複数のメトリックを一覧で確認 AI Application Accuracy 1 rag : ver2 rag : ver1 … Evaluation eval : ver1 eval : ver1 … Accuracy 2 Safety User experience Cost Latency
12. 管理できる 4つのアセット Prompt プロンプトのバージョン管理。変更履歴を追跡。 Scorer スコアラーの管理。評価ロジックを資産化。 Dataset 評価用データセットの管理と再利用。 Model ◀ 要チェック 生成AIアプリのバージョン管理。 Weave だけが提供。
13. weave.Model のバージョン管理 ＊ LLM アプリでは API 呼び出し + システムプロンプト + ツール の組み合わせが「モデル」として機能する。 Weave · ExtractDinos.invoke ＊ weave.Model を継承し predict / invoke を定義するだけ。 ＊ モデル名・ temperature・プロンプト・ コード の変更が、呼び出す たびに 自動でバージョン管理 される（例: v21）。 任意の AI Agent をバージョン管理できるのは Weave だけ https://docs.wandb.ai/weave/tutorial-weave_models パラメータもコードも自動でバージョン管理される
14. Weave.Evaluateの基本 • データセット とスコアリング関数 を登録 し、モデルを比較する枠組み • 複数スコアラーを横並び で確認でき、評価 from weave import Evaluation 体系とアプリのバージョンが自動で両方ト @weave.op() ラックされる def exact_match (expected, model_output): return {"match" : expected == model_output} eval_job = Evaluation ( dataset=dataset, scorers=[exact_match], ) await eval_job.evaluate(model) docs.wandb.ai/weave · tutorial-eval 14
15. EvaluationLogger — 柔軟なロギング • コード中の 任意の地点 で評価情報を逐次記録でき logger.py る軽量 API • Dataset やスコアラーを事前に厳密定義しなくてよ い。予測が出た時点で入力・出力・スコアを個別記 録 • from weave import EvaluationLogger # 1) ロガーを初期化 eval_logger = EvaluationLogger ( model= "my_model", dataset="my_dataset" , 複雑な Agent フローで特定ステップだけ評価 した い場合に有用。トークン・コストも自動集計 ) # 2) 予測とスコアを逐次ログ for sample in dataset: pred = eval_logger.log_prediction ( inputs=sample["inputs"], output=output) pred.log_score(scorer="correctness", score=...) # 3) サマリをログ eval_logger.log_summary({"overall_score": 0.98}) 15
16. Weave : オンライン評価 16
17. Background… オフライン開発は遅く、現実世界のすべてのシナリオをカバーできない オフライン開発 本番環境の現実 実環境のシナリオ 無限・ラベルなし 構築 エージェントの反復 評価 ラベル付きデータ セット エッジケース 未知の入力 リリース ラベル付きデータ セット 指標達成 品質・コスト・スタイ ル 文脈の変化 エージェントの信頼性が不足 17
18. Built-inシグナルによるエージェントモニタリング • • • • Built-in・カスタム LLM as a Judgeでエージェントのやり取り を自動で記録・分類 アラート で重要な情報をSlack通知やWebhook自動化で即 時に届ける 失敗モードを高精度で検出し、数百万件規模の エージェント挙動から重大な問題を見逃さない Rating templates User satisfaction User Good Intent Safe-for-Work Response Quality Jailbreaking NSFW Low Quality Response Tag templates User Frustration
19. Weave : Self-improvement 19
20. ‘’’All LLM frontier labs will do this (autoresearch). It's the final boss battle. It's a lot more complex at scale of course - you don't just have a single train.py file to tune. But doing it is "just engineering" and it's going to work. - Andrej Karpathy’’’ X, github 「すべてのフロンティアLLMラボは、これ（自動研究）をや るようになる。これはラスボス戦だ。もちろん、大規模に やるとなるとはるかに複雑になる。単に1つの train.py ファイルをチューニングすればいい、という話ではない。 だが、それを実現することは“ただのエンジニアリング”で あり、うまくいくことになる。」 20
21. Coding Agentのメモリレイヤーとしての W&B ベストクラスの Coding Agent ハーネス Source code of AI Agent Coding Agent の性能を最大限に引き出すには、十分な情報を 検索可能な形で保存・抽出できる必要がある。バージョン・評価 結果・本番の利用データを W&B に残すことで、個人の運用に寄 らない再現性の高い足場になる Coding Agent wandb.log() @weave.op() Weights & Biases KEY VALUE イテレーション速度を飛躍的に向上 — インサイトから改善までの ループを自動化 W&B Skills W&B MCP 21
22. W&B Senpai GitHub でAutoResearchのテンプレートを公開 K8sとGithub、W&B、Claude Code SDKでAutoResearchを回すテン プレート github.com/wandb/senpai ICML 2026 で発表 Observabilityを最優先した research harness として ICML 2026 AI for Science Workshop に採択 流体 CFD サロゲートのレシピ探索を題材に、Advisor が draft PR で仮説を起票 → GPU 上の Student が学習して W&B に記録 → Advisor が判定するループを12時間トライアルで並列実行。 Transolver を起点に DrivAerML・AirfRANS・TandemFoilSet で参 照値を上回るレシピを発見した 3,000+ PR ・ 11,000+ W&B runs ・ 最大59並列 22
23. （日本語訳）ファイルシステムを永続メモリとして利用する 長期間にわたって動作するエージェントシステムでは、シンプルな制御によって豊富な状態や成果物を扱うことが、繰り返し見られる重要な設計パターンとなって います。ハーネスは、ワークフロー全体やすべてのログをコンテキストに保持するべきではありません。そうではなく、永続的に保持すべき状態はファイルとして 保存すべきです。 長期間に及ぶエージェントのロールアウトでは、実験ログ、コードの差分、論文の要約、エラートレース、過去のロールアウト履歴といった成果物は、モデルが学 習時に想定していたコンテキストウィンドウをはるかに超える長さになることが少なくありません。 LLMにとって、ファイルシステムを読み書きし、編集すること（多くの場合は bashコマンドを通じて行われます）は基礎的なスキルです。そのため、永続メモリをシ ンプルに「ファイル」という形で管理するアプローチは、モデル自体の能力向上の恩恵を自然に受けられるという利点があります。 Harness Engineering for Self-Improvement https://lilianweng.github.io/posts/2026-07-04-harness/?hm_ct=d17807e98595783ee6ed fc7ae00fe95a&hm_cv=87e6d4e056b010261ecdc77d7ac8eb6c&hm_cs=34425830867c 668cc644b98.49867681&hm_mid=m4mim&hm_id=m4mim&hm_h=a03.hm-f.jp Google Cloud Next Tokyo Proprietary
24. 完全な⾃⼰改善に向けて残るボトルネック 評価とインセンティブ エージェント基盤 最適化の射程と⼈間 01 弱く曖昧な評価器 ⾼速で厳密な検証器を持たない研究の良し悪しは測れず、⾃⼰改善ループは客観指標のあるタ スクに限られる。 05 報酬ハッキング ループは与えた信号だけを最適化する。テスト‧判定モデル‧ベンチマークはいずれも抜け道 ごと学習される。 02 ⽂脈と記憶の寿命 ⾃律性が上がるほど記憶は増える。⽂脈の設計はソフトウェア層ではなく知能の中核機能に なっていく。 03 仮説を捨てる⼒ ⽂献も学習データも成功に偏る。仮説を捨てる判断が弱く、失敗の保存こそ探索空間を削る最 短経路になる。 04 多様性の崩壊 進化‧強化学習ループは既知の⾼報酬パターンに収束する。現評価器では劣って⾒える経路を 残す設計が要る。 06 保守性 ⽬先の課題は解けても、保守性‧所有権‧移⾏コストなどサンドボックス学習が捉えない健全 性が残る。 07 ⼈間の役割 ⼈間をループから外すのではなく抽象度を⼀段上げ、監督が効くタイミングと粒度を設計に織 り込む。 出典: Weng, L.「Harness Engineering for Self-Improvement」Lil'Log (Jul 2026) Google Cloud Next Tokyo Proprietary
25. ARIA (AI Research and Iteration Agent) PUBLIC PREVIEW W&Bの画面の中で動く Agent 画面上で分析 数千の run と数万の metric を数分で読み解き、性 能を左右する要因を特定 分析の可視化 heat map・parallel coordinates・bar chart を W&B の workspace にそのまま描く Launchを使えば 自己改善 まで実行可能 wandb.ai/site/agent jobキューシステムを利用すると、解析した結果をもと に次の実験を回し、一定の精度に達するまで実験を 回すことも可能 25