Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI Agentにおける評価指標とAgent GPA

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for tsho tsho
February 26, 2026
Technology
420
1

AI Agentにおける評価指標とAgent GPA

第61回 MLOps 勉強会の発表です。AI Agentの評価指標であるAgent GPAの説明です。

Avatar for tsho

tsho

February 26, 2026

More Decks by tsho

See All by tsho
20260321_エンベディングってなに？RAGってなに？エンベディングの説明とGemini Embedding 2 の紹介
Avatar for tsho tsho
0
190
Scale SciPy with jax.shard_map - jax.shard_mapで SciPy をスケール
Avatar for tsho tsho
0
110
Developer Advocate / Community Managerなるには？
Avatar for tsho tsho
0
720
25/04/12 - Build with AI Hands-on Appendix
Avatar for tsho tsho
1
78
Unit testしてますか？
Avatar for tsho tsho
1
660

Other Decks in Technology

See All in Technology
Databricksを用いたセキュアなデータ基盤構築とAIプロダクトへの応用.pdf
Avatar for PKSHA Technology（パークシャテクノロジー） pkshadeck
PRO
0
200
ふりかえりがなかった職能横断チームにふりかえりを導入してみて学んだこと 〜チームのふりかえりを「みんなで未来を考える場」にするプロローグ設計〜
Avatar for Masahiro Shimokawa masahiro1214shimokawa
0
230
Strands Agents × Amazon Bedrock AgentCoreで パーソナルAIエージェントを作ろう
Avatar for yoko / Naoki Yokomachi yokomachi
2
250
制約を設計する - 非決定性との境界線 / Designing constraints
Avatar for soudai sone soudai
PRO
6
2.3k
Kubernetes基盤における開発者体験 とセキュリティの両⽴ / Balancing developer experience and security in a Kubernetes-based environment
Avatar for mekka chmikata
0
210
Databricks Lakebaseを用いたAIエージェント連携
Avatar for Daiki Akimoto NTTD daiki_akimoto_nttd
0
170
Claude Teamプランの選定と、できること/できないこと
Avatar for ふくだ（fukuda ryu） rfdnxbro
1
1.7k
AWSで2番目にリリースされたサービスについてお話しします(諸説あります)
Avatar for Yuuki Yamashita yama3133
0
130
OCI技術資料 : ロード・バランサ 概要 - FLB・NLB共通
Avatar for Oracle Cloud Infrastructure ソリューション・エンジニア ocise
4
28k
プロダクトを育てるように生成AIによる開発プロセスを育てよう
Avatar for KAKEHASHI kakehashi
PRO
1
850
Oracle AI Databaseデータベース・サービス: BaseDB/ExaDB-Dの可用性
Avatar for oracle4engineer oracle4engineer
PRO
1
150
Oracle AI Database@AWS：サービス概要のご紹介
Avatar for oracle4engineer oracle4engineer
PRO
4
2.2k

Featured

See All Featured
A Soul's Torment
Avatar for Nat Ma seathinner
5
2.6k
Building a A Zero-Code AI SEO Workflow
Avatar for Ian Lurie portentint
PRO
0
430
Collaborative Software Design: How to facilitate domain modelling decisions
Avatar for Kenny Baas-Schwegler baasie
0
190
Fight the Zombie Pattern Library - RWD Summit 2016
Avatar for Marcelo Somers marcelosomers
234
17k
Docker and Python
Avatar for Tania Allard trallard
47
3.8k
The SEO identity crisis: Don't let AI make you average
Avatar for Varn varn
0
430
WENDY [Excerpt]
Avatar for Tessa Abrams tessaabrams
9
37k
AI: The stuff that nobody shows you
Avatar for John Nunemaker jnunemaker
PRO
4
520
A Tale of Four Properties
Avatar for Chris Coyier chriscoyier
163
24k
The Pragmatic Product Professional
Avatar for Laura Van Doore lauravandoore
37
7.2k
A brief & incomplete history of 
UX Design for the World Wide Web: 1989–2019
Avatar for Jason CranfordTeague jct
1
340
Amusing Abliteration
Avatar for ianozsvald ianozsvald
1
150

Transcript

  1. © 2026 Snowflake Inc. All Rights Reserved AI Agent における評価手法と

    Agent GPA Sho Tanaka Feb 2026

  2. © 2026 Snowflake Inc. All Rights Reserved AI/ML, Dataの登壇やデモ開発を担当 -

    ex-Google gTech Ads, ML/Data - MLOps community 運営 (2020~) - Google Developer Expert, AI/ML tsho / 田中 翔 (Sho Tanaka) Linkedin.com/in/tsho Lead Developer Advocate @ Snowflake

  3. © 2026 Snowflake Inc. All Rights Reserved AI Agentとは?

  4. © 2026 Snowflake Inc. All Rights Reserved

  5. © 2026 Snowflake Inc. All Rights Reserved AI Agent の活用事例

    メルカリにおけるデータアナリティクス AI エージェント「Socrates」と ADK 活用 事例 - Speaker Deck コクヨ、ジンズなどがAIエージェント自社 開発 「Snowflake Intelligence」日本提 供

  6. © 2026 Snowflake Inc. All Rights Reserved

  7. © 2026 Snowflake Inc. All Rights Reserved AIOpsは2016年ごろにガー トナーが定義したものもあ るので注意

  8. © 2026 Snowflake Inc. All Rights Reserved

  9. © 2026 Snowflake Inc. All Rights Reserved 評価手法

  10. © 2026 Snowflake Inc. All Rights Reserved AI Agent /

    LLM による代表的な評価指標

  11. © 2026 Snowflake Inc. All Rights Reserved 例：ADK の評価指標 Why

    Evaluate Agents - Agent Development Kit (ADK) LLM-as-a-judge Final_response_match_v2, rubric_based_final_response_qual ity_v1 etc. Code-based / Deterministic コード・ルールベース/一致 tool_trajectory_avg_score Traditional NLP Metrics 従来の自然言語処理指標 response_match_score Human Evaluation 人間による評価 (機能として明示的な「指標」はない が、Web UI (Trace View) で支援)

  12. © 2026 Snowflake Inc. All Rights Reserved Agent GPA と

    TruLens

  13. © 2026 Snowflake Inc. All Rights Reserved

  14. © 2026 Snowflake Inc. All Rights Reserved

  15. © 2026 Snowflake Inc. All Rights Reserved

  16. © 2026 Snowflake Inc. All Rights Reserved Agent GPA の論文

    What Is Your Agent's GPA? A Framework for Evaluating Agent Goal-Plan-Action Alignment

  17. © 2026 Snowflake Inc. All Rights Reserved OSS としても提供中 https://github.com/truera/trulens

    https://www.trulens.org/

  18. © 2026 Snowflake Inc. All Rights Reserved https://www.trulens.org/getting_started/quickstarts/web-search-agent-evaluation/#10-add- evaluations

  19. © 2026 Snowflake Inc. All Rights Reserved

  20. © 2026 Snowflake Inc. All Rights Reserved さいごに

  21. © 2026 Snowflake Inc. All Rights Reserved Snowflake 上で Private

    Preview として提供中 What’s Your Agent’s GPA? A Framework for Evaluating AI Agent Reliability

  22. © 2026 Snowflake Inc. All Rights Reserved 参考

  23. © 2026 Snowflake Inc. All Rights Reserved CS 329T: Trustworthy

    Machine Learning

  24. © 2026 Snowflake Inc. All Rights Reserved https://learn.deeplearning.ai/

  25. © 2026 Snowflake Inc. All Rights Reserved THANK YOU