LLMリーダーボードアップデートに向けたAgentic Math_SWEのトレースについて

近年のAI Agentの高性能化によって、生成AIはロングホライズンのタスクを自律的に解くようになっており、モデル評価もよりAgenticなアプローチが必須となっている。一方でコストと実行時間とその不確実性が増しており評価においてもトレースによるオブザーバービリティが重要になっている。本講演では繁体中文版LLMリーダーボードの開発で先行して取り入れたAgentic Math/SWE評価における課題とそこから得られたインサイトを紹介する。

Transcript

1. MEETUP · 20:10‒20:30 LLMリーダーボードの Agentic アップデート Math/SWE評価のトレースから得た知⾒ 繁体字中国語版 Nejumi LLMリーダーボード 開発事例
2. 祝・もうすぐ一周年 台湾向けを作成中で、今回はそ こからの知見を共有します。 nejumi.ai
3. NEJUMI LLM LEADERBOARD 4 複数の日本語ベンチマークを統合し、モデルを横断比較す る総合リーダーボード 大カテゴリ 中カテゴリ 小カテゴリ 使用ベンチマーク 詳細 表現 MT-bench (roleplay, writing, humanities) ロールプレイ、ライティング、人文科学 翻訳 Jaster (alt-e-to-j, alt-j-to-e) 英日・日英翻訳（ 0-shot/few-shot平均） 情報検索 Jaster (jsquad) 日本語質問応答（ 0-shot/few-shot平均） 抽象的推論 ARC-AGI1, 2 抽象的パターン認識（ arc-agi-1/arc-agi-2) 論理的推論 MT-bench (reasoning) 論理的推論タスク 数学的推論 Jaster (mawps, mgsm), MT-bench (math) 数学文章題、数学推論 一般的知識 Jaster (jcommonsenseqa, jemhopqa, niilc, aio), MT-bench (stem) 常識推論、マルチホップ QA、基礎的なSTEM知識 専門的知識 Jaster (jmmlu, mmlu_prox_ja), HLE 専門知識評価（医学、法律、工学など PhDレベル含む） 意味解析 Jaster (jnli, janli, jsem, jsick, jamp) 自然言語推論、意味的類似性 構文解析 Jaster (jcola-in-domain, jcola-out-of-domain, jblimp) 文法的受容性判断 コーディング SWE-Bench, JHumanEval, MT-bench (coding) 実践的コーディング能力、コード生成 関数呼び出し BFCL 関数呼び出しの正確性（単一 /複数ターン、無関係検出） 制御性 制御性 Jaster Control, M-IFEVAL 指示に従う能力、制約遵守 1 倫理・道徳 倫理・道徳 Jaster (commonsensemoralja) 倫理観・道徳判断 1 毒性 毒性 Toxicity 公平性、社会規範、禁止行為、違反カテゴリの評価 1 バイアス バイアス JBBQ 日本語バイアスベンチマーク（ 1 - avg_abs_bias_score） 1 真実性 真実性 JTruthfulQA, HalluLens 事実性評価、幻覚の抑制（拒否率） 1 堅牢性 堅牢性 JMMLU Robust 質問形式を変えた時の回答内容の一貫性・堅牢性 1 応用的言語性能 推論能力 汎用的言語性能 (GLP) 知識・質問応答 基礎的言語性能 アプリケーション開発 アラインメント (ALT) Total Score 重 み Agentic Math / SWE traces · Nejumi LLM Leaderboard 1 2 2 1 2
4. コーディング評価 黎明期 LLMに unified diff を直接出力させる single-shot 評価だった SWE-bench Verified の⼊⼒ ↓ 問題⽂をプロンプト化 Prompt-to-diff ↓ Single-shot patch generation LLMを1回だけ呼び出す モデルの周囲に repository も shell も test も無い。Chat Completion中⼼の評 価としては、当時これが標準的な形だっ た。 ↓ unified diff を直接⽣成 ↓ パッチを適⽤してテスト Agentic Math / SWE traces · Nejumi LLM Leaderboard --- a/astropy/modeling/separable.py +++ b/astropy/modeling/separable.py @@ -245,1 +245,1 @@ cright[-right.shape[0]:, -right.shape[1]:] = 1 + cright[-right.shape[0]:, -right.shape[1]:] = right
5. TASK DESIGN リポジトリを一切編集せず、いきなり unified diff を書かせる。タスク として不自然だった SINGLE-SHOT（1年前） Issue + 対象コード（提⽰済み） ↓ 編集もテストもせず⼀発で 実際の開発ループ Issue → Explore → Read Test → Diagnose → Iterate unified diff を書き切る ⼈間の開発者もこの書き⽅はしない。当時はAgentが未発達で、これ が現実的な選択肢だった。 この不自然なタスクで、ほぼ完璧なdiffが出てしまう。それ自体が汚染の示唆になりうる — 高スコアからは、推論・記憶・露出のどれが効いたのか区別できない。 Agentic Math / SWE traces · Nejumi LLM Leaderboard → Edit →
6. FRESHNESS 「良いベンチマーク」はデータの鮮度に依存する SWE-bench Verified フロンティアモデルで、問題固有情報や gold patch への露出が公開監査で確認された。 SWE-bench Pro 2026年7⽉8⽇、約30%の問題に破損があると推定さ れ、以前の推奨が撤回された。 出典: OpenAI 公開監査（2件） Agentic Math / SWE traces · Nejumi LLM Leaderboard
7. FRESHNESS 相関も「いつ測ったか」で変わる — 公開当時のProは、同時期のrebenchとよく相関していた SWE-bench Pro release vs. Sep 2025 SWE-rebench DeepSWE vs. SWE-rebench v2 Pearson 0.843 Pearson 0.838 Spearman 0.900 n5 Spearman 0.857 ⼩標本かつ⼀部は effort 条件が完全⼀致しない。鮮度仮説を⽀持する⽰唆として扱い、因果の証明とはしない。 Agentic Math / SWE traces · Nejumi LLM Leaderboard n7
8. AGENTIC パッチを想像させるのではなく、実リポジトリを修正させる OPENCLAW AGENT Task Repository exploration エージェントループ File editing Shell / tests NEMOCLAW SANDBOX Iteration 隔離された実⾏環境の中で、実際に読み‧編集し‧テストする diff は回答形式ではなく、エージェントの作業結果として取得する。 Agentic Math / SWE traces · Nejumi LLM Leaderboard Final workspace diff ↓ Official verifier
9. TRACE W&B Weave の Agent Trace で、結果ではなく 実行過程を見る 「何点だったか」から 「なぜその 結果になったか」へ。 TRACEで⾒えるもの Conversation / turns Tool calls と⼊出⼒ Latency Token usage Error spans Parent-child 構造 ⾮公開の chain-of-thought は取 得していない。 Agentic Math / SWE traces · Nejumi LLM Leaderboard Output Table Trace
10. COST ロングホライズン評価は、1問でも数ドルから数十ドルかかる 1 task $5‒20 DeepSWE · 113 tasks SWE-bench Pro Public · 731 tasks $565‒2,260 $3,655‒14,620 1モデルあたり 約10〜40万円 1モデルで100万円を超える可能性 リーダーボードでは複数モデル × 複数ベンチマークを実⾏する。 「⾼い」では済まず、評価設計そのものを変える必要があった。 為替を約150円/USDとした丸めた概算。モデルにより$5未満‧$20超の例もある。他ベンチマークや再実⾏費⽤は含まない。 実際にはキャッシュや無料トークン分などのダメージ軽減があるが、シャレにならない状況はあまり変わらない。 Agentic Math / SWE traces · Nejumi LLM Leaderboard
11. COST 少数のタスクが、評価全体のコストと時間を支配する Average cost is not a budget guarantee. 上位 7 件（全体の 5.2%）が占め る割合 ⼊⼒トークン 48.2% / 推定コ スト 43.1% / 実⾏時間 23.6% 上位 27 件（20.1%）が占める割 合 実測 wall-clock time 52.2% 出典: SWE-bench Pro のローカル実測 134 trajectory の再集計 ロングテールの度合いはモデルとタス クによる（これは特に顕著な例） Agentic Math / SWE traces · Nejumi LLM Leaderboard
12. STOP 正解コードの完成と、Agentがタスクを終了する時点は一致しない Explore → Implement → Correct diff → More tests → Environment fixes → More tests → Budget limit 後からdiffを比較すると、正 解コードはかなり早い段階 で完成していた。 その後もAgentは検証を続けた。「暴 ⾛」ではなく、 終了条件を満たせない まま継続した 状態。能⼒の問題である と同時に、停⽌判断と評価プロトコル の問題でもある。 Agentic Math / SWE traces · Nejumi LLM Leaderboard W&B Agent Trace
13. STOP turn・tool・token・time の上限は運用設定ではなく、 ベンチマーク仕様である 必要な設計 残り予算をAgentに伝える Too strict Too loose 解けるはずのタスクも打ち 切る 費⽤と時間が予測不能にな る Budget 上限到達時は現在のdiffを提出すると明⽰する 終了前に段階的なwarningを出す hard cap はAgentの外側でも強制する Agentic Math / SWE traces · Nejumi LLM Leaderboard
14. TRACE 最終スコアだけでは、モデルの失敗と評価基盤の失敗を区 別できない 0 同じスコア → 推論または実装を誤った → 正しい⽅向だが時間切れ → 実装済みだが終了できなかった → 依存関係がなくテスト不能 → ツールがポリシーで拒否された → 採点不能: Provider または harness の障害 Agenticなスコアは、Model だけでなく Agent・Tools・Runtime・Budget・Verifier すべてに左右される。 Agentic Math / SWE traces · Nejumi LLM Leaderboard
15. AGENTIC · MATH Mathでも、最終回答ではなく問題解決の過程を観測する 観測できる過程 Shell / Python 実⾏ 厳密計算 ⼩ケースでの検算 予想の検証 → 証明 区別できた失敗 数値解には到達したが証明が未 完 ツール探索を⽌められない 最終回答の形式を満たせない Agentic Math / SWE traces · Nejumi LLM Leaderboard Output Table Trace
16. BENCHMARK DESIGN 高難度だけでは、モデル間の能力差を表現しきれない DEEPSWE ONLY AGENTIC SWE ASSORTED Small / mid models Frontier models near zero Low 20 SWE-bench Lite differentiated Mid 20 SWE-bench Lite High 10 DeepSWE 中⼩モデルがほぼ0点に潰れ、順位が付かない。 Agentic Math / SWE traces · Nejumi LLM Leaderboard 各tierを総合SWEスコアの1/3として集約。High-10はDeepSWE 113問に対す る順位‧相関を考慮して選定。
17. BENCHMARK DESIGN High-10 は DeepSWE 全113問の順位をどこまで再現できるか SELECTION-AWARE OOF Pearson Spearman 0.921 0.896 Kendall MAE 0.753 0.077 各モデルファミリーを除外した状態で追加2 問を再選定する selection-aware OOF。 n = 40 Agentic Math / SWE traces · Nejumi LLM Leaderboard
18. BENCHMARK DESIGN Liteは鮮度対策ではない。低コストで Low・Middle の性能差を測れ るから採用した • Liteも公開済み問題であり、潜在的な汚染リスクがある • Verified では汚染が公開監査で明確に⽴証されている • Lite には同程度の体系的な監査がない • ローカル実測では上位モデルも満点から遠く、中⼩モデルとのスコア差が残って いた • 現時点で実⽤的な Low‧Middle の信号として採⽤ 汚染がないから採用したのではない。汚染リスクを認識しつつ、現在も必要な性能差を測れるため採用した。 Agentic Math / SWE traces · Nejumi LLM Leaderboard
19. HARNESS 評価ハーネスにも、Agentと同じくらい明確な制御と観測が必 要だった Observe Bound Isolate Stop trace / token / latency / tool / error task budget / retry上限 / cost ceiling taskごとのclean workspace / 共有状態の排除 fail-fast / ⼦プロセスまで届く cancel / 停⽌後の検証 エラーでも⽌まらず完⾛することは堅牢性ではない。失敗を観測し、安全に停⽌し、再開できることが堅牢性。
20. まとめ モデルの能力だけでなく、モデルが動く過程そのものを評価・制御・ 監査する 1. 2. 3. 4. 5. 評価インターフェースもモデル利⽤形態に合わせて更新する 静的ベンチマークの鮮度は時間とともに失われる Agenticコストは平均ではなくロングテールで考える Budgetと停⽌条件はベンチマーク仕様の⼀部 Traceがモデル失敗とハーネス失敗を分ける Agentic Math / SWE traces · Nejumi LLM Leaderboard Final score tells us what happened. Trace tells us why.