Evalsエンジニアの仕事_宇野.pdf

Transcript

1. LegalBrain 2026.10.14 Evalsエンジニア⼊⾨ 専⾨領域のAIを どう評価するか 法律AIエージェントのEvalsエンジニアの仕事 弁護⼠ドットコム株式会社 宇野 智
2. LegalBrain ⾃⼰紹介 宇野 智 所属 弁護⼠ドットコム株式会社 データ本部 AI 技術開発部 AI エンジニア 前職 LINEヤフーで検索基盤のバックエンド開発 やっていること 法務AIエージェント「LegalBrain エージェント」の開発‧評価 Bengo4.com, Inc.
3. LegalBrain LegalBrain エージェントの紹介 弁護⼠‧企業法務担当者向けの 統合型‧法務AIエージェント リーガルリサーチ 論点整理 契約書レビュー ⽂書作成 すべての回答に、根拠となる ⼀次情報の出典を明⽰ Bengo4.com, Inc.
4. LegalBrain 私の仕事 LegalBrain エージェントの 精度改善を担当しています Evals チーム AIエンジニア ドメインエキスパート プロダクト‧開発の責任者 評価の仕組みを作り 弁護⼠など、法律実務の専⾨家 チームの⽅針や 精度改善を進める 回答の良し悪しを判断する 優先順位を決める 私 ※ 以下、専⾨家と呼びます Bengo4.com, Inc.
5. LegalBrain Evalsエンジニアの仕事 ＝ 精度改善のループを回し続けること 1 課題を⾒つける 2 対策を作る 3 評価する 4 リリース‧運⽤ ⾜りなければ対策に戻る 5 フィードバック‧ 分析 Bengo4.com, Inc.
6. LegalBrain 今⽇話すのは「評価する」の部分 1 課題を⾒つける 2 対策を作る 3 評価する 4 リリース‧運⽤ ⾜りなければ対策に戻る 5 フィードバック‧ 分析 Bengo4.com, Inc.
7. LegalBrain 法律領域の評価は難しい 💦 様々なユースケースに対応できているか 結論が法的に正しいか 実務でどんな相談が来るかは もっともらしい⽂章でも誤りがある 現場を知らないとわからない 例：改正前の条⽂を根拠にしている ⾒るべき論点を的確に挙げているか 引⽤⽂献が回答を⽀えているか このケースで何を論点に挙げるべきかは 条⽂や判例が主張の根拠になるかは 法的な知識や経験が判断のもとになる 読み解ける⼈にしか判断できない → 専⾨家と共同した評価が不可⽋！ Bengo4.com, Inc.
8. LegalBrain 評価する対象によって、アプローチが異なる 3 専⾨家にしか 判断できない 専⾨家が評価する 結論が法的に妥当か ⾒るべき論点を的確に挙げているか 2 基準を決めれば 専⾨家と共同して基準を作り 引⽤⽂献が回答を⽀えているか 確かめられる ⾃動採点で確かめる ⾒るべき条項に触れているか、条項番号が正しいか 1 機械的に エンジニアが 応答時間‧コスト 確かめられる コードで確かめる フォーマット、⾔語、⽂量 Bengo4.com, Inc.
9. LegalBrain 評価のアプローチ 3 専⾨家にしか判断できない 2 基準を決めれば確かめられる 1 機械的に確かめられる エンジニアがコードで確かめる 1 機械的に確かめられる Bengo4.com, Inc.
10. LegalBrain 1 機械的に確かめられる 何を測るかを設計し、品質を落とさずに改善する 1 対策を⼊れる 2 メトリクスにして測る 3 ⼯夫して改善する 回答の品質を上げるために ‧応答時間 問題があれば モデルを変える、 ‧回答が出始めるまでの時間 ‧必要に応じて⾼速化する プロンプトや処理を⾜す 速度やコストが ‧1回答あたりのコスト 悪化することもある ‧フォーマット、⾔語、⽂量 決めた限度に収まっているか ‧キャッシュを活⽤する ‧出⼒の崩れは後処理で防ぐ 限度に収まるまで、測って直すを繰り返す Bengo4.com, Inc.
11. LegalBrain 評価のアプローチ 3 専⾨家にしか判断できない 2 基準を決めれば確かめられる 3 専⾨家にしか判断できない 専⾨家が評価する 1 機械的に確かめられる Bengo4.com, Inc.
12. LegalBrain 3 専⾨家にしか判断できない 専⾨家⾃⾝が、調整と確認を繰り返している 1 2 プロンプトを作る‧直す 回答を⽬で⾒て確かめる 実務の知識をもとに 調整のたびに回答を読み 専⾨家がプロンプトを書き、調整する 品質が上がったかを確かめる 何度も繰り返す 作業量は多いが、専⾨家の時間は限られている 😣 → 評価の効率化がプロダクトの品質向上に不可⽋！！！ Bengo4.com, Inc.
13. LegalBrain 評価のアプローチ 3 専⾨家にしか判断できない 2 基準を決めれば確かめられる 2 基準を決めれば確かめられる 専⾨家と共同して基準を作り、⾃動採点で確かめる 1 機械的に確かめられる Bengo4.com, Inc.
14. LegalBrain 2 基準を決めれば確かめられる スキーマと専⾨家の⾔語化を合わせて、基準を作る エンジニア スキーマを作る 基準（スキーマに沿った形） 基準を構造化データとして 基準の名前 持つための形式を作る 残業代請求の相談で、時効に⾔及している か ＋ 共同で 何を⾒るか …（省略）… OK とみなす条件 …（省略）… 判定の注意 …（省略）… 基準にする 専⾨家 判断を⾔語化する 何を良しとするかを まずは率直に⾔葉にする Bengo4.com, Inc.
15. LegalBrain 2 基準を決めれば確かめられる 作った基準で、⾃動採点を回す 専⾨家が エージェントによる LLM による 結果の分析と テストケース作成 回答の⽣成 ⾃動採点 ⽐較 ⾃動採点の中⾝ LLM に渡すもの 質問 エージェントの回答 判定の形は Yes / No など、基準ごとに決める Bengo4.com, Inc. LLM に返させるもの 基準の⽂章 基準ごとの判定
16. LegalBrain 2 基準を決めれば確かめられる 重要 どこまで⾃動採点に任せてよいかを⾒極める ⾃動採点に任せる 専⾨家が⾒る 材料が少なく、判定までが単純 材料が多く、判定までが複雑 例：引⽤が回答⽂を⽀えているか 例：結論が法的に妥当か 今後は専⾨家の判定との⼀致を測りながら、 さらに任せられる範囲を広げていく ↗ Bengo4.com, Inc.
17. LegalBrain まとめ Bengo4.com, Inc.
18. LegalBrain ふりかえり 評価する対象によって、アプローチが異なる 3 専⾨家にしか 判断できない 2 基準を決めれば 確かめられる 1 機械的に 確かめられる 専⾨家が評価する 専⾨家と共同して基準を作り、⾃動採点で確かめる エンジニアがコードで確かめる 仕組みで確かめられる範囲が広がるほど、 → 専⾨家は⾼度な評価に時間を使える！！！ Bengo4.com, Inc.
19. LegalBrain まとめ 精度改善の仕組みづくりによってプロダクトの品質が上がる ※ 専⾨家が評価する部分の⾼さ（専⾨家の時間）はどれも同じ 専⾨家が評価 プ ロ ダ ク ト の 品 質 仕組みで保証 基本的な指標 段階 1 段階 2 段階 3 段階 4 基本的な指標 指標の拡充 ⾃動評価の対応領域の拡⼤ 専⾨家の評価が⾼く届き ＋ 専⾨家の⽬検チェック ＋ 部分的な⾃動評価 ＋ 評価の精度向上 プロダクトの品質が上がる Bengo4.com, Inc.
20. LegalBrain ありがとうございました 弁護⼠ドットコム株式会社 ∕ 宇野 智
21. LegalBrain Q&A 補⾜ ⾃動採点が⼈の判定とずれたときの直し⽅ 直し⽅ 中⾝‧例 1 採点の指⽰を直す 基準の⽂章を直す。⼀番⼿軽だが、⼀番壊れやすい 2 基準を分解する 「引⽤が適切か」を「条⽂が実在するか」「引⽤元にない主張がないか」などの⼩さな判定に割る 3 コードで確かめられるものは 条項番号‧判例の実在確認や原⽂との照合はコードで。LLM は解釈が要る部分だけ LLM に聞かない 4 判定の材料を渡す 正解例や、回答が引⽤した条⽂‧判例の本⽂を採点時に⾒せる 5 測り⽅を変える 複数回採点して多数決、系列の違うモデルを混ぜて癖を打ち消す 6 ずれを測って補正する ⼈の判定との系統的なずれを測り、閾値などで補正する 7 専⽤の⼩さな判定器を学習する 「引⽤元にない主張が含まれるか」のような狭い判定なら、⼩型モデルを⾃前で学習できる ⼟台は、⼈の判定との⼀致を測り続けること。それがないと、直して良くなったのか判別できない Bengo4.com, Inc.