AI時代のプロダクト成長を支えるEvals #ProductScaleTech

急成長するAIプロダクトの裏側で重要な役割を果たす「Evals（評価）」について解説をしたスライドです。
AIの出力品質をどう測定し、改善につなげるか。評価指標の設計から、継続的な評価サイクルの構築、プロダクト成長への活用方法まで、実践的なアプローチを紹介しています。

登壇者: 株式会社LayerX 渡辺謙太 (@k6nta)

イベント: 「"しくじり"から学ぶ！急成長プロダクト「バクラク」「Bill One」の裏側～技術編～」
詳細: https://layerx.connpass.com/event/379190/
#ProductScaleTech

Transcript

1. © LayerX Inc. AI時代のプロダクト成⻑を⽀えるEvals 2026/2/3 株式会社LayerX 渡辺謙太
2. 2 © LayerX Inc. ⾃⼰紹介
3. ⽬次 Agenda • AI時代のプロダクトとは？ • 経費申請エージェントでの壁 • しくじりと基盤とEvals • Evalsは優先度が全て
4. © LayerX Inc. 4 AI時代とは？ 機械学習の技術が⺠主化された 従来 LLM時代
5. © LayerX Inc. 5 経費申請の例 ⼈が申請する AIが申請する Before After ‧⼈が経費申請に必要な情報を埋める ‧⼈がフォームを埋める ‧⼈がミスを修正する ‧指⽰に基づいてAIが情報を集めて申 請‧ミスを修正し⼈が承認する
6. © LayerX Inc. 6 壁 エージェントが全く安定せずうまく経費申請が⾏えない‧‧
7. © LayerX Inc. 7   しくじり 1 Langfuseは⼊れてあるが本当に⼊れただけでtracingをたどりづらい‧‧ Human in the Loopは普通にサーバで待ってるのでタイムアウトする‧‧ Context Engineeringも出来ていないので会話やデータが多いと激重 & 精度落ちる‧‧ Promptを変えてもよくなったのかどうかVibeでしかわからない‧‧ PDCAを回す‧安定させる準備が整ってなかった
8. © LayerX Inc. 8   シゴト 1 継続的なAI開発を⾏うための基盤を整備
9. © LayerX Inc. 9   しくじり 2 • どういう⼊⼒の時に何ができれば成功？ • どれくらいの精度でできれば良い？ • 精度は良いけど、⼿動でやれば1分で済む 申請で、thinkingに1分かかって良いの？ 振る舞いの定義が全く出来ていなかった ランチの経費申請して ランチの経費ですね、承知しま した。参加者を教えてくださ い。 上司の太郎さんと⾏きました 考えています.....
10. © LayerX Inc. 10   シゴト 2 AI UXのSpec = Evalsを作成 Before After ‧画⾯設計‧⽂⾔決め ‧インタラクション設計‧デザイン ‧決定的な挙動 ‧IN-OUTの定義 ‧許容できる失敗確率 ‧精度とレイテンシーとコストのト レードオフの取り⽅ ‧LLM as a Judge
11. © LayerX Inc. 11   しくじり 3 • 会話のパターンは⽂字通り無限にある • データのパターンも無限にある • AIの処理全体でやるのか、個別のLLMコー ルでやるのか？ • LLM as a Judgeもあるとさらに発散 Evalsが無限に必要‧‧‧ ランチの経費申請して Cursorの請求書を処理したい https://layerx.co.jp/ のサービ スを開発チームで使いたい 疲れました
12. © LayerX Inc. 12 徐々に広げる   シゴト 3 Evalsの優先度をつける & 可能な限りCodeでJudgeする 頻度 不満 Code Judge なるべくこれ ⾼い 低い ⼤きい 低い LLM Judge ニュアンス評価は LLMになる
13. © LayerX Inc. 13 まとめ DevもPdMもしくじりながら相当なシフトが必要 ・AIを正しく動かす・継続的に 開発するための新たな基盤構 築・運用が必要 ・Devがビジネス・ユーザを理 解しながらEvalsを設計する Dev ・PdMが技術を理解しながら Evalsを書く ・LLMの限界をキャッチアップ しながらプロダクトに落とし込 む PdM
14. © LayerX Inc. 14 We are hiring! LayerXのプロダクトメンバーと美味しいお酒やご飯を囲 みながら、プロダクトやチーム、技術の話をゆる〜く⾏ うイベントを定期的に⾏っています。 直近の予定は以下のとおりです。 LayerX Casual Night LayerX Casual Night LayerX Open Door 事業部‧テーマ別にカジュアル⾯談を公開しています。 アカウント登録は⼀切不要です！ ‧メンバーと話してみたい ‧質問したいことがある ‧選考に進むか悩んでいる などなど、お気軽にお申し込みください。 ※原則招待制です。ご参加希望の⽅はLayerX社員へご連絡ください！ ⽇程 テーマ 3/19(⽊) 19時ごろ〜 🍻ビール Night