そのPoC、何を検証したつもりでしたか？ AIプロダクトの価値検証で陥った落とし穴

AIプロダクト開発の現場では、PoCを通じて価値検証を行う機会が多くあります。一方で、そのPoCが「何を検証していたのか」を振り返ると、必ずしも整理されていないケースも少なくありません。本セッションでは、AI（LLM）の精度検証を主目的としたPoCを実施した結果、一定の手応えは得られたものの、実装後の体験において想定外の迷いや手戻りが発生した事例をもとに、価値検証の進め方を振り返ります。精度はどこまで見ておくべきだったのか。また、出力によって人の判断や行動がスムーズになったかという観点を、どの段階で確認すべきだったのか。PoCで見ていたこと・見ていなかったことを切り分けながら、精度と体験をどう評価すべきだったのかをPdM視点で整理します。PoCの位置づけや検証観点を改めて見直したい方に向けたセッションです。

■ パーソルキャリア　IT／テクノロジー職向け採用サイト
技術領域や取り組んでいるテーマ、社員インタビューについてご覧いただけます。
その他職種や会社の事業・サービスについてご関心を持たれた場合は、ぜひキャリア採用サイト もご参照ください。

■ techtekt（テックテクト）
パーソルキャリアのエンジニアブログです。“みんなの「はたらく」をテックでつくる”をコンセプトに、技術、組織、学びなど、さまざまな情報を発信しています。
■ NUTION（ニューション）
パーソルキャリアのデザイン組織「NUTION」のブランドサイトです。「デザインの力で、はたらくを変え、社会を変えていく。」をステートメントとし、デザインの価値を広める活動をしています。
■TECH Street
パーソルキャリアが主催する各社の現場で活躍しているITエンジニアやテクノロジー人材から、ITテクノロジーに関するさまざまなテーマの事例や知見が学べる勉強会コミュニティです。

Transcript

1. そのPoC、何を検証したつもりでしたか？ AIプロダクトの価値検証で陥った落とし穴 パーソルキャリア株式会社 クライアントプロダクト本部 プロダクトマネジメント統括部 PdM2G 鳥居 俊介 2026年05月12日 ※本資料は2026年5月時点の情報です
2. © PERSOL CAREER CO., LTD. 2 鳥居 俊介 Shunsuke Torii パーソルキャリア株式会社 クライアントプロダクト本部 プロダクトマネジメント統括部 PdM2G ディレクター／プロダクトマネージャー 2018年パーソルキャリア入社。 Webディレクター／PdMとして、スクラムチーム運営やプロジェク トマネジメントを経験。人材業界歴は10年以上。現在は「dodaダ イレクト」にて、AI・LLMを活用した機能開発のPOとして、実装 の推進や価値判断に取り組んでいる。 プライベートではレコードコレクター／DJとして活動。日本ではま だ十分に紹介されていないブラジル北東部音楽 〈Forró（フォ ホー）〉の研究・紹介に力を注ぎ、2026年4月にディスクガイドを 刊行。あわせて、1970年代日本ジャズの未発表音源の発掘にも取り 組んでいる。
3. © PERSOL CAREER CO., LTD. 3 会社概要 社 名 本 社 創 業 資 本 金 事 業 内 容 従 業 員 数 パーソルキャリア株式会社 東京都港区 1989年6月 1,127百万円 人材紹介サービス、求人メディアの運営、転職・就職支援、 採用・経営支援、副業・兼業・フリーランス支援サービスの提供 6,721名 （有期社員含む グループ会社出向中の者は除く 2026年3月1日時点）
4. © PERSOL CAREER CO., LTD. 4 サービス概要
5. © PERSOL CAREER CO., LTD. 5 サービス概要
6. © PERSOL CAREER CO., LTD. 6 日本最大級 *1 のスカウト会員を活用した ダイレクト・リクルーティングサービス dodaダイレクトの理解とLLM化ポイント ▼ダイレクトサービスの特徴 企業が直接候補者を検索し、スカウトを送る能 動的な採用サービスです。 人材紹介サービスや求人情報サービスと違い、 利用企業の積極的なアクションが必要です。 ▼企業のサービス利用フロー ①求人票を作成する ②求人票をもとに求職者を検索する ③求職者に合った文面を作成しメール送信 ④応募があれば面接 *1 厚生労働省職業安定局 人材サービス総合サイト（2023年1月時点）
7. © PERSOL CAREER CO., LTD. 7 dodaダイレクト内のAI（LLM）機能 スカウト対象者 検索条件設定（2025年リリース） スカウト文面生成（2026年夏リリース予定） 作成済の求人→検索条件を自動設定 作成済の求人＆スカウト送信したい求職者から文面を自動生成 Sample（スクショNG）
8. © PERSOL CAREER CO., LTD. 8 そのPoC、何を検証したつもりでしたか？ AIプロダクトの価値検証で陥った落とし穴 前提 まだAIプロダクトと言える状態ではない。 体験の一部にしかAIを入れられていない為、AI施策単位の価値を見たときの経験談。 AI（LLM）の精度検証を主目的としたPoCを実施した結果、一定の手応えは得られたものの、 実装後の体験において想定外の迷いや手戻りが発生した事例をもとに、価値検証の進め方を振り返ります。 セッション概要
9. © PERSOL CAREER CO., LTD. 9 ビジネス成果＝価値としたとき、dodaダイレクトの場合下記連鎖により、ビジネス成果が生まれる AI機能の場合 新AI機能 → 業務改善 → ユーザー行動変化 → ビジネス成果 Not AIの場合（考え方は同じ） 新規機能→ 業務改善 → ユーザー行動変化 → ビジネス成果 プロダクトによるかもしれないが、AI施策であろうと、見るべき価値指標はあまり変わらないと個人的には捉えている。 一方で、機能として性能（＝AI性能）評価する部分は違いが生まれている AI施策の価値指標（施策単位） AI機能の場合 新AI機能 → 業務改善 → ユーザー行動変化 → ビジネス成果 Not AI機能の場合 新規機能 → 業務改善 → ユーザー行動変化 → ビジネス成果 変わらない部分 変わる 部分
10. © PERSOL CAREER CO., LTD. 10 AI施策の価値指標（施策単位） 違う角度で整理した表。 大きく3レイヤーで価値を定義。 ③AIシステム価値（モデル性能）と②プロダクト価値（顧客体験・行動・効率）指標の一部は、PoCやユーザーテスト内 で指標を確認しながら開発を進めた。 レイヤー 分類 指標例 確認タイミング 指標の変化 （AI観点） 1.ビジネス ①ビジネス価値（最終価値） 売上・利益（Revenue, LTV） コンバージョン率（CVR） 解約率 / 継続率 コスト削減額 ROI / 投資対効果 リリース後 変わらない 2.プロダクト ②プロダクト価値（顧客体験・行動・効率） Time to Value（価値到達時間） 利用継続率 / DAU・MAU Task Success Rate（タスク成功率） User Acceptance Rate（提案採用率） リードタイム短縮 作業時間削減率 リリース前（ユーザーテスト）／リ リース後 変わらない 3.モデル ③AIシステム価値（モデル性能） Accuracy / Precision / Recall / F1 応答時間（Latency） ハルシネーション率 コスト/リクエスト リリース前（PoC）／リリース後 変わる （特有）
11. © PERSOL CAREER CO., LTD. 11 PoC、ユーザーテストの違い PoC そのアイデア・技術は成立するか？ ユーザーテスト そのプロダクトはユーザーに受け入れられるか？ ③AIシステム価値（モデル性能）／PoC検証
12. © PERSOL CAREER CO., LTD. 12 •PoC検証 指標例＝③AIシステム価値（モデル性能） モデル×プロンプト（Step分割など手法含む）により、アウトプット品質、料金（＝ROI）に影響する 選択する技術（モデル×プロンプト）とコスト見合いで、実現性（機能を提供し続けられるか？）を見極めた。 「アウトプット品質」はユーザーテストしないと見極められないため、PoCは候補として優先順位を絞り込むような役割 とした（最終的な評価はユーザーテストと行き来した） ③AIシステム価値／PoC検証（AI施策特有の評価） モデル プロンプト アウトプット品質 月額料金 導入量 （世の中に知識があるか） 候補（実現性） モデルA 分割数1 × 〇 〇 分割数2 〇 × 〇 モデルB 分割数1 △ 〇 〇 2 分割数2 〇 〇 〇 1 モデルC … … … × …
13. © PERSOL CAREER CO., LTD. 13 •アウトプット品質評価 指標例 施策毎（AIのタスク内容）に評価指標は変わる。 長文読解など回答のブレが起こりやすい場合は、回答を分類して品質、一貫性を評価する様な工夫をしたことも。 「1.期待の回答」割合により、「②プロダクト価値（体験・効率）」が変わるため、工夫を繰り返し、LLMの回答精度を 向上、安定化させた。 評価がPdMでは不安な部分は、ユーザー（ユーザーに近い立場）を巻き込み評価を実施した ③AIシステム価値／PoC検証（AI施策特有の評価） モデル プロンプト アウトプット品質 回答品質（Accuracy / Precision / Recall / F1） ハルシ ネーショ ン率 応答 速度 1.期待の回答 2.期待の一部の み回答 3.期待＋期待外 の回答 4.期待外の み回答 回答品質 総評 モデルA 分割数1 3 0 6 1 × 分割数2 5 0 3 2 × モデルB 分割数1 5 2 2 1 △ 分割数2 7 2 1 0 〇 1.期待の回答 2.期待の一 部のみ回答 3.期待＋期待 外の回答 4.期待外の み回答
14. © PERSOL CAREER CO., LTD. 14 •Accuracy / Precision / Recall / F1 補足 1.期待の回答 2.期待の一 部のみ回答 3.期待＋期待 外の回答 4.期待外の み回答 指標 一言でいうと ビジネス解釈 Accuracy 全体正解率 全体のうち、どれ だけ当たったか Accuracy = (正解数) / (全部) KPI未整備時の大雑把な評 価 Precision 的中率 「AIがYesと言った ものの中で、どれ だけ本当にYesか」 Precision = TP / (TP + FP) 無駄撃ちを減らしたい Recall 取りこぼし防止 「本来Yesのものを、 どれだけ取りこぼ さず拾えたか」 Recall = TP / (TP + FN) 見逃しを防ぎたい F1 バランス PrecisionとRecall のバランスを1つに した指標 F1 = 2 × (Precision × Recall) / (Precision + Recall) 両方重要
15. © PERSOL CAREER CO., LTD. 15 •PoC～ユーザーテストその他指標例 前スライドの回答品質と合わせ、回答品質毎の作業時間削減を評価。 リリース前は体感で削減につながりそうかをヒアリング程度で実施 ユーザーテスト段階の価値検証 モデル プロンプト アウトプット品質 作業時間 削減率or(秒) LT 削減率or(日) モデルA 分割数1 × × 分割数2 × × モデルB 分割数1 〇 × 分割数2 〇 ×
16. © PERSOL CAREER CO., LTD. 16 ③AIシステム価値（モデル性能） 回答精度（品質）OK！ 回答の安定性もOK！ 今回の回答精度なら効率化に繋がると ユーザーから回答あり！ LLM部分をリリース可能な品質に！ 順調と思いきや・・
17. © PERSOL CAREER CO., LTD. 17 ②プロダクト価値（顧客体験・行動）で課題発生 後続のユーザーテストにて・・ 落とし穴（後続のユーザーテストにて…） 必須項目A、Bのうち 項目Aだけ自動生成されても、 項目Bが自動生成されないなら LLM新機能は使わないかな ③AIシステム価値（モデル性能）の磨きこみを優先した結果、 テスト後半で「体験・行動」部分の致命的な見落としを発見。 途中でスコープ変更し対応することに・・ （スケジュール遅延発生） そもそもの企画検討不足に加え、 ③AIシステム価値（モデル性能） に改善集中していた結果、 ②プロダクト価値（顧客体験・行動）のテストが後回しになり、 課題発見の遅れが発生 AI・LLM精度＞体験にならないように注意 精度も体験も同等にチェックする
18. © PERSOL CAREER CO., LTD. 18 • ②プロダクト価値（顧客体験・行動・効率） 指標例 ユーザーの課題解決度（“使って価値が出たか”） →AI施策外でも確認している指標が中心 →AIにより成果を出しやすくなった 指標例 Time to Value（価値到達時間） 利用継続率 / DAU・MAU Task Success Rate（タスク成功率） User Acceptance Rate（提案採用率） リードタイム短縮 作業時間削減率 プロダクト価値（顧客体験・行動・効率）
19. © PERSOL CAREER CO., LTD. 19 • ①ビジネス価値（最終価値） 指標例 AIが最終的に生んだ事業成果 →AI施策外でも確認している指標が中心 指標例 売上・利益（Revenue, LTV） コンバージョン率（CVR） 解約率 / 継続率 コスト削減額 ROI / 投資対効果 ビジネス価値（最終価値）検証
20. © PERSOL CAREER CO., LTD. 20 まとめ AI施策単位の場合の価値指標 • 3.モデルレイヤー部分「③AIシステム価値（モデル性能）」で特にAI特有の価値指標が発生する。 • AI施策でよりフォーカスされたプロダクト価値指標は他施策でも転用可能。特性に合わせて適切に設定する • AI施策だと「③AIシステム価値」検証を優先しがちだが、「②プロダクト価値（顧客体験・行動）」も早めにテスト する レイヤー 分類 指標例 確認タイミング 指標の変化 （AI観点） 1.ビジネス ①ビジネス価値（最終価値） 売上・利益（Revenue, LTV） コンバージョン率（CVR） 解約率 / 継続率 コスト削減額 ROI / 投資対効果 リリース後 変わらない 2.プロダクト ②プロダクト価値（顧客体験・行動・効率） Time to Value（価値到達時間） 利用継続率 / DAU・MAU Task Success Rate（タスク成功率） User Acceptance Rate（提案採用率） リードタイム短縮 作業時間削減率 リリース前（ユーザーテスト）／リ リース後 変わらない 3.モデル ③AIシステム価値（モデル性能） Accuracy / Precision / Recall / F1 応答時間（Latency） ハルシネーション率 コスト/リクエスト リリース前（PoC）／リリース後 変わる （特有）
21. © PERSOL CAREER CO., LTD. 21 最後に・・・AIプロダクトの価値検証（非経験談） AIプロダクトとは？ • 既存サービスの一部をAIに置き換える … 短期ROI / リスク低 / 差別化弱 • AI前提でサービス設計する …中長期価値 / 競争優位 / リスク高
22. ご清聴ありがとうございました 【免責事項】 本資料に含まれる技術情報は発表日時点のものであり、予告なく変更される場合があります。 実装や運用は自己責任で行ってください。 発表者および所属組織は、本資料に基づく行動の結果について一切の責任を負いません。 本資料に記載されている会社名・製品名などは、一般に各社の登録商標または商標、商品名です。 資料内では ©, ®, TM マークなどは表示していません。