正解のないAIプロダクトをどう導くか？dodaが挑む、ユーザーの『本音』を構造化する評価設計と検証のリアル

dodaが目指すのは、AIとヒトの強みを融合させ、ユーザー一人ひとりの状況に寄り添う「AIネイティブな転職」の実現です 。本セッションでは、AIを活用した機能構想から現在進行形の取り組みをベースに、不確実性の高いAIプロダクトにおける評価軸の構想について共有します。

■ パーソルキャリア　IT／テクノロジー職向け採用サイト
技術領域や取り組んでいるテーマ、社員インタビューについてご覧いただけます。
その他職種や会社の事業・サービスについてご関心を持たれた場合は、ぜひキャリア採用サイト もご参照ください。

■ techtekt（テックテクト）
パーソルキャリアのエンジニアブログです。“みんなの「はたらく」をテックでつくる”をコンセプトに、技術、組織、学びなど、さまざまな情報を発信しています。
■ NUTION（ニューション）
パーソルキャリアのデザイン組織「NUTION」のブランドサイトです。「デザインの力で、はたらくを変え、社会を変えていく。」をステートメントとし、デザインの価値を広める活動をしています。
■TECH Street
パーソルキャリアが主催する各社の現場で活躍しているITエンジニアやテクノロジー人材から、ITテクノロジーに関するさまざまなテーマの事例や知見が学べる勉強会コミュニティです。

Transcript

1. 正解のないAIプロダクトをどう導くか？ 「doda」が挑む、ユーザーの『本音』を構造化する評価設計と検証のリアル 会社名：パーソルキャリア株式会社 所属部署名：カスタマープロダクト本部 プロダクト企画統括部 サービスデザイン1部 氏名：田中志樹 / 渡部愛美 2026年5月12日 ※本資料は2026年5月時点の情報です
2. © PERSOL CAREER CO., LTD. 2 会社概要 社 名 本 社 創 業 資 本 金 事 業 内 容 従 業 員 数 パーソルキャリア株式会社 東京都港区 1989年6月 1,127百万円 人材紹介サービス、求人メディアの運営、転職・就職支援、 採用・経営支援、副業・兼業・フリーランス支援サービスの提供 6,721名 （有期社員含む グループ会社出向中の者は除く 2025年3月1日時点）
3. © PERSOL CAREER CO., LTD. 3 サービス概要
4. © PERSOL CAREER CO., LTD. 4 4 田中 志樹 Motoki Tanaka パーソルキャリア株式会社 カスタマープロダクト本部 ゼネラルマネジャー 日系電機メーカーのISカンパニーに新卒入社。2014年よりリクルー トキャリア(現: 株式会社リクルート)にて、中途転職領域のWEB サービスデザインに従事。その後、電通デジタルにて、大手通信 キャリア様のDX支援コンサルタント、楽天にて、ECならびにポイ ント領域におけるプロダクトマネージャー職を経験。 直近では組織開発や企業DX戦略の立案、生成 AI 活用、UX やデザ イン思考による０→1 フェーズでのサービス設計に注力しており、 2021年10月からは鉄道・不動産事業会社における内製開発組織の立 ち上げに参画。2024年7月より現職にて、PM組織強化やプロダクト 戦略の策定/推進に従事。
5. © PERSOL CAREER CO., LTD. 5 渡部 愛美 Watabe Manami パーソルキャリア株式会社 カスタマープロダクト本部 プロダクト企画統括部 サービスデザイン1部 リードディレクター 2020年より株式会社IBJにて婚活パーティー集客サイト・アプ リのディレクターとしてマーケから申し込みCVRの改善、業務 ツールの改修まで幅広く経験。2023年よりパーソルキャリア 株式会社にてdodaの求人紹介サービスにおける応募・決定増 加をKPIとしたプロジェクトに携わる。直近ではdodaにおける AIエージェントプロジェクトのプロジェクトリーダーとして中 長期的なユーザー体験設計などを担当。
6. © PERSOL CAREER CO., LTD. 6 01 HR業界におけるAIプロダクト事例 02 03 これからのAIプロダクトの価値評価について dodaでのAIプロダクト開発・検証事例
7. © PERSOL CAREER CO., LTD. 7 HR業界におけるAIプロダクト事例
8. © PERSOL CAREER CO., LTD. 8 HR業界におけるAIプロダクト事例 HR業界でもAI活用の波は著しく、転職サービスにおいてもLLMやAIエージェントを活用した新機能がリリースされている
9. © PERSOL CAREER CO., LTD. 9 HR業界におけるAIプロダクト事例 IndeedやWantedlyは、AIが求職者の転職価値観や希望条件についてヒアリングし、求人提案に繋げる機能（キャリアアシスタ ント、 AIエージェント）をリリース。 求職者の強みやアピールすべき経験を言語化することで、転職活動の行動促進に繋げることが目的と推察。 STEP 1 職務情報 の取得 ↑ resume.pdf 職務経歴書をアップロード or 入力 フォームで経験・スキルを登録 ファイルアップ ロード フォーム入力 自動解析 STEP 2 希望条件の ヒアリング Q: 転職理由は？ A: 成長したい Q: 希望職種は？ 入力中 ... AIチャットが悩みや希望条件を対話 形式で深掘りヒアリング チャット形式 深掘り質問 リアルタイム STEP 3 強み・価値観 の言語化 分析力 主体性 調整力 リーダーシップ 問題解決 潜在的な価値観と他社で活かせる強 みをAIが整理・言語化 AI分析 価値観整理 強み発見 STEP 4 求人提案 & 応募 ★ マーケター マッチ度 96% ★ PM マネージャー マッチ度 96% 応募する → 棚卸しした希望・価値観に合致する 求人をAIがレコメンド マッチング パーソナライズ ワンクリック応 募 ▼画面イメージ
10. © PERSOL CAREER CO., LTD. 10 dodaでのAIプロダクト開発・検証事例
11. © PERSOL CAREER CO., LTD. 11 求人紹介サービスにおいて、カウンセリング音声をAIが要約した文章（職務内容）を生成。 dodaのマイページ上で文章を提案し、ユーザーは確認・修正したうえで職務経歴書として活用可能にする機能をリリースする 中で、LLM生成結果の品質評価方法について定義、実行した。 【doda事例1】職務内容生成機能（キャリアアドバイザー業務ツール） 01 STEP 初期技術検証 目 的 技術的実現可能性の担保 ゴール モデル・プロンプト・インプットデータの型をFIX 主要検証観点 • 出力の正確性 • 基本品質の確認 • 小規模テストデータで実施 検証環境： ローカル／開発環境 評価方法：LLM精度検証（小規模） 02 STEP リリース前技術検証 目 的 大規模データによる品質の厳密判定 ゴール エッジケースを含む網羅的品質検証 主要検証観点 • エッジケースを含むテストデータ拡充 • 大規模な人手評価の実施 • 定量スコアによる合否判定 検証環境： 開発環境（LLM品質特化） 評価方法：LLM精度検証（大規模・人手） 03 STEP UAT／最終検証 目 的 実際の業務フローにおける最終確認 ゴール 業務担当者によるUATと本番リリース判定 主要検証観点 • UI/UX・操作性の検証 • レスポンス速度の確認 • 業務ツール上の操作性・統合動作 検証環境： 業務ツール統合環境（本番同様） 評価方法：システムテスト＋業務検証（UAT） ▼機能概要 ▼検証ステップ・内容
12. © PERSOL CAREER CO., LTD. 12 【doda事例1】職務内容生成機能（キャリアアドバイザー業務ツール） 品質評価の観点 網羅性 全ての出力項目とその項目内の内容が漏れなく記載されている 正確性 出力内容が入力内容と異なる情報がなく、矛盾する内容の場合は頻度が多い内容が事実として記載されている 関連性 保有スキルや経験の中で希望職種に必要とされる内容が重点的に書かれている 公平性・ バイアス 性別、年齢、国籍など不当なバイアスの可能性がある内容が含まれていない コンプラ イアンス 個人情報、機密情報の可能性がある内容が含まれていない 具体性 成果や業務内容が具体的に記載されているか 簡潔性 端的でわかりやすい文章となっているか 「01.初期技術検証」では、コスト・生成時間・品質の観点から、同じインプットで生成した文章について評価を行い モデルやプロンプト形式などを策定。各モデルの生成結果を並べ、LLM検証と人手でスコアリングし評価を行った。 初期検証・評価項目 コスト 各モデルごとのトークンあたりのコストと、想定利用数から年間コストを算出し比較 生成時間 文章生成までにかかる時間を各モデルごとに算出し比較 品質 生成された文章を各モデルごとに品質評価観点に基づき比較 ▼生成時間比較例
13. © PERSOL CAREER CO., LTD. 13 ユーザーがキャリアアドバイザーに対して求めていること（≒AIで代替できる領域）がどこなのかを探るために ユーザーインタビューを実施。AIの寄り添い方や問いかけ方の参考として企画参考に取り入れた。 【doda事例2】AIエージェント企画時のユーザー調査 – ライフプランやプライベートを考慮したうえで「キャリアの方 向性」「キャリアプラン」を考えたい – 20代後半に入っていく中で、ライフイベントがある可能性 もあるため、視野に入れながら相談したい – 希望する企業に対して、自身のどのような強みが刺さるのか 具体的に教えてもらいたい – 家庭の事情で選考に進むことができないことを伝えた際には、 すぐに電話をしてくれた 定量調査（アンケート） 転職希望ユーザーのAI活用度、フォローを欲している具体的な状況を可視化。 定性調査（インタビュー） 回答者4名に、過去のフォロー体験をヒアリング。感情的な満足度とアドバイスの 質を分析。 ※ユーザーインタビュー結果イメージ
14. © PERSOL CAREER CO., LTD. 14 AIの転職活動フォローがどの程度ユーザーニーズに応えられそうかを明らかにするために、Difyにてプロトタイプを作成 し、社内でインタビュー形式にてプロトタイプ調査を実施。AIの受け答えに関する課題を明らかにし、要件に反映。 【doda事例3】Difyを活用したプロトタイプ調査 ▼Difyプロトタイプ例 ▼プレビュー画面を操作し、インタビュー
15. © PERSOL CAREER CO., LTD. 15 【doda事例3】Difyを活用したプロトタイプ調査 ▼Difyプロトタイプ調査の評価項目
16. © PERSOL CAREER CO., LTD. 16 これからのAIプロダクトの価値評価に ついて
17. © PERSOL CAREER CO., LTD. 17 これからの話 正しい答えを返すAIは、 本当に「事業価値」を生んでいるのか？ ? Q U A L I T Y 答えは正しい。 でも、誰も使い続けない。 ? E N G A G E M E N T 1つの機能だけで止まる。 横に広がっていかない。 ? B U S I N E S S ユーザーは満足。 でも、応募数は伸びない。 → KPI設計を「3層構造」で考え直す必要がある
18. © PERSOL CAREER CO., LTD. 18 LLM品質「だけ」では事業価値に届かない AIの「品質」は、価値体験を経て、はじめて事業価値になる B E F O R E 品質を直接KGIに繋げる従来モデル A F T E R 価値体験量を介する3層モデル 層 3 K G I 層 2 中 間 K P I 層 1 I N P U T 事業価値 NPS / 応募数 / 継続利用 ? ここが欠落している 価値体験量という中間層がない AI品質・利用・コスト Goal Accuracy / 利用頻度 / CES × 事業価値 NPS / 応募数 / 継続利用 価値体験量 ユーザー単位の価値蓄積 広さ × 深さ × 速さ × 成果 AI品質・利用・コスト Goal Accuracy / 利用頻度 / CES 出典: Google Cloud (Feb 2026) "The KPIs that actually matter for production AI agents" の3 Pillar構造（Reliability / Adoption / Business Value）を発展
19. © PERSOL CAREER CO., LTD. 19 モジュール価値到達率（仮説） 価値体験量は4つの構成要素の関数で表現される — 各要素は実際の計算式まで定義可能 A R G U M E N T 1 Breadth 利用幅 (量) 横断モジュール数の比率 ▼ A R G U M E N T 2 Depth 利用深度 ステップ完了率の加重平均 A R G U M E N T 3 Time to Value 速度 初回価値実感までの時間 ★ A R G U M E N T 4 Outcome 成果 成果到達セッションの比率 M o d u l e V a l u e R e a c h （ モ ジ ュ ー ル 価 値 到 達 率 ） の 関 数 定 義 MVR = f ( Breadth, Depth, TTV, Outcome Rate ) Breadth = 利用モジュール数 / 全提供モジュール数 Depth = Σ(モジュール内ステップ完了率) / モジュール数 TTV = 初回価値実感までの経過時間 Outcome Rate = 成果到達セッショ ン数 / 全モジュール利用セッション数 ※ Outcome Rateの分子では Containment Rate（解決された風）ではなく Resolution Rate（実際の解決）を採用する 出典: Pendo / Appcues の4軸フレームワーク（Breadth / Depth / Time to adopt / Duration of adoption）に準拠
20. © PERSOL CAREER CO., LTD. 20 パーソルキャリアのエンジニアブログです。“みんなの「はたらく」を テックでつくる”をコンセプトに、技術、組織、学びなど、さまざまな情 報を発信しています。 パーソルキャリアのデザイン組織のブランドサイトです。「デザインの力 で、はたらくを変え、社会を変えていく。」をステートメントとし、デザ インの価値を広める活動をしています。 各社の現場で活躍しているITエンジニアやテクノロジー人材から、ITテク ノロジーに関するさまざまなテーマの事例や知見が学べる勉強会コミュ ニティです。 「NUTION（ニューション）」 「techtekt（テックテクト）」 「TECH Street（テックストリート）」 パーソルキャリアのオウンドメディアご紹介
21. ご清聴ありがとうございました 【免責事項】 本資料に含まれる技術情報は発表日時点のものであり、予告なく変更される場合があります。 実装や運用は自己責任で行ってください。 発表者および所属組織は、本資料に基づく行動の結果について一切の責任を負いません。 本資料に記載されている会社名・製品名などは、一般に各社の登録商標または商標、商品名です。 資料内では ©, ®, TM マークなどは表示していません。