新規事業 toitta におけるAI 機能評価の話 / AI Feature Evaluation in toitta

新規事業「toitta」（インタビュー分析サービス）には複数の AI 機能があります。これらを「動く」プロトタイプレベルからリリースできる品質へ引き上げる過程で課題だったのが、プロダクトの期待を捉えた LLM 出力の評価整備です。まだ定番の方法がない中、評価にどう取り組んできたか、1年間の試行錯誤から得た知見を共有します。

Hatena Engineer Seminar #36 「プロダクトを支えるAI編」を26年1月22日にオンライン開催します #hatenatech - Hatena Developer Blog

Hatena Engineer Seminar #36 プロダクトを支えるAI編 - connpass

Transcript

1. 新規事業 toitta における AI 機能評価の話 id:pokutuna Hatena Engineer Seminar #36 プロダクトを支えるAI編
2. id:pokutuna • よみ: ぽくつな • 現在: toitta の AI 周辺担当 • 2013 新卒入社 ➡ Miiverse ➡ カクヨム ➡ 広告配信・データ基盤 ➡ 新規事業
3. AI 機能の評価 どうしていますか?
4. まえおき • 品質を高めるには評価が不可欠 • でも定番のやり方がない (みんな悩みながらやっている) これまでの取り組みを紹介します
5. 今日話す内容 • toitta の紹介 • なぜ評価が必要か • AI 機能での評価とふりかえり • 評価のプラクティス
6. 今日話す "評価" 󰢃 モデル学習時の loss 󰢃 ベンチマーク 󰢃 汎用的な指標 👉 AI を利用した機能の評価 の話
7. toitta とは
9. AI を活用した発話分析ソリューション • ユーザーリサーチの支援 • 書き起こし & 話者分離 • 切片の抽出・分類 • 調査に沿ったレポート生成 そのほか様々な リサーチを支援する機能
10. 今日話す 3 つの AI 機能 • 切片分類: 切片をクラスタ化 • クロスレポート: 情報抽出・構造化 • ask toitta: 質問への回答・RAG
11. なぜ評価が必要か
12. AI 機能の開発サイクル
13. AI 機能の開発サイクル 「すごい!! いけそうだ!!」
14. AI 機能の開発サイクル 「良くなってるの?」 「どう改善したら...」
15. 評価がないと... • 判断できない ◦ 🤔「たぶん良くなった気がする」 • 改善できない ◦ 😕「何が課題か分からない」 • 維持できない ◦ 😨「モデル更新のたびに不安...」
16. toitta の AI機能と評価の歴史
17. 1. 切片分類
18. 切片
19. 切片分類 切片をグループ化・説明を付与
20. 切片分類: 定性評価のみ • 良し悪しはあるが正解がない • 良い定量指標を定義できなかった ◦ Spreadsheet に出力して評価 ◦ 修正前後で比較 ◦ バージョンを隠して評価することも
21. 切片分類: 定性評価のみ
22. 切片分類: ふりかえり ⭕ 目視の評価で改善を回せた ◦ 明らかな問題は潰せたが... ❌ 人手がかかりスケールしない ◦ 評価者の主観に依存・悪化に気づきにくい ❌ 期間が空くと忘れる ◦ 特にモデル更新時、前回が半年前なことも
23. 2. クロスレポート
24. クロスレポート 縦 に 質 問 横にインタビュー
25. クロスレポート • インタビューから情報を抽出・構造化 ◦ 質問リストを設定 → レポート生成 • LLM-as-a-Judge を導入 ◦ DeepEval をランナーとして利用 ◦ 組み込み指標ではなくカスタム指標を定義して評価 ◦ 結果の JSON を保存・可視化
26. LLM-as-a-Judge
27. LLM-as-a-Judge
28. カスタム指標の例 • Contains("内容") ◦ 期待する内容が含まれているか • Guideline("状態") ◦ 指示の状態を満たしているか • Groundedness(["文脈", ...]) ◦ 文脈(発話データ)に基づいた回答か • Length(min, max) ◦ 文字数が想定範囲内か (決定的)
29. 可視化ツール
30. 可視化ツール
31. クロスレポート: 振り返り ⭕ 半自動的な評価ループを構築 ❌ 評価データを作るのが大変 ◦ データ・評価どちらともに ❌ 優先度の扱いが難しい ◦ Must でも実際には許容できたり ◦ 実行ごとに多少結果が変わる
32. 3. ask toitta
33. ask toitta 質問を入力
34. インタビューを分析し根拠付きで回答
35. ask toitta • 蓄積したインタビューへの Q&A RAG • 品質を高めていくところに課題 • 多様な入力がありうる ◦ 「ユーザーが困っていることは?」 ◦ 「A と B でどちらが好まれている?」 ◦ 「解約を防ぐアイデアを提案して」
36. 評価のアプローチ • ユーザの入力をカテゴリ分類 • 評価用インタビューデータを生成 • Promptfoo を用いて評価
37. アプローチ1: 入力をカテゴリ分類 ユーザーの入力を分類 👉 カテゴリごとに評価 • 評価を作りやすい • 範囲を絞って改善 • 要求・優先度の調整にも ├─ 情報抽出 │ ├─ 話題の抽出 │ ├─ 発言有無 │ └─ 発話者特定 ├─ 整理 │ ├─ 要約 │ ├─ リスト化 │ └─ 時系列 ├─ 分析 │ ├─ 比較 │ ├─ 課題特定 │ ├─ 理由づけ │ └─ ユーザ属性分類 ├─ 提案 └─ メタ 　 　├─ 一般知識 　　 └─ toitta の使い方
38. アプローチ2: インタビューデータを生成 実データは足りない・扱いづらい 👉 AI で合成データを生成
39. アプローチ3: Promptfoo • 欲しい評価・機能があった ◦ 主に以下で評価 ▪ model-graded-closedqa: Y/N で答える ▪ llm-rubric: 基準に基づいてスコアを付ける ◦ セルフホストで安く運用しつつ共有 • AI で作業しやすい ◦ 評価のたたき台を作らせ調整 ◦ 合成データを探索する MCP で正解データを生成
40. ask toitta: ふりかえり ⭕ 入力の分類で改善の道筋ができた ⭕ promptfoo で評価が回しやすく ❌ 想定外の入力に対応していく必要 🏃 正式リリースに向け改善中...
41. 評価のプラクティス
42. テストのような評価を書く 🤔 有用性スコアが 70 点以上? 🤔 コサイン類似度が 0.6 以上? ⭕ 「価格が高い」という内容を含む? ⭕ ユーザ A, B, C の発言を引用して回答して る? → 具体的で判断がしやすい評価をする
43. スコアを刻まない 🤔 100点満点で評価 ⭕ Pass or Fail ⭕ 段階分けるなら 3~5 段階 😊「よし、80点でリリースしよう」 🙄「78点の時は何をどうすればいいの?」
44. E2E な評価を優先する
45. 評価の評価をする • 評価がうまく評価できているか • 人間の評価とのすり合わせ ◦ 人間と LLM が同じスコアを付けるか ◦ Cohen's kappa で比較 • 評価プロンプト自体もテストする ◦ 簡単: 意図したスコアになるかテスト
46. 評価の評価をする 実際に各スコアが出る 入力を用意 & チェック
47. 簡単すぎる評価は少なめに • 評価には時間もコストもかかる • どうせ解ける評価を作りすぎない ◦ 動作確認的なものは必要 • 難しいところに優先して追加する
48. プラクティスまとめ • テストのような評価を書く • スコアを刻まない • E2E な評価を優先する • 評価の評価をする • 簡単すぎる評価は少なめに
49. まとめ
50. まとめ • toitta の紹介 ◦ AI を活用したインタビュー分析サービス • なぜ評価が必要か ◦ 改善の道しるべにするため • AI 機能での評価とふりかえり ◦ 定性評価から LLM-as-a-Judge、評価データの生成へ • 評価のプラクティス ◦ 課題の発見 & 改善に繋がる評価をしよう