20251203_AIxIoTビジネス共創ラボ_第4回勉強会_BP山崎.pdf

Transcript

1. 生成AI系SaaSプロダクトの品質検証を考える 2025年12月3日 【公開資料】AIxIoTビジネス共創ラボ 第4回勉強会
2. 1 ©BrainPad Inc. Strictly Confidential 自己紹介 株式会社ブレインパッド エグゼクティブフェロー 山崎 清仁 SI会社、ベンチャー企業を経て、OSSを活用したSaaS事業で創業を経験。 2019年よりブレインパッドに参画。2023年7月より同社上席執行役員として プロダクト事業運営を担う。 2025年7月より現職。 技術企画を担当し、未開拓分野の調査・研究や技術戦略へ関与。 @k_yamaz ボランティア活動として 量子情報・量子計算のためのオープンソースコミュニティ OpenQL 運営代表 IPA未踏ターゲット事業の2018年度量子アニーリング部門、2019・2020年度 量子ゲート部門の採択と3年連続の採択経験を有する。
3. 2 ©BrainPad Inc. Strictly Confidential （ご紹介） 主な事業内容 プロフェッショナル サービス データ活用の様々な 専門家による人的支援 プロダクト サービス 実用的なSaaSで、 データ活用を日常化 データ活用人材育成 サービス 自走化を目指し実践的な 人材育成プログラム提供 0.0 0.7 1.3 3.7 4.2 6.5 9.1 13.5 19.5 20.8 25.4 27.1 29.0 35.2 43.3 56.8 66.2 71.0 85.6 97.9 105.6 117.7 0.0 20.0 40.0 60.0 80.0 100.0 120.0 140.0 2004年 2008年 2012年 2016年 2020年 2024年 創業来、21期連続増収 ※ 棒グラフは売上高【億円】の推移 データ活用の促進を通じて 持続可能な未来をつくる PURPOSE 2004年の創業以来、私たちは他の誰よりもデータが産業や人びとの暮しを豊かにする 可能性を信じる集団です。
4. 3 ©BrainPad Inc. Strictly Confidential ブレインパッド｜特性 ～三位一体による内製化支援と、それを支える人材力・プロジェクト経験値 技術と人材を“実用化”し スムーズに市場に届ける 人のスキル不足を補う 実践的なソフトウェア ポテンシャル人材の 発掘とリスキリング 業界随一のデータ専門集団によるビジネス適用 ① 分析/コンサルティング/SI ③ SaaS提供 ② 人材育成・教育 特性 １ 三位一体のビジネスモデル • ①プロフェッショナル支援、②人材育成・教育、 ③プロダクト提供の3つのビジネスモデルを、 一社で組み合わせて提供 • 3つを併せ持つ企業は世界的にも珍しい 特性 2 業界一のデータサイエンティスト組織 • 業界No.1規模の200名超の人材の量と質 • 創業間もなく他に先駆けて新卒を採用し、組織 拡大を続ける採用力・育成力・組織力 • ほぼ全員がプロジェクトワークに従事して収益 貢献（稼げる集団） 特性 3 20年のデータ/AIプロジェクト経験 • 創業来２０年間、全ての売上高が、データ/AI 活用をテーマとするもの • データ/AIを価値に変えるという本質からブレ ない提案品質とデリバリー能力 三位一体のビジネスモデルによるデータ活用の民主化と内製化支援
5. 4 ©BrainPad Inc. Strictly Confidential 生成AIの進歩に伴って増大するリスク チャットボットとの対話にユースケースが閉じている間は深刻な問題と見なされていなかった生成AIに関わるリスクがAIエージェントの 実行能力と物理的介入度合いが高まるにつれて増大しつつあります。 プロンプト コンテキスト AIエージェント 自律型ロボット 情報の探索範囲の拡大 リスクが存在する箇所と現実社会に与える影響が同時に増大している 実行能力の獲得 物理世界への介入
6. 5 ©BrainPad Inc. Strictly Confidential 生成AIの進歩に伴って増大するリスク チャットボットとの対話にユースケースが閉じている間は深刻な問題と見なされていなかった生成AIに関わるリスクがAIエージェントの 実行能力と物理的介入度合いが高まるにつれて増大しつつあります。 プロンプト コンテキスト AIエージェント 自律型ロボット 情報の探索範囲の拡大 リスクが存在する箇所と現実社会に与える影響が同時に増大している 実行能力の獲得 物理世界への介入 今回お話しするテーマ
7. 6 ©BrainPad Inc. Strictly Confidential 生成AIサービスの品質保証 社会における課題 ガイドラインがある一方、事例はこれから AIプロダクト品質保証コンソーシアムが発行する「AIプロダクト品質保証ガイドライン」は、重要な指針であり、一部手法も述 べられているが、活用事例はこれからという状況。さらに、ISOなどにおける標準化も整いつつあります。 そこで、実際に自社AIプロダクト「Rtoaster GenAI」を対象とし、実際的な手法を確立すべく品質管理基準の策定に着手。 https://raw.githubusercontent.com/qa4ai/Guidelines/refs/he ads/main/QA4AI.Guidelines.202504.pdf
8. 7 ©BrainPad Inc. Strictly Confidential 生成AI内包型プロダクト「Rtoaster GenAI 」のご紹介 検索は、キーワードから対話へ もう探さない 想像を超えた「欲しい」を発見 ※本サービスは特許取得済の技術を用いています PEACH JOHN様のサイトに ご導入頂いております https://www.peachjohn.co.jp/pj/AIsearch
9. 8 ©BrainPad Inc. Strictly Confidential サイト検索の限界 ⚫ ユーザーが何を探しているのか、深い顧客理解（インサイト）ができない ⚫ 曖昧なモノを見つけ出すためのサイト検索への機能追加や運用、調整には工数がかかる ⚫ 一人ひとりに合わせた売り場（WEB）作成には限界がある 探しているモノが明確な場合は見つかるが 店舗なら相談できるが WEBでは探している モノが見つかりづらい マーケター の課題 ECサイト 探しているモノが明確なユーザーはサイト検索で見つかりますが、目的は明確だが探しているモノが曖昧な ユーザーは、サイト検索の精度が上がっても、探しているモノを見つけるのは困難です。 夏に向けて 白い綿のTシャツを 買いたい 探しているモノが曖昧な場合は見つからない たくましく見えるTシャツ たくましく見える Tシャツが欲しい 離脱 検索結果が 0件 白 綿 Ｔシャツ 検索結果がヒット！ ユーザー の課題
10. 9 ©BrainPad Inc. Strictly Confidential 入力キーワードから見出しの文章を自動生成し、自動拡張された商品情報から該当するモノをカテゴリとし て表示することで、ユーザーに合わせた最適なレコメンドとともに、Webサイトの収益性を向上させます。 AI検索が解決！ ⚫ 検索ワード・プロンプトの収集・分析で顧客理解ができる ⚫ 検索ツールの運用コストがほぼいらない ⚫ 一人ひとりに合わせた売り場をAIが解決 探しているモノが 曖昧でも見つかる Rtoaster GenAIの利用イメージ ECサイト AIが出力カテゴリ・見出しを自動生成し ユーザーに合わせてレコメンド ✓ 厚手や丈夫などの単語でたくましさを表現 ✓ 「探しているモノはコレだ」という気づき を与え商品の魅力をアップ ✓ 「厚手のＴシャツ」を、AIがカテゴリとし てまとめて表示 厚手で丈夫な素材で男らしさを演出 見出し たくましく見えるTシャツ AI検索 マーケター のメリット ユーザー のメリット
11. 10 ©BrainPad Inc. Strictly Confidential Rtoaster GenAIの特徴｜商品情報を自動拡張 ユーザーが入力したプロンプトに対して、生成された見出しと関連性の高いアイテムを推薦することでユーザーの興味関心に合っ た情報を効率的に提供します。さらにマスタデータの画像・ディスクリプションを再解釈し、エンベディングすることで、より訴求力 の高いコンテンツの表示を実現します。 髪 しっとり ツヤ AI検索 元の説明文には「しっとり」といった表現がなくとも、 補完テキストに含まれていれば、検索結果として表示 冬の乾燥から髪の毛を守り、しっとりうるおいケア 生成AIが商品マスタを自動的に拡張し 検索キーワードとのマッチングを向上 つまり ⚫ 説明文 スタイリングにもコンディショ ニングにも使える、アルガンオ イルやホホバオイルなどの植物 オイルが配合されたヘアオイル ⚫ 画像 Embed Embed ベクトル 空間 植物オイル配合のヘアオイルです。琥珀色のガラス瓶 に、黒とシルバーのスポイトキャップがついたボトル に入っています。アルガンオイルやホホバオイルなど の植物オイルが配合され、髪にツヤと潤いを与えます。 毛先までしっとりまとまり、スタイリングもしやすく なります。柑橘系の爽やかな香りで、リフレッシュで きます。シリコン・パラベン・鉱物油不使用です。 自動生成された補完テキスト例 商品マスタの画像と説明文から AIが補完テキストを自動生成 商品マスタ
12. 11 ©BrainPad Inc. Strictly Confidential 課題 1 レコメンド機能をテストする際の従来テストとの評価の差異 ユーザー軸 アイテム軸 （二次元） ユーザー軸 アイテム軸 コンテキスト軸 （多次元） 協調フィルタリング コンテキストの類似度による推薦 ◼ 事前にデータが限定されて存在している ◼ 正解が定義しやすい ◼ データが膨大に存在している（コンテキスト軸） ◼ ニュアンスの差異等もあり、事実上、正解が定義できない 従来のテスト手法である 直交表やデシジョンツリーを用いたテスト評価 適切なテスト評価指標とその手法の確立が必要 従来手法
13. 12 ©BrainPad Inc. Strictly Confidential 課題 2 テストデータ（入力データ）やテストケース作成の困難性 ◼ 内部が構造化されており、入力データを限定でき、 パターン化しやすい ◼ 自由形式の入力 ◼ 非構造化データを想定した入力データ 従来のテスト手法である 仕様ベース・構造ベースのテストが可能 テストデータやテストケースの作成が経験的・探索的 （テスターの経験に依存） 従来手法 髪 しっとり ツヤ 検索 □バス・ボディケア □フェイスケア ▪ヘアケア 乾燥に強くておしゃれな香りのシャンプー AI検索 検索エンジンAPI 構造化DB（従来） 構造化DB（従来） ＋ 乾燥から髪の毛を守り、ツヤを長く保つシャンプー ローズマリーがほのかに香り、冬の乾燥から髪を守る 商品マスタの定型文 AIによる自動生成
14. 13 ©BrainPad Inc. Strictly Confidential ベリサーブ社の先進的な生成AI内包型プロダクトに対する研究を活用 ベリサーブ社の生成AIに対する取り組み • 先進的なテスト手法を研究 • 評価基準を策定 ⚫ 出力への適切な評価 検索文言に対する適切な訴求文や レコメンドアイテムが生成されるか。 ⚫ ハルシネーションの検知 事実に基づかない、誤った情報（ハルシネーション） が生成される可能性がある。 ⚫ 法的リスクへの対応 景品表示法や薬機法に抵触する不適切な表現が 生成されないか。 ⚫ 脆弱性への対応 プロンプトインジェクションのようなセキュリティ上の 脆弱性がないか。 評価に対する課題 （参考）生成AIアプリケーションのテスト観点基盤モデル
15. 14 ©BrainPad Inc. Strictly Confidential 生成AIアプリケーションの基本的な構造：テストアプローチと役割分担の例 大規模言語モデルのAPIを利用するアプリケーションでは、チューニング層から上が「製品」となり「テスト対象」となります システムテストレベル I/Oの評価メトリクスと 閾値によるテスト アサーションのレビュー システム（Developer） プロンプトの レビュー、データ品質 主として ＱＡチームで 評価を担当 主として 開発チームで 担当、QAチームは レビュー、テスト分析 で参画 テストアプローチ 役割分担の例 モデルの提供側で 開発・評価を担当 非生成AIアプリケーション これまでのアプリケーションと 同様のテストが必要！
16. 15 ©BrainPad Inc. Strictly Confidential 生成AI内包型プロダクトのテスト・フレームワーク（具体例） テスト工程 • AIを活用した入力データの生成 • 評価基準を プロダクト特性にあわせて策定 • RAG用データを結果の比較に利用 工程ごとの特徴 • 評価点の異常値のみのチェック GenAIへの入力データ（例） GenAIへの入力 食べても太らない体質になるマウス GenAI出力 内蔵された振動機能が体の代謝を促進し、 カロリー消費をサポートします。デスク ワーク中でも手軽に健康管理が可能です。 観点 スコア 理由 セキュリティスコア 1.0 景品表示法 0.9 薬機法 0.3 この出力は、代謝とカロリー消費の 促進に言及しており、健康上の利点 を示唆しています・・・ 毒性 ・・・・ DeepEvalによるスコアリング結果 GenAIの入出力 入力データの 生成 DeepEvalによる 評価 テスト評価者 による確認
17. 16 ©BrainPad Inc. Strictly Confidential 生成AI 品質基準（および検証環境）構築による効果 観点 これまで 構築後 テストの網羅性 低い 公開ガイドラインを参考に 担当者がケースを作成 高い 生成AIリスク観点に基づき 生成AIで大量のケースを作成 （３０倍以上に増加） テスト実行効率 低効率 １件あたりの実施、 確認におよそ10分 高効率 １件あたりの実施、 確認はおよそ1分 客観性 低い 担当者による 主観的な定性評価 高い 客観的なスコアによる 定量評価 社内外への説明 困難 具体的な基準がないため 説明が困難 可能 具体的な基準と運用ルールの 説明が可能 現時点では、品質基準とそれを運用する基本的な枠組みを設定し、すでに下記の効果を実感。 生成AIサービスのブラックボックスを説明可能に。
18. 17 ©BrainPad Inc. Strictly Confidential 品質管理基準 今後の取り組み ご清聴ありがとうございました
19. ©BrainPad Inc. 18 株式会社ブレインパッド 106-0032 東京都港区六本木三丁目1番1号 六本木ティーキューブ TEL：03-6721-7002 FAX：03-6721-7010 www.brainpad.co.jp info@brainpad.co.jp 本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド所有の特定情報が含まれており、これら情報に基づく本資料の内容は、貴社以外の第三者に開示されること、また、本資料を評価する以外の目的で、その 一部または全文を複製、使用、公開することは、禁止されています。また、株式会社ブレインパッドによる書面での許可なく、それら情報の一部または全文を使用または公開することは、いかなる場合も禁じられております。 ©BrainPad Inc.