デブサミ KANSAI 2025 - BtoBで使える製品にするまでの裏話 /debusamikaisai2025whi

■エンジニア向け採用HP
https://www.career.works-hi.co.jp/beginners/tech/

■connpass
https://workshumanintelligence.connpass.com/

Transcript

1. © 2025 Works Human Intelligence Co., Ltd. 株式会社Works Human Intelligence BtoBで使える製品にするまでの裏話 タレントマネジメント × ⽣成AI 2025.09.17 デブサミKANSAI 1 吉⽥治史
2. © 2025 Works Human Intelligence Co., Ltd. 2 ⾃⼰紹介 吉田 治史 / YOSHIDA Harufumi ▪入社年 2006年入社 ▪経歴・仕事内容 アプリケーション開発エンジニア、 SaaS製品の立ち上げ SREを経て、 現在は、タレントマネジメント製品の生成 AI機能を担当 2022 APN AWS Top Engineer ▪好きな言語 AWS CDK, Typescript ▪趣味 旅行 / サウナ / ゴルフ
3. © 2025 Works Human Intelligence Co., Ltd. 3 株式会社Works Human Intelligenceについて ※1 2022年度 ERP市場 - ⼈事‧給与業務分野：ベンダー別売上⾦額シェア 出典：ITR「ITR Market View：ERP市場2024」 ※2 従業員数3,000⼈以上の法⼈ ※3 当社調べ ※4 2024年12⽉末時点の契約法⼈における「COMPANY ⼈事」の契約ライセンス数合計 ⼈事‧給与業務分野 シェアNo.1※1 国内⼤⼿法⼈※2の 3社に1社※3が利⽤ 管理データ数 540万⼈※4 ソリューション 今後の戦略 会社概要 会社名 事業内容 設⽴年 従業員数 株式会社Works Human Intelligence ⼤⼿企業向け統合⼈事システム「COMPANY」の 開発‧販売‧サポート、HR関連サービスの提供 2019年8⽉1⽇ 2,198名（連結）※ ※2024年12⽉末時点 AI‧データ活⽤のための新部⾨設⽴ ⼈的資本マネジメント強化 前代未聞の⼤規模クラウドシフト WHIエンジニアの魅⼒ フルスタック開発 豊富な学習機会 ⼤規模なERP開発
4. © 2025 Works Human Intelligence Co., Ltd. COMPANYについて 4 COMPANYシリーズは1996年の誕⽣以降、膨⼤なデータを蓄積する⼈事管理製品を中⼼に 業務を効率化するサービスから⼈材戦略を実現するサービスまで領域を拡⼤してきました。 勤怠管理 ⼤企業で必要とされる 多種多様な勤務形態に 柔軟に対応 シームレスな情報連携による 勤怠状況の⾒える化 ID管理 ⼊社予定者からの情報 をシステムに⾃動連携 し、業務効率化を実現 タレント マネジメント 従業員のタレント管理 やスキルの向上、それ らを適切に配置する戦 略⼈事を実現 給与計算 給与計算における煩雑 な⼀連の処理を豊富な 標準機能で⾃動化 ⼈事管理 ⼈事情報の収集‧履歴管 理と可視化を実現 シームレスな情報連携により セキュリティレベルの⾼い運⽤ 正確な情報を⼿間なく連携 雇⽤⼿続管理 ⼈事データベースと連 動し、⼊退社や異動に 伴うアカウント管理を ⽀援 給与計算に必要な 情報を連携 最新かつ正確な情 報を活⽤
5. © 2025 Works Human Intelligence Co., Ltd. 5 どのような⽅向けの発表か タレントマネジメント製品に⽣成AIを利⽤した機能をつけてきた過程をお話しします。 • これから⽣成AI機能を開発していきたい開発者 • AI機能の要件定義やアーキテクチャ設計を担当するエンジニア • LLMやRAG構成の実務的課題と解決事例に興味がある⽅ • SaaSや業務システムでAI活⽤を検討しているPdM‧技術リード を想定しています。 あくまでー例として、参考になれば幸いです。
6. © 2025 Works Human Intelligence Co., Ltd. AGENDA 6 01 02 03 04 05 製品概要 改善① 検索精度改善 改善② データ不⾜解消 改善③ AIコスト可視化 まとめ
7. © 2025 Works Human Intelligence Co., Ltd. 製品概要
8. © 2025 Works Human Intelligence Co., Ltd. 8 COMPANY Bizmatchとは 製品概要
9. © 2025 Works Human Intelligence Co., Ltd. 9 開発タイムライン と 改善 約1年前にチーム発⾜ 製品概要 プロトタイプ ベータ版 リリース版 ①検索精度向上 リアルな顧客データで検証 ②データ不⾜対策 実務で使えるように ③AIコスト可視化 運⽤上の課題の解決 「汎⽤⼈探し」 機能がほしい！
10. © 2025 Works Human Intelligence Co., Ltd. 検索精度改善
11. © 2025 Works Human Intelligence Co., Ltd. 11 検索の仕組み 検索精度改善 検索
 要約文
 AI 社員データ
 AI COMPANY Bizmatchでは、2ステップで⽣成AIを利⽤しています。 • あらかじめ、資格‧免許‧業務経験歴‧研修受講歴‧評価結果‧キャリアプラン申告などの社員データに基づき、 社員の特徴が詰まった要約⽂を作成します。 • 検索⽂と各社員の要約⽂のマッチ度‧マッチ理由を判断し検索します。
12. © 2025 Works Human Intelligence Co., Ltd. 12 当時のアーキテクチャー 検索精度改善 検索ロジック 1. ベクトル検索で1000名に 2. LLMリランキングで上位100名に 3. LLMでマッチ度、マッチ理由⽣成 4. マッチ度でソートして返す 要約作成ロジック 1. 社員データ取得 2. LLMで要約⽂作成 3. 要約をベクトル化してDB保存
13. © 2025 Works Human Intelligence Co., Ltd. 13 問題例 期待した精度がでない... 検索精度改善 「30代の⼥性」など数字の扱いが不得意 要約によって情報が失われている ベクトル検索で真逆の意味でもひっかかる 意図を解釈した検索ができない
14. © 2025 Works Human Intelligence Co., Ltd. 14 問題例 期待した精度がでない... 検索精度改善 「30代の⼥性」など数字の扱いが不得意 要約によって情報が失われている ベクトル検索で真逆の意味でもひっかかる 意図を解釈した検索ができない ルールベースで判定し⽣成AIで判定させない 要約しないカテゴリを作る 強み、弱みなどベクトルを作る単位を変える ？
15. © 2025 Works Human Intelligence Co., Ltd. 15 意図を解釈した検索 例えば、英語が得意な⼈と検索してTOEIC 700点以上の⼈を釣りたい 検索精度改善 18000名 1000名程度 100名 50名 手法 精度 速度 コスト 改善策 / (代替案) ベクトル検索 (Aurora pgvector) 低 意図を汲み取った 検索は難しい 高速 低 ・チャンキング ・クエリ拡張 ・ハイブリッド検索 LLMリランキング (Cohere Rerank 3.5) 中 高速 中 ・(コサイン類似度でランキング ) LLM (Claude 3.5 Haiku) 高 普通 高 ・プロンプトの改善 RAGを参考にしたが、ベクトル検索に期待しすぎて使い所を誤っていた
16. © 2025 Works Human Intelligence Co., Ltd. 16 意図を解釈した検索 RAG(ベクトル検索)をやめ、すべてLLMで処理することに 検索精度改善 18000名 50名 手法 精度 速度 コスト 改善策 / (代替案) ベクトル検索 (Aurora pgvector) 低 意図を汲み取った 検索は難しい 高速 低 ・チャンキング ・クエリ拡張 ・ハイブリッド検索 ・ルールベースでフィルタ LLMリランキング (Cohere Rerank 3.5) 中 高速 中 ・(コサイン類似度でランキング ) LLM (Claude 3.5 Haiku) 高 普通 高 ・プロンプトの改善 検索速度より精度優先した。あらたに生成AIへのリクエスト増による、 コスト対策や安定化が課題に
17. © 2025 Works Human Intelligence Co., Ltd. 17 意図を解釈した検索 検索精度改善 当時の比較資料 コスト対策 当時最安のGeminiを採用した。（現在では他のモデルも選択肢になる）
18. © 2025 Works Human Intelligence Co., Ltd. 18 意図を解釈した検索 検索精度改善 アプリ安定化 生成AIモデルの呼び出しは、 
 1分あたり〇リクエストまでとクオータが決められている 
 クオータを超えないようコントロール 
 
 ・非同期処理化（大量の検索リクエストを順番に捌く） 
 ・並列処理LLM呼び出し 
 ・リトライ処理
 
 複雑になりやすいこれらの処理をStepFunctionで実現 
 
 変更後の検索ロジック 1. 対象社員全員をLLMでマッチ度、 マッチ理由⽣成 2. マッチ度でソートして返す
19. © 2025 Works Human Intelligence Co., Ltd. 19 結果 検索精度はある程度で⾃信が持てる状態になった 
 
 RAG(ベクトル検索)は⾼速に動作し、 ⾮常に便利だが要件次第で使うかどうか判断は必要 検索精度改善
20. © 2025 Works Human Intelligence Co., Ltd. データ不⾜対策
21. © 2025 Works Human Intelligence Co., Ltd. 21 検索したいデータが⼊っていない 実務で使おうとすると、検索したいデータがそもそも⼊っていない場⾯に遭遇するように 例えば、、 データ不⾜対策 本⼈の志向‧希望を⾒て⼈を探したいが、異動OKかどうかのフラグはあっても、具体的に何をしたいかは⼊っていない 具体的な実務経験に応じて⼈を探したいが、⼤まかな仕事内容はわかっても細かいタスクレベルの情報が⼊っていない
22. © 2025 Works Human Intelligence Co., Ltd. 22 データを⼊れる機能を開発 ひとつの解決策として、社員本⼈がデータを⼊れたくなるような機能を開発 ⾃律的な⼊⼒をサポートする機能「マイページ」 データ不⾜対策
23. © 2025 Works Human Intelligence Co., Ltd. 23 AIを使ってサジェストする いろいろなサジェストを本⼈に提供する部分は、⼊⼒された情報に基づいて⽣成AIで判定する 
 データ不⾜対策 ロールモデルサジェストロジック 1. 対象社員の要約を取得 2. ロールモデルに指定された社員の要 約を取得 3. Geminiに1と2を与え、どのようなス キルをつけた⽅がいいかを⽣成させ る
24. © 2025 Works Human Intelligence Co., Ltd. 24 結果 データが集まる仕組みのひとつを構築できた。 もともとお客さんも社員の情報を集めることに苦労していて、お客さんの反応も上々。
 よいAI機能を作っても、ユーザー側にデータがなければうまく動かない。 データを集めるための⼯夫は、AI機能を作る上では必須。 データ不⾜対策
25. © 2025 Works Human Intelligence Co., Ltd. AIコスト可視化
26. © 2025 Works Human Intelligence Co., Ltd. 26 増える⽣成AIコスト お客様の利⽤が増えてくると、クラウド費⽤の中で⽣成AIコストが占める割合が増えてきた（50%以上) AIコスト可視化 マルチテナント構成のため、全体でかかっている⽣成AIコストしかわからない ビジネス側からの「テナントごとの⽣成AIコストを確認したい」要求に対応できていない
27. © 2025 Works Human Intelligence Co., Ltd. 27 テナントごとのAIコスト可視化 マルチテナントなサービスで、テナントごとの⽣成AI利⽤コストを⾒える化する AIコスト可視化 Amazon Bedrock アプリケーション推論プロファイルを使って、 テナントごとのコスト配分タグを追加する AWSマネジメントコンソールのコストエクスプローラー Google Cloud Vertex AI ラベルを使って、 テナントごとのコスト配分タグを追加する Google Cloudコンソール
28. © 2025 Works Human Intelligence Co., Ltd. 28 Amazon Bedrock 推論プロファイルを作っておき、モデル呼び出し時にそのプロファイルをmodelIdに渡す AIコスト可視化
29. © 2025 Works Human Intelligence Co., Ltd. 29 Vertex AI モデル呼び出し時にラベルを付与する AIコスト可視化
30. © 2025 Works Human Intelligence Co., Ltd. 30 結果 テナントごとのAIコストを把握できる状態になり、お客様ごとの利⽤状況が⾒えるように。 ビジネス側とも連携できるようになった。 
 テナントごとのコスト可視化⽅法は、各クラウドベンダーで設定⽅法が⽤意されているので、 ぜひ活⽤していきたいところ。 AIコスト可視化
31. © 2025 Works Human Intelligence Co., Ltd. まとめ
32. © 2025 Works Human Intelligence Co., Ltd. 32 まとめ 弊社製品に⽣成AIを利⽤した機能をつけてきた際に、発⽣した課題と対策について3つのテーマでお話ししました。 • 検索精度改善 • データ不⾜解消 • AIコスト可視化 ⽣成AIを取り巻く環境は⽇々進化しており、今回お話しした内容は解決策としてベストではない可能性もありますが、 あくまで⼀例として、少しでも視聴していただいた⽅の参考になれば幸いです。
33. © 2025 Works Human Intelligence Co., Ltd. “ 33 2025年後半の運試し！ モバイルバッテリーを⼿に⼊れろ！ QRコード⼊れる ⾦ 銀 ⾚ ⻘ ⽩ Anker モバイルバッテリー スタンド付ワイヤレスチャージャー レザー調マルチ付箋 マイクロファイバークロス inタブレット塩分プラス アンケート回答で ノベルティプレゼント！
34. © 2025 Works Human Intelligence Co., Ltd. ▪免責事項および権利帰属について ‧本資料に関する⼀切の権利は弊社に帰属します。 ‧本資料には弊社の機密情報が含まれており、書⾯による事前の承諾なしにこれを転載しまたは第三者に開⽰することを禁⽌いたします。 ‧本資料はディスカッション⽬的で作成されたものであり、貴社との協議に基づき適宜変更することを想定しております。したがって、弊社は本資料に記載の内容について法的責任を⼀切負担いたしません。  なお、弊社および貴社の法的関係は、今後弊社および貴社が捺印の上締結した契約書に依拠し、本プロジェクトに関連して弊社は当該契約書に明⽰的に記載された責任以外の責任を負担いたしません。 ‧会社名、製品名はそれぞれ各社の商標⼜は登録商標です。 ‧本⽂中および図中には®マークは表記しておりません。 34