精度と価値を最大化！AIプロダクト開発・実装の勘所

株式会社ナレッジワーク AIエンジニア 三宅雄紀 (zawakin)
※2025/05/20「AI×プロダクト開発の最前線〜PKSHA、ナレッジワーク、Legalscapeの挑戦〜」での登壇資料です
https://supporterz-seminar.connpass.com/event/351878/

AIプロダクト開発の最前線、特にエンタープライズ領域においては、さまざまな技術的・ビジネス的な制約に直面します。本LTでは、そうした制約を乗り越えるための具体的なアプローチや工夫を共有します。
ワークフローアーキテクチャ設計における試行錯誤と、理詰めによる最適化のプロセス。精度やコストに加え、「制御性」を重視したモデル選定のポイント。そして地道な前処理の積み重ねが、どのように精度向上に貢献したのか。最終的に「便利になった」と顧客からの声を得るまでに至った、AI実装のリアルな舞台裏をお伝えします。

Transcript

1. 精度と価値を最⼤化！エンタープライ ズAIプロダクト開発‧実装の勘所 @zawakin (株式会社ナレッジワーク)
2. © Knowledge Work Inc. ⾃⼰紹介 zawakin (@zawawahoge) 株式会社ナレッジワーク AIエンジニア エキスパート (2020年⼊社) ⾃社開発BtoB SaaS「ナレッジワーク」のAI機能開発‧導 ⼊を多数経験。 現在やっていること • AI技術戦略策定 • AIエージェント開発 • 組織イネーブルメント（社内AI活⽤推進含む） 2
3. © Knowledge Work Inc. Profile 会社概要 3 Profile 会社概要 創業日 代表者 事業内容 2020年4月1日 麻野 耕司 ナレッジワークの開発・提供
4. © Knowledge Work Inc. NEWS: ナレッジワークはセールスAIエージェント開発を強化していきます 4 ナレッジワーク、商談解析AI 「JamRoll」を展開するPoetics社の全 株式を取得。セールスAIエージェント シリーズの開発を加速 Poetics社の全株式を 取得 (2025/5/1)
5. © Knowledge Work Inc. NEWS: ナレッジワークはセールスイネーブルメントAIを作っています 5 ナレッジワーク、営業ナレッジの発⾒ 体験を⼤幅に向上する新機能「ジョブ 検索」を正式リリース。特許出願完了 ナレッジワーク、顧客向け提案書など の共有体験を⼤幅に向上する新機能 「⾃動マスキング」をリリース。特許 出願完了 ナレッジワーク、新プロダクト「ナ レッジワークAI商談記録」をリリース。 正価から50%割引である1ユーザー 2,500円/⽉の特別価格で提供 「ジョブ検索」正式 リリース(2025/5/12) 「⾃動マスキング」リ リース(2025/5/13) 「AI商談記録」 リリース(2025/5/15)
6. © Knowledge Work Inc. Agenda ⽬次 6 • はじめに • 課題 • 戦略 • 実践 • 成果 • まとめ
7. © Knowledge Work Inc. Agenda ⽬次 7 • はじめに • 課題 • 戦略 • 実践 • 成果 • まとめ
8. © Knowledge Work Inc. 8 エンタープライズAI開発、理想と現実の 『壁』に直⾯していませんか？ エンタープライズAI開発における課題
9. © Knowledge Work Inc. 9 エンタープライズAI開発における 「価値最⼤化」と「実装の勘所」 本⽇のテーマ
10. © Knowledge Work Inc. 10 リアルな挑戦から⾒えた 「うまくいくための勘所」を共有 ↓ 皆さんの実践のヒントに！ ゴール
11. © Knowledge Work Inc. Agenda ⽬次 11 • はじめに • 課題 • 戦略 • 実践 • 成果 • まとめ
12. © Knowledge Work Inc. 12 エンタープライズAI開発で、私たちが実際 に直⾯する「⼤きな壁」とは具体的に何？ エンタープライズAI開発における課題
13. © Knowledge Work Inc. エンタープライズAI開発で避けて通れない3つの⼤きな壁 13 13 難易度⾼めの課題 壁１：利⽤可能モデルの選択肢とその能⼒の限界 • 限られた選択肢の中で、その中での能⼒最⼤化する必要がある！ • 例: プロバイダー(OpenAI/Azure/Google Cloud/AWS/ローカルLLM) x モデル(Gemini/GPT-x/…), ⾃前モデル, … 壁２：エンタープライズデータの多様性 • 多様な種類のデータ（構造化/⾮構造化, テキスト/動画, …）が対象 • 単純なLLMアプローチの限界と、データノイズ対処の重要性 壁３：実業務で求められる厳格な出⼒要件 • 「結果のソース提⽰」などの出⼒要件に対応する際のAIの精密な制御の難しさ
14. © Knowledge Work Inc. 限られた選択肢の中で、その中での価値を最⼤化する必要がある！ 14 壁１：利⽤可能モデルの選択肢とその能⼒の限界 プロバイダー モデル Gemini 1.5/2.0/2.5,... GPT-o4-mini, GPT-4o, GPT 4.1, … Claude 3.5/3.7 Haiku/Sonnet, … … エンタープライズAI開発 では、 利⽤可能な プロバイダーやモデルが 限られてしまう！ 本当は ⾊々ある けれど...
15. © Knowledge Work Inc. 多様なオリジナルデータに対して、ニーズに合わせた様々な処理をする必要がある 15 壁２：エンタープライズデータの多様性 オリジナルデータ PowerPoint ファイル 動画/音声ファイル PDFファイル 画像ファイル 構造化データ いろんなファイルに 対応する必要がある JSONファイル …
16. © Knowledge Work Inc. 説明可能性を担保した設計にする必要がある 16 壁３：実業務で求められる厳格な出⼒要件 要件の例 なぜその結果になったか 説明をする（ソース等）
17. © Knowledge Work Inc. Agenda ⽬次 17 • はじめに • 課題 • 戦略 • 実践 • 成果 • まとめ
18. © Knowledge Work Inc. 18 どのように「3つの壁」を乗り越えるか？ 私たちの戦略
19. © Knowledge Work Inc. 19 「理詰め」の設計 ✖ 「泥臭い」実践 現実的な最適解を追求し続ける！ 私たちの基本戦略
20. © Knowledge Work Inc. 基本戦略 20 20 基本⽅針：「銀の弾丸」はない、地道な改善の積み重ね 制限下でも、より良い設計を追求し続ける • ワークフロー全体での効率を上げて、精度を追求していく AIの能⼒を最⼤限引き出す • AIの挙動を理解し、⼿懐ける データと真摯に向き合い続ける • データをよく観察し、理解する
21. © Knowledge Work Inc. Agenda ⽬次 21 • はじめに • 課題 • 戦略 • 実践 • 成果 • まとめ
22. © Knowledge Work Inc. 22 その戦略、具体的にはどんな⼯夫や⾏動で 「実践」に落とし込む？ 戦略を実践するには？
23. © Knowledge Work Inc. 23 「⾼速に試せる環境」を作る • Print Debug上等！ • 全実⾏ログ保存 (JSON/JSONL) • ステップ毎の⼊出⼒検証 • ローカル環境整備 勘所１：⾼速試⾏環境 成果物１ ⼊⼒ 成果物２ 出⼒ 途中経過を print 全実⾏ログ 保存 ローカル 環境で回せるよう にする jsonl {“timestamp”: “...”, “hoge”: “value1”, …} {“timestamp”: “...”, “hoge”: “value2”, …}
24. © Knowledge Work Inc. 24 課題: エンタープライズデータの多様性、ノイズ、個社固有性 コンセプト : AIが最高のパフォーマンスを発揮できるように、入力を整える 勘所２：AIへの⼊⼒情報を徹底的に「お膳⽴て」する 心構え：「 LLMの気持ちになる」 (この入力で、本当に良いアウトプットが出せる？) AIのポテンシャルを最大限引き出す！ ノイズの 多いデータ LLM ノイズの 少ないデータ LLM 良い出⼒ 例: 粗めの検索結果 Rerank＆フィルター 実際の処理 ⾼精度rerank結果等 ☺
25. © Knowledge Work Inc. 25 「データの解像度」を上げる • ⽣データと対峙 • 関係者へ徹底ヒアリング • LLMでリアルなMock Data⽣成 勘所３：データ解像度UP ⽣データ （許可済み） 関係者 (PM/CS /Sales) 開発者 開発者 LLM Mock Data “このデータク ラスに合わせた Mock Data を json で出⼒し て”
26. © Knowledge Work Inc. Agenda ⽬次 26 • はじめに • 課題 • 戦略 • 実践 • 成果 • まとめ
27. © Knowledge Work Inc. 成果：お客様からの声 27 27 具体的な「業務効率の向上」と「顧客満⾜度の向上」という形で成果が現れ、 AI活⽤の確かな⼿応えと再現性のある知⾒を得られた 精度の⾼さに驚いた 操作⾯‧運⽤⾯から ⾮常に満⾜度が⾼い 業務で活⽤できる イメージが湧いています
28. © Knowledge Work Inc. Agenda ⽬次 28 • はじめに • 課題 • 戦略 • 実践 • 成果 • まとめ
29. © Knowledge Work Inc. まとめ 29 • まとめ ◦ エンタープライズAI開発成功の鍵 ▪ 最新技術の追求だけではない ▪ 「理詰め×泥臭さ」という地に⾜のついた実践 ▪ AIの「制御性」への深い理解と追求 ◦ そして、制約こそが新たな⼯夫と価値創造の源泉となることを忘れな いのが⼤事！ ▪ 制約は⾯⽩さ 明⽇からのAI開発 に活かしてみよう
30. © Knowledge Work Inc. 【宣伝】エンジニア積極募集中！ 30 30 https://kwork.studio/recruit-engineer ナレッジワークではエンジニアを絶賛大募集中です！