AIの非決定性を吸収する設計: youtrust_09_19

Transcript

1. MNTSQ株式会社 森山 凪 2025/09/19 AIの非決定性を吸収する設計
2. 目次 MNTSQ株式会社とは MNTSQ株式会社／契約市場 契約 x LLMの難しさ 契約という専門領域／企業ごとの独自性／失敗が許されない LLMの非決定性との向き合い 信頼性の高いデータ／禁止表現を真偽値／人的なフェイルオーバー まとめ
3. MNTSQ株式会社とは
4. すべての合意をフェアにする テクノロジーで契約のありかたを変革するという挑戦 誰もがフェアな契約を一瞬で結ぶことができる世界を目指して。 私たちMNTSQ（モンテスキュー）は、機械学習テクノロジーと日本トップローファームの力を掛け合わせ、 大企業の契約業務の変革を進めるAI SaaSプロダクトをつくっています。
5. 5 契約は、あらゆる事業で、必ず負担になっている 5.7億 件／年 契約の件数 2.6兆 円 法務の人件費 10.5億 時間／年 契約業務の時間 経産省センサス、NBL（企業法務部実態調査）、日弁連統計などからMNTSQで推計
6. 契約 x LLMの難しさ
7. ©MNTSQ, Ltd. 7 契約 x LLMの難しさ 法律という専門領域 企業ごとの独自性 失敗が許されない ・OSSのように公開されておらず機密性が高いため学習が困難 ・法律上では一般的な日本語とは異なる解釈をすることがある ・交渉経緯や背景の違い ・ビジネス形態の違い、許容できるリスクの違い ・企業存続のリスクを抱える
8. ©MNTSQ, Ltd. 8 契約 x LLMの難しさ 法律という専門領域 企業ごとの独自性 失敗が許されない ・OSSのように公開されておらず機密性が高いため学習が困難 ・法律上では一般的な日本語とは異なる解釈をすることがある ・交渉経緯や背景の違い ・ビジネス形態の違い、許容できるリスクの違い ・企業存続のリスクを抱える LLMの不安定な出力（非決定性） が 課題
9. LLMの非決定性との向き合い方
10. ©MNTSQ, Ltd. 10 LLMの非決定性との向き合い方 1. 信頼性の高いデータを参照 2. 禁止表現を真偽値の出力に変換 3. 人的なフェイルオーバー
11. 1. 信頼性の高いデータを参照
12. ©MNTSQ, Ltd. 12 信頼性の高いデータを参照 そのまま使うならオフィスツールのAIでいい LLM
13. ©MNTSQ, Ltd. 13 信頼性の高いデータを参照 研ぎ澄ます LLM
14. ©MNTSQ, Ltd. 14 信頼性の高いデータを参照 LLM LLM
15. 2. 禁止表現は真偽値の出力に
16. ©MNTSQ, Ltd. 16 禁止表現を真偽値で出力 突然ですが、 今からテストをします 次のスライドの指示に従ってください
17. ©MNTSQ, Ltd. 17 禁止表現を真偽値で出力 ピンクのゾウを 想像しないでください
18. ©MNTSQ, Ltd. 18 禁止表現を真偽値で出力
19. ©MNTSQ, Ltd. 19 禁止表現を真偽値で出力 できましたか？
20. ©MNTSQ, Ltd. 20 禁止表現を真偽値で出力 LLMも同じ。 出力を「禁止」するのは難しい。 なぜなら、入力を元にした生成であるため。
21. ©MNTSQ, Ltd. 21 禁止表現を真偽値で出力 LLM 秘密保持契約書 プレイブック 秘密保持契約書 プレイブック 秘密保持契約 リスク集 秘密保持契約書 プレイブック 秘密保持契約書 プレイブック 業務委託契約 リスク集 秘密保持契約書 プレイブック 秘密保持契約書 プレイブック ライセンス契約 リスク集
22. ©MNTSQ, Ltd. 22 禁止表現を真偽値で出力 秘密保持契約書 { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", } ] } LLM 秘密保持契約書 プレイブック 秘密保持契約書 プレイブック 秘密保持契約 リスク集 秘密保持契約書 プレイブック 秘密保持契約書 プレイブック 業務委託契約 リスク集 秘密保持契約書 プレイブック 秘密保持契約書 プレイブック ライセンス契約 リスク集
23. ©MNTSQ, Ltd. 23 禁止表現を真偽値で出力 秘密保持契約書 { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", } ] } LLM 秘密保持契約書 プレイブック 秘密保持契約書 プレイブック 秘密保持契約 リスク集 秘密保持契約書 プレイブック 秘密保持契約書 プレイブック 業務委託契約 リスク集 秘密保持契約書 プレイブック 秘密保持契約書 プレイブック ライセンス契約 リスク集
24. ©MNTSQ, Ltd. 24 禁止表現を真偽値で出力 プロンプト 該当しないリスクは出力しないで。 ❌ { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", } ] }
25. ©MNTSQ, Ltd. 25 禁止表現を真偽値で出力 該当しないリスクは出力しないで。 リスクが該当するなら True。該当しないならFalseを出力して。 プロンプト ✅ ❌
26. ©MNTSQ, Ltd. 26 禁止表現を真偽値で出力 真偽値の出力であれば アプリケーション側で表示 /非表示を 制御できる { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", "is_trigger": "True" }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", "is_trigger": "True" }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", "is_trigger": "False" } ] }
27. ©MNTSQ, Ltd. 27 禁止表現を真偽値で出力 真偽値の出力であれば アプリケーション側で表示 /非表示を 制御できる { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", "is_trigger": "True" }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", "is_trigger": "True" }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", "is_trigger": "False" } ] } LLMの非決定性を アプリケーション側で吸収する
28. 3. 人的なフェイルオーバー
29. ©MNTSQ, Ltd. 29 人的なフェイルオーバー リスクチェック 失敗 高リスク な 契約書 問題なし 低リスク な 契約書 問題あり
30. ©MNTSQ, Ltd. 30 人的なフェイルオーバー 高リスク な 契約書 問題なし 低リスク な 契約書 問題あり 高リスクな契約を締結する恐れ ＝ 致命的な失敗 法務業務が逼迫する恐れ ＝ 人が拾える失敗 リスクチェック 失敗
31. ©MNTSQ, Ltd. 31 人的なフェイルオーバー 高リスク な 契約書 問題なし 低リスク な 契約書 問題あり 高リスクな契約を締結する恐れ ＝ 致命的な失敗 法務業務が逼迫する恐れ ＝ 人が拾える失敗 リスクチェック 失敗 ミスするとしてもこちら！
32. まとめ
33. ©MNTSQ, Ltd. 33 まとめ 事業とプロダクト 信頼性の高いデータを参照 禁止表現を真偽値で出力 人的なフェイルオーバー データの山から有益なデータに絞る LLMの不安定さをアプリケーション側で吸収する LLMのミスが、業務のミスにならない仕組み化
34. https://careers.mntsq.co.jp/ ご清聴ありがとうございました。 興味をもってくださったら、ぜひお話ししましょう！