$30 off During Our Annual Pro Sale. View Details »

LT資料 - MNTSQの契約書解析を LLMに置き換える話

MNTSQ
July 11, 2024

LT資料 - MNTSQの契約書解析を LLMに置き換える話

MNTSQ

July 11, 2024
Tweet

More Decks by MNTSQ

Other Decks in Technology

Transcript

  1. ©MNTSQ, Ltd. 3 Takumi Hirata • アルゴリズムエンジニア @ MNTSQ株式会社 •

    機械学習やその周辺のソフトウェア開発を行っています • 最近はプロダクションにおけるLLM活用を推進しています 自己紹介
  2. ©MNTSQ, Ltd. 4 ドラフト 審査交渉 締結 集約 管 理 分

    析 MNTSQ CLM MNTSQ 自動ドラフティング MNTSQ 案件管理 MNTSQ Connect MNTSQ 契約管理 MNTSQ データベース • 案件受付・アサイン • 審査状況の「見える化」 • ノウハウの自動提案 • リスクの自動検知 • 審査履歴の自動登録 • 電子契約連携 • 紙データのAI-OCR • 電子契約連携 • リスクマネジメント • 契約台帳の自動作成 • 契約期限など自動アラート • ナレッジマネジメント • NO&Tナレッジの活用 • 法務情報の自動分析 • オペレーションコンサル • 既存データの移行サポート • メール連携 • SharePoint・Box連携 • 自社雛型+NO&T雛型での自動ドラフト • 交渉ポリシー・解説文登録 • 案件に応じた叩き台を自動提案 契約業務を軸にしたtoB SaaS
  3. ©MNTSQ, Ltd. 8 契約書解析 : 分類・抽出等で契約書を構造化するタスク 秘密保持契約書 MNTSQ株式会社(以下、甲とする)とモンテス太郎(以下、乙とする)はXXX業務(以下、 本件業務とする)を遂行するにあたって、双方が開示する秘密情報の扱いについて次の とおり合意する。

    (定義) 第1条 本契約において使用される語句の定義は次の通りとする。 (1)「開示者」とは、本契約の当事者のうち、他方の当事者に本秘密情報を開示する者 をいう。 (2) 「受領者」とは、開示者から本秘密情報を受領する者をいう。 (3) 「本秘密情報」とは、… 2. 前項にかかわらず、次の各号の一に該当する情報は秘密情報に該当しない。 (1) 取得した時に既に公知、公用となっていたもの (2) … (… 第2条 … 本契約の締結を証するため本書2通を作成し、甲乙記名押印の上、各1通を保有する。 2020年1月1日 .. NER(Named Entity Recognition) 文書分類 パッセージ分類 構造解析 照応解析 例えばどのような種類の契約書なの かを分類するなど、契約書全体の性 質をさまざまな角度から検討します タイトルの場所や、署名欄の検出と いった契約書全体の情報から、「こ の箇条書きはどの文の下位に属する のか」といった情報まで様々な分析 を行います。例えば、以下のような 条項の木構造を抽出したりします 契約書では定義された単語を参照し たり、他の条項を参照することが頻 繁に起きます。こういった参照を解 決するようなタスクもあります 人間は各条項をコンセプトとして捉 えています。例えば「反社会的勢力 に関する条項」を探したい、といっ た要望に答えられるように条や項に さまざまなタグを付与したりします 誰がいつ契約を結んだか、どれくら いの期間有効な契約なのかなど、契 約に関する基本的な情報を検出する のに、NERタスクを解くことは欠か せません
  4. ©MNTSQ, Ltd. 11 ©MNTSQ, Ltd. 11 いくつかのプロンプトテクニック 1⃣ PydanticによるJSONスキーマの生成と出力JSONの検査 2⃣

    自己参照データモデルによる階層ツリー構造の抽出 3⃣ JSONをunpretty-printしてトークン節約
  5. ©MNTSQ, Ltd. 20 ©MNTSQ, Ltd. 20 プロダクションにおける課題 Unfortunately, as anyone

    who has worked on shipping real-world software knows, there’s a world of difference between a demo that works in a controlled setting and a product that operates reliably at scale. “ What We’ve Learned From A Year of Building with LLMs より
  6. ©MNTSQ, Ltd. 22 モデル選択 プロダクションにおける課題 GPT-4o Claude 3.5 Sonnet Gemini

    1.5 Pro 契約書解析における精度 ◯ ◎ ◯ コンテキストウィンドウ 128k 200k 2,000k トークンの出力速度 ◯ ◯ △ 価格 ◯ ◎ ◎ 日本リージョンでの利用 △ ✕ ◯ 発表者の主観に基づく評価です
  7. ©MNTSQ, Ltd. 24 まだ世にベスプラが存在しない状況でいろいろ決める必要がある プロダクションにおける課題 • ソースコードとプロンプトの分離、および実験管理 ◦ どのソリューションが適切?(PromptLayer, LangSmith,

    etc.) • プロンプトの効果的なレビュー方針 ◦ 何を根拠にApproveする? • 精度改善のアプローチ ◦ MLではデータ増やせばなんとかなったがプロンプトでは...? • その他、MLOpsに基づくプラクティスの適用 Q&Aや懇親会では この辺を議論できると 嬉しいです