Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[DEIM2021] 企業法務を支援する契約書検索システムの設計と実装
Search
LegalOn Technologies, Inc
PRO
March 03, 2021
Technology
6
7.3k
[DEIM2021] 企業法務を支援する契約書検索システムの設計と実装
DEIM2021にて,リーガルテックにおけるLegalForceの取り組みを紹介した資料です。
LegalOn Technologies, Inc
PRO
March 03, 2021
Tweet
Share
More Decks by LegalOn Technologies, Inc
See All by LegalOn Technologies, Inc
LegalOn Technologies Developers Compass
legalontechnologies
PRO
0
380
QAチームの生成AIを使った取り組み:現場のリアル、みんなで語る交流座談会 2025/7/3
legalontechnologies
PRO
0
140
Jagu'e'r データ利活用分科会 #27 そのLooker構成、世界で戦える? ~グローバル展開のための設計術~
legalontechnologies
PRO
0
110
Data & AI Summit ’25 Spring 登壇資料 データの見えない糸を紡ぐ:LLMを活用したLookerとdbtによるメタデータ戦略
legalontechnologies
PRO
0
180
Developers Summit 2025 浅野卓也(13-B-7 LegalOn Technologies)
legalontechnologies
PRO
3
5.9k
リーガルテックにおける検索・推薦技術
legalontechnologies
PRO
5
2.3k
[NLP2023] 最小コスト法に基づく形態素解析におけるCPU キャッシュの効率化
legalontechnologies
PRO
1
260
生成AIを搭載したプロダクト開発 - 少人数で爆速リリースしてわかったこと -
legalontechnologies
PRO
1
15k
Auto-evaluation of ranking model by LLM
legalontechnologies
PRO
0
1.2k
Other Decks in Technology
See All in Technology
興味の胞子を育て 業務と技術に広がる”きのこ力”
fumiyasac0921
0
330
AI によるドキュメント処理を加速するためのOCR 結果の永続化と再利用戦略
tomoaki25
0
160
AI駆動開発 with MixLeap Study【大阪支部 #3】
lycorptech_jp
PRO
0
270
激動の時代、新卒エンジニアはAIツールにどう向き合うか。 [LayerX Bet AI Day Countdown LT Day1 ツールの選択]
tak848
0
610
怖くない!GritQLでBiomeプラグインを作ろうよ
pal4de
1
140
CSPヘッダー導入で実現するWebサイトの多層防御:今すぐ試せる設定例と運用知見
llamakko
1
270
Wasmで社内ツールを作って配布しよう
askua
0
150
LLMでAI-OCR、実際どうなの? / llm_ai_ocr_layerx_bet_ai_day_lt
sbrf248
0
280
Datasets for Critical Operations by Dataform
kimujun
0
120
Ktor + Google Cloud Tasks/PubSub におけるOTel Messaging計装の実践
sansantech
PRO
1
340
ML Pipelineの開発と運用を OpenTelemetryで繋ぐ @ OpenTelemetry Meetup 2025-07
getty708
0
320
2025/07/22_家族アルバム みてねのCRE における生成AI活用事例
masartz
2
150
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Being A Developer After 40
akosma
90
590k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
The Invisible Side of Design
smashingmag
301
51k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
A better future with KSS
kneath
238
17k
Rails Girls Zürich Keynote
gr2m
95
14k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Adopting Sorbet at Scale
ufuk
77
9.5k
Transcript
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 企業法務を支援する契約書検索システムの設計と実装 DEIM2021 技術報告 株式会社LegalForce R&Dセクション 打田智子
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 会社概要: 株式会社LegalForce 株 主 すべての契約リスクを制御可能にする。 プロダクトパートナー 代 表: 角田 望(代表取締役 CEO) 創 業: 2017年4月21日 従業員等: 145名(役員含む。) 資本金等: 41.9億円(資本準備金等含む。) 2021年2月時点
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約業務をトータルで効率化していく製品ラインナップ 契約書レビューをAIで加速。 レビュー支援ソフトウェア 次世代型契約管理システム 契約・法令情報メディア
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce 導入状況 2021年2月時点で700社導入
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書レビュー業務における全文検索 契約書(条文)の全文検索における2つの検索ニーズ 1. 過去に結んだ契約書中の,特定の条項を探したい ◦ 明確に,この結果が欲しいという「正解」がユーザーの頭にある ◦ 模範として使う条文に素早くアクセスしたい ◦ いわゆる navigational な検索ニーズ 2. 言い回しの参考文例として使える条項を探したい ◦ 明確な正解というのはないが,「こういう文例が欲しい」というイメージがユーザーの 頭にある ◦ いわゆる informational な検索ニーズ 両方の検索ニーズに対応していく必要がある。
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する条文検索システム AIレビューを補完する,ナレッジマネジメント機能の柱として • 目的は,ユーザーの契約書レビュー業務の効率を向上させること • もっとも望ましいのは,蓄積されたナレッジベースの中から,コピーしてそのまま使える ような参考条文を提示すること • コンテキスト 全文検索クエリに加えて,以下を考慮できると良い ◦ レビュー中の契約書の類型(NDA,業務委託契約,etc.) ◦ レビュー中の契約書の条文種別(秘密保持条項,損害賠償条項,etc.) ◦ 立場:自社に有利な条文を参考にしたい場合が多い ◦ フレッシュネス:最近締結した(新しい)条文を参考にしたい場合が多い
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 契約書構造解析
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 多言語対応
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 情報抽出
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - インデクシングパイプライン 契約書ファイル(バイナリデータ)からテキストを抽出し,様々な前処理を行う テキスト抽出 ・OCR ・PDF/OpenXML パース 文書構造解析 ・タイトル抽出 ・条項への分割 ・表の抽出 etc. 言語判定 情報抽出 ・当事者名 ・日付情報 etc. 検索インデックス (検索エンジン) 契約書ファイル ・PDF ・Microsoft Word それぞれの処理は,独立したマイクロサービス (Web API)として提供される。 ルールベース・機械学習を併用。
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する類似契約書の差分比較機能 • 過去に締結した契約書と,レビュー中の契約書の差分を比較したい,というニーズは 大きい • 検索・自然言語処理の応用: ◦ 比較対象の契約書を探すための類似文書検索 ◦ 条文の並びの変更に対してロバストな比較を行うための,類似条文のアラインメン ト
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 類似文書検索(推薦)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 アラインメント
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書(条文)検索における研究課題
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン(コーパス)特有の課題 • 企業法務特有の,専門的な用語や略語がある ◦ 例:「競業避止」「不争」「善管」 ◦ そもそも単語分割で失敗する • 研究課題 ◦ 索引語の品質担保ための,ドメイン特化辞書を整備する ◦ 略語の検出
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン(コーパス)特有の課題 • 言い回しが少し違うだけのよく似た条文が多い ◦ 素のBM25スコアリングを適用すると,ほとんど同じような条文が上位に並んでしま う ◦ 多数の契約書を保持しているエンタープライズ企業ユーザーで特に問題になる • 研究課題 ◦ 検索結果の有用性を担保するため, 検索結果ファーストビューの多様性を確保する
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - プライベートコーパス • ユーザーごとに検索対象コーパスの大きさや語彙の分布が異なる • コーパスの秘匿性・機密性の高さから,生文を見ながら検索結果をチューニングするこ とは一切できない • 研究課題 ◦ セキュリティ・プライバシーを担保しながら, 検索の品質・体験を向上させる ◦ プライベートサーチ,メールサーチで使われる手法が 有効と考えられる
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - クエリログ不足 • 専門性が高く,利用シーン・利用ユーザーが限られる • 統計的な分析に必要な,大量の検索クエリログが蓄積されにくい • 研究課題 ◦ クエリログに頼らずに,検索の品質・体験を向上させる ◦ (コールドスタート問題の応用として考えられるかもしれない)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved その他,今後の展望 • 契約書構造解析,情報抽出精度の向上 • オンラインテスト(A/Bテスト)で検索性能を定量的に評価する • 業務フローに特化したより深いコンテキストをランキングの特徴量に盛り込む • 「キーワード検索していること」をユーザーに意識させずに,適切な場面で適切な検索 結果を提示するインタフェース
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved まとめ • LegalForce における,情報検索・自然言語処理を活用したシステムの紹介 • ドメイン・アプリケーション領域に特有の課題を整理 • 今後の展望 【PR】LegalForce R&Dセクションではエンジニアを募集しています。 興味を持たれた方はぜひお声がけください。 ❏ バックエンドエンジニア(検索) ❏ リサーチエンジニア(NLP・機械学習) ❏ インフラエンジニア(データ基盤)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved このあと,ランチセッションを開催します! お昼ごはんを食べながら,Zoomブースにお立ち寄りください :)