Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[DEIM2021] 企業法務を支援する契約書検索システムの設計と実装
Search
LegalOn Technologies, Inc
PRO
March 03, 2021
Technology
6
6.9k
[DEIM2021] 企業法務を支援する契約書検索システムの設計と実装
DEIM2021にて,リーガルテックにおけるLegalForceの取り組みを紹介した資料です。
LegalOn Technologies, Inc
PRO
March 03, 2021
Tweet
Share
More Decks by LegalOn Technologies, Inc
See All by LegalOn Technologies, Inc
リーガルテックにおける検索・推薦技術
legalontechnologies
PRO
4
2k
[NLP2023] 最小コスト法に基づく形態素解析におけるCPU キャッシュの効率化
legalontechnologies
PRO
1
110
生成AIを搭載したプロダクト開発 - 少人数で爆速リリースしてわかったこと -
legalontechnologies
PRO
1
14k
Auto-evaluation of ranking model by LLM
legalontechnologies
PRO
0
960
株式会社LegalOn Technologies 会社紹介資料
legalontechnologies
PRO
7
100k
【LegalOnに聞く】ChatGPTを活用したプロダクト開発〜本番運用のハードルとは〜
legalontechnologies
PRO
0
260
[DEIM2023] 高速な形態素解析器Vibratoの紹介
legalontechnologies
PRO
0
1k
株式会社LegalOn Technologies 検索・推薦チーム紹介資料
legalontechnologies
PRO
0
1.8k
株式会社LegalOn Technologies 開発職向け会社紹介資料
legalontechnologies
PRO
1
34k
Other Decks in Technology
See All in Technology
現地でMeet Upをやる場合の注意点〜反省点を添えて〜
shotashiratori
0
530
プロダクト成長に対応するプラットフォーム戦略:Authleteによる共通認証基盤の移行事例 / Building an authentication platform using Authlete and AWS
kakehashi
1
150
一休.comレストランにおけるRustの活用
kymmt90
3
580
分布で見る効果検証入門 / ai-distributional-effect
cyberagentdevelopers
PRO
4
700
30万人が利用するチャットをFirebase Realtime DatabaseからActionCableへ移行する方法
ryosk7
5
350
10分でわかるfreee エンジニア向け会社説明資料
freee
18
520k
使えそうで使われないCloudHSM
maikamibayashi
0
170
新卒1年目が向き合う生成AI事業の開発を加速させる技術選定 / ai-web-launcher
cyberagentdevelopers
PRO
7
1.5k
Autify Company Deck
autifyhq
1
39k
Commitment vs Harrisonism - Keynote for Scrum Niseko 2024
miholovesq
6
1.1k
ユーザーの購買行動モデリングとその分析 / dsc-purchase-analysis
cyberagentdevelopers
PRO
2
100
Aurora_BlueGreenDeploymentsやってみた
tsukasa_ishimaru
1
120
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
7
150
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.1k
Writing Fast Ruby
sferik
626
61k
Faster Mobile Websites
deanohume
304
30k
BBQ
matthewcrist
85
9.3k
Code Reviewing Like a Champion
maltzj
519
39k
Building Applications with DynamoDB
mza
90
6.1k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Happy Clients
brianwarren
97
6.7k
Practical Orchestrator
shlominoach
186
10k
Transcript
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 企業法務を支援する契約書検索システムの設計と実装 DEIM2021 技術報告 株式会社LegalForce R&Dセクション 打田智子
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 会社概要: 株式会社LegalForce 株 主 すべての契約リスクを制御可能にする。 プロダクトパートナー 代 表: 角田 望(代表取締役 CEO) 創 業: 2017年4月21日 従業員等: 145名(役員含む。) 資本金等: 41.9億円(資本準備金等含む。) 2021年2月時点
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約業務をトータルで効率化していく製品ラインナップ 契約書レビューをAIで加速。 レビュー支援ソフトウェア 次世代型契約管理システム 契約・法令情報メディア
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce 導入状況 2021年2月時点で700社導入
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書レビュー業務における全文検索 契約書(条文)の全文検索における2つの検索ニーズ 1. 過去に結んだ契約書中の,特定の条項を探したい ◦ 明確に,この結果が欲しいという「正解」がユーザーの頭にある ◦ 模範として使う条文に素早くアクセスしたい ◦ いわゆる navigational な検索ニーズ 2. 言い回しの参考文例として使える条項を探したい ◦ 明確な正解というのはないが,「こういう文例が欲しい」というイメージがユーザーの 頭にある ◦ いわゆる informational な検索ニーズ 両方の検索ニーズに対応していく必要がある。
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する条文検索システム AIレビューを補完する,ナレッジマネジメント機能の柱として • 目的は,ユーザーの契約書レビュー業務の効率を向上させること • もっとも望ましいのは,蓄積されたナレッジベースの中から,コピーしてそのまま使える ような参考条文を提示すること • コンテキスト 全文検索クエリに加えて,以下を考慮できると良い ◦ レビュー中の契約書の類型(NDA,業務委託契約,etc.) ◦ レビュー中の契約書の条文種別(秘密保持条項,損害賠償条項,etc.) ◦ 立場:自社に有利な条文を参考にしたい場合が多い ◦ フレッシュネス:最近締結した(新しい)条文を参考にしたい場合が多い
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 契約書構造解析
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 多言語対応
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 情報抽出
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - インデクシングパイプライン 契約書ファイル(バイナリデータ)からテキストを抽出し,様々な前処理を行う テキスト抽出 ・OCR ・PDF/OpenXML パース 文書構造解析 ・タイトル抽出 ・条項への分割 ・表の抽出 etc. 言語判定 情報抽出 ・当事者名 ・日付情報 etc. 検索インデックス (検索エンジン) 契約書ファイル ・PDF ・Microsoft Word それぞれの処理は,独立したマイクロサービス (Web API)として提供される。 ルールベース・機械学習を併用。
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する類似契約書の差分比較機能 • 過去に締結した契約書と,レビュー中の契約書の差分を比較したい,というニーズは 大きい • 検索・自然言語処理の応用: ◦ 比較対象の契約書を探すための類似文書検索 ◦ 条文の並びの変更に対してロバストな比較を行うための,類似条文のアラインメン ト
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 類似文書検索(推薦)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 アラインメント
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書(条文)検索における研究課題
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン(コーパス)特有の課題 • 企業法務特有の,専門的な用語や略語がある ◦ 例:「競業避止」「不争」「善管」 ◦ そもそも単語分割で失敗する • 研究課題 ◦ 索引語の品質担保ための,ドメイン特化辞書を整備する ◦ 略語の検出
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン(コーパス)特有の課題 • 言い回しが少し違うだけのよく似た条文が多い ◦ 素のBM25スコアリングを適用すると,ほとんど同じような条文が上位に並んでしま う ◦ 多数の契約書を保持しているエンタープライズ企業ユーザーで特に問題になる • 研究課題 ◦ 検索結果の有用性を担保するため, 検索結果ファーストビューの多様性を確保する
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - プライベートコーパス • ユーザーごとに検索対象コーパスの大きさや語彙の分布が異なる • コーパスの秘匿性・機密性の高さから,生文を見ながら検索結果をチューニングするこ とは一切できない • 研究課題 ◦ セキュリティ・プライバシーを担保しながら, 検索の品質・体験を向上させる ◦ プライベートサーチ,メールサーチで使われる手法が 有効と考えられる
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - クエリログ不足 • 専門性が高く,利用シーン・利用ユーザーが限られる • 統計的な分析に必要な,大量の検索クエリログが蓄積されにくい • 研究課題 ◦ クエリログに頼らずに,検索の品質・体験を向上させる ◦ (コールドスタート問題の応用として考えられるかもしれない)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved その他,今後の展望 • 契約書構造解析,情報抽出精度の向上 • オンラインテスト(A/Bテスト)で検索性能を定量的に評価する • 業務フローに特化したより深いコンテキストをランキングの特徴量に盛り込む • 「キーワード検索していること」をユーザーに意識させずに,適切な場面で適切な検索 結果を提示するインタフェース
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved まとめ • LegalForce における,情報検索・自然言語処理を活用したシステムの紹介 • ドメイン・アプリケーション領域に特有の課題を整理 • 今後の展望 【PR】LegalForce R&Dセクションではエンジニアを募集しています。 興味を持たれた方はぜひお声がけください。 ❏ バックエンドエンジニア(検索) ❏ リサーチエンジニア(NLP・機械学習) ❏ インフラエンジニア(データ基盤)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved このあと,ランチセッションを開催します! お昼ごはんを食べながら,Zoomブースにお立ち寄りください :)