事前準備が肝！AI活用のための業務改革

2024年9月10日に開催された「スタートアップがAI技術で挑む！巨大産業の課題解決〜不動産tech Product Night〜 #2」のイベントにて、Fintech事業部 プロダクトマネージャー 兼 ソフトウェアエンジニアの松永大(@zabeth)が登壇した際の資料になります。

Transcript

1. © LayerX Inc. 事前準備が肝！AI活用のための業務改革 Matsunaga Masaru, 2024/09/10
2. 自己紹介
3. © LayerX Inc. 3 株式会社LayerX Fintech事業部 プロダクトマネージャー 兼 ソフトウェアエンジニア • 1992年生まれ。新卒で起業し、暗号資産領域で事業を運営 • 2020年に会社を清算し、ソフトウェアエンジニアとして LayerXに入社。 • 同年に三井物産デジタル・アセットマネジメントに出向し、一 貫してアセットマネジメント事業の業務効率化に関わる • X: @zabeth129 自己紹介 Matsunaga Masaru 松永大
4. 目次 Agenda • ⾃⼰紹介 • 事業紹介 • 業務効率化にいきなり⽣成AIを使う危険性 • 上⼿くいかなかった取り組み • 最終成果物 • 反省と学び • まとめ
5. 事業紹介
6. © LayerX Inc. 6 事業紹介 LayerXの事業とプロダクト
7. © LayerX Inc. 7 Fintech事業の構成 事業紹介
8. © LayerX Inc. 8 事業紹介
9. 業務効率化にいきなり生成AIを使う危険性
10. © LayerX Inc. 10 • 今話題の生成AIなら業務課題をなんとかしてくれるだろう.... • 生成AIはプロンプトエンジニアリングが命だ！ 課題解決を生成AIに丸投げしようとしていませんか？ 業務効率化にいきなりLLMを使う危険性
11. © LayerX Inc. 11 • 今話題のLLMなら業務課題をなんとかしてくれるだろう.... • LLMはプロンプトエンジニアリングが命だ！ 課題解決をLLMに丸投げしようとしていませんか？ 業務効率化にいきなりLLMを使う危険性 そんなに甘くありません ...!!
12. 上手くいかなかった取り組み
13. © LayerX Inc. 13 • 弊社ALTERNAで販売している商品を組成する際に膨大な契約書を作成 ◦ 契約数は10を優に超え、１つあたり数十ページの長さ • 各種契約書に大量の重要情報が記載されており、これらの情報をMDM社内の様々な人が参照 取り組み: ファンド契約からのパラメータ抽出とデータベース化 上手くいかなかった取り組み 物件価格 発⾏⼝数 募集期間 物件住所 ⾦利 受益証券の受託者 １⼝あたりの価格 管理会社 ロックアップ期間 配当⽀払⽇ 受益者代理⼈ 計算期間
14. © LayerX Inc. 14 最初に描いていた理想像 上手くいかなかった取り組み DB ALTERNA 連携 運用タスクリ スト生成 社内運用システ ムへの連携 各種報告書 ①⽣成AIによる情報抽出 ②データベース化 ③DBの活⽤
15. © LayerX Inc. 15 ① ALTERNAへの掲載 ③ 日々の運用業務への活用 各種情報の活用例 上手くいかなかった取り組み 契約書から運用タスク及びスケジュールをリスト化 • 各種書類作成のスケジュール及び提出先 • 各種支払期限 • 特定イベント発生時の運用者としての義務 • …etc ② 有価証券届出書の作成 • 新規ファンドで投資家を募集する際に公開す るもの
16. © LayerX Inc. 16 課題と気付き 上手くいかなかった取り組み 課題① 精度を100%に近づけるのが大変 → 間違っていることが許されないという事業特性があるので苦しい 課題② 正解かどうか確認するには契約書を読むしかない → 全く効率化になっていない... 気付き: 実はファンド組成や契約書の作成過程においても最新情報の参照コストが問題になっていた → つまり.......？
17. © LayerX Inc. 17 課題と気付き 上手くいかなかった取り組み 課題① 精度を100%に近づけるのが大変 → 間違っていることが許されないという事業特性があるので苦しい 課題② 正解かどうか確認するには契約書を読むしかない → 全然時短にならない... 気づき: 実は契約書の作成過程においてもデータベースが必要とされていた → オッ、つまり....... 生成AIを使わず、 契約書を作る段階でデータベースを作るべきだった
18. 最終成果物
19. © LayerX Inc. 19 最終成果物と効果 最終成果物 ポイント • LLMを利用しなかった • 今後作られる契約書数 >> 既存の契約書数 → 抽出より作成に焦点を当てるべき • 契約書の作成過程で作るため、LLMで抽出するより正確性が担保されている 成果物 Notion上に不動産及びファンドのDBを構築 効果 • 社内のファンドに係るコミュニケーションコスト削減 • 各種契約への情報落とし込みの効率化 • ALTERNAへの情報連携の効率化 ※ALTERNAの6号案件で作成したDBの一部
20. © LayerX Inc. 20 成果物とデータフロー 最終成果物 DB ALTERNA 連携 運用タスクリスト 作成 各種書類 ①ファンド組成の過程でDBを作成 ②データベース活⽤ ③ DB × ⽣成AI？ 運用タスクリスト 生成 契約書の自動生成？
21. 反省と学び
22. © LayerX Inc. 22 生成AIの採用の必然性や事前準備の重要性を考える 反省と学び 実⾏回数 事前準備への投資と精度向上のバランス モデルの性能 ⾼性能の最新モデルなら事前準備なしに⼗分な精度が出る可能性   ex) ChatGPT 4o 業務のコントロー ラビリティ 業務フローや対象⽂書のフォーマットを⾃社でコントロールできるなら、それらを最適化に取り組 んだうえで利⽤の検討をする 予算 予算が限られている場合、安価なモデルで⼗分な精度を出すための事前準備を⾏う 要求精度 ⾼い精度を求める場合、精度向上のための事前準備やコスパの良い正誤判断⼿段の確⽴が必要 ※事前準備 = 課題の理解、業務フロー変更、データの前処理等
23. © LayerX Inc. 23 事前準備の重要度を考える 反省と学び 実⾏回数 事前準備への投資と精度向上のバランス モデルの性能 ⾼性能の最新モデルなら事前準備なしに⼗分な精度が出る可能性   ex) ChatGPT 4o 業務のコントロー ラビリティ 業務フローや対象⽂書のフォーマットを⾃社でコントロールできるなら、それらを最適化に取り組 んだうえで利⽤の検討をする 予算 予算が限られている場合、安価なモデルで⼗分な精度を出すための事前準備を⾏う 要求精度 ⾼い精度を求める場合、精度向上のための事前準備やコスパの良い正誤判断⼿段の確⽴が必要 要求精度が高く、確認コストは高い あまり多くない 自由に変更可能 最新モデルを利用可 問題にならない 今回の弊社の事例の場合
24. © LayerX Inc. 24 事前準備の重要度を考える 反省と学び 実⾏回数 事前準備への投資と精度向上のバランス モデルの性能 ⾼性能の最新モデルなら事前準備なしに⼗分な精度が出る可能性   ex) ChatGPT 4o 業務のコントロー ラビリティ 業務フローや対象⽂書のフォーマットを⾃社でコントロールできるなら、それらを最適化に取り組 んだうえで利⽤の検討をする 予算 予算が限られている場合、安価なモデルで⼗分な精度を出すための事前準備を⾏う 要求精度 ⾼い精度を求める場合、精度向上のための事前準備やコスパの良い正誤判断⼿段の確⽴が必要 大体合っていれば OK 受領する資料が膨大 コントロール不可 最新モデルを利用可 大幅な人件費削減になるので OK 生成AIを使うと良さそうな例 ex) 不動産取得検討時に受領した資料からの情報抽出
25. 25 © LayerX Inc. テクノロジーによる業務改善の基本ステップ 反省と学び ①業務と課題の深い理解 ②仕組みの改善 ③技術の活⽤ ① 業務と課題の深い理解 →　よく分かっていないものをスマートに解くことはできない。 ② 仕組みの改善 →　ソフトウェアが解くべき課題を簡単にする。 仕組みをソフトウェアに合わせる。 ③ 技術の活用 →　しっかりお膳立てをしたうえで技術を使う
26. まとめ
27. © LayerX Inc. 27 まとめ まずは課題や適用対象を理解し、解決手段をフラットに検討 → 適材適所。生成AIを使うことが目的ではない。 生成AIは業務効率化の銀の弾丸ではない → あくまで道具。通常の業務改善プロセスと同じ。 モデルの性能変化にキャッチアップし、効率よく試行錯誤しよう → 1年後は生成AIに丸投げでも上手く処理してくれるかもしれない...！
28. おわりに
29. © LayerX Inc. 29 - それっぽい思い込みで開発せず、仕様をシンプルに保つ - 施策の開発は、1つの目的に対して１つの解決策 - ドメインを理解することによりコミュニケーション・実装の質を上 げる まとめ