LLMを使ってオンライン会議の議事録を自動生成してみた/forkwell-llm-5-link-and-motivation

【みんなのLLM活用実践LT編〜エンジニアのためのLLM実践ガイド #5】
リンクアンドモチベーション登壇資料（2023/08/31）

『LLMを使ってオンライン会議の議事録を自動生成してみた』

#Forkwell_LLM #リンクアンドモチベーション #リンモチ
=============================================
【イベント情報】
■イベントページ
　https://forkwell.connpass.com/event/289761/

【株式会社リンクアンドモチベーション】
■お問い合わせ
　engineer_pr@lmi.ne.jp
■Entrancebook
　https://note.com/lmi/n/n179505e048f4
■テックブログ
　https://link-and-motivation.hatenablog.com/
=============================================

Transcript

1. © Link and Motivation Group LLMを使ってオンライン会議の議事録を 自動生成してみた リンクアンドモチベーション Developer Productivityユニット プラットフォーム推進グループ 大塚 友章
2. © Link and Motivation Group 2 はじめに
3. 3 © Link and Motivation Group 大塚 友章 株式会社リンクアンドモチベーション Developer Productivityユニット プラットフォーム推進グループ • 2016年に会計システム開発の会社に新卒入社 • 2022年にリンクアンドモチベーションに中途入社 ◦ モチベーションクラウドシリーズの バックエンド開発、PjMを担当 #筋トレ #映画 #アウトドア #ぎっくり腰 自己紹介
4. © Link and Motivation Group 4 今日お話したいこと
5. 5 © Link and Motivation Group 弊社の営業の商談にて...
6. 6 © Link and Motivation Group 課題①「議事録係が同行しないといけない...」 議事録取るの大変... 営業プレゼン！
7. 7 © Link and Motivation Group 課題②「ただの会議内容をメモるだけで、要点がわからない...」 この会議の要点は何だっけ？？ 議事録作った！
8. 8 © Link and Motivation Group tl;dvとかあるけど、いきなり全社で試してみるのハードル高いし、、 金銭的コストが... もう少し早く効果を検証したいし..
9. 9 © Link and Motivation Group tl;dvとかあるけど、いきなり全社で試してみるのハードル高いし、、 金銭的コストが... もう少し早く効果を検証したいし... LLMを使ってサクッと解決しよう！
10. © Link and Motivation Group 10 LLMで議事録を作成しよう！
11. 11 © Link and Motivation Group まずは成果から！ 60 分 30 分 15 分 20 分 (会議中に) 議事録のメモ書き 校正 レビュー＆修正 レビュー＆修正 合計 125 分！
12. 12 © Link and Motivation Group まずは成果から！ 60 分 30 分 15 分 20 分 (会議中に) 議事録のメモ書き 校正 レビュー＆修正 レビュー＆修正 5 分 15 分 5 分 15 分 40分に！
13. 13 © Link and Motivation Group 議事録が作成されるまで 会議を録画 参加者は議事録を作成したい会議を録画
14. 14 © Link and Motivation Group 議事録が作成されるまで 会議を録画 参加者は議事録を作成したい会議を録画 アプリで選択 議事録を作成したい会議を選択 アプリで選択 議事録を作成したい会議を選択 アプリで選択 議事録を作成したい会議を選択
15. 15 © Link and Motivation Group 議事録が作成されるまで 会議を録画 参加者は議事録を作成したい会議を録画 アプリで選択 議事録を作成したい会議を選択 アプリで選択 議事録を作成したい会議を選択 アプリで選択 議事録を作成したい会議を選択 アプリで選択 アプリで作成された議事録を確認 アプリで選択 議事録を確認
16. 16 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約
17. 17 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約
18. 18 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約
19. 19 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約 Google Workspace アドオンを利用 ※Google Workspace アドオン Gmail、Calendar、Docs、Sheetsの機能や体験を拡張する ためのツールやインテグレーション
20. 20 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約 Whisper APIを利用 ※Whisper OpenAIが開発した自動音声認識 (ASR) システム ライブラリ版 / API版があり、今回はインフラの構築コスト も含めて素早く社内リリースしたかったのでAPI版を採用。
21. 21 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約 ここまでで文字起こしは完了！ 以下のような結果が出力される！
22. 22 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約
23. 23 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約 文字起こしした結果から会議の要約を作 成！
24. 24 © Link and Motivation Group 議事録要約のまとめかた Google ドキュメント上に右図の通りに出力する！ # サマリー 1. サマリー 2. 決定事項 3. 宿題事項 # トピックメモ 【トピックのタイトル】 - トピックの要約 【トピックのタイトル】 - トピックの要約 全体サマリー トピックメモ サマリー 決定事項 宿題事項 【タイトル】 - トピック1 【タイトル】 - トピック2
25. 25 © Link and Motivation Group 議事録のトピックごとの要約をする 分割 全文を適当なチャンクに分割 分割 langchain.text_splitte r
26. 26 © Link and Motivation Group 議事録のトピックごとの要約をする 分割 全文を適当なチャンクに分割 分割 分割 文章の意味上の類似度の高いものをまとめる まとめる langchain.text_splitte r トピック1 トピック2 トピック1 トピック3 openai Embedding
27. 27 © Link and Motivation Group 議事録のトピックごとの要約をする 分割 全文を適当なチャンクに分割 分割 分割 文章の意味上の類似度の高いものをまとめる まとめる langchain.text_splitte r トピック1 トピック2 トピック1 トピック3 openai Embedding 分割 トピックごとに要約する 要約 トピック1 トピック2 トピック3 要約
28. 28 © Link and Motivation Group 議事録のトピックごとの要約をする 分割 全文を適当なチャンクに分割 分割 分割 文章の意味上の類似度の高いものをまとめる まとめる langchain.text_splitte r トピック1 トピック2 トピック1 トピック3 openai Embedding 分割 トピックごとに要約する 要約 トピック1 トピック2 トピック3 要約
29. 29 © Link and Motivation Group 議事録のトピックごとの要約をする 要約結果をトピックのタイトル、トピックの内容の一覧に整形する トピック1 トピック2 トピック3 トピックメモ 【タイトル】 - トピック1 【タイトル】 - トピック2 【タイトル】 - トピック3
30. 30 © Link and Motivation Group 全体のサマリーを作成する ミーティング全体を通したサマリーを以下の形式で作成 全体サマリー サマリー 決定事項 宿題事項
31. 31 © Link and Motivation Group 全体のサマリーを作成する ミーティング全体を通したサマリーを以下の形式で作成 全体サマリー サマリー 決定事項 宿題事項 トピックメモ 【タイトル】 - トピック1 【タイトル】 - トピック2 【タイトル】 - トピック3
32. 32 © Link and Motivation Group 全体のサマリーを作成する ミーティング全体を通したサマリーを以下の形式で作成 全体サマリー サマリー 決定事項 宿題事項 トピックメモ 【タイトル】 - トピック1 【タイトル】 - トピック2 【タイトル】 - トピック3
33. 33 © Link and Motivation Group 最終的な議事録の内容 全体サマリー トピックメモ サマリー 決定事項 宿題事項 【タイトル】 - トピック2 全体サマリー トピックメモ サマリー 決定事項 宿題事項 【タイトル】 - トピック2 【タイトル】 - トピック2 【タイトル】 - トピック1
34. © Link and Motivation Group 34 さいごに
35. 35 © Link and Motivation Group LLM を使えば 議事録作成もかんたん！
36. 36 © Link and Motivation Group お知らせ • エンジニアリングマネージャー • プロダクトマネージャー • テックリード • サーバーサイドエンジニア • フロントエンドエンジニア • SRE • データエンジニア • CRM • UXデザイナー 週１でテックブログ更新しています！ まずはカジュアルにお話しましょう！ ご連絡お待ちしております！ 全職種、積極採用中です！