LLM開発・活用の舞台裏@2024.04.25

「【緊急開催】生成AI革命期に挑んだ一年間の軌跡」のLT資料です。
https://generative-ai-conf.connpass.com/event/315163/

Transcript

1. LLM開発・活用の舞台裏 ストックマーク株式会社 プロダクトマネージャー　中尾 有伸 2024/4/25 生成AIカンファレンス直前スペシャル！ 生成AI革命期に挑んだ一年間の軌跡
2. © 2024 Stockmark Inc. 中尾有伸（Nakao Yushin） - 2020年9月より、ストックマークにて複数のBtoB SaaSのプロダクトマネジメントを担当 - 直近1年間は、大規模言語モデル（LLM）の活用と検索・ 推薦領域の機能開発に従事 @yushin_n 自己紹介
3. Anews AIを活用した網羅的な情報収集と組織内への浸透を実現 ストックマークが提供するBtoB SaaS「A Series」 製品化・事業化を加速させる情報収集・共有サービス Astrategy 膨大な時間がかかる市場調査をAIが瞬時に実現
4. 2023年11月に生成AIを活用した要約生成機能をリリース https://stockmark.co.jp/news/20231107
5. © 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
6. © 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
7. Q. 「生成AI」でヒットする月間の日本語の記事数は 2023年3月から、2024年3月の1年間で 何倍になったでしょうか？
8. © 2024 Stockmark Inc. 「生成AI」の月間の記事数の推移（2022年8月-2024年3月） ＊A Seriesのデータベースの「生成 AI」「ChatGPT」を含む日本語の記事数を集計 6141 記事 2024年3月
9. © 2024 Stockmark Inc. 「生成AI」の月間の記事数は1年で12倍、1年半で220倍に増加 6141 記事 2024年3月 546 記事 2023年3月 ＊A Seriesのデータベースの「生成 AI」「ChatGPT」を含む日本語の記事数を集計 28 記事 2022年8月
10. © 2024 Stockmark Inc. 画像生成AIから始まった生成AIの波が、ChatGPTで急加速 2022年8月 Stable Diffusion公開 2022年11月末 ChatGPTリリース ＊A Seriesのデータベースの記事を引用
11. © 2024 Stockmark Inc. 生成AIの技術革新と社会実装、政策立案が並列で進展している 2023年3月 GPT-4発表 2023年12月 生成AI10原則検討開始 2023年11月 GPTs発表
12. © 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
13. © 2024 Stockmark Inc. ストックマークのLLM関連の取り組み Research コード・ レッドで LLM開発 LLM活用を 試行錯誤 Product
14. © 2024 Stockmark Inc. ストックマークのLLM関連の取り組み：コードレッドでLLM開発 1年前のストックマーク全社MTGでのトップメッセージ
15. © 2024 Stockmark Inc. ストックマークのLLM関連の取り組み：コードレッドでLLM開発 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ⚫Researchの取り組み　⚫Productの取り組み 1,000億LLM 開発中 独自LLMを活 用した社内情報 検索・要約生成 機能開発中
16. © 2024 Stockmark Inc. 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ⚫Researchの取り組み　⚫Productの取り組み ストックマークのLLM関連の取り組み：LLM活用を試行錯誤 1,000億LLM 開発中 独自LLMを活用 した社内情報検 索・要約生成機 能開発中
17. © 2024 Stockmark Inc. ストックマークのLLM関連の取り組み 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公 開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公 開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 1,000億LLM 開発中 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ⚫Researchの取り組み　⚫Productの取り組み 独自LLMを活 用した社内情報 検索・要約生成 機能開発中
18. © 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
19. © 2024 Stockmark Inc. LLMのプロダクト活用で直面した課題 生成AI技術の 不確実性 ユーザー価値 の不確実性 モデルの想定外のふるまい にどう対応するか ユーザーにとって価値のあ る体験をつくれるか
20. © 2024 Stockmark Inc.
21. © 2024 Stockmark Inc. 探索 解決策 モデルの ベンチマーク 評価・改善 ユーザー価値 の不確実性 ユーザーにとって価値のあ る体験をつくれるか
22. © 2024 Stockmark Inc. 解決策：モデルのベンチマーク評価・改善 No 質問文 (Question) 要約結果 (Answer) 要約元テキスト (Context) 回答あり 引用の正確性 （GPT-4評価） 理由 （GPT-4評価） 出力形式の忠実性 （人手評価） 回答の最低品 質の担保（人手 評価） 0 日本の総合化学メー カーを3社答えてく ださい。 三井化学[index:0] 三菱ケミカルホール ディングス [index:0] 住友化学[index:0] ... 1. 『えきPET吸音材』の概 要 ・ 駅で回収したペットボト ルをリサイクルした吸音材 を開発し... 1 0 要約はソーステキストを誤っ て表現しています。ソーステ キストには、日本の総合化学 メーカー3社についての言 及はありません... 1 1 1 日本の人工知能のス タートアップ企業を1 社答えてください。 日本の人工知能のス タートアップ企業を1 社答えることができま す。 Fotographer AI株 式会社がStability AI... [0] 生成AIによる商品写 真自動生成サービス 「Fotographer.ai」を提 供するFotographer AI 株式会社... 1 1 要約はソーステキストを歪め たり、誤解を招くような表現 をしていません。 Fotographer AI株式会社 がStability AI Japan株 式会社の... 1 1 ※各評価指標は Ragas 等を参考に設定 ビジネス情報に関する質問50問（Stockmark Business Questions）に加えて、キーワードや英語、回答 できない質問など50問、計100問のベンチマークを設定して、回答品質をGPT-4、及び人手で評価している GPT-4の評価も間違えることがあり、評価の仕組みは今後も改善が必要
23. © 2024 Stockmark Inc. 機能の コンセプト 検証 高速化 解決策 モデルの ベンチマーク 評価・改善
24. © 2024 Stockmark Inc. 解決策：機能のコンセプト検証を高速化 生成AIを活用した実験的な機 能を提供するStockmark Labsを既存ユーザーに公開 事業開発・デザイナー ・Researchを軸とした探索 チームを組成してPoCを推進 機能コンセプトをつくり顧客ヒ アリングして具体化 段階的にリリース
25. © 2024 Stockmark Inc. まとめ • 生成AIの技術革新と社会実装、政策立案が進展する中、LLM開発とプロダ クト活用の両輪で取り組んだ1年間だった • LLMのプロダクト活用においては、生成AI技術とユーザー価値の不確実性 に対処するプロダクトマネジメントに取り組んだ • プロダクトチームでの機能検証・開発だけではなく、事業開発・デザイナー ・Researchを軸とした探索チームやStockmark Labsという実験場を整 備したことで、既存ユースケースの強化と新規ユースケースの探索を両立す ることができた
26. © 2024 Stockmark Inc. 今後の展望 https://youtu.be/bc6uFV9CJGg?t=3936&si=S70SzzdGfO6n2WCq アプリケーション固有の機能が差別化されている限り、モデルをオープンソースにしてもプ ロダクトはコモディティ化せず、コミュニティから恩恵を得られる。 モデルそのものがプロダクトになる場合は、それをオープンにするかの経済的判断はより難 しくなるが、現時点ではその状況にはない。ーMark Zuckerberg プロダクトを中心として、LLM開発と プロダクト活用の両輪の取り組みを継 続して、差別化を追求したい
27. © 2024 Stockmark Inc. ストックマークはAI／LLMをキーワードに全方位で採用強化中！ • 正社員に応募したい・カジュアル面談してみたいなど、興味を持っていただいたらお 気軽にご連絡ください！ ◦ 採用サイト：https://stockmark.wraptas.site/ • 募集ポジション ◦ 顧客体験価値を創出するプロダクトマネージャー ◦ AI / LLM領域の開発を担うプロダクトマネージャー ◦ LLM / RAGを用いた検索基盤の設計、開発をリードするシニアバックエンド ◦ マルチモーダルのコンテンツ抽出のアルゴリズム開発を行う機械学習エンジニア ◦ LLMを構築する自然言語処理リサーチャー
28. 5/8 生成AIカンファレンスでお会いしましょう！ 11:20〜のセッションにて、1,000億LLM開発をリードした近江が登壇します
29. © 2024 Stockmark Inc. https://stockmark.co.jp/