20241121_[TechTalk#2]虎の穴ラボでのLLMについて取り組み紹介

虎の穴ラボ Tech Talk #2 〜LLM活用LT〜での発表資料です
https://yumenosora.connpass.com/event/335158/

Transcript

1. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボでのLLMについて取り組み紹介 虎の穴ラボ株式会社 藤原佳顕 1
2. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 目次 1. 自己紹介 2. 概要 3. 虎の穴ラボ社内での LLM活用と技術紹介 4. まとめ 2
3. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 自己紹介ページ (藤原) 藤原 佳顕（ふじわら よしあき） : yoshiaki fujiwara ‣ Webエンジニア ‣ 新規事業担当（Fantia、Creatia）、アーキテクトチーム (CSIRTも) ‣ 前職：独立系ソフトウェア会社、主に GISとWeb、ライブラリ開発 ‣ TypeScript、Ruby on Rails、C#、C++ ‣ React、Vue、Angular ‣ 入社理由 ‣ 自分がスキルアップできそうな場所に行きたい ‣ オタク系の話ができるところに行きたい 好きなモノ ‣ シューティングゲーム、格闘ゲーム、アトラスのゲーム ‣ SF小説 ‣ プログラミング 3
4. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 概要 • 虎の穴ラボではLLMの活用について積極的に取り組んでいます • 今回の発表では具体的に現在どのような形でLLMを活用しているか紹介し ます • 主に活用のために構築された社内システム、利用している外部サービス、 どの様に活用を推進しているかなどについて話します • 今回の発表は主に概要になります。より詳細は今後の発表等にご期待くだ さい 4
5. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボ社内でのLLM活用と技術紹介 • 虎の穴ラボで利用中のLLM関連システムについては以下ブログに記事があ ります ◦ 虎の穴ラボに「OpenAI API」と「GitHub Copilot」を正式導入し、 「ChatGPT Plus」を技術支援制度の対象としました ▪ https://toranoana-lab.hatenablog.com/entry/2023/04/14/1 20000 ◦ 虎の穴ラボではGitHub Copilot for Businessを導入しています！ ▪ https://toranoana-lab.hatenablog.com/entry/2023/11/08/1 00000 5
6. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボ社内でのLLM活用と技術紹介 • 社内LLM活用のための要素技術 ◦ OpenAI API ▪ 社内専用アプリのAI基盤としてはOpenAIを利用中 ◦ Python＋Django ▪ 上記APIを組み合わせてアプリにするために利用 ◦ LangChain ▪ RAGなどの構築等に利用 ◦ React/Next.js ▪ Chat系ツールのUI構築に利用 6
7. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボ社内でのLLM活用と技術紹介 • LLM活用のための社内制度 ◦ 個人で利用するAI関連の費用補助 ▪ Copilot、OpenAI API、ChatGPT Plus ▪ 既存の福利厚生である書籍補助の延長線上 ◦ GitHub Copilot for Business ▪ 通常のプロダクト開発に利用 ▪ オプションのON/OFFなどを一括管理するために会社で導入 ◦ 先述した技術を利用した社内チャットアプリ ▪ OSSのUIを利用した通常のチャットアプリ ▪ 社内ドキュメントを元に回答を作成できるチャットアプリ ◦ 一部の社員のみChatGPT Teamを利用 ▪ こちらは現状お試し段階で一定レイヤ以上で利用中 7
8. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボ社内でのLLM活用と技術紹介 • 社内チャットアプリ(https://github.com/mckaywrigley/chatbot-ui/ の旧版ベース) 8
9. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボ社内でのLLM活用と技術紹介 • 社内チャットアプリのRAG機能：ファイルアップロードしてそれを元に色々聞ける 9
10. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボ社内でのLLM活用と技術紹介 • 社内QA関連：Wikiなどを読み込ませてそれをもとに回答してくる(LangChain利用) 10
11. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボ社内でのLLM活用と技術紹介 • 利用率等のログ ◦ 問い合わせ内容まで表示すると萎縮につながる可能性があるため文字数だけ分かる形でマ スキング 11
12. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボ社内でのLLM活用と技術紹介 • GitHub Copilotの活用 12
13. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. 虎の穴ラボ社内でのLLM活用と技術紹介 • GitHub Copilotの活用 13
14. Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. まとめ • 虎の穴ラボが取り組んでいるLLM関連の事例について紹介しました • また、どの様に活用しているかや、利用技術についても紹介しまし た • 今後の課題としてはもっと可視化を進める必要がある ◦ システム組み込んでも効果がわからないので • また、具体的なシステム化とかも考える必要がある • 今後の発表で個別の詳しい事例や研究内容が発表されるかと思いま すので乞うご期待 14