Slack Platform(Deno) での RAG 実装 - LangChain(js) を使ってみた / rag-implementation-on-slack-platform-deno-experimenting-with-langchain-js

https://langchain.connpass.com/event/342464/

Transcript

1. LangChain Meetup Tokyo #5 Slack Platform(Deno) での RAG 実装 - LangChain(js) を使ってみた Takeshi Kondo / @chaspy
2. はじめに → いろいろ試した結果苦戦した話です ◆ ぜひ皆様からのフィードバックやアドバイスをいただけますと幸いです
3. 自己紹介 → Takeshi Kondo / @chaspy ◆ Director of Engineering / 開発部長 ◆ 『スタディサプリ小学・中学・高校・ 大学受験講座』担当 ◆ Recruit co., ltd → 先週月曜から今週火曜までカナ ダに行ってきました ◆ お土産のチョコレートを持ってきたが 食事できませんでした
4. 既存の Slack Bot + RAG → 社内の markdown ドキュメントを検索して回答する → Azure 上で構築 → chat/completions API で datasource を指定 → Slack Next Gen Platform (Deno/TypeScript)上で実行 → 詳細は過去資料参照 ◆ 「現場で実践！RAG活用術 Lunch LT ― 運用して分かった"つらみ"とそ の対策」で登壇してきました＆質問の回答 #RAG_Findy
5. 既存の Slack Bot + RAG
6. 既存の Slack Bot + RAG の課題 → chat/completion API + DataSource なので、例えば index は1つしか指定できない → 問い合わせ内容からクエリ生成や、問い合わせ内容に応じ たフィルタリング・ソートなどができない → 社内で使われるにつれ、より細かい制御 = Agentic RAG 風に作りたくなってきた → API 呼び出しが増えて実装量増えるし、LangChain 使って みよう
7. LangChain(js) を使った上での課題 1. Python に比べて機能が少ない問題 2. Slack Deploy 時にバンドルエラーが出る問題 3. esm.sh 経由での依存パッケージがブラウザ向けビルドになってしまう 問題
8. 1. Python に比べて機能が少ない問題 → Azure AI Search の Retriever ◆ Python はある https://python.langchain.com/docs/integrations/retrievers/azure_ai_searc ◆ JS はない → JS も Azure AI Search に対する各種操作は可能 ◆ https://python.langchain.com/docs/integrations/vectorstores/azuresearch vector-store-settings ◆ 結果 langchain の恩恵を生かしきれない
9. 2. Slack Deploy 時にバンドルエラーが出る問題 → npm の場合、Slack Deploy 時に esbuild/deno-loader で依存を解決するが、うまく依存関係を解決できなかった ◆ "NPM package not found"エラーが相次ぐ → esm.sh 経由だと依存ライブラリに関するエラー ◆ error: Uncaught (in promise) SyntaxError: The requested module '../index.mjs' does not provide an export named 'version' at https://esm.sh/langsmith@0.3.4/denonext/dist/utils/env.mjs:3:8 → import_map を使わずコード上で直接 import すると一応 回避はできた
10. 3. esm.sh 経由での依存パッケージがブラウザ向けビル ドになってしまう問題 → esm 経由で入れると Azure へのアクセスができない ◆ Error: proxyPolicy is not supported in browser environment ◆ @azure/openai の問題 ◆ ブラウザ向けのビルドが読み込まれてしまう → ここで挫折しました ◆ 素直に API を呼ぶことにしました
11. まとめ → Deno + LangChain(js) + Azure AI Search の相性が（自 分が試した範囲では）よくなさそう ◆ Slack bot 作る上では Slack Platform は便利なので、Python で書けた ら最高です... → 今後は Agentic RAG の実装を頑張ります → 別のプロダクトの方で Python の LangChain を使ってい るので、また事例作って話しにきます！
12. Thank You! → Takeshi Kondo / @chaspy ◆ Director of Engineering / 開発部長 ◆ 『スタディサプリ小学・中学・高校・ 大学受験講座』担当 ◆ Recruit co., ltd → marp でのスライド作成最高で すね