GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発

『LLM(GPT, PaLM等) with MLOps LT大会!!!』登壇資料。
https://mlops.connpass.com/event/279156/

Transcript

1. GPT, Langchain, Faiss, FastAPI を組み合わせた Chat検索システム開発 2023/04/25 しぶい https://speakerdeck.com/shibuiwilliam/gpt-langchain-faiss-fastapiwozu-mihe-waseta-chatjian-suo-sisutemukai-fa
2. 自己紹介 shibui yusuke • もともと文学部の大学院卒。 • 本業：Launchableで色々ソフトウェアエンジニア兼 少しマーケティングとセールス ◦ エンジニア募集中！ • 副業：マイベストでMLエンジニア • 副業：NOT A HOTELでバックエンドエンジニア • MLOpsコミュニティ運営 • その他いろいろ • Github: @shibuiwilliam • FB: yusuke.shibui 2
3. • 発売中！ • https://www.amazon.co.jp/dp/4798169447/ • 発売中！ • https://www.amazon.co.jp/dp/4798173401/ 機械学習でChat Botを作るのは 難しいからまずはルールベースで 検討したほうが良い、 と書いて出版した同じ月に ChatGPTが公開された悲劇の一冊！
4. LLMが変える機械学習の開発と運用 • いずれにせよ開発と運用のサイクル（MLOps? LLMOps?）が必要 課題を決める データ収集 分析 前処理 モデルを探す Fine Tuning Fully training 評価する 修正 デプロイ 監視 ？ これまでのMLOps LLM with MLOps 課題を決める GPTにデータを 送ってみる プロンプトを修 正 送るデータを 選定 評価 デプロイ 監視 データ収集 分析
5. たぶんよくあるアーキテクチャ 質問する 質問に関連するド キュメントを検索 する Faiss以外の ANN/KNN系 ライブラリもOK 回答する 関連ドキュメントと 質問をプロンプトに 組み込んで リクエストする
6. 多様なデータのインデックスを使いたい 質問する 複数インデックスが必要になるケース - A/Bテスト - Blue/Greenデプロイメント - インデックスが巨大になるのを防ぐ - 用途・カテゴリに応じた分割 ・・・ 回答する Proxy
7. 回答をストリーミングで表示したい 質問する 回答する FastAPIにStrawberryを載せて GraphQL Subscriptionで レスポンス WebSocket WebSocket
8. 履歴メモリ機能がほしい 質問する 回答する WebSocket WebSocket Read/Write 過去QAの要約 →回答をリクエスト
9. 監視したい 質問する 回答する WebSocket WebSocket 監視 違反となる 質問・回答を 監視通報。
10. 定量評価とHallucinations対策 質問 解答 回答 回答 - 解答の距離 人間の評価 LLMで評価 おすすめのGWの 旅行先を教えて。 北海道とか箱 根とか！ 北海道とかハワイと か！ 0.5 OK OK 掃除機はどう選べ ば良い？ XX社のYY製 品 軽くて安くてキレイに なる掃除機！ 0.0 NG OK ︙ 質問：模範解答の組を作り、 LLMの回答と評価を実施。 評価 質問・回答をデータ化しつつ、 評価を自動化していくことで Hallucinations対策になるのでは？
11. モデルレイヤー データレイヤー LLM機械学習パイプライン ドキュメント 要約 ドキュメント ワークフローエンジン 要約ジョブ Embeddingジョブ ビルド・デプロイ ジョブ 質問・解答 評価ジョブ プロンプト Hallucinations
12. 俺たちの LLM x MLOpsは これからだ！