Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
Search
shibuiwilliam
April 25, 2023
Programming
4
4.1k
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
『LLM(GPT, PaLM等) with MLOps LT大会!!!』登壇資料。
https://mlops.connpass.com/event/279156/
shibuiwilliam
April 25, 2023
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
1
200
今日からRAGを 始めることを考える
shibuiwilliam
2
1.3k
2024年生成AI新年会登壇資料
shibuiwilliam
0
200
Creative as Software Engineering
shibuiwilliam
2
520
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
200
機械学習システム構築実践ガイド
shibuiwilliam
1
700
機械学習を実用化するエンジニアリングスキル
shibuiwilliam
12
4.2k
Generative AIと検索を組み合わせた新たな体験の模索
shibuiwilliam
3
970
Machine learning system development
shibuiwilliam
1
410
Other Decks in Programming
See All in Programming
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
npaka
3
1.1k
Kotlin Collection関数をマスター
masayukisuda
0
3k
What's new in Xcode 16 ダイジェスト
enomotok
0
220
Kotlin/Androidでテスト駆動開発をはじめよう
hiroaki404
1
240
なぜキャッシュメモリは速いのか / Why is Cache Memory So Fast?
tomzoh
1
480
Fat Controller は悪か? ~光のFat Controller・闇のガリController~
stwile
1
280
良いテストコードのために悪いテストコードを理解する - 不安定なテスト編: iOSアプリ開発ユニットテストの場合
yimajo
20
4.5k
奥が深いメールのシステム / The depth of Email system
linyows
3
210
iOS 開発で便利なツールたち
mitsuharu
0
140
どうせキレイに書けない処理は逆にAIに書いてもらうほうが良い説 / #kyotojs 22
potato4d
1
140
有効な使い方を正しく理解して実装する PHP8.3の最新機能 / Proper understanding and implementation of effective usage Latest features in PHP 8.3
seike460
PRO
2
210
dockerの豆知識を沢山話す
mal0961
3
250
Featured
See All Featured
The Cult of Friendly URLs
andyhume
74
5.8k
5 minutes of I Can Smell Your CMS
philhawksworth
200
19k
The Cost Of JavaScript in 2023
addyosmani
26
4.1k
A designer walks into a library…
pauljervisheath
201
24k
Become a Pro
speakerdeck
PRO
14
4.7k
StorybookのUI Testing Handbookを読んだ
zakiyama
14
4.8k
Embracing the Ebb and Flow
colly
80
4.3k
The Invisible Customer
myddelton
115
13k
Unsuck your backbone
ammeep
664
57k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Building Better People: How to give real-time feedback that sticks.
wjessup
356
18k
YesSQL, Process and Tooling at Scale
rocio
165
14k
Transcript
GPT, Langchain, Faiss, FastAPI を組み合わせた Chat検索システム開発 2023/04/25 しぶい https://speakerdeck.com/shibuiwilliam/gpt-langchain-faiss-fastapiwozu-mihe-waseta-chatjian-suo-sisutemukai-fa
自己紹介 shibui yusuke • もともと文学部の大学院卒。 • 本業:Launchableで色々ソフトウェアエンジニア兼 少しマーケティングとセールス ◦ エンジニア募集中!
• 副業:マイベストでMLエンジニア • 副業:NOT A HOTELでバックエンドエンジニア • MLOpsコミュニティ運営 • その他いろいろ • Github: @shibuiwilliam • FB: yusuke.shibui 2
• 発売中! • https://www.amazon.co.jp/dp/4798169447/ • 発売中! • https://www.amazon.co.jp/dp/4798173401/ 機械学習でChat Botを作るのは
難しいからまずはルールベースで 検討したほうが良い、 と書いて出版した同じ月に ChatGPTが公開された悲劇の一冊!
LLMが変える機械学習の開発と運用 • いずれにせよ開発と運用のサイクル(MLOps? LLMOps?)が必要 課題を決める データ収集 分析 前処理 モデルを探す Fine
Tuning Fully training 評価する 修正 デプロイ 監視 ? これまでのMLOps LLM with MLOps 課題を決める GPTにデータを 送ってみる プロンプトを修 正 送るデータを 選定 評価 デプロイ 監視 データ収集 分析
たぶんよくあるアーキテクチャ 質問する 質問に関連するド キュメントを検索 する Faiss以外の ANN/KNN系 ライブラリもOK 回答する 関連ドキュメントと
質問をプロンプトに 組み込んで リクエストする
多様なデータのインデックスを使いたい 質問する 複数インデックスが必要になるケース - A/Bテスト - Blue/Greenデプロイメント - インデックスが巨大になるのを防ぐ -
用途・カテゴリに応じた分割 ・・・ 回答する Proxy
回答をストリーミングで表示したい 質問する 回答する FastAPIにStrawberryを載せて GraphQL Subscriptionで レスポンス WebSocket WebSocket
履歴メモリ機能がほしい 質問する 回答する WebSocket WebSocket Read/Write 過去QAの要約 →回答をリクエスト
監視したい 質問する 回答する WebSocket WebSocket 監視 違反となる 質問・回答を 監視通報。
定量評価とHallucinations対策 質問 解答 回答 回答 - 解答の距離 人間の評価 LLMで評価 おすすめのGWの
旅行先を教えて。 北海道とか箱 根とか! 北海道とかハワイと か! 0.5 OK OK 掃除機はどう選べ ば良い? XX社のYY製 品 軽くて安くてキレイに なる掃除機! 0.0 NG OK ︙ 質問:模範解答の組を作り、 LLMの回答と評価を実施。 評価 質問・回答をデータ化しつつ、 評価を自動化していくことで Hallucinations対策になるのでは?
モデルレイヤー データレイヤー LLM機械学習パイプライン ドキュメント 要約 ドキュメント ワークフローエンジン 要約ジョブ Embeddingジョブ ビルド・デプロイ
ジョブ 質問・解答 評価ジョブ プロンプト Hallucinations
俺たちの LLM x MLOpsは これからだ!