Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
Search
shibuiwilliam
April 25, 2023
Programming
4
4.3k
GPT, Langchain, Faiss, FastAPIを組み合わせた Chat検索システム開発
『LLM(GPT, PaLM等) with MLOps LT大会!!!』登壇資料。
https://mlops.connpass.com/event/279156/
shibuiwilliam
April 25, 2023
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
3
320
LLMで推論するライブラリを整理する
shibuiwilliam
5
930
生成AIの研究開発を事業につなげる データ、仕組み、コミュニケーション
shibuiwilliam
1
55
デプロイして本番システムで使うことから考えるAI
shibuiwilliam
2
510
今日からRAGを 始めることを考える
shibuiwilliam
2
1.5k
2024年生成AI新年会登壇資料
shibuiwilliam
0
280
Creative as Software Engineering
shibuiwilliam
2
600
Kubernetesクラスターを引き継ぐ技術
shibuiwilliam
3
290
機械学習システム構築実践ガイド
shibuiwilliam
1
850
Other Decks in Programming
See All in Programming
Macとオーディオ再生 2024/11/02
yusukeito
0
290
カラム追加で増えるActiveRecordのメモリサイズ イメージできますか?
asayamakk
4
1.8k
推し活としてのrails new/oshikatsu_ha_iizo
sakahukamaki
3
1.9k
色々なIaCツールを実際に触って比較してみる
iriikeita
0
300
デプロイを任されたので、教わった通りにデプロイしたら障害になった件 ~俺のやらかしを越えてゆけ~
techouse
52
33k
Snowflake x dbtで作るセキュアでアジャイルなデータ基盤
tsoshiro
2
480
Tauriでネイティブアプリを作りたい
tsucchinoko
0
320
僕がつくった48個のWebサービス達
yusukebe
20
17k
現場で役立つモデリング 超入門
masuda220
PRO
14
3.1k
イベント駆動で成長して委員会
happymana
1
220
2024/11/8 関西Kaggler会 2024 #3 / Kaggle Kernel で Gemma 2 × vLLM を動かす。
kohecchi
4
450
Ethereum_.pdf
nekomatu
0
270
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
38
7.1k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
Statistics for Hackers
jakevdp
796
220k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
810
Keith and Marios Guide to Fast Websites
keithpitt
409
22k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
328
21k
A Philosophy of Restraint
colly
203
16k
Ruby is Unlike a Banana
tanoku
96
11k
Agile that works and the tools we love
rasmusluckow
327
21k
Adopting Sorbet at Scale
ufuk
73
9.1k
Docker and Python
trallard
40
3.1k
KATA
mclloyd
29
13k
Transcript
GPT, Langchain, Faiss, FastAPI を組み合わせた Chat検索システム開発 2023/04/25 しぶい https://speakerdeck.com/shibuiwilliam/gpt-langchain-faiss-fastapiwozu-mihe-waseta-chatjian-suo-sisutemukai-fa
自己紹介 shibui yusuke • もともと文学部の大学院卒。 • 本業:Launchableで色々ソフトウェアエンジニア兼 少しマーケティングとセールス ◦ エンジニア募集中!
• 副業:マイベストでMLエンジニア • 副業:NOT A HOTELでバックエンドエンジニア • MLOpsコミュニティ運営 • その他いろいろ • Github: @shibuiwilliam • FB: yusuke.shibui 2
• 発売中! • https://www.amazon.co.jp/dp/4798169447/ • 発売中! • https://www.amazon.co.jp/dp/4798173401/ 機械学習でChat Botを作るのは
難しいからまずはルールベースで 検討したほうが良い、 と書いて出版した同じ月に ChatGPTが公開された悲劇の一冊!
LLMが変える機械学習の開発と運用 • いずれにせよ開発と運用のサイクル(MLOps? LLMOps?)が必要 課題を決める データ収集 分析 前処理 モデルを探す Fine
Tuning Fully training 評価する 修正 デプロイ 監視 ? これまでのMLOps LLM with MLOps 課題を決める GPTにデータを 送ってみる プロンプトを修 正 送るデータを 選定 評価 デプロイ 監視 データ収集 分析
たぶんよくあるアーキテクチャ 質問する 質問に関連するド キュメントを検索 する Faiss以外の ANN/KNN系 ライブラリもOK 回答する 関連ドキュメントと
質問をプロンプトに 組み込んで リクエストする
多様なデータのインデックスを使いたい 質問する 複数インデックスが必要になるケース - A/Bテスト - Blue/Greenデプロイメント - インデックスが巨大になるのを防ぐ -
用途・カテゴリに応じた分割 ・・・ 回答する Proxy
回答をストリーミングで表示したい 質問する 回答する FastAPIにStrawberryを載せて GraphQL Subscriptionで レスポンス WebSocket WebSocket
履歴メモリ機能がほしい 質問する 回答する WebSocket WebSocket Read/Write 過去QAの要約 →回答をリクエスト
監視したい 質問する 回答する WebSocket WebSocket 監視 違反となる 質問・回答を 監視通報。
定量評価とHallucinations対策 質問 解答 回答 回答 - 解答の距離 人間の評価 LLMで評価 おすすめのGWの
旅行先を教えて。 北海道とか箱 根とか! 北海道とかハワイと か! 0.5 OK OK 掃除機はどう選べ ば良い? XX社のYY製 品 軽くて安くてキレイに なる掃除機! 0.0 NG OK ︙ 質問:模範解答の組を作り、 LLMの回答と評価を実施。 評価 質問・回答をデータ化しつつ、 評価を自動化していくことで Hallucinations対策になるのでは?
モデルレイヤー データレイヤー LLM機械学習パイプライン ドキュメント 要約 ドキュメント ワークフローエンジン 要約ジョブ Embeddingジョブ ビルド・デプロイ
ジョブ 質問・解答 評価ジョブ プロンプト Hallucinations
俺たちの LLM x MLOpsは これからだ!