Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CloudflareStack でRAGに入門
Search
Asahi
December 12, 2024
Programming
0
100
CloudflareStack でRAGに入門
Asahi
December 12, 2024
Tweet
Share
More Decks by Asahi
See All by Asahi
Cloudflare WorkersにNext.jsをデプロイしてみる
asahiiwm
0
16
Other Decks in Programming
See All in Programming
fs2-io を試してたらバグを見つけて直した話
chencmd
0
250
Androidアプリのモジュール分割における:x:commonを考える
okuzawats
1
190
rails statsで大解剖 🔍 “B/43流” のRailsの育て方を歴史とともに振り返ります
shoheimitani
2
960
アクターシステムに頼らずEvent Sourcingする方法について
j5ik2o
4
360
Zoneless Testing
rainerhahnekamp
0
120
Go の GC の不得意な部分を克服したい
taiyow
3
850
非ブラウザランタイムとWeb標準 / Non-Browser Runtimes and Web Standards
petamoriken
0
140
Semantic Kernelのネイティブプラグインで知識拡張をしてみる
tomokusaba
0
180
見えないメモリを観測する: PHP 8.4 `pg_result_memory_size()` とSQL結果のメモリ管理
kentaroutakeda
0
740
Mermaid x AST x 生成AI = コードとドキュメントの完全同期への道
shibuyamizuho
1
270
「Chatwork」Android版アプリを 支える単体テストの現在
okuzawats
0
180
Online-Dokumentation, die hilft: Strukturen, Prozesse, Tools
ahus1
0
100
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
366
19k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
26
1.9k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Docker and Python
trallard
42
3.2k
Faster Mobile Websites
deanohume
305
30k
4 Signs Your Business is Dying
shpigford
182
21k
Thoughts on Productivity
jonyablonski
68
4.4k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
Designing for Performance
lara
604
68k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
365
25k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
45
2.2k
Code Review Best Practice
trishagee
65
17k
Transcript
CloudflareStackでRAGに入門 いわみ あさひ
• 自己紹介 • Cloudflare Stackについて • RAGについて • 構成 •
できたもの • 今後やってみたいこと • まとめ アジェンダ
株式会社Gemcook所属: あさひ(@asahiXXXXXXXXX) バックエンドエンジニア TypeScript、Go、AWS、Cloudflare 歴1年くらい 好きなサービス・OSS Workers、Hono、CDKが好き 趣味 配信(見る方)、StreetFighter6、LoL
自己紹介
株式会社Gemcook所属: あさひ(@asahiXXXXXXXXX) バックエンドエンジニア TypeScript、Go、AWS、Cloudflare 歴1年くらい 好きなサービス・OSS Workers、Hono、CDKが好き 趣味 配信(見る方)、StreetFighter6、LoL
自己紹介 Zennで 週刊Cloudflare という記事を 毎週出しています。 Zenn: あさひ@asahi_iwm
Cloudflare Stack
• Cloudflare DeveloperのYoutubeで紹介されていた ◦ The Cloudflare Stack • どこかで説明されてるわけでは ないがCloudflareのサービスを
スタックとして理解 Cloudflare Stackって?
RAG
• RAG(Retrieval Augmented Generation) ◦ 事前情報を与えてそれを踏まえて回答を生成して くれるやつ ◦ 通常のLLMだとそのモデルが学習した時点まで の情報でしか回答を生成してくれない
RAGって何?
今回の構成
• Workers ◦ Hono ◦ Drizzle • Workers AI •
D1 • Vectorize 今回の構成
D1にナレッジを保存する コンテンツをベクトル化 ナレッジ(事前情報)を保存する流れ VectorizeにD1のIDと一緒に保存
ナレッジ(事前情報)を保存する流れ
ナレッジ(事前情報)を保存する流れ
ナレッジ(事前情報)を保存する流れ
回答を生成する流れ 質問をベクトルデータにする 類似するベクトルデータを探してナレッジを探す ナレッジをコンテキストとし AIに回答を生成させる
回答を生成する流れ
回答を生成する流れ
回答を生成する流れ
回答を生成する流れ
回答を生成する流れ
できたもの
• Demo ◦ めっちゃ簡単にやります できたもの
今後やってみたいこと
• AI Gatewayを使って日本語対応 ◦ Workers AIに日本語モデルがない… • Streamingレスポンス対応 • 画面を用意する
• D1以外の採用(KVとかR2) • RAGを活用して何かを作ってみる 今後やってみたいこと
まとめ
• Cloudflare Stackで RAGに入門することができた • 基礎的なRAGの仕組みは理解できた • 日本語対応モデルがないのが残念 まとめ