Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CloudflareStack でRAGに入門
Search
Asahi
December 12, 2024
Programming
0
170
CloudflareStack でRAGに入門
Asahi
December 12, 2024
Tweet
Share
More Decks by Asahi
See All by Asahi
Cloudflare WorkersにNext.jsをデプロイしてみる
asahiiwm
0
67
Other Decks in Programming
See All in Programming
Rails アプリ地図考 Flush Cut
makicamel
1
110
How mixi2 Uses TiDB for SNS Scalability and Performance
kanmo
2
420
Pythonでもちょっとリッチな見た目のアプリを設計してみる
ueponx
1
430
ecspresso, ecschedule, lambroll を PipeCDプラグインとして動かしてみた (プロトタイプ) / Running ecspresso, ecschedule, and lambroll as PipeCD Plugins (prototype)
tkikuc
2
3.7k
Honoのおもしろいミドルウェアをみてみよう
yusukebe
0
150
法律の脱レガシーに学ぶフロントエンド刷新
oguemon
5
710
Pulsar2 を雰囲気で使ってみよう
anoken
0
210
データの整合性を保つ非同期処理アーキテクチャパターン / Async Architecture Patterns
mokuo
28
9.4k
『GO』アプリ データ基盤のログ収集システムコスト削減
mot_techtalk
0
100
定理証明プラットフォーム lapisla.net
abap34
1
1.7k
Open source software: how to live long and go far
gaelvaroquaux
0
570
AWS Lambda functions with C# 用の Dev Container Template を作ってみた件
mappie_kochi
0
230
Featured
See All Featured
Making Projects Easy
brettharned
116
6k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Optimizing for Happiness
mojombo
376
70k
The Cult of Friendly URLs
andyhume
78
6.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Become a Pro
speakerdeck
PRO
26
5.1k
Gamification - CAS2011
davidbonilla
80
5.1k
A better future with KSS
kneath
238
17k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
RailsConf 2023
tenderlove
29
990
Writing Fast Ruby
sferik
628
61k
Transcript
CloudflareStackでRAGに入門 いわみ あさひ
• 自己紹介 • Cloudflare Stackについて • RAGについて • 構成 •
できたもの • 今後やってみたいこと • まとめ アジェンダ
株式会社Gemcook所属: あさひ(@asahiXXXXXXXXX) バックエンドエンジニア TypeScript、Go、AWS、Cloudflare 歴1年くらい 好きなサービス・OSS Workers、Hono、CDKが好き 趣味 配信(見る方)、StreetFighter6、LoL
自己紹介
株式会社Gemcook所属: あさひ(@asahiXXXXXXXXX) バックエンドエンジニア TypeScript、Go、AWS、Cloudflare 歴1年くらい 好きなサービス・OSS Workers、Hono、CDKが好き 趣味 配信(見る方)、StreetFighter6、LoL
自己紹介 Zennで 週刊Cloudflare という記事を 毎週出しています。 Zenn: あさひ@asahi_iwm
Cloudflare Stack
• Cloudflare DeveloperのYoutubeで紹介されていた ◦ The Cloudflare Stack • どこかで説明されてるわけでは ないがCloudflareのサービスを
スタックとして理解 Cloudflare Stackって?
RAG
• RAG(Retrieval Augmented Generation) ◦ 事前情報を与えてそれを踏まえて回答を生成して くれるやつ ◦ 通常のLLMだとそのモデルが学習した時点まで の情報でしか回答を生成してくれない
RAGって何?
今回の構成
• Workers ◦ Hono ◦ Drizzle • Workers AI •
D1 • Vectorize 今回の構成
D1にナレッジを保存する コンテンツをベクトル化 ナレッジ(事前情報)を保存する流れ VectorizeにD1のIDと一緒に保存
ナレッジ(事前情報)を保存する流れ
ナレッジ(事前情報)を保存する流れ
ナレッジ(事前情報)を保存する流れ
回答を生成する流れ 質問をベクトルデータにする 類似するベクトルデータを探してナレッジを探す ナレッジをコンテキストとし AIに回答を生成させる
回答を生成する流れ
回答を生成する流れ
回答を生成する流れ
回答を生成する流れ
回答を生成する流れ
できたもの
• Demo ◦ めっちゃ簡単にやります できたもの
今後やってみたいこと
• AI Gatewayを使って日本語対応 ◦ Workers AIに日本語モデルがない… • Streamingレスポンス対応 • 画面を用意する
• D1以外の採用(KVとかR2) • RAGを活用して何かを作ってみる 今後やってみたいこと
まとめ
• Cloudflare Stackで RAGに入門することができた • 基礎的なRAGの仕組みは理解できた • 日本語対応モデルがないのが残念 まとめ