Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今日からRAGを 始めることを考える
Search
shibuiwilliam
May 22, 2024
Technology
3
1.7k
今日からRAGを 始めることを考える
https://mlops.connpass.com/event/315387/
shibuiwilliam
May 22, 2024
Tweet
Share
More Decks by shibuiwilliam
See All by shibuiwilliam
生成AI時代のデータ基盤
shibuiwilliam
6
3.9k
LLM時代の検索とコンテキストエンジニアリング
shibuiwilliam
3
1.3k
AI人生苦節10年で会得したAIがやること_人間がやること.pdf
shibuiwilliam
1
340
LayerXのApplied R&D
shibuiwilliam
2
48
LLM時代の検索
shibuiwilliam
3
1k
生成AIを作るエンジニアリングと使うエンジニアリング
shibuiwilliam
2
110
AI Agentのキャッシュ、再利用、Ops
shibuiwilliam
2
130
生成AIのためのデータ収集とデータエンジニアリング
shibuiwilliam
5
680
LLMで推論するライブラリを整理する
shibuiwilliam
6
1.7k
Other Decks in Technology
See All in Technology
おやつは300円まで!の最適化を模索してみた
techtekt
PRO
0
290
バッチ処理で悩むバックエンドエンジニアに捧げるAWS Glue入門
diggymo
3
190
職種の壁を溶かして開発サイクルを高速に回す~情報透明性と職種越境から考えるAIフレンドリーな職種間連携~
daitasu
0
140
【初心者向け】ローカルLLMの色々な動かし方まとめ
aratako
7
3.4k
未経験者・初心者に贈る!40分でわかるAndroidアプリ開発の今と大事なポイント
operando
4
350
大「個人開発サービス」時代に僕たちはどう生きるか
sotarok
20
9.7k
COVESA VSSによる車両データモデルの標準化とAWS IoT FleetWiseの活用
osawa
1
260
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
440
OCI Oracle Database Services新機能アップデート(2025/06-2025/08)
oracle4engineer
PRO
0
110
S3アクセス制御の設計ポイント
tommy0124
3
190
2025年になってもまだMySQLが好き
yoku0825
8
4.6k
CDK CLIで使ってたあの機能、CDK Toolkit Libraryではどうやるの?
smt7174
4
100
Featured
See All Featured
Producing Creativity
orderedlist
PRO
347
40k
Context Engineering - Making Every Token Count
addyosmani
1
29
Typedesign – Prime Four
hannesfritz
42
2.8k
Facilitating Awesome Meetings
lara
55
6.5k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
GraphQLとの向き合い方2022年版
quramy
49
14k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Transcript
今日からRAGを 始めることを考える 2024/05/22
自己紹介 shibui yusuke • 文学修士→いろいろ → Stability AI Japan •
主にデータエンジニア • もともとクラウド基盤の開発、運用 • ここ7年くらいMLOpsとバックエンドとインフラと データ関連で仕事 • Github: @shibuiwilliam • FB: yusuke.shibui • 最近の趣味:ルービックキューブ cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2 • 本日の資料:
• 発売中! • https://www.amazon.co.jp/dp/4798173401/ • 発売中! • https://www.amazon.co.jp/dp/4798169447/
技術評論社Software & Designで MLOpsについて連載しました! • 2023年8月号 MLOpsの概要 • 2023年9月号 MLOpsのためのスキルセットとチーム構成
• 2023年10月号 方針策定とMLOpsのためのツール • 2023年11月号 MLOpsのための技術選定 • 2023年12月号 LLMのためのDevOps • 2024年1月号 MLOpsと評価 • 2024年2月号 推論システム(予定) • 2024年3月号 機械学習システムの引き継ぎ • 2024年4月号 LLMのデータエンジニアリング • 2024年5月号 機械学習の使い途と未来 MLOpsについてあまり他では取り上げられないテーマを 中心に記事を書きました!
RAGとは
RAGの流れ 検索 統合 生成 UI 今日の天 気を教えて 天気予報 を検索 集めた情
報を整理 文章生成 今日は晴れる でしょう🌞
実際には大体こんな感じ 検索 統合 生成 社内文書 やDB インター ネット LLM 検索ワードを
生成 情報を整理 文章生成 UI
どこまで自作するか? 検索 統合 生成 社内文書 やDB インター ネット LLM 検索ワードを
生成 情報を整理 文章生成 要自作 ロジックは 要自作 自作は 超大変 自作 不可能 検索Indexは要自作 検索基盤はOSS等を 使うことが多い プロンプトは 要自作 ワークフローの インテグレーションは??? UI ツール 次第
そもそもなにが目的? RAG不要 RAG必要 要検討 検索 コーディン グ補助 社内 情報 情報
整理 文章 要約 自動 応答 分析 最新の 情報で LLM RAGでは解決できなさそうなこと: 営業活動、社内調整、プレゼン、出張、 自分の意見を言う、家を買う、受験、 ボランティア、就職活動、世界平和 LLMに 相談 翻訳
簡単な課題を便利なツールで始めるのが良さそう • 簡単 ◦ Dify.ai • コーディングが必要 ◦ Langchain ◦
LlamaIndex • クラウドの知見が必要 ◦ AWS ◦ Azure ◦ GCP • LLMから自作 • そもそもRAGを使わない ◦ OpenAI ◦ Gemini ◦ Claude 簡単 拡張性
RAG LT大会を お楽しみください!