RAG入門

Transcript

1. RAG 入門 chiaoi
2. RAG 入門の入門 1. データソース 2. 解析戦略 3. チャンキング戦略 4. 埋め込みモデル 5. ベクトルストア 6. テスト: 取得と応答生成
3. RAGでできること RAG - 外部知識を持つことができ簡単に知識の拡張や修正ができる - どの外部知識にアクセスされたかを知ることができる 従来のLLM - 知識を簡単に拡張や修正できない - 予測に対する理由を直接提供できない コンテキスト長が長くなった今、 入力にすべて含めることもできるがLost in the Middleなどの問題はある https://arxiv.org/abs/2005.11401
4. RAGとは 注) ベクトルDBを用いたものに限定します。 検索 生成 入力 ベクトルストア documents 検索 結果 生成AI (Claude, …) 出力 1. 事前学習済みのモデル 2. 外部の知識 の2つを組み合わせて生成を行 うモデル。
5. RAG原論文との違い 原論文 - DPR(BERTベース) + BART(seq2seq)をend-to-endでfine-tuneする。検 索と生成の間に勾配が流れる。 - 全体最適化ができる。 今回 - Embeddingモデルと生成モデルを繋げておりパーツは独立。 - パーツごとに訓練をすることが多い。 パーツが独立しているからこそ、精度を上げる際にどの部分がボトルネックになっているかを 見極める必要がある。 e.g.) 検索で必要な文書を集められていないのに、生成モデルでさらに高価なモデルを使用し て精度を高めようとする。
6. ベクトルストア 目標: 　文書の集合から、入力と関連のある文書のうち上位K件(top-K)を高速に検索したい 前準備 1. 文書の集合を意味を表現できるベクトルの集合に変換する 2. ベクトルの集合を検索しやすいデータ構造に乗せる 検索時 1. 入力を文書と同じ方法でベクトルに変換する 2. ベクトルストアから入力と関連の強い順にK個を検索する ベクトルに前もって変 化することができる ので、効率が良い ベクトル検索のアル ゴリズム（HNSW）が 使用でき高速 文書をベクトルに変換することをembeddingといい、変換 するモデルをembeddingモデルといいます。
7. embedding手順 文書 解析 PDFなどを 処理できる 文字列へ 変換する 文字列 チャン キング 文字列を いくつかの 文字列に 区切る 文字列 の集合 embe dding ベクトル の集合 文字列を 意味を表す ベクトルに 変換する
8. embedding例 本の PDF 解析 PDFなどを 処理できる 文字列へ 変換する Markdown 形式 チャン キング 文字列を いくつかの 文字列に 区切る 1段落目 2段落目 3段落目 embe dding ベクトル1 ベクトル2 ベクトル3 文字列を 意味を表す ベクトルに 変換する
9. 生成 以下の質問に答えてください。 【入力】 以下の文書を参考にしてください。 【文書1】 【文書2】 … 【文書K】 入力 ChatGPT Gemini Claude 出力 生成モデル
10. モデルの違い Embeddingモデル 生成モデル 文字(トークン)列を意味を表すことの できるベクトルに変換する。 入力と文書から回答を生成する。 目的が異なるので、それぞれ別々に特徴に合ったモデルを作成した方がいい。 Titan Embeddings G1 - Text Titan Text Embeddings V2 ChatGPT Claude Gemini
11. Transformer - LLM コーパス「This is a pen. That is not a pen.」 「This is a pen. That」から「is」を予測。 次のトークンを予測することに特化している 次にくるトークンを予測することを繰り返して、文章が出来上がる。 → 生成タスクが得意になる。 https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
12. Transformer - embedding コーパス「This is a pen. That is not a pen.」 「This is a <MASK>. That is not a pen」から「pen」を予測。 「This is a pen.」の後に「That is not a pen.」が続きかどうかを予測。 文章の理解に特化している 文章全体を把握する能力が身につく。 → 分類や質疑応答などのタスクが得意になる。 https://arxiv.org/abs/1810.04805
13. よくあるミスのポイント - そもそも文書に答えがない - 答えはあるが検索で上位にこない - 文書が多すぎてコンテキストから溢れる - コンテキストにあるのにLLMが抽出できない - 答えは正しいがフォーマットが不適切 - 詳しすぎる/大雑把すぎる - 答えが不完全 https://arxiv.org/abs/2401.05856
14. 答えはあるが検索で上位にこない - 解析をするときに文書の構造を崩しすぎている - チャンキングの際に細かく/大きく切りすぎている - embeddingモデルの精度が悪い https://arxiv.org/abs/2401.05856 どこがボトルネックになっているかの想像がつきやすい - デバッグ作業やログの確認をより速く本質的に - コーディングエージェントへの指示が明確に - ログを出力するべき場面を明確に
15. まとめ - RAGとは、外部知識をLLMに与える一つの手段です。 - 「検索」と「生成」のパートに別れています。 - 様々なパーツが集まってRAGの仕組みが構築されています。 - RAGの仕組みについて知ることでRAGをよりよく使えます。 - デバッグする際や精度を向上する際にも必要です。 https://arxiv.org/abs/2401.05856 - 現在も研究が盛んでGraphRAGやHippoRAGなどの新しい仕組みが次々 と考察されています。 - リランキングなどの工夫なども各パートに行われており、これらの技術もとて も面白いです。