Retrieval-Augmented Generation ( ) 完 全 フ ロ ー DB 準 備 フ ェ ー ズ : ド キ ュ メ ン ト の ベ ク ト ル 化 と 構 築 社 内 ド キ ュ メ ン ト PDF 📄 Excel 📊 Word 📝 Web 🌐 チ ャ ン ク 分 割 文 書 を 小 さ な セ ク シ ョ ン に 分 割 512 2048 ( 〜 文 字 ) オ ー バ ー ラ ッ プ 設 定 Embedding Model OpenAI 🤖 text-embedding-3 ま た は 多 言 語 モ デ ル ベ ク ト ル 表 現 生 成 [0.1, -0.3, 0.8, ...] 1536 次 元 ベ ク ト ル 意 味 を 数 値 化 DB ベ ク ト ル Pinecone 🗃️ Weaviate ChromaDB : 完 了 後 の 状 態 す べ て の 文 書 が ベ ク ト ル 化 さ れ 、 検 索 可 能 な 状 態 で ベ ク ト ル デ ー タ ベ ー ス に 格 納 完 了 準 備 フ ェ ー ズ の 特 徴 • 一 度 だ け 実 行 ( 文 書 更 新 時 の み 再 実 行 ) • バ ッ チ 処 理 で 時 間 を か け て 高 品 質 な ベ ク ト ル 化 • チ ャ ン ク サ イ ズ や オ ー バ ー ラ ッ プ の 最 適 化 が 重 要 実 行 フ ェ ー ズ : リ ア ル タ イ ム 検 索 と 回 答 生 成 👤 ユ ー ザ ー 質 問 ◦◦ 「 に つ い て 教 え て 」 質 問 を ベ ク ト ル 化 準備フェーズと同じ Embedding モデル使用 DB ベ ク ト ル 類 似 度 検 索 コサイン類似度 ユークリッド距離等 関 連 文 書 抽 出 Top-K 件 の 類 似 文 書 を 取 得 K=3 10 (通常 〜 ) プ ロ ン プ ト 構 築 シ ス テ ム 指 示 : 「 以 下 の 情 報 を 参 考 に 、 正 確 に 質 問 に 答 え て く だ さ い 。 情 報 に 含 ま れ て い な い 内 容 は 推 測 せ ず 、 『 記 載 さ れ て い ま せ ん 』 と 回 答 し て く だ さ い 。 」 [ ] コ ン テ キ ス ト :検 索 さ れ た 関 連 文 書 の 内 容 [ ] ユ ー ザ ー 質 問 :元 の 質 問 回 答 : LLM 生 成 用 GPT-4 🤖 Claude Gemini Llama 等 根 拠 の あ る 回 答 生 成 • 検 索 さ れ た 社 内 情 報 に 基 づ く 正 確 な 回 答 • 参 考 文 書 の 引 用 や ソ ー ス 明 記 • 最 新 情 報 を 反 映 • ハ ル シ ネ ー シ ョ ン ( 誤 情 報 生 成 ) の 軽 減 • 情 報 が 不 足 す る 場 合 は 明 確 に 伝 達 ユ ー ザ ー に 回 答 チ ャ ッ ト 💬 メ ー ル 📧 Web UI 🌐 API 応 答 📱 実 行 フ ェ ー ズ の 特 徴 • リ ア ル タ イ ム 処 理 ( 数 秒 以 内 ) • ユ ー ザ ー ご と の 質 問 に 対 応 • Top-K プ ロ ン プ ト 設 計 と 設 定 が 回 答 品 質 を 左 右 DB 同 じ ベ ク ト ル を 使 用 by Claude.ai