AI Shift Academy（シフアカ）#1「RAGのR」まとめ

AI Shift Academy（シフアカ）
サイバーエージェントグループ・株式会社AI Shiftがお届けする、AI技術の進化を読み解くAI教養ポッドキャストです。

記念すべき第1弾テーマである「RAGのR」について、Gensparkを利用して内容をまとめました。
詳しくは各種配信サイトからご視聴ください。

🔴YouTube
https://www.youtube.com/channel/UCFzrc7UMBpfsMKzpSVGDaxw

🟢Spotify
https://open.spotify.com/show/5xalUSHrlVQdtp6snX9nvb?si=uOpf3V7YTxC641TwnqN5lg

🟣Apple Podcast
https://podcasts.apple.com/jp/podcast/ai-shift-academy/id1831264848

🔵Amazon Music
https://music.amazon.co.jp/podcasts/74698840-2938-47b1-82ef-84725e8c4d00/ai-shift-academy

Transcript

1. AI Shift Academy 「RAGのR」
2.  目次  1. 導入 RAGとRetrieverの概要、情報爆発と初期の情報整理  2. 検索結果を評価する クランフィールド実験、精度と再現率、トレードオフ関係  3. 機械による情報整理 MEDLARS、ブールモデル、初期の検索システム  4. 検索結果に順位をつける TF-IDF、ベクトルモデル、ランキングの重要性  5. 情報検索システムの商業化 DIALOG、CD-ROM、ユーザー体験の進化  6. まとめ RAG活用の知見と今後の展望、QAセッション 2/17
3.  1. 導入：RAGとRetrieverの概要 RAGとは RAG（Retrieval-Augmented Generation）は、生成AIに外部情報を取 得・参照させる仕組みです。 大規模言語モデル（LLM）の知識を拡張し、最新かつ正確な情報を提供 します。 Retrieverの役割 ユーザーの質問に関連する情報を検索 膨大なデータから最適な情報を選別 検索結果をLLMに提供し、回答生成をサポート RAGの利点 ハルシネーション（幻覚）の軽減 最新情報へのアクセス 非公開情報の活用が可能 透明性と信頼性の向上  情報検索技術の発展は、1945年のMemex構想から始まり、現代のRAGシステムへと進化してきました RAGシステムの概念図：検索と生成を組み合わせた情報処理 3/17
4.  2. 情報爆発と初期の情報整理 情報爆発の始まり 科学技術の急速な発展により、20世紀中頃から研究論文や技術資料が爆 発的に増加しました。 従来の図書館システムでは、この膨大な情報を効率的に管理・検索する ことが困難になりました。 索引付けによる情報整理 情報は「索引付け（インデクシング）」によって整理 検索性能は索引の質に依存 評価基準は利用者の感覚的なもの 専門家が手作業で分類・整理 従来システムの限界 処理できる情報量に物理的制約 検索に時間がかかる 専門家の知識に依存するため統一性に欠ける 客観的な評価指標の不在  「シリル・W・クレバードン」は索引の有効性を科学的に検証する必要性を主張し、クランフィールド検索実験プロジェクトを開始しました。 1950年代の図書館：膨大なカードカタログと格闘する情報管理の時代 4/17
5.  3. Memexと情報検索の夢 ヴァネヴァー・ブッシュの先見性 第二次世界大戦末期、科学技術情報の爆発的増加に直面し、「機械を使 えば情報検索の問題を解決できるのでは？」という構想を提唱。 アメリカの科学行政官として戦時中の科学研究を統括した経験から、情 報管理の重要性を痛感。 『As We May Think』 （1945年） 雑誌「アトランティック」に掲載された革新的論文 人間の思考や連想の仕組みをモデルにした情報検索システムを提案 現代のインターネットやハイパーリンクの基礎概念となる Memexの革新的な機能 マイクロフィルムに保存された膨大な文書へのアクセス 文書間を「連想的にたどる」機能（現代のハイパーリンク） 個人の知識を拡張する「脳の補助装置」としての役割  「Memex」は実際に製品化されることはなかったが、その概念は情報検索技術の発展に大きな影響を与え、現代のウェブ技術やRAGシステムの 思想的源流となっています。 レトロフューチャリスティックなMemex： 机に組み込まれた機械で文書を検索する研究者 5/17
6.  4. クランフィールド実験の概要 実験の背景と目的 1960年代、英国クランフィールド航空大学の司書シリル・W・クレバー ドンが索引の有効性を科学的に検証するプロジェクトを開始。 従来の「感覚的」な評価ではなく、客観的な指標での検索システム評価 を目指した。 実験方法 検索対象の文献（1万件超）を準備 文献に関する質問と正解文献のデータセット作成 4つの異なる索引方式を比較評価 すべて手作業で索引付け・検索・照合を実施 歴史的意義 この実験により、情報検索システムの性能を初めて客観的に測定する基 盤が確立された。 比較された索引システム  階層分類  ファセット分類  アルファベット順件名目録  Unitermシステム  クランフィールド実験により、情報検索の「再現率（Recall）」と「精度（Precision）」という重要な評価指標が確立され、情報検索が職人芸か ら科学へと進化しました クランフィールド実験の学術的評価プロセス 6/17
7.  5. 索引方式の種類と特徴 4つの主要索引方式 階層分類：図書館のような階層的な分類 ファセット分類：複数の視点から情報を分類 アルファベット順件名目録：主題をA-Z順に配列 Unitermシステム：文書からキーワードを直接抽出 クランフィールド実験での発見 当時の常識では、専門的な訓練を受けた人間による「知的索引付け」が 最良と考えられていました。 しかし実験結果、単純なUnitermシステムでも複雑な分類体系と同等以 上の性能を示すことがありました。 現代への影響 この発見は後の機械による自動索引付けの発展に大きな影響を与え、現 代のAI技術における「データから学ぶ」アプローチの先駆けとなりまし た。索引方式の比較：それぞれのメリットとデメリット  シンプルなUnitermの健闘は、複雑なルールよりもデータ自体から学ぶというアプローチが有効であることを示唆し、後の機械検索技術への道を 開きました 7/17
8.  6. 情報検索の評価指標 Recall（再現率） 「取りこぼしがないか」を測定する指標 例：「航空機の燃費改善に関する最新技術」 データベース内の正解文献：10件 検索結果で見つかった正解：8件 再現率 = 8/10 = 80% Precision（精度） 「見つかったものが本当に欲しかったものか」を測定 例：検索結果10件のうち、 関連する文献：2件 精度 = 2/10 = 20% 「ノイズがどれだけ少ないか」の指標精度と再現率のトレードオ フ関係  「取りこぼしなく（再現率）」と「無駄なく（精度）」は常にトレードオフの関係にあります。このバランスは現代のRAGシステムでも重要な 課題です。 8/17
9.  7. クランフィールド実験からの発見と意義 発見1: Unitermの意外な有効性 単純な単語ベースの索引（Uniterm）でも、より複雑な分類体系と同等 かそれ以上の性能を示しました。 当時の常識：「知的索引付け」が全てとされた時代に、機械的処理の可 能性を示唆する革命的な発見でした。 発見2: 再現率と精度のトレードオフ 再現率（Recall）を上げると精度（Precision）が下がる 全部拾おうとするとノイズも増える 現代のRAGでも同じ問題が存在 チャンクサイズやkの値で調整が必要 実験の意義 情報検索が「職人芸」から「科学」へ変化 客観的評価指標の確立 シンプルで機械化しやすい手法の可能性が証明 現代のRAG技術の基礎となる概念を提供 シンプルなUniterm方式が複雑な階層分類に匹敵する革命的発見  「測れないものは改善できない」 - クランフィールド実験が確立した客観的評価の枠組みが情報検索の科学的発展を可能にした 9/17
10.  8. 機械による情報検索の始まり MEDLARS - 最古の検索システム 1964年、アメリカの国立医学図書館（NLM）で稼働を開始した世界初の 本格的な電子検索システム。 医学文献の膨大なデータベースを構築し、研究者に革新的な情報アクセ スを提供しました。 ブールモデルの誕生 キーワードの有無で検索する「二値的」なモデル AND、OR、NOT演算子を組み合わせて複雑な検索が可能 専門家が手作業でキーワードを文書に付与 当時としては画期的な検索精度を実現 検索プロセス 研究者が検索申請書を紙で提出 検索担当者がブール演算子を使ったクエリに変換 バッチ処理による検索実行（即時検索ではない） 結果が届くまでに数週間かかることも  なぜ「医学」から始まったのか？人命がかかわる分野だからこそ、膨大な研究成果を見逃さないための情報技術が最も求められていました。 1960年代のメインフレームコンピューターでMEDLARSを操作する研究者た ち 10/17
11.  9. MEDLARSのしくみと社会的意義 人手によるキーワード付与 専門家が文書を読み、医学用語（MeSH）を使って手作業でキーワード を付与 質の高いデータベース構築のために膨大な労力が投入された 検索フロー 研究者が紙の申込用紙に検索したい内容を記入 検索担当者がブール演算子を使ったクエリに変換 一括処理されて数週間後に結果が届く 現代と比べると時間がかかるが、当時は革命的 医学研究を支えた意義 人命に関わる情報の迅速な共有が可能に 膨大な医学論文から必要な情報を効率的に発見 医学という分野から始まった理由：社会的要請が強かった 現代の医療特化型AI（MedGeminiなど）に通じる流れ  メタデータ（キーワード）の質が検索精度を決定する原則は、現代のRAGシステムにも共通しています MEDLARS：世界初の大規模医学文献検索システム（1964年稼働） 11/17
12.  10. ブールモデルの課題と工夫 ブールモデルの「厳密さ」 ブールモデルは完全一致のみを返すため、類義語や関連語を検索できな い厳密な仕組みです。 例：「犬 AND 飼育」で検索した場合、「犬 AND 世話」という文書はヒ ットしません。 類義語辞書（シソーラス）による改善 MEDLARSでは「MeSH（Medical Subject Headings）」を開発 「癌」と「悪性腫瘍」を関連づける 階層関係（例：「癌」→「肺がん」）も管理 人手でキーワードの統制・管理が必要 ブールモデルの課題  「ヒットしない」問題：類義語を拾えない  「ヒットしすぎる」問題：重要度による順位付けができない  カルヴィン・ムーアズの法則：「情報検索システムが、情報を持つことが持たないことよりも苦痛である場合、そのシステムは利用されなくな る」 MeSH（Medical Subject Headings）シソーラス階層構造 医学用語の階層関係と類義語のネットワークを体系化 12/17
13.  11. TF-IDFで検索順位付け革命 検索結果に順位をつける発想 従来の検索システムでは、関連度による順位付けがなく、大量のヒット が課題でした。 新しいアプローチとして、文書とキーワードの関連性を数値化する方法 が求められました。 TF-IDFの2つの要素 TF（Term Frequency）：文書内でその単語が何回出てくるか IDF（Inverse Document Frequency）：その単語がどれだけ珍 しいか カレン・スパーク・ジョーンズが提唱した「珍しい単語ほど重要」と いう逆転の発想 TF-IDFの革命的インパクト 検索結果に「順位」が付き、ユーザービリティが大幅に向上 50年以上経った現在も使われる現役の技術 ベクトル空間モデルへの応用とその後の発展カレン・スパーク・ジョ ーンズが提案したTF-IDF：言語学と数学の革新的な融合  「重要な単語＝たくさん出てくる単語」という直感的発想から、「重要な単語＝他ではあまり出てこない珍しい単語」という逆転の発想が、情報 検索の世界を一変させました 13/17
14.  12. ベクトルモデルと検索エンジン進化 SMARTシステム ジェラルド・サルトンが開発したTF-IDFを活用した検索システム 「System for the Mechanical Analysis and Retrieval of Text」 (元々は「Salton's Magical Automatic Retriever of Text」) ベクトル空間モデル 文書とクエリを多次元空間上のベクトルとして表現 単語の出現頻度や重要度を数値化 情報検索の数学的基盤を確立 コサイン類似度 ベクトル間の角度に着目した類似度測定手法 クエリと文書の「向き」の近さで関連性を判断 現代のRecommendationシステムの基礎技術  ベクトル空間モデルの登場により、検索結果を「関連性の高い順」に並べることが可能になり、現代の検索エンジンの基礎となりました。 Relevance Feedbackという、ユーザーからのフィードバックで検索を改善する仕組みも導入されました。 SMARTシステム：文書とクエリをベクトル表現し、 コサイン類似度で関連性を計算 14/17
15.  13. 商業化とユーザー体験の広がり DIALOGによるオンライン検索 世界初の商用オンラインデータベースサービスとして、Roger K. Summitが開発。 リモートアクセスによる「対話型」情報検索が可能に。料金は1時間あた り25〜74ドル（4千円〜1.3万円）と高価だった。 CD-ROMの普及とサブスク化 オフラインで使える百科事典や辞書が登場 「接続料金を気にせずに検索できる」革命 DIALOGの従量課金 vs CD-ROMの買い切り 物理メディアによる更新遅延の課題 ユーザー層の拡大 専門家から一般ビジネスパーソンへ ブール演算子を理解しない層の台頭 情報アクセスの民主化の始まり 「誰に、どのような体験を、いくらで届けるか」という視点の登場  「最新情報か、手軽さか」というトレードオフは、現代のサブスクリプションとダウンロード型サービスの対立にも見られる構造 1980年代の情報検索システム：DIALOGとCD-ROM 15/17
16.  14. 現代への橋渡しとまとめ  情報源の質 信頼できる整理された情報源があっ て初めて検索に価値が生まれる ブールモデルが機能するには文書の 電子化と適切なキーワード付けが前提 現代RAGでも同様に、検索対象デー タの質がAI回答の質を決定する  技術選択 厳密な検索：ブールモデル 関連度による柔軟な検索：TF-IDF 課題に応じた適切な技術選択の視点 新しいものに飛びつかない「銀の弾 丸はない」  体験設計 ムーアズの法則「情報が多すぎると 苦痛になる」 情報のリストアップだけでは不十分 認知負荷を下げ、意思決定を助ける体 験価値の重要性 ユーザーにとっての「最終的な価値」 をデザイン  全体を通して 人類は長い間、情報の洪水と戦い続けてきました。Retrieverは情報の洪水から私たちを守る「堤防」的な役割を果たします。完璧なAIは存在 せず、情報の質・量・提示方法のバランスがユーザー体験を決定します。 次回：インターネット時代の検索技術とRAG評価のベンチマーク 16/17