RAG の研究を元に予測する、これからのエンジニアに求められるスキル

RAG の研究を元に予測する、これからのエンジニアに求められるスキル JAWS-UG 山梨第 0 回サメ発表会

Who am I ? Issei Hamada • 神奈川県横浜市出身
• アドバンステクノロジーさんとの仕事を通して、山梨に縁を頂きました • ソニーグループ史上初の Japan AWS Ambassador を拝命 • 最近ハマっているAWSサービスは AWS Amplify です Sonybiz Networks Corporation

イントロダクション皆さん、生成 AI 使ってますか？

イントロダクション ⚫生成 AI に対して最も期待されるユースケース「FAQ」 4 User 生成 AI

イントロダクション ⚫生成 AI に対して最も期待されるユースケース「FAQ」 5 User 生成 AI 「RAG」
という言葉を聞くようになったのでは ?

イントロダクション ⚫生成 AI に対して最も期待されるユースケース「FAQ」 6 User 生成 AI 「RAG」
について学ぶと、これからの生成 AI 活用で何が求められるのかを理解出来る

7 ⚫本日の目標 !! 1 「RAG」の基本を理解する「RAG」という分野で、どんな事が研究されている
のかを知るこれからのエンジニアに求められるスキルについて考える 2 3 本日のゴール Gen AI Journey イントロダクション

Agenda RAG の研究を元に予測する、これからのエンジニアに求められるスキル ⚫「RAG」の基本 ⚫「RAG」研究における現在のパラダイム ⚫これからのエンジニアに求められるスキル

「RAG」の基本 ⚫RAG = 「Retrieval-Augmented Generation」 • 初めにユーザーの入力に対して情報検索を行い、得られた結果を元に回答を生成してを返す手法 10 検索
プロンプト LLM 質問回答

「RAG」の基本検索の精度回答生成の信頼性拡張が困難 ⚫初期 RAG の課題 • 検索精度の向上が難しい
• 再現性を確保できない • 検索結果からハルシネーションを生成する事がある • 出力に偏りが発生し、品質・信頼性の低下を招く • 取得した情報を様々なタスクに統合する事が困難 • 出力が一貫しない 11

「RAG」の基本検索の精度回答生成の信頼性拡張が困難 ⚫初期 RAG の課題 • 検索精度の向上が難しい
• 再現性を確保できない • 検索結果からハルシネーションを生成する事がある • 出力に偏りが発生し、品質・信頼性の低下を招く • 取得した情報を様々なタスクに統合する事が困難 • 出力が一貫しない 12 この課題を克服する為、様々なアプローチの研究が進んだ

「RAG」の基本 ⚫(参考) RAGの研究は ChatGPT の登場以降、凄まじいスピードで発展している (出典) Retrieval-Augmented Generation
for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 ⚫ 「葉」の部分一つひとつがアルゴリズム ⚫ 2020年頃から少しずつ増え始め、2023 年の ChatGPT 登場以降、一気に増えている 13

「RAG」研究における現在のパラダイム ⚫現在の RAG 分類 ⚫ アーキテクチャによって、三種類に大別される • Naive RAG
• Advanced RAG • Modular RAG (出典) Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 15

「RAG」研究における現在のパラダイム ⚫初期の RAG - Naive RAG ⚫ 最初に紹介した初期のアプローチ ⚫
シンプルなワークフロー 1. 検索 2. 生成 3. 出力 (出典) Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 16

「RAG」研究における現在のパラダイム ⚫Naive RAG を改良し、Advanced RAG が考案された ⚫ 検索精度向上の為、様々な改良を実施 •
インデックス生成プロセスの改良 • 検索前後に処理を追加 (出典) Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 17 検索後処理検索前処理

「RAG」研究における現在のパラダイム ⚫Advanced RAG のざっくりイメージ ⚫ 検索精度向上の為、様々な改良を実施 • インデックス生成プロセスの改良 •
検索前後に処理を追加 (出典) Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 18 検索後処理でデータを絞り込む検索前処理で適切なデータを取得して、

「RAG」研究における現在のパラダイム Query Expansion クエリ拡張 Query Transformation クエリ変換 Query Routing
クエリルーティング ⚫適切なデータを取得する為の検索前処理 - クエリ最適化 19

「RAG」研究における現在のパラダイム Query Expansion クエリ拡張 • ざっくり「同じ事を、色々なパターンで何度も聞く」手法 •
クエリを複数生成して、並列に実行 • 複数のクエリを通じて幅広く結果を取得する事で、関連性の高い回答を取得する ⚫適切なデータを取得する為の検索前処理 - クエリ最適化 20

「RAG」研究における現在のパラダイム Query Expansion クエリ拡張 • (参考) LangChain での実装例: MultiQueryRetriever
- 書かれているプロンプト: あなたは AI 言語モデルのアシスタントです。あなたのタスクは、指定されたユーザーの質問から5つの異なるバージョンを生成し、ベクトルデータベースから関連するドキュメントを取得することです。ユーザーの質問に対して複数の視点を生成することで、ユーザーは、距離ベースの類似性検索の制限の一部を克服します。これらの代替質問を改行で区切って入力してください。元の質問: {question} ⚫適切なデータを取得する為の検索前処理 - クエリ最適化 https://python.langchain.com/v0.1/docs/modules/data_connection/retrievers/MultiQueryRetriever/ 21

「RAG」研究における現在のパラダイム Query Transformation クエリ変換 • ざっくり「検索前に入力を確認する」アプローチ •
ユーザーの入力をそのまま検索クエリとして扱うと、誤字・脱字や表記揺れによって検索精度が低下することが考えられる • ユーザーが入力した質問に変換を加えることで、ユーザーの意図をより正確に反映したクエリに変換する ⚫適切なデータを取得する為の検索前処理 - クエリ最適化 22

「RAG」研究における現在のパラダイム Query Transformation クエリ変換 • (参考) クエリ変換の実装例: Rewrite-Retrieve-Read -
知識ベースとして Web 検索を挟むアプローチ - 対話履歴に基づいて Web 検索を行い、検索クエリ生成、対話生成と文章補完の為の知識抽出を繰り返し実行する - 例: 「綾辻行人の文学的功績は?」 - (思考): 「綾辻行人について検索し、彼の執筆した書籍や経歴を調べる必要がある」 - (検索): 「綾辻行人は、日本の小説家・推理作家。京都府京都市出身。妻は……」 - (回答): 「綾辻行人の功績は、新本格派ミステリというジャンルを作り上げた点である。」 ⚫適切なデータを取得する為の検索前処理 - クエリ最適化 23 https://book.st-hakky.com/data-science/query-transformation/

「RAG」研究における現在のパラダイム Query Routing クエリルーティング • ざっくり「最適な解決策を実行する」アプローチ •
RAG の利用が進むにつれてデータが多様化する - グラフデータベース - リレーショナルデータベース - 画像 - 映像 …… etc • アプローチが充実するほど、ルーティングの仕組みが重要になる - メタデータルーター/フィルター - セマンティックルーター ⚫適切なデータを取得する為の検索前処理 - クエリ最適化 24

クエリルーティング ⚫これらによって、たくさんの情報を取得できるようになった !! 25

クエリルーティング ⚫これらによって、たくさんの情報を取得できるようになった !! 26 取得出来る情報、多くね …… ?

「RAG」研究における現在のパラダイム ⚫Advanced RAG における検索後処理 ⚫ 関連する文書を全て LLM に取り込むと、情報過多に陥り、重要な詳細への焦点が無関係なコンテンツによっ
て薄れてしまう (出典) Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 27

「RAG」研究における現在のパラダイム ⚫Advanced RAG における検索後処理 ⚫ 関連する文書を全て LLM に取り込むと、情報過多に陥り、重要な詳細への焦点が無関係なコンテンツによっ
て薄れてしまう (出典) Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 28 検索後の処理で、重要な情報の選択、重要なセクションの強調、処理されるコンテキストの短縮を行う

「RAG」研究における現在のパラダイム Rerank Summary Fusion ⚫適切なデータを絞り込む為の検索後処理 29

「RAG」研究における現在のパラダイム ⚫適切なデータを絞り込む為の検索後処理実装例: RAG-Fusion ⚫ クエリ拡張で取得した結果をランキングし、LLM へ渡す • 正確には、検索前後のどちらも含んだアプローチ
• 作者曰く、「決定を下す前に全員の意見を聞くことを主張する人物だと考えてください。」 https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1 30

「RAG」研究における現在のパラダイム ⚫適切なデータを絞り込む為の検索後処理実装例: RAG-Fusion ⚫ 例: 3 つのクエリ A,
B, C から 1 つずつデータを取得した場合、以下も考慮してランク付を行う • クエリ A から取得したデータと、クエリ B, C との関連性 • クエリ B から取得したデータと、クエリ A, C との関連性 • クエリ C から取得したデータと、クエリ A, B との関連性 https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1 31

「RAG」研究における現在のパラダイム ⚫Advanced RAG のざっくりイメージ ⚫ 検索精度向上の為、様々な改良を実施 • インデックス生成プロセスの改良 •
検索前後に処理を追加 (出典) Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 32 検索後処理でデータを絞り込む検索前処理で適切なデータを取得して、

「RAG」研究における現在のパラダイム ⚫Advanced RAG ⚫ 検索精度向上の為、様々な改良を実施 • インデックス生成プロセスの改良 • 検索前後に処理を追加
(出典) Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 33 「工夫」って感じで、親しみやすくない ?

「RAG」研究における現在のパラダイム ⚫Modular RAG ⚫ 与えられた課題に対して、必要な処理を都度構成して実行する ⚫ 類似性検索用の検索モジュールの追加や、ファインチューニングによる検索機能の改良が施されている (出典)
Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/abs/2312.10997 34

「RAG」研究における現在のパラダイム ⚫Modular RAG のワークフロー例 (出典) Retrieval-Augmented Generation for Large
Language Models: A Survey https://arxiv.org/abs/2312.10997 35 Advanced RAG でお馴染みのアプローチもある最適なワークフローを構成・実行

「RAG」研究における現在のパラダイム RAG の種類扱われている手法最適解はまだ無い ⚫RAG 研究から感じて欲しかった事 • 目的はシンプル
- いかに適切な情報を取得するか - いかに情報を整理して、質の良い情報を LLM に連携するか • 意外と泥臭い事をやっている • プログラミングとは一味違った「工夫」が多くて、理解しやすくない ? • ユーザの環境によって、最適な手法が異なる • 現状は、自分の環境に合わせて自分で最適な手法を見つけて実装する必要がある 36

これからのエンジニアに求められるスキル 38

これからのエンジニアに求められるスキル「検索」に関するスキル 39

これからのエンジニアに求められるスキル「検索」に関するスキル ⚫ 生成 AI が様々なシステムに組み込まれていく事を考えると、RAG も必ず様々な部分に組み込まれていく事が想定される ⚫ RAG
で最も重要なのは、正確な情報を探し出す「検索」の技術 ⚫ 「検索」は今後 RAG と向き合う時、必ず役に立つ 40

これからのエンジニアに求められるスキル「検索」に関するスキルプロンプトエンジニアリング 41

これからのエンジニアに求められるスキルプロンプトエンジニアリング ⚫ プロンプトの設計は生成 AI 技術の根幹 • タスクの精度や安全性に直結する ⚫ 生成
AI を扱う為の基礎スキルとして、今後当たり前になっていく 42

これからのエンジニアに求められるスキル「検索」に関するスキルプロンプトエンジニアリング既存の技術スタック 43

これからのエンジニアに求められるスキル既存の技術スタック ⚫ 生成 AI の一番の価値は、あらゆるサービスに組み込めて、ちょっと便利にしてくれるところにある (と思う) ⚫ なので、そもそも基本的な技術スタックを理解していないと何も作れない
• Web における音声データの取り回しや、ストリーム API の制御方法、データ経路のセキュリティ、など ⚫ 一般的な技術スタックを積み重ねることも忘れないようにすべき 44

これからのエンジニアに求められるスキル「検索」に関するスキルプロンプトエンジニアリング既存の技術スタック 45

46 ⚫本日の目標 !! …… と言いましたが 1 「RAG」の基本を理解する「RAG」
という分野で、どんな事が研究されているのかを知るこれからのエンジニアに求められるスキルについて考える 2 3 本日のゴール Gen AI Journey 最後に

47 ⚫本日の目標 !! …… と言いましたが 1 「RAG」の基本を理解する「RAG」
という分野で、どんな事が研究されているのかを知るこれからのエンジニアに求められるスキルについて考える 2 3 本日のゴール Gen AI Journey 最後にこんなの建前です

48 「技術って面白いかも」と思ってもらう事でした ⚫本当の目標は …… 最後に

49 「自分以外にも技術が好きな人って、意外といる」 ⚫AWS Ambassador になって気が付いた最後に

50 「ここに来れば、自分と同じモノを好きな人に会える」そんなコミュニティにしていきます ⚫AWS Ambassador になって気が付いた最後に

51 Now, Go build !! 最後に

RAG の研究を元に予測する、これからのエンジニアに求められるスキル

RAG の研究を元に予測する、これからのエンジニアに求められるスキル

More Decks by issei.hamada

Other Decks in Technology

Featured

Transcript