生成AI×HW時代へ - 精度向上方法とSLMの今後 -

【生成AI×HW時代へ - 精度向上方法とSLMの今後 -】
様々なセミナーで実施
「いよいよAIはハードウェアに組み込まれる時代になる！ EdgeTech＋」など
　https://note.com/avakansai/n/nb2a293591cfc

精度向上方法として、Advanced/Modular RAGなどの説明
またSLMによる加速する生成AI×HWの説明も実施

アバナード株式会社
Regional Innovation DX/AI Lead
Yuya Kakizaki

Transcript

1. ©2024 Avanade Inc. All Rights Reserved. 1 ©2024 Avanade Inc. All Rights Reserved. AI×HW 時代へ 生成AI精度向上方法とSLMによる今後 アバナード株式会社 柿崎裕也
2. ©2024 Avanade Inc. All Rights Reserved. 2 2 自己紹介 柿崎 裕也 （かきざき ゆうや） ❑ Regional Innovation DX/AI Lead AI Practice Champion ❑ 主に製造DX/生成AIプロジェクトをリード ❑ メンター活動 ❑ 製造DXセミナー登壇 ❑ 生成AIセミナー登壇 ❑ 生成AI技術本出版 yuya.kakizaki@avanade.com
3. ©2024 Avanade Inc. All Rights Reserved. 3 なぜAzure OpenAIで開発するのか？ Azure OpenAI OpenAIは生成AIをリードし、マイクロソフトとのパートナーシップより親和性が非常に高いです。 ▪ OpenAI ⚫ AIエキスパートの組織 ⚫ 生成AIのリーディングカンパニー ➢ChatGPT（文章生成） ➢DALLE（画像生成） ➢Whisper（音声）…など ⚫ ChatGPTは「5日間で100万人」 「2カ月で1億人」ユーザ達成 ⇒ ユーザからのFBに強み ⚫ 直近ではマルチモーダルとしての GTP4oや動画生成などでも話題 ⚫ マイクロソフト全製品にAI搭載 ⚫ マイクロソフトAIのスタンス ➢顧客データは顧客のもの ➢顧客データを学習しない ➢顧客データを保護する 他にも著作権(CCC)の取り組み ⚫ OpenAIの最新AIモデルはAzure AI Infrastructureで学習・稼働 ⚫ OpenAIの次世代AIモデルの独占的ラ イセンスの保有 ▪ マイクロソフト（with OpenAI） 2019年より パートナーシップ
4. ©2024 Avanade Inc. All Rights Reserved. 4 （参考）Azure OpenAI モデルカタログ Azure OpenAIは、OpenAIだけでなく、Metaなど約1700モデルからの選択、またマルチモデルができます。
5. ©2024 Avanade Inc. All Rights Reserved. 6 生成AIは AI×HW時代へ
6. ©2024 Avanade Inc. All Rights Reserved. 7 現在 AI×HWの時代へ 生成AIは検証段階から本格導入段階になり、SLM技術などにより生成AI×HW時代に入りました。 AGI 機械学習/深層学習 生成AI×HW 生成AI ビジネスインパクト タイムライン ・マルチモーダル ・マルチモデル ・マルチエージェント ・ChatGPT ・Gemini ・Claude ・Copilot ・AOAI ・プロンプトエンジニアリング ・RAG ・ファインチューニング ・SLM(Small Language Model) 汎用型人工知能(AGI)が 人類に利益をもたらすようにする ★OpenAI：ミッション 一般的に人間より 賢いAIシステム ※人間をサポートする ように制御 （AIが主導しない） ドメイン/専門特化, エッジAIの加速 精 度 向 上 パフォーマンス向上 ① ② ▪OpenAI：AGI定義 (Artificial General Intelligence)
7. ©2024 Avanade Inc. All Rights Reserved. 8 8 - 精度向上方法 - ①生成AI
8. ©2024 Avanade Inc. All Rights Reserved. 9 現在 AI×HWの時代へ 生成AIは検証段階から本格導入段階になり、SLM技術などにより生成AI×HW時代に入りました。 AGI 機械学習/深層学習 生成AI×HW 生成AI ビジネスインパクト タイムライン ・マルチモーダル ・マルチモデル ・マルチエージェント ・ChatGPT ・Gemini ・Claude ・Copilot ・AOAI ・プロンプトエンジニアリング ・RAG ・ファインチューニング ・SLM(Small Language Model) 汎用型人工知能(AGI)が 人類に利益をもたらすようにする ★OpenAI：ミッション 一般的に人間より 賢いAIシステム ※人間をサポートする ように制御 （AIが主導しない） ドメイン/専門特化, エッジAIの加速 精 度 向 上 パフォーマンス向上 ① ② ▪OpenAI：AGI定義 (Artificial General Intelligence)
9. ©2024 Avanade Inc. All Rights Reserved. 10 生成AI精度向上方法 生成AIの精度向上させる主な方法は以下です。 事前学習 ファインチューニング 形式精度(SLM:事実精度), トークン削減 RAG(/プラグイン) 事実精度、最新化容易性 プロンプトエンジニアリング Copilot stack ▪LLM精度向上方法 イ ン サ イ ト + 複 雑 性 マイクロソフト唯一の生成AI開発フレームワーク
10. ©2024 Avanade Inc. All Rights Reserved. 11 RAGの実現方法 RAGはLLMでの未学習情報(機密情報など含む)を別途検索して、LLMに参照して回答をもらう方法です。 アプリケーション 参照情報 データストア LLM ①質問 ⑥回答 ②情報検索 ③検索結果 ④プロンプト (+検索結果) ⑤回答生成 ⓪情報格納 RAGワークフローの概要
11. ©2024 Avanade Inc. All Rights Reserved. 12 RAGのパラダイム RAGパラダイムにより、精度向上や多様な要件への高い拡張性を持てるようになっています。 Naive RAG Advanced RAG Modular RAG 検索/生成統合の初期アプローチ 一般的にインデックス作成/検索/生成 の直接的なプロセス（検索-読み取り フレームワーク） ※ベクトル検索時 ・インデックス作成 データの整理/抽出 チャンク化、ベクトル化 ・検索 クエリのベクトル化 類似性スコア計算 TopKチャンク選択 ・生成 プロンプトの合成、回答の生成 検索精度向上への改善 事前検索および事後検索を改善すること で検索精度を強化 ・検索前プロセス改善 [Indexing] 構造の最適化、メタデータ追加 [Pre-Retrieval] クエリ最適化(拡張、変換、ルーティング) 構造化クエリ言語変換(SQL、Cypherなど) ・検索後プロセス改善 [Post-Retrieval] チャンクのリランキング コンテキストの圧縮 多様な生成AI要件への柔軟対応 特定要件に応じて異なる機能モジュール を組み合わせ、柔軟な高い拡張性を実現 モジュールRAGは3層構造のRAGシステム であり、RAGフローのパターンがある ・モジュールタイプ 異なる機能を果たすカテゴリー ・モジュール モジュールタイプに基づいて具体的なタス クを実行するコンポーネント ・オペレーター モジュール間でデータや情報を流通させ るための操作を行う機能
12. ©2024 Avanade Inc. All Rights Reserved. 13 Advanced RAGのポイント RAGの検索精度向上として、大きく以下の３箇所があります。（他箇所もあり、後述） アプリケーション 参照情報 データストア LLM ①質問 ⑥回答 ②情報検索 ③検索結果 ④プロンプト (+検索結果) ⑤回答生成 ⓪情報格納 Pre-Retrieval Post-Retrieval RAGワークフローの概要 ※ハルシネーション防止のため、「知らない」と回答させることも大切 Indexing
13. ©2024 Avanade Inc. All Rights Reserved. 14 （参考）Advanced RAGのポイント Indexing(データ品質) / Pre-Retrieval(質問内容) / Post-Retrieval(プロンプト+検索結果)の向上がキーです。 ▪Indexing（ベクター化例） ▪Pre-Retrieval（一例） ▪Post-Retrieval（一例） Vector 参照情報 データ格納 ファイル解析 チャンク化 ベクター化 インデックス化 ★ポイント データ前処理(加工) 事実精度確認 ★ポイント チャンク化の粒度 オーバーラップ ★ポイント 検索方法の選定 (キーワード、ベクター、グラフ) ★ポイント マルチモーダル 画像ベクター化 画像 テキスト ※ここでの分岐は イメージのためとなります。 ★ポイント メタデータ追加 ユーザ質問 クエリ最適化 ・クエリ拡張 ・クエリ変換 クエリ ルーティング 構造化クエリ言語変換 ・Text to SQL ・Text to Cypher 参照DB ★ポイント 適切な参照データか らの取得 ★ポイント 曖昧や複雑さ整理 類似検索の整理 検索結果 リランク 圧縮/選択 プロンプト合成 ・プロンプトエンジニアリング ・検索結果追加 ★ポイント LLM理解(最大 トークンやLostなど) ノイズの削減 ★ポイント 検索結果精度の 向上 LLM ★ポイント 厳格重視であれば、 ・温度０設定 ・再現可能な出力設定
14. ©2024 Avanade Inc. All Rights Reserved. 15 Modular RAG - 3層構造 - Modular RAGはRAGシステムとして3層構造になっており、以下のようなものがあります。 モジュールタイプ モジュール オペレータ Indexing Chunk Optimization Sliding Window, Summary, Small-to-Big, Metadata Attachment Structural Organization Hierarchical Index, KG Organization Pre-Retrieval Query Expansion Multi Query, Sub Query, Cove, Query Transformation Rewrite, (Reverse) HyDE, Step-back Prompting Query Routing Metadata Router/Filter, Semantic Router Query Construction Text-to-cypher, Text-to-SQL Retrieval Retriever Selection Sparse Retriever, Dense Retriever, Mix Retriever Retriever Tuning SFT, LSR (LM-supervised Retriever), RL, Adapter Post-Retrieval Rerank Rule-Based, Model-Based/LLM-Based Compression/Selection (Long)LLMLingua, Recomp, Selective Context, Tagging-Filter, LLM-Critique Generation Generator Selection Cloud API-base, On-premises, Tuning-base Generator Tuning SFT, RL, Dual FT Orchestration Scheduling Rule-base, Prompt-base, Tuning-base Fusion Possibility Ensemble, RRF (Reciprocal Rank Fusion)
15. ©2024 Avanade Inc. All Rights Reserved. 16 RAG評価（LLMOps） 参照情報や様々な内容変更があるため、継続的なRAG評価でLLMOpsに取り組む必要があります。 Indexing Pre-Retrieval Retrieval Post-Retrieval Generation Orchestration LLMOps RAG評価 前提 ▪指標/評価 ・品質性：精度、類似性 ・正確性：根拠 ・有害性：バイアス、危険、不快 ・その他（コスト、レイテンシー） ▪方法 ・RAGAS ・Prompt Flow(Azure OpenAI Service) ・LangSmith(LangChain) ▪質疑応答のデータセット LLMを利用した準備方法もある ▪FBの仕組み Good/Badなど（添付資料から判断など）
16. ©2024 Avanade Inc. All Rights Reserved. 17 <Confidential> See Avanade’s Data Management Policy ©2017 Avanade Inc. All Rights Reserved. ©2017 Avanade Inc. All Rights Reserved. - SLMの期待 - ②AI×HW時代
17. ©2024 Avanade Inc. All Rights Reserved. 18 現在 AI×HWの時代へ 生成AIは検証段階から本格導入段階になり、SLM技術などにより生成AI×HW時代に入りました。 AGI 機械学習/深層学習 生成AI×HW 生成AI ビジネスインパクト タイムライン ・マルチモーダル ・マルチモデル ・マルチエージェント ・ChatGPT ・Gemini ・Claude ・Copilot ・AOAI ・プロンプトエンジニアリング ・RAG ・ファインチューニング ・SLM(Small Language Model) 汎用型人工知能(AGI)が 人類に利益をもたらすようにする ★OpenAI：ミッション 一般的に人間より 賢いAIシステム ※人間をサポートする ように制御 （AIが主導しない） ドメイン/専門特化, エッジAIの加速 精 度 向 上 パフォーマンス向上 ① ② ▪OpenAI：AGI定義 (Artificial General Intelligence)
18. ©2024 Avanade Inc. All Rights Reserved. 19 LLM(Large Language Model) とSLM(Small Language Model) LLM(大規模言語モデル)とSLM(小規模言語モデル)の違いはパラメータ数になります。 SLM LLM パラメータ数 数百万 数十億 数兆 パラメータ数が増加するほど(LLM)： ※今までの一般的な話であり、データ品質や学習方法などで異なります ▪汎用的な精度向上 考慮する観点が増えることにより、 より広範囲なドメインでの高いコンテキスト理解が可能 ▪パフォーマンス低下 学習や推論に時間がかかり、多くのリソースが必要 ⇒ MoE、Mambaなどで対応 他にも解釈性低下や過学習などの懸念も ※ローカルLLM GGUF(量子化)、ONNX RuntimeなどでLLMをローカル利用可能
19. ©2024 Avanade Inc. All Rights Reserved. 20 SLMの効果 LLM(大規模言語モデル)からSLM(小規模言語モデル)になったことによるメリットがあります。 低レイテンシ (高パフォーマンス)※ 費用対効果 (低コスト) 展開容易性 (軽量) ファインチューニング精度が高い ※オンプレ導入時はHWのスペックに依存します。 SLM LLM
20. ©2024 Avanade Inc. All Rights Reserved. 21 SLM：Phi-3モデル マイクロソフトのPhi-3モデルでは同サイズ以上の言語モデルの性能を上回る結果も出ています。 Introducing Phi-3: Redefining what's possible with SLMs | Microsoft Azure Blog
21. ©2024 Avanade Inc. All Rights Reserved. 22 SLM：Phi-3モデル SLMでもPhi-3-visionモデルのように画像理解できるマルチモーダルも出ています。 Phi-3-mini 3.8B parameters Phi-3-vision 4.2B parameters Phi-3-small 7B parameters Phi-3-medium 14B parameters
22. ©2024 Avanade Inc. All Rights Reserved. 23 SLM利用方法 SLMのユースケースとして、効果から以下が考えられます。 レスポンス速度重視のユースケース コスト節約のユースケース オフライン環境でのユースケース リソース制約でのユースケース ファインチューニング対応のユースケース SLM ※オンプレミス導入時はHWのスペックに依存します。
23. ©2024 Avanade Inc. All Rights Reserved. 25 SLM利用方法 SLMの効果から柔軟で幅広いユースケースに適材適所として利用することが可能となりました。 SLM クラウド オンプレミス ハイブリッド利用も可能 コスト削減 クラウド従量課金なし 高セキュリティ ネットワーク情報漏洩なし 準リアルタイム 低遅延で応答可 オフライン環境 ネットワークなしで利用可 ▪ オンデバイスAI ▪ IoT × SLM ▪ ドメイン特化 ▪ Advanced/Modular RAG 「オンプレミスメリット」 モデル例 ・GPT4o mini A B モデル例 ・Microsoft Phi3 ・Google Gemma ・Apple OpenELM Apple Intelligence
24. ©2024 Avanade Inc. All Rights Reserved. 26 オンデバイスAI - Copilot + PC - マイクロソフトはオンデバイスAIとして、Copilot + PC をリリースしました。 NPU 毎秒45兆回の高速演算処理性能 Memory 16GB - Storage 256GB - 独自の高度AI機能搭載 A オンデバイスAI
25. ©2024 Avanade Inc. All Rights Reserved. 27 Copilot + PC Copilot + PC に搭載された、またアナウンスされたAI機能は以下です。 高度AI機能 リコール Windows スタジオエフェクト コクリエーター ライブキャプション SLM RAG ベクター Embeddings テキスト要約 Phi-Silica 2024年後半予定 高度AI機能 A オンデバイスAI
26. ©2024 Avanade Inc. All Rights Reserved. 28 Windows Copilot Runtime Windows Copilot Runtimeは開発者がWindows AIを簡単に組み込むためのフレームワークです。 ※2024/5/21 米Microsoft Buildより A オンデバイスAI
27. ©2024 Avanade Inc. All Rights Reserved. 29 IoT × SLM パターン例 ユースケースの要件にあわせて、生成AIモデルや処理のパターンや組み合わせを考えていくことができます。 クラウド オンプレミス IoT エッジコンピューティング ルーティング SLM アクチュエータ/ 設定変更/警告 モニター ルーティング クラウドコンピューティング SLM LLM B IoT × SLM
28. ©2024 Avanade Inc. All Rights Reserved. 30 IoT × SLM ユースケース例 IoT×SLMのユースケース例となります。（SLMでの必要性は、要件に合わせて検討する必要があります。） B IoT × SLM ▪スマートアシスタント SLM IoT (家や工場、車の中) 音声(依頼) 音声(回答) 制御 ▪スマート農業 SLM IoT 制御 気温/湿度/ 植物の状態など ▪物流管理 IoT SLM 2024年物流問題：トラック運用の効率化 ▪オフライン医療機器診断 IoT SLM 通知 ▪スマートファクトリー LLM SLM IoT SLM IoT SLM IoT 中央集権 ドメイン 特化 製造ラインA 製造ラインB 製造ラインC ▪リアルタイム翻訳 SLM IoT 翻訳 音声や映像(文字)
29. ©2024 Avanade Inc. All Rights Reserved. 31 - Demo動画 - ( 生成AI × HW )
30. ©2024 Avanade Inc. All Rights Reserved. 42 現在 AI×HWの時代へ 実現できる多様な生成AI要件を理解して、ビジネス価値を作っていく必要があります。 AGI 機械学習/深層学習 生成AI×HW 生成AI ビジネスインパクト タイムライン ▪OpenAI：AGI定義 (Artificial General Intelligence) ・マルチモーダル ・マルチモデル ・マルチエージェント ・ChatGPT ・Gemini ・Claude ・Copilot ・AOAI ・プロンプトエンジニアリング ・RAG ・ファインチューニング ・SLM(Small Language Model) 汎用型人工知能(AGI)が 人類に利益をもたらすようにする ★OpenAI：ミッション 一般的に人間より 賢いAIシステム ※人間をサポートする ように制御 （AIが主導しない） ドメイン/専門特化, エッジAIの加速 精 度 向 上 パフォーマンス向上
31. ©2024 Avanade Inc. All Rights Reserved. 43