独自の生成AI環境構築ができる Copilot Studio & Azure AI Studio

Azure AI Studio
https://azure.microsoft.com/ja-jp/products/ai-studio/
Copilot Studio
https://www.microsoft.com/ja-jp/microsoft-copilot/microsoft-copilot-studio

Transcript

1. 独自の生成AI環境構築ができる -Microsoft Copilot Studio -Azure AI Studio Microsoft Corporation Asia AI Global Black Belt Solution Specialist 金光大樹
2. Best Friends Language GPT-4, 4-Turbo 3.5-Turbo Multi-Modal GPT-4o mini GPT-4o GPT-4-Turbo with Vision Fine Tuning GPT-4 GPT-3.5-Turbo Images DALL·E 3 Transcription & Translation Whisper Ensure that artificial general intelligence (AGI) benefits humanity Empower every person and organization on the planet to achieve more Azure OpenAI Service Azure AI Studio GA On Your Data GA Assistants API Preview Provisioned Throughput
3. AIは私たちの共通基盤となっている Copilot を買う Copilot を創る Azure OpenAI Service infrastructure, model, safety filters
4. AIは私たちの共通基盤となっている Copilot を買う Copilot を創る Azure OpenAI Service infrastructure, model, safety filters
5. Microsoft Cloud お客様のデータ 基盤モデル & AIツールチェーン AIインフラストラクチャ AIオーケストレーション Microsoft Copilot Studio Microsoft Copilot お客様のCopilot Microsoft apps Copilot を創る手段の位置づけ Azure AI Studio Microsoft Copilot Studio 市民開発者向け AI開発者向け Visual Studio 開発者向け Microsoft Fabric データ関連ロール向け Power Platform AI Content Safety 開発者向け AI開発者向け 市民開発者向け データ関連ロール向け
6. さまざまなニーズのためのさまざまな手法 ルールベースのダイアログマネジメントと、あらかじ め組み込まれたLLMによる会話オーケストレー ション Copilot外のデータソースとの接続 再設計されたビジネスプロセスと ワークフローを呼び出す 特定の質問に対するCopilotの 回答を設定する プロンプトエンジニアリングでLLMを構 成する マネージドSaaS、インフラ不要、 セキュリティとガバナンスを内蔵 インフラを独自に管理し、 カスタムの開発とセキュリティ Azure AI Studio Standalone Included in Copilot for M365 Microsoft Copilot の 拡張 データおよびワークフローを使用して、顧客または社内向けのCopilotを、 あなたに適したチャネルで構築 カスタム Copilot の 構築 Copilot Studio Microsoft Copilot Studio カスタム Copilots の 構築 | 1st party copilots の 拡張
7. Copilots と Conversational AI Build and extend across the Microsoft ecosystem Microsoft Copilot Studio カスタム Copilots の 構築 | 1st party copilots の 拡張 Bot Framework / SDK Bot Service Channels Azure AI Studio Azure Cognitive Services Power Platform Connectors AI Builder カスタム copilots Microsoft 365 Biz Apps & Power Platform Other Microsoft Copilots Copilot for Microsoft 365 の拡張 Dynamics 365およびPower Productsでの Copilotエクスペリエンスの拡張 企業やサードパーティ向けのカスタム Copilotの構築 Copilot for Sales Copilot for Service Power Platform 他のMicrosoft Copilotエクスペリエン スを拡張
8. さまざまなニーズのためのさまざまな手法 ルールベースのダイアログマネジメントと、あらかじ め組み込まれたLLMによる会話オーケストレー ション Copilot外のデータソースとの接続 再設計されたビジネスプロセスと ワークフローを呼び出す 特定の質問に対するCopilotの 回答を設定する プロンプトエンジニアリングでLLMを構 成する マネージドSaaS、インフラ不要、 セキュリティとガバナンスを内蔵 インフラを独自に管理し、 カスタムの開発とセキュリティ Azure AI Studio Standalone Included in Copilot for M365 Microsoft Copilot の 拡張 データおよびワークフローを使用して、顧客または社内向けのCopilotを、 あなたに適したチャネルで構築 カスタム Copilot の 構築 Copilot Studio Microsoft Copilot Studio カスタム Copilots の 構築 | 1st party copilots の 拡張
9. ローコードでオリジナルの Copilot を創る • 定義していないトピックについて 生成AI で回答する • 社内のSharePoint ドキュメント等に 対して質問する • すぐに公開することができ、会話内容 などのインサイトからすぐに微調整をす ることができる Copilot Studio
10. Copilot Studio 外部向け Copilot 内部向け Copilot Copilot for Microsoft 365 の 拡張 スタンドアロン 生成AIチャットボット more Microsoft Copilot Studio 構成
11. Microsoft Copilot Studio 構成 外部向け Copilot 内部向け Copilot Copilot for Microsoft 365 の拡張 more 対応データソース 1. 公開サイト 2. SharePoint/OneDrive 3. アップロードしたファイル 4. Azure OpenAI on your data 5. Bingカスタムサーチ 6. カスタムデータソース スタンドアロン 生成AI チャットボット
12. Microsoft Copilot Studio 構成 Copilot Studio 外部向け Copilot 内部向け Copilot Copilot for Microsoft 365 の 拡張 スタンドアロン 生成AIチャットボット more
13. 内部向け/外部向けのCopilot 外部向け Copilot 内部向け Copilot Teams やPower Apps、SharePoint など Entra ID 認証を伴うサイトへの公開 認証を伴わない公開サイトへの公開
14. https://copilotstudio.microsoft.com/ にアクセス Copilot を作成 Copilot に名前をつけ、参照するURLを指定 (公開Webサイトの場合こちらで完了。認証を 伴うサイトの場合、セキュリティ設定を実施) Copilot が利用可能に Step 1 Step 2 Step 3 日本語 一般提供 生成AI 搭載のCopilot の作成はこんなにも簡単
15. 作成 生成AI搭載チャットボットの作成と公開
16. • 公開サイトのURLを指定する のみで作成可能 • 最大4個のURLを指定可能 • 自社の公開FAQサイトなどに 接続して外部向けのCopilot 等に利用可能 • Bing Search APIまたはBing Custom Search API Bing Bing Search / Bing Custom Search 公開サイトをソースとして生成型の回答を行う
17. アップロードしたファイルをナレッジとして生成型の回答を行う • アップロードされたドキュメントは Dataverse 保存 • アップロードできるドキュメントの数は Dataverse 環 境で利用可能なファイル ストレージに制限 • 1ファイルあたり3MB上限 以下のタイプのファイルがサポートされています。 • Word 文書 (.doc、.docx) • Excel スプレッドシート (xls、xlsx) • PowerPoint ドキュメント (.ppt、.pptx) • PDF ドキュメント (pdf) • テキスト ドキュメント (.txt、.md、.log) • HTML ファイル (html、htm) • CSV ファイル (CSV) • XML ファイル(xml) • OpenDocument ファイル (odt、ods、odp) • EPUB ドキュメント (epub) • リッチ テキスト形式のドキュメント (rtf) • Apple iWork ドキュメント (Pages、Key、Numbers) • JSON ファイル (JSON) • YAML ファイル (yml、yaml) • LaTeX ファイル (tex) アップロードされたドキュメントを生成型の回答データ ソースとして使用する (プレビュー) - Microsoft Copilot Studio | Microsoft Learn
18. • 生成的な回答と、Step by Stepのトピックを組み 合わせて、完全にコントロール • アクション、プラグインを作成し、1,400 以上の組込 み済みコネクタ、カスタムコネクタを使用してバック エンドシステムに接続します。 • ビジネス上の質問に答えるための ナレッジ • ビジネス上の成果を促進するための アクション • ビジネス上の正確性を上げるための トピック トピックとアクションのカスタマイズ
19. プラグインや会話トピックの呼び出しタイミングを事前定義することなく、 最適なタイミングでAIが自動選択して実行  プラグインを動的に連鎖させることで、ユー ザーのリクエストを網羅的対応  回答やプラグインの実行に必要な情報を 得るために、ユーザーから引き出すべき情 報を、ボットが自動的にユーザーへ質問  開発者がユーザーの質問や指示を予測し て多くのパターンを作成する作業が不要 ジェネレーティブ AI を使用してコパイロットのトピックとアクションを調整する - Microsoft Copilot Studio | Microsoft Learn 生成アクション (プレビュー)
20. Analytics トピック トピック アクション アクション トピック Custom Custom Entity Entity Entity Microsoft Dataverse + mroe チャネル RBAC ALM クラウドフロー クラウドフロー クラウドフロー コネクタ & HTTP リクエスト 生成型の回答 クラシック トリガーフレーズが最も近い トピックを選択 生成アクション（プレビュー） トピックとアクションの説明 等から、1 つ以上のアクション またはトピックを選択 ユーザプロンプト 応答の判断 ナレッジ クエリーの書き換え コンテンツ検索 要約 プロンプト Copilot Studio のアーキテクチャ
21. すぐに公開が可能：チャネル • Microsoft 1stパーティチャネルへ の公開 • Microsoft サービス外の 各種チャネルへの公開 • カスタムWebサイトへの埋め込み
22. 会話内容を分析し、洞察を得る • 会話を分析し、何がうまくいっていて、何を改 善すべきかを理解する。 • Copilot のパフォーマンスを向上させるために、 洞察に基づき、カスタム回答や条件分岐でさら にトピックを改善します。
23. セキュリティ • グローバルにセキュアなSaaS - HIPAA、 HITRUST、PCI準拠 • 完全な管理コントロールとガバナンス • データ損失防止、監査ログ、さまざまな管理コ ントロールを含む デフォルトでセキュア • システムは、誰が話しているのか、また、どのよ うな権限とアクセス権を持っているのかに基づ いて、応答を調整 • マイクロソフトのResponsible AI - 攻撃からの 保護、コンテンツ制御、フィルタリングなどを完 備
24. エージェント機能付き Copilot Copilot triggered メールの 意図を理解 新規サービス チケットを作成 以前の会話の確認 在庫確認 CRMのアカウントを 検索 発注 確認が取れたらチケッ トを閉じる メール 受信 注文履歴の照会 送信者にステータスを返信し、満足し ているかどうかを尋ねる Early Access Preview • 会話だけでなく、イベントによってトリ ガー可能 • 長時間の非同期 Copilot を自動化 し、オーケストレーションする。 • 人間が設定したガイドレールに従い、 助けを求める • インタラクションごとに監視し、学習し、 改善
25. さまざまなニーズのためのさまざまな手法 ルールベースのダイアログマネジメントと、あらかじ め組み込まれたLLMによる会話オーケストレー ション Copilot外のデータソースとの接続 再設計されたビジネスプロセスと ワークフローを呼び出す 特定の質問に対するCopilotの 回答を設定する プロンプトエンジニアリングでLLMを構 成する マネージドSaaS、インフラ不要、 セキュリティとガバナンスを内蔵 インフラを独自に管理し、 カスタムの開発とセキュリティ Azure AI Studio Standalone Included in Copilot for M365 Microsoft Copilot の 拡張 データおよびワークフローを使用して、顧客または社内向けのCopilotを、 あなたに適したチャネルで構築 カスタム Copilot の 構築 Copilot Studio Microsoft Copilot Studio カスタム Copilots の 構築 | 1st party copilots の 拡張
26. プロコードでオリジナルのCopilot を創る • 生成AI開発に必要な機能が統合 されたAIプラットフォーム • 必要なAPI/モデルを 自由に選択可能 • 独自データの活用することができ、 コンテンツ保護機能も柔軟に設定可能 AI Studio
27. Azure AI 最先端の AI 基盤モデル Azure AI Services 学習済み、カスタム可能な インテリジェントアプリを実現する AIソリューション Responsible AI Tooling 信頼性の高める設計による アプリの構築と管理 Azure Machine Learning AIモデルを設計、管理するための フルライフルサイクルツール Azure AI Studio カスタム コパイロットを開発、デプロイするための包括的なプラットフォーム
28. 様々なユースケース、 AIサービスを簡単に 検証可能 Azure AI Services をすぐに利用
29. Models-as-a-Service (MaaS) 最先端のモデルとオープンモデルの幅広い選択肢 Azure logo Azure OpenAI Service GPT-4o ・GPT-4o mini GPT-4-Turbo with Vision, GPT-4, GPT-3.5 Embeddings DALL·E Whisper, Text to speech Phi models Phi-3-mini Phi-3-small Phi-3-medium Phi-3-vision Meta Llama-2-70b/70b-chat Llama-2-13b/13b-chat Llama-2-7b/7b-chat Llama-3 ・ Llama-3.1 CodeLlama Mistral AI Mistral Large Mistral 7B Mixtral 8x7B – Mixture of Experts Cohere Cohere R+ Cohere R Embed v3-Multilingual Embed v3-English Hugging Face Falcon/TII Stable Diffusion/Stability AI Dolly/Databricks CLIP/OpenAI Databricks Databricks/dbrx-base Databricks/dbrx-instruct NVIDIA Nemotron-3-8B-4k Nemotron-3-8B-Chat-SFT/RLHF/ SteerLM Nemotron-3-8B-QA Snowflake Snowflake/arctic-base Snowflake/arctic-instruct
30. 柔軟な展開オプションを提供するモデル カタログ マネージド コンピューティング • マネージド Azure VM への展開 • 最適化されたコンテナーを起動し、 重みを初期化するワン クリック展開 • GPU ごとの課金 • 数百のオープン モデル Azure Open AI Service として提供される サーバーレス API • すぐに使用できるモデル API • トークンごとまたはプロビジョニングされた 容量ごとの課金 • 30 以上の主力モデル
31. • 柔軟なオーケストレーション ツールで ワークフローを開発・管理 • さまざまな モデル や データベース への接続、大 規模な データセット による効率的な評価 • さまざまなシナリオを評価してパフォーマンスを最 適化 • Prompt Flowは、SDK、CLI、VSコードエクステン ションを通じて、開発者にとって使いやすいコード ファースト体験を提供 • また、自動化のためのオープンソースフレームワーク やCI/CDパイプラインとのシームレスな統合が可 能 Prompt Flow
32. • アプリケーションのトレースを可視化してくれる。 • 異なるバージョンのアプリケーションの結果を容易に比 較可能になる。 • アプリケーションの各ステップの挙動（入出力、処理時 間、トークン数など）を詳細にキャプチャ。 • SDKで2行のコードを追加するだけで、トレースが可能。 • Prompt Flow SDK、Langchain、Semantic Kernel、 AutoGen など主要なフレームワークでサポート。 モデルとアプリケーションのトレースを視覚化して、ワーク フロー実行中のログを集約、パフォーマンスのボトルネック を特定、デバッグプロセスの合理化が可能に トレーシング & デバッグ Azure AI Studio 以外の環境でも Prompt Flow SDK (+2行のコード) を追加することで トレースを可能に AI ワークフローのオーケストレーションとデバッグ
33. • 組み込み(プリセット、自動) およびカス タム評価では、AIアプリから生成された 出力を迅速かつ包括的に評価し、継 続的な改善のためのフィードバックを合 理化 • アプリケーションを迅速かつ継続的に反 復し、進行中の変更の影響を追跡す るために、モデルの出力を手動で評価 可能 組み込み済み & カスタム評価
34. • グラウンディング性、一貫性、流暢さ、関連性、類 似性などの豊富な事前構築済みメトリックセット を使用して、ワークフローの品質を評価 • 自傷行為、暴力、性的行為などの安全指標を 有効にして、モデル出力から有害なコンテンツを監 視 • トークンの使用状況やレイテンシーなどの運用指標 を追跡し、最適なシステムパフォーマンス、コスト効 率、ユーザー満足度を確保 • 組織の目標に基づいて違反のアラートを構成し、 定期的なモニタリングを実行 安全かつコンプライアンスに準拠するための品質、 安全性、運用の指標をモニタリングして、生成 AI アプリを監視 モニタリング 設計、チューニング、テスト、展開を 1 つのプラットフォームに統合 プロセスを簡素化し、開発者のワークフローを強化 ワークフローの運用と監視
35. • 憎悪、性的、暴力的、自傷行為につな がる可能性のある不適切なレスポンスを 監視する。 • ユーザの要件に基づき、フィルタの閾値を 変更してブロックコンテンツのレベルを制御。 • Jailbreak Risk Detection（脱獄リスク 検出）を使用して、意図しない動作や危 険な動作を伴うユーザープロンプトを検出。 • ハルシネーションを防ぐ根拠性検出機能 • 保護済み素材（歌詞、ソースコードな ど）を検知して、著作権侵害のリスクを 低減する。 Azure AI Content Safety
36. 36 Microsoft Fabric Community Conference 2024 • さまざまなコンテンツ モデレーション シナリオを評価 するためのツール。 • コンテンツの種類、プラットフォームのポリシー、ユー ザーへの潜在的な影響など、さまざまな要因が考 慮されます。 • Configure フィルターを使用してテストを再実行し、 テスト結果をさらに微調整します。検出して操作 する特定の用語をブロック リストに追加します。 Azure AI Content Safety ~マルチモーダルコンテンツ~
37. Assistants API として、複雑なタスクを実行させる ためのツールを設定可能 • ファイルアクセス • 実行環境(Code Interpreter) • 関数 Agents
38. さまざまなニーズのためのさまざまな手法 ルールベースのダイアログマネジメントと、あらかじ め組み込まれたLLMによる会話オーケストレー ション Copilot外のデータソースとの接続 再設計されたビジネスプロセスと ワークフローを呼び出す 特定の質問に対するCopilotの 回答を設定する プロンプトエンジニアリングでLLMを構 成する マネージドSaaS、インフラ不要、 セキュリティとガバナンスを内蔵 インフラを独自に管理し、 カスタムの開発とセキュリティ Azure AI Studio Standalone Included in Copilot for M365 Microsoft Copilot の 拡張 データおよびワークフローを使用して、顧客または社内向けのCopilotを、 あなたに適したチャネルで構築 カスタム Copilot の 構築 Copilot Studio Microsoft Copilot Studio カスタム Copilots の 構築 | 1st party copilots の 拡張
39. Thank you