Microsoft Copilot Studio について

Transcript

1. Microsoft Copilot Studio について 三宅 秀雄 / Miyake Mito RB08
2. Silver Sponsor 本イベントのスポンサー様 ダイキン工業㈱ Facilities & Staff Sponsor Gold Sponsor
3. 三宅 秀雄（Miyake Mito） @MiTo60448639 https://qiita.com/MiyakeMito 株式会社アイシーソフト Technical Manager www.icsoft.jp https://speakerdeck.com/miya kemito
4. 気ままに勉強会 気ままに勉強会 - connpass Power Automate メインの勉強会です。 Power Automate の周りにある様々なサービスも交えて、 いろんなことをみんなで一緒に勉強してスキルアップしていけるよ うな勉強会を目指しています。 土曜日 20:00~21:30 開催
5. Power Virtual Agents MVP Power Virtual Agents
6. connpass (独立発行者) コネクタが Microsoft に認定されました https://learn.microsoft.com/ja-jp/connectors/connpassip/ イベント情報のキャッチや 管理に便利です 是非ご利用ください！
7. 免責事項 当スライドは、 2023年 12月現在のバージョンでの情報です 今後のアップデート等により、 仕様変更する可能性があります。 また、私の見解による内容が含まれます 間違いなどありましたらご指摘ください。
8. Copilot Studio の概要
9. Microsoft Copilot Studio とは 自然言語またはグラフィカルインターフェースを使用して、Copilot（ボット）を作成およ びカスタマイズできる、エンドツーエンドの会話型 AI プラットフォーム。 Copilot Studioを使用すると、業界、部署、役割の枠を超えて、社内外のシナリオに合わせ た特定のニーズに合った Copilot を簡単に設計、テスト、公開できる。 ➢ Microsoft 365 用の Copilot （Public Preview） へ、プラグインを作成、管理、発行するこ とで、カスタマイズを可能とする機能が追加された。 ➢ Power Virtual Agents は、生成 AI と Microsoft Copilot 全体の統合により Copilot Studio の一 部になったが、Power Virtual Agents の「チャットボットを作成し様々な内外部チャネル で公開する機能」は継続して利用可能。 ボット チャットボット Copilot
10. Copilot Studio の機能 Copilot Studio: Satya Nadella at Microsoft Ignite 2023
11. 365テナント Copilot Studio （Teams） Copilot Studio 全体像（不確定部分あり） Copilot Studio（Webアプリケーション） トピック 会話プラグイン 生成AI（生成型回答） Copilot for Microsoft 365 チャット ボット 公開 公開 HTTP要求 etc. プラグイン アクション AI プラグイン Copilot で作成と編集 トピック 生成AI etc. AI Builder プロンプト
12. Copilot Studio の機能 編集 呼び出せるサービス トリガー Input Output 日本環境 トピック Copilot デザイナー Power Automate クラウドフロー プラグインアクション Bot Framework スキル HTTP要求 生成AI（生成型回答） など Teams、Webサイト、Facebook、Slack、 Skype、LINE などのチャネルに公開した チャットボットでのトリガーフレーズ トリガーフレーズ 質問 など メッセージ △ 「Copilotから作 成/編集」は日本 リージョン未 会話プラグイン Copilot デザイナー ↑ Copilot for Microsoft 365 Copilot for Sales など （プラグイン名称がトリガー？） Copilot for Microsoft 365 Copilot for Sales など のプロンプト メッセージ 〇 AIプラグイン Copilot Studio ホーム Copilot デザイナー OpenAI プラグイン AI Builder プロンプト Power Automate フロー カスタムコネクタ ↑ Copilot for Microsoft 365 Copilot for Sales など のプロンプト メッセージ × 米国リージョン のみ プラグイン アクション Copilot デザイナー 事前構築コネクタ カスタムコネクタ Power Automate クラウドフロー Bot Framework スキル トピック 会話プラグイン から （アクション） 各サービスの入力パラ メータ 各サービスの出 力パラメータ 〇 AI Builderプロンプト AIプロンプト Copilot Studioホーム Power Appsホーム Power Automateホーム AI Builder GPTによるテキストの生 成やドキュメントの要約など AI Builder テキスト処理 AIプラグイン GPT：プロンプト AI Builderモデル：入力テ キスト メッセージ × 米国リージョン のみ 生成AI 生成型回答 Copilot デザイナー 生成AI － トリガーフレーズが一致しないユー ザーの要求 トピック（生成型の回答） フレーズ ユーザーの応答全体 など メッセージ △ 英語のみ スキル Copilot デザイナー Bot Framework SDK などで構築され た組織内でボット トピック 会話プラグイン から （アクション） テキスト、音声、画像、 ビデオ メッセージ 〇 （※ 2023/12/7 時点 米国環境にて確認） New！ New！ 未展開 未展開 New！
13. Copilot Studio と Copilot Studio for Teams Power Platform ライセンスガイド December 2023 より 機能 Microsoft Copilot Studio $200/テナント/月 一部の Microsoft/Office 365 ライセンスに含まれる Copilot Studio for Teams The output you create is… Your own standalone copilot Teams チャットボット Copilot/プラグインを利用可能なチャネル 外部 channels (例：外部 Web, FB, WhatsApp etc.) 内部 Channels (例：内部 Web, Teams, etc.) Teams チャネル/チャット メッセージ/テナント/月 25,000 Messages 無制限 (Teams のみ) 生成AI：AI対応の会話 • － 独自のスタンドアロンCopilotの構築 • － 拡張された自然言語理解を使用して、Copilot トピックを作成 • • Power Automate for Copilot Studio クラウドフロー（自動フ ロー、インスタントフロー、スケジュールフロー）を、 Copilot Studio の作成コンテキスト内で実行できます。 • － 標準Power Platform コネクタ • • プレミアムコネクタ、カスタムコネクタ • － オンプレミスとクラウドのデータ転送 • － Dataverse へのフルアクセス • Dataverse for Teams 大規模な管理とガバナンス • － 誤記？ （であって ほしい）
14. 価格と試用版について ライセンス価格 ¥25,000/月（年間契約）/ ¥300,000/年（年間契約） Power Virtual Agents 特別オファー価格から据え置き PVAではセッション数に上限（2,000）があったのに対し、 メッセージ数（25,000）上限となった。 試用版の利用が可能 ここから Microsoft Copilot Studio | Copilot の拡張または独自のものの作成 生成AI がデータに対して回答する場合は ２メッセージでカウントされる。
15. Copilot を利用し トピックを 作成/編集
16. Copilot を利用して作成/編集 AI と会話しながらトピックを作成や編集 可能。 ボットの動作について説明を書くと Copilot がトピックを生成/編集する。 現状、Copilot からはメッセージ、質問、 および条件ノードのみ作成に利用され る。 利用しない場合は、設定からOFFでき る URL は最大 2 段階の深さで指定
17. プラグイン アクション
18. プラグインアクション トピックで Power Platform コネクタや、クラウ ドフロー、スキルを呼び出し、ボットの機能を 拡張できる。 ➢ トピック内で利用する（プラグインアクショ ン単体では、ユーザーの応答に動作しない） ➢ トピックや会話プラグインで、コネクタやク ラウドフローを呼び出すことは可能。 プラグインアクションを利用すると、入力と 出力パラメータの取得や送信をGPTが生成す る。 ➢ ユーザー自身がメッセージやアダプティブ カードで出力も可能 事前構築コネクタ カスタムコネクタ Power Automate クラウドフロー Bot Framework スキル Microsoft Copilot Studio でプラグイン アクションを使用する (プレビュー) - Microsoft Copilot Studio |Microsoft Learn
19. Copilot プラグイン
20. Copilotプラグイン（Preview） Microsoft Copilot Studio でプラグインを作成し、Microsoft 製品全体の Copilotで使用可能。 複雑な会話フローを手動で作成できるうえ、各サービスを呼び出し、ア クションを実行し、Copilot 利用者に回答を提供可能。 Microsoft 365 テナント 内のすべてのプラグインは、Dataverse の中央 プラグイン レジストリから共有され、 プラグインを作成または変更 して公開すると、その変更はそのプラグインを使用するすべてのコパ イロットにプッシュされる。 ➢ プラグインを作成するときは、プラグインが何を行うべきかを説明す る。 次に、説明を読んで会話に最適なプラグインを決定するときにCopilot が使用するデータソースやその他の接続を提供します。 ➢ コパイロットは、プラグインが機能するために必要な詳細情報を、 ユーザーに自動的に要求する 会話プラグイン AIプラグイン Copilot プラグインの作成 - 概要 (プレビュー) - Microsoft Copilot Studio | Microsoft Learn Copilot for Microsoft 365 Copilot for Service Copilot for Sales Copilot in Power Apps Power Pages Copilot など？
21. 会話プラグイン （Preview）
22. 会話プラグイン（Preview） Copilot for Microsoft 365 から呼び出し可能な、 Microsoft Copilot にネイティブに含まれていな い、組織独自の機能を作成できる。 ユーザーが利用するには管理者のレビュー と承認が必要 ➢ ユーザーは利用するプラグインをリストか ら選択できる模様 トピックはユーザーと会話できず、ユー ザーからの受信クエリのみを引数として処 理する（質問ノードは利用できない） 応答はテキストのみ（アダプティブカード は不可） 会話プラグインで作成したアクションは、 プラグイン アクションとしては利用不可 生成型回答を利用する場合、SPO、ODfBを ソースにできない URL は最大 2 段階の深さで指定 Microsoft Copilot の会話プラグインを作成する (プレ ビュー) - Microsoft Copilot Studio | Microsoft Learn
23. AIプラグイン （Preview）
24. AIプラグイン（Preview） Copilot for Microsoft 365 をデータに接続したりアク ションを実行できる。 利用できるプラグインは以下の４種 AI Builderプロンプト プラグイン Power Automateフロー プラグイン カスタムコネクタ プラグイン OpenAI プラグイン ✓ Microsoft Copilot Studio でビルドしたカスタム コパイロットではプラグインを使用できない Microsoft Copilot の AI プラグインを作成する (プレビュー) - Microsoft Copilot Studio | Microsoft Learn Copilot Studio ホーム画面から Copilot Studio デザイナー画面から 2023/12/07時点 AI Builder プロンプト プラグイン のみ利用可
25. AIプラグインの機能 AI プラグインの種類 説明 Copilot Studio での作成 Power Platform での作成 2023/12/7 現在 （Preview） AI Builder のプロンプト プロンプトを使用すると、ユーザーは自然で平易な言葉を使 用して回答を取得し、Microsoft Copilot でアクションを実行 できます。自然言語理解 (NLU) を使用してユーザーの意図を 理解し、それを関連する情報、データ、またはアクティビ ティにマッピングします。 AI Builder のプロンプトでコンテン ツを生成したり、分析情報を抽出し たりします Power Automate または Power Apps でカスタム プロンプト (プレビュー) を作成するCreate a custom prompt (preview) in Power Automate or Power Apps 利用可能 Power Automate フロー フローは、エンド ユーザーの環境全体でアクションを実行し たり、情報を取得したりできる Microsoft Copilot チャット内 から呼び出すことができます。 Power Automate フローでカスタム 自動化を作成する ご利用いただけません 利用できない Power Platform カスタム コネクタ カスタムコネクタを使用すると、プラグインはAPIを介して アクセスされる外部ソースからデータを取得および更新でき ます。コネクタを使用すると、Salesforce、Zendesk、 MailChimp、GitHub などの一般的なエンタープライズ システ ムからデータにアクセスでき、作成者が Power Apps やフ ローで日常的に使用しています。 コネクタを使用して外部データを更 新したり、外部データに関する回答 を取得したりします Power Automate または Power Apps でコネクタ AI プラグイン (プレ ビュー) を作成するCreate a connector AI plugin (preview) in Power Automate or Power Apps 利用できない OpenAI プラグイン Open AIプラグインは、データソースへのアクセスを提供し、 一般的なモデルでは通常利用できないAIエクスペリエンスを 通じて特定のデータを表示できるようにします。 OpenAI プラグインを追加する) ご利用いただけません。 利用できない Create copilot plugins - overview (preview) - Microsoft Copilot Studio | Microsoft Learn 複数の種類の AI プラグインを作成し、エンドユーザーに対する応答方法をカスタマイズ可能
26. AI Builder プロンプト （Preview）
27. AI Builderプロンプト（Preview） AI Builder 動的プロンプトを使用し、コ ンテンツの生成やインサイトの抽出を可 能とする機能 • 事前構築済みモデル 苦情に応答する テキストを分類する(カテゴリ分類） テキストの感情分析（感情分析） テキストを要約する テキストから情報を抽出する （エンティティ抽出） • カスタムモデル GPTによるテキストの生成やドキュメ ントの要約など AI Builder - GPT プロンプト ビルダー | Microsoft Learn テキストからアクショ ンポイントを抽出する タスクに関するリマイン ダーをメールから取得
28. 生成型回答 （生成AI）
29. 生成型の回答 外部 Web のサイト、SharePoint、OneDrive for Business、 ドキュメント、 カスタムデータソース（JSON）など、指 定したコンテンツに基づいて、動的に回答を生成する。 ユーザーからの予期しない質問にもボットが応答し、やり 取りできるようになる。 ドキュメントからの回答生成は Preview。 公開Webサイトの設定は４つまで。 米国リージョン以外で利用する場合は管理者の設定が必 要。 米国外のジェネレーティブ AI 機能のために地理的な場所間で データを移動する - Microsoft Copilot Studio |Microsoft Learn URL は最大 2 段階の深さで指定 生成型の回答 - Microsoft Copilot Studio | Microsoft Learn 生成型回答からの応答は ２メッセージを消費するようです
30. 生成型の回答 トピックや会話プラグインに、生成回答の作成ノード を追加可能。 指定した入力に基づいて、ノードが検索する追加の ソースを指定できる。 ボットはチャット ウィンドウでのユーザーの対話に 代わって外部ソースを呼び出すため、一部ソースで は認証が必要となる。 Microsoft Entra ID のサービス プロバイダー タイプで 手動認証を使用する必要方法 ユーザー認証を構成する - Microsoft Copilot Studio | Microsoft Learn Bing Custom Search を使用すると５以上の公開Webサイト をソースとして扱える。 公開データを検索するか、生成型の回答に Bing Custom Search を使用する - Microsoft Copilot Studio | Microsoft Learn 検索と要約による生成型の回答 - Microsoft Copilot Studio | Microsoft Learn Bing Custom Search への切替え
31. 生成型回答の情報ソース 件名 Source Description 入力の数 認証 Bing Search 外部 Bing に入力されたクエリを検索し、提供されたウェ ブサイトからの結果のみを返します 4 つの公開 URL (microsoft.com など) None Bing Custom Search 外部 Microsoft Copilot Studio 外部の Web サイト構成に 基づいてフィルターされたクエリ入力 各検索 ID は 4 つより多くの URL を使用できます (Bing Custom Search は他の機能もあります) が、 接続できるのは 1 つの検索 ID のみです None データ上の Azure OpenAI Internal リンクされた Azure AI Search インデックス (キー ワード検索、セマンティック検索、ベクトル検索) から結果を返します Azure OpenAI サービス接続によって定義済み ボット ユーザーの Microsoft Entra ID 認証 ドキュメント（Preview） Internal アップロードされたドキュメントを検索し、ドキュ メントの内容から結果を返します .doc、.docx、xls、xlsx、.ppt、.pptx 、 pdf、.txt、.md、.log)、html、htm、CSV、xml 、odt、 ods、odp、epub 、rtf、Pages、Key、Numbers、 JSON、yml、yaml、tex Dataverse ファイル ストレージの割り当てによる 制限 なし SharePoint Internal SharePoint の URL に接続し、GraphSearch を使用 して結果を返します 4 つの URL ボット ユーザーの Microsoft Entra ID 認証 OneDrive for Business Internal OneDrive for Business の URL に接続し、 GraphSearch を使用して結果を返します 4 つの URL ボット ユーザーの Microsoft Entra ID 認証 カスタム データ Internal JSON コード ブロックを使用して、使用する URL とコンテンツを定義します 1 つの変数には、要約される JSON 結果が入力さ れます ソースに依存 検索と要約による生成型の回答 - Microsoft Copilot Studio | Microsoft Learn
32. Teams の Copilot Studio
33. Copilot Studio for Teams の AI 機能 生成AI トピックの重複の検出 トピック間のトリガーフレーズの重複 を検出する。 その場でトリガーフレーズを修正でき る。 チャットのトランスクリプトに基づく トピックの提案 予め用意しているトリガーフレーズに 一致しないエンドユーザーからのリク エストを分析し、提案を表示する機能。 前回の提案から、少なくとも100件の新 規会話が必要。 ユーザーセッションが３以上必要。
34. Copilot Studio の実装
35. Copilot Studio の実装 実装ガイドが Microsoft より公開されています。 ➢ Success by Design を活用し、クラウドへの移行 をよりスムーズに、より速く、成功に導くため の手順書。 ➢ Copilot プロジェクトとアーキテクチャを確認し て、スムーズで効果的な実装体験を行えるよう にすることを目的とする。 New Microsoft Copilot Studio implementation guide | Microsoft Power Virtual Agents
36. ありがとうございました