徹底解説！Microsoft 365 Copilot の拡張機能 / Complete guide to Microsoft 365 Copilot extensions

Transcript

1. #JapanM365CC2024 Nov, 28. -30. 2024 #A04 徹底解説！ Microsoft 365 Copilot の拡張機能 篠原 敬志 (@karamem0) アバナード株式会社 グループ マネージャー
2. #JapanM365CC2024 2 Japan Microsoft 365 コミュニティ カンファレンス 2024 篠原 敬志 (Takashi Shinohara) ▪ アバナード株式会社 グループ マネージャー ソリューション アーキテクト & アジャイル コーチ ▪ Microsoft MVP for AI Platform and M365 ▪ Japan M365 Dev User Group 運営
3. #JapanM365CC2024 3 Japan Microsoft 365 コミュニティ カンファレンス 2024 本日のゴール Microsoft 365 Copilot を拡張し組織のナレッジを取り込む方法について学 習します。 Microsoft 365 Copilot 拡張機能の開発方法の違いを理解します。
4. #JapanM365CC2024 4 Japan Microsoft 365 コミュニティ カンファレンス 2024 Microsoft 365 Copilot Microsoft 365 Copilot は Microsoft 365 アプリ、Microsoft Graph、生成 AI (大規模言語モデル) と連携し、生産性を高めるためのさまざまな方法を提供 します。 ▪ ドキュメント、メールの下書き ▪ ドキュメント、メール、チャット、会議の要約 ▪ チャットによる会話応答
6. #JapanM365CC2024 6 Japan Microsoft 365 コミュニティ カンファレンス 2024 Microsoft 365 Copilot の拡張 Microsoft 365 Copilot はコンテンツの理解、要約、予測、再現、翻訳、生成な どのスキルを提供します。Copilot エージェントを構築することで、組織に固有 のニーズを取り込むことができます。 エージェントの例としては次のようなものがあります。 ▪ 人事エージェント ▪ 分析エージェント ▪ プロジェクト管理エージェント ▪ 法務エージェント ▪ イメージ作成エージェント
7. 7 Japan Microsoft 365 コミュニティ カンファレンス 2024
8. #JapanM365CC2024 8 Japan Microsoft 365 コミュニティ カンファレンス 2024 エージェントの種類 Copilot モデルの拡張 Microsoft 365 Copilot の基盤モデルとオーケスト レーターの上でホストされるスキルのコレクションで、 Microsoft 365 に統合される。 ▪ Microsoft 365 Copilot 上でサービスを構築する 場合 ▪ API プラグインを構築したことがある場合 ▪ Teams メッセージ拡張機能を構築するスキルが ある場合 カスタム エージェント カスタムの基盤モデルとオーケストレーターを使用 して開発されたスタンドアロンの Teams ボット。 ▪ 特定のモデル (LLM や SLM) を使用する場合 ▪ エージェントに特定のエンタープライズの要件を 含める必要がある場合 ▪ Microsoft 365 Copilot のライセンスに関係なく ユーザーに使用させたい場合
9. #JapanM365CC2024 9 Japan Microsoft 365 コミュニティ カンファレンス 2024 機能拡張パス ターゲット プロ開発者 市民開発者 基盤モデルとオーケストレーター Copilot モデルの拡張 カスタムエージェント Copilot モデルの拡張 カスタムエージェント 開発オプション 宣言型エージェント コネクタ プラグイン Teams ボット 宣言型エージェント コネクタ プラグイン Teams ボット 開発方法 Graph コネクタ API プラグイン Graph コネクタ Teams メッセージ拡張機能 API プラグイン Teams AI ライブラリ Azure OpenAI Studio Copilot Studio
10. 10 Japan Microsoft 365 コミュニティ カンファレンス 2024
11. #JapanM365CC2024 11 Japan Microsoft 365 コミュニティ カンファレンス 2024 Graph コネクタ vs プラグイン Graph コネクタ プラグイン インデックスの場所 Microsoft Search のインデックス カスタムのインデックス (Azure AI Search や外部 API) アイテムごとのセキュリティ Microsoft Search で提供される アイテムごとの ACL なし データの流れ 片方向 (データ ソースから Copilot) 双方向 データの鮮度 コネクタのクロール頻度に依存 外部サービスに依存 インデックスの検索アルゴリズム 全文検索または Semantic Index for Copilot 任意の方法 (ベクターやナレッジグラフ) ユーザーによる有効化/無効化 できない できる
12. #JapanM365CC2024 Graph コネクタ
13. #JapanM365CC2024 13 Japan Microsoft 365 コミュニティ カンファレンス 2024 Graph コネクタの概要 Graph コネクタは Microsoft Graph の検索機能を拡張します。 外部サービスのデータ ソースや、カスタムのデータ ソースと接続し、 Microsoft Graph API からデータを検索できます。 追加コストなしで 5,000 万アイテムがサポートされます。またコネクタあたり 500 万アイテムがサポートされます。 Graph コネクタの設定は Microsoft 365 管理センターから行います。 Graph コネクタの説明を適切に記述することで、Copilot は会話内容と説明 から自動的に判断し、 Graph コネクタの結果をもとに回答します。
14. #JapanM365CC2024 14 Japan Microsoft 365 コミュニティ カンファレンス 2024 Graph コネクタの種類 ▪ 標準コネクタ Microsoft によって提供されているコネクタ。 ▪ サードパーティ コネクタ パートナーによって提供されるコネクタ。コネクタ ギャラリーから検索可能。 ▪ カスタム コネクタ Microsoft Graph コネクタ API または Microsoft Graph コネクタ SDK を使 用して構築するコネクタ。 Web サイト MediaWiki Confluence Jira ServiceNow Salesforce Oracle SQL Database ADLS Gen2 Azure DevOps CSV
15. #JapanM365CC2024 15 Japan Microsoft 365 コミュニティ カンファレンス 2024 標準コネクタ 標準コネクタに対して定期的にクローラーがデータをインデックスします。ク ロールには完全クロールと差分クロール (オプション) の 2 種類があります。 クローラーの IP アドレスを許可するようにファイアウォールを構成する必要が あります。 オンプレミスのデータ ソースと接続するときはコネクタ エージェントをインス トールします。
16. #JapanM365CC2024 16 Japan Microsoft 365 コミュニティ カンファレンス 2024 カスタム コネクタ 標準コネクタと違いデータをクロールしてくれるわけではありません。 Microsoft Graph API を使ってデータをプッシュする必要があります。 カスタム コネクタを作成するための 4 つの API があります。 ▪ 外部データ接続の管理 ▪ 外部データ型のスキーマの管理 ▪ 外部データ アイテムの管理 ▪ 外部グループとの同期
17. #JapanM365CC2024 17 Japan Microsoft 365 コミュニティ カンファレンス 2024 Microsoft Search の Graph コネクタ検索
18. #JapanM365CC2024 18 Japan Microsoft 365 コミュニティ カンファレンス 2024 Graph コネクタを使った Copilot の回答
19. #JapanM365CC2024 プラグイン
20. #JapanM365CC2024 20 Japan Microsoft 365 コミュニティ カンファレンス 2024 プラグインの概要 プラグインは宣言型エージェントが外部システムとリアルタイムでの情報を読 み書きをする機能を提供します。 ▪ API プラグイン ▪ Teams メッセージ拡張機能プラグイン プラグインは Teams アプリとして作成します。
21. #JapanM365CC2024 21 Japan Microsoft 365 コミュニティ カンファレンス 2024 API プラグイン OpenAPI 仕様を使用して REST API を Copilot に接続します。 メソッドは GET と POST をサポートします。 認証は OAuth 2.0 と Bearer をサポートします。 Bearer 認証の場合、開発者 ポータルにシークレットを登録します。 REST API からのデータを Copilot に表示するためのアダプティブ カード応答 テンプレートが必要です。 スタンドアロンとしての API プラグインはサポートされなくなりました。宣言型 エージェントからのみ呼び出せます。
22. #JapanM365CC2024 22 Japan Microsoft 365 コミュニティ カンファレンス 2024 Teams メッセージ拡張機能プラグイン Teams メッセージ拡張機能の検索拡張機能を Copilot に接続します。 Microsoft Bot Framework および Azure AI Bot Service を使って開発します。 検索コマンドおよび検索結果がタップされたときのイベントを実装します。 応答はサムネイル カード、ヒーロー カード、Microsoft 365 グループのコネクタ カード、アダプティブ カードをサポートします。
23. #JapanM365CC2024 23 Japan Microsoft 365 コミュニティ カンファレンス 2024 Teams メッセージ拡張機能
24. #JapanM365CC2024 24 Japan Microsoft 365 コミュニティ カンファレンス 2024 プラグインの Copilot への接続
25. #JapanM365CC2024 25 Japan Microsoft 365 コミュニティ カンファレンス 2024 プラグインを使った Copilot の回答
26. #JapanM365CC2024 26 Japan Microsoft 365 コミュニティ カンファレンス 2024 応答カードの種類 サムネイル カード ヒーロー カード アダプティブ カード
27. #JapanM365CC2024 宣言型エージェント
28. #JapanM365CC2024 28 Japan Microsoft 365 コミュニティ カンファレンス 2024 宣言型エージェントの概要 Graph コネクタやスタンドアロンのプラグインでは、統合された Copilot で動 作するため、思ったような結果が得られない問題がありました。 宣言型エージェントにより、Microsoft 365 Copilot をカスタマイズするための 指示、アクション、知識を宣言し、調整された結果を得ることができます。 宣言型エージェントは Teams アプリとして作成します。
29. 29 Japan Microsoft 365 コミュニティ カンファレンス 2024
30. #JapanM365CC2024 30 Japan Microsoft 365 コミュニティ カンファレンス 2024 宣言型エージェントの構成要素 id 宣言型エージェントの ID を指定します。 name 宣言型エージェントの名前を指定します。 description 宣言型エージェントの説明を指定します。 instructions 宣言型エージェントの動作方法、その関数、および回避する動作に関する詳細な手順また はガイドラインを指定します。 capabilities 宣言型エージェントの機能を定義を指定します。機能は Web 検索、OneDrive および SharePoint、Graph コネクタの 3 種類があります。 conversation_starters 宣言型エージェントが回答できる質問の例を指定します。 actions 宣言型エージェントからアクセスできるアクションを提供する API プラグインを指定します。
31. #JapanM365CC2024 31 Japan Microsoft 365 コミュニティ カンファレンス 2024 宣言型エージェントを使った Copilot の回答
32. #JapanM365CC2024 カスタム エージェント
33. #JapanM365CC2024 33 Japan Microsoft 365 コミュニティ カンファレンス 2024 カスタム エージェントの概要 カスタム エージェントは Teams アプリとして動作するチャット ボットです。 Microsoft 365 Copilot の基盤モデルとオーケストレーターは使用せず、カス タムの基盤モデルとオーケストレーターを使用します。 作成方法は従来の Teams ボット と同じです。Teams AI ライブラリを使用する とより簡単に AI との対話を実装できます。
34. #JapanM365CC2024 DEMO 生成 AI は常に同じ結果を返すわけではあり ません。デモが思ったような結果にならない場 合がありますのでご了承ください。
35. #JapanM365CC2024 35 Japan Microsoft 365 コミュニティ カンファレンス 2024 サンプル コード https://github.com/karamem0/japan-m365-community-conference-2024
36. #JapanM365CC2024 36 Japan Microsoft 365 コミュニティ カンファレンス 2024 アーキテクチャ Teams アプリ Microsoft Search Microsoft Azure 宣言型エージェント (Graph コネクタ) 宣言型エージェント (API プラグイン) プラグイン Graph コネクタ Azure AI Bot Service Azure Web Apps Azure AI Search Azure SQL Database Azure OpenAI Service Azure Storage Account
37. #JapanM365CC2024 スターター ガイド 37 Japan Microsoft 365 コミュニティ カンファレンス 2024
38. #JapanM365CC2024 38 Japan Microsoft 365 コミュニティ カンファレンス 2024 スキルセット 開発言語: C#、Node.js (JavaScript) フレームワーク: Microsoft Bot Framework、Microsoft Graph SDK、アダプティブ カード インフラストラクチャ: Azure Web Apps、Azure AI Bot Service、Azure AI Search、Azure OpenAI Service ツール: Visual Studio Code、Teams Toolkit、Teams AI ライブラリ、OpenAPI
39. #JapanM365CC2024 39 Japan Microsoft 365 コミュニティ カンファレンス 2024 ベスト プラクティス Copilot オーケストレーターが確実に呼び出せるように、コネクタやプラグイン には的確で簡潔な説明を書きましょう。 ▪ 一般的な説明を避け、コネクタやプラグインが何を行い、何を行わないか を正確に説明します。 安全で責任のある AI を構築しましょう。 ▪ 他のプラグインやコネクタと同じ名前を使用しないようにします。 ▪ 不適切または不快な内容を含めないようにします。 ▪ プロンプト インジェクションに対応します。
40. #JapanM365CC2024 40 Japan Microsoft 365 コミュニティ カンファレンス 2024 プラグインの開発者モード
41. #JapanM365CC2024 Ignite 2024 最新情報 41 Japan Microsoft 365 コミュニティ カンファレンス 2024
43. #JapanM365CC2024 まとめ
44. #JapanM365CC2024 44 Japan Microsoft 365 コミュニティ カンファレンス 2024 本日のまとめ Microsoft 365 Copilot を拡張し組織のナレッジを取り込む方法について学 習します。 Microsoft 365 Copilot 拡張機能の開発方法の違いを理解します。
45. #JapanM365CC2024 フィードバックにご協力ください ご視聴をありがとうございました! 運営チームメンバー、登壇者、サポートメンバーに対する 暖かいフィードバックをお待ちしております。 次回の開催は未定ですが、フィードバックの内容によっては次回の開催も検討いたします。 イベント全体に対するアンケート 本セッションついて参考になった点や 感銘を受けた点、もっと知りたかったことなどをお寄せください。 本セッションに対するアンケート