Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI Transformation に向けた Microsoft Copilot Stack と Data 戦略

AI Transformation に向けた Microsoft Copilot Stack と Data 戦略

Microsoft Ignite 2023 が11月に実施され Copilot をコアにした様々な発表が行われました。DXを推進されている企業・組織の皆さんが、そのコアたるデータを更に活用できるシナリオがChatGPTの到来によって広がっていると言えます。更に柔軟な Enterprise Application Architecture を実現する最新機能のハイライトもお届けします

DB Tech Showcase 2023 の Day-2 基調講演の資料です。
https://www.db-tech-showcase.com/2023/schedule/

More Decks by Daiyu Hatakeyama | @dahatake | 畠山 大有

Other Decks in Technology

Transcript

  1. AI Transformation に向けた
    Microsoft Copilot stack と Data 戦略
    - Prompt Is All You Needed -
    畠山 大有 | Daiyu Hatakeyama
    日本マイクロソフト株式会社
    @dahatake in/dahatake/
    [email protected]

    View full-size slide

  2. Cloud
    Digital
    Transformation
    AI
    Transformation
    Data

    View full-size slide

  3. Age of Copilots

    View full-size slide

  4. Microsoft’s Copilots
    Security
    Copilot
    Bing
    Chat
    Microsoft 365
    Copilot
    Power Platform
    Copilot
    Dynamics 365
    Copilot
    Windows
    Copilot

    View full-size slide

  5. “Microsoft is
    the Copilot Company”
    - Satya Nadella

    View full-size slide

  6. Microsoft のAIの保護
    お客様のデータは お客様のもの
    お客様のデータはAIモデルのファインチューニングには 利用されません
    お客様のデータとAIモデルは全ての段階で 保護されます
    新たな Copilot Copyright Commitment
    Azure OpenAI Service にも適用

    View full-size slide

  7. Copilot stack
    AI safety and security
    Microsoft Cloud
    Your data
    Foundation models & AI toolchain
    AI infrastructure
    AI orchestration
    Copilot Studio
    Microsoft Copilot Your copilots
    Microsoft apps

    View full-size slide

  8. IaaS
    PaaS
    SaaS
    AI における
    Data Scientist
    Professional Developer
    Citizen Developer,
    IT Professional

    View full-size slide

  9. Copilot stack
    AI orchestration
    Microsoft Copilot Your copilots
    Your data
    Copilot Studio
    Microsoft apps
    AI infrastructure
    Microsoft Cloud
    AI safety and security
    Foundation models & AI toolchain

    View full-size slide

  10. What’s new
    Azure OpenAI
    Service
    New
    Coming soon
    Coming soon
    Coming soon
    Coming soon

    View full-size slide

  11. Microsoft Ignite 2023 Keynote より

    View full-size slide

  12. Trailblazer X2 Tent.
    Microsoft Ignite 2023 Keynote より

    View full-size slide

  13. Preview
    Azure AI Studio
    統合プラットフォーム
    ハイブリッド検索とセ
    マンティック検索
    開発ライフサイクル
    全体管理
    Windows
    への拡張
    安全で責任あるAI
    AI.Azure.com

    View full-size slide

  14. Model
    benchmarking
    モデルカタログ内の Foundation Model のベンチマーク指標の包括的な比較ビューをユーザーに提供
    ユーザーはジョブを開始する前に、モデルとデータセットの持続可能性について自己教育し、
    ベンチマークデータに基づいたモデル選択を行える
    Announcing

    View full-size slide

  15. Generally available
    Azure AI Content Safety
    AIと人間が生成したコンテンツ
    を言語やモダリティで監視
    カスタマイズ可能な重大度レベルと
    組み込みのブロックリストで
    ワークフローを合理化
    API を使用して、Azure と
    Microsoft AI 全体で独自のアプリ
    または組み込み機能を構築する

    View full-size slide

  16. Copilot stack
    AI orchestration
    AI infrastructure
    Foundation models & AI toolchain
    Your data
    Microsoft apps
    Microsoft Cloud
    AI safety and security
    Microsoft Copilot Your copilots
    Copilot Studio

    View full-size slide

  17. Announcing
    Copilot Studio
    Your Copilot, your way
    Customize Build Manage
    aka.ms/CopilotStudio

    View full-size slide

  18. Microsoft Copilot Studio
    Publish Copilotを複数の
    チャネルに、SaaSからで即座に
    ライブ配信
    E2E SaaS と 1 つの画面で copilot を作成
    Chat over knowledge with
    Generative AI
    ジェネレーティブAIとカスタムGPTを使用し、
    ファイル、Webサイトなどから企業・組織
    固有の返答を提供
    Create specific topics
    ジェネレーティブな回答を、厳選された
    特定のトピックで補完。
    GUIで簡単に構築
    Actions & Plugins
    アクションやプラグインを作成するか、
    事前構築済みの Power Platform
    コネクタと OpenAI コネクタを使用し
    てバックエンドと API を呼び出します
    Conversational Services
    Azure AI Studio、Azure
    Cognitive Services、
    Bot Framework などとの統合
    Monitor and Improve
    すぐに使える豊富な
    テレメトリと分析
    Copilot Studio
    Copilot を構築する
    最速の方法

    View full-size slide

  19. Copilot stack
    AI orchestration
    AI infrastructure
    Foundation models & AI toolchain
    Your data
    Microsoft apps
    Microsoft Cloud
    AI safety and security
    Microsoft Copilot Your copilots
    Copilot Studio

    View full-size slide

  20. Microsoft Copilot Your copilots
    Copilot Studio
    RAG
    Retrieval Augmented Generation
    Vectorization

    View full-size slide

  21. RAG
    Retrieval Augmented Generation

    View full-size slide

  22. あなたは動物に関する質問に答えるアシスタントです。
    与えられた「引用情報」のみを使って以下の「質問」に
    答えてください。
    質問: カメの寿命はどれくらいですか?
    引用情報:
    1. カメは一般的に長寿であることが知られており、
    いくつかの種は100年以上生きることができます。
    2. 陸ガメは平均して50年から100年の寿命を持つと
    されています。
    3. 水棲ガメは通常、30年から40年の寿命があります。
    Azure OpenAI
    Service
    LLM
    出力 (Completion)
    カメの寿命は種によって異なりますが、一般的に
    長寿であることが知られています。いくつかの種は
    100年以上生きることが可能です。具体的には、
    陸ガメは平均して50年から100年の寿命を持ち、
    水棲ガメは通常30年から40年の寿命があります。
    モデルがどのように
    振る舞うべきかの枠組みを
    提供する部分
    ユーザーからの質問
    回答文を生成するために
    使用する引用情報
    (ナレッジベースの検索結果)
    回答文生成の際にナレッジベースの
    検索結果を引用させるため、
    ハルシネーションのリスクを
    低減させることができる
    参考:
    • Prompt engineering - OpenAI API
    結局は Prompt を作っている
    入力 (Prompt)
    RAG
    Retrieval Augmented Generation

    View full-size slide

  23. データソースのクレンジングやメタデータの整備などは大事
    作業中のファイル?
    どのファイルの内容が、
    意図に近いのか?
    ファイル名や内容とは別の
    製品名・地名などの項目が
    絞り込みの役に立つかも?
    製品名
    ファイルを分割した方が
    いいのか?
    Azure AI Search
    (検索エンジン)
    データソース
    (ファイルやデータベースなど)
    ナレッジベース
    ナレッジベースの質

    View full-size slide

  24. GPT-4 Turbo でチャンク化が不要になるかも?
     文書全体をプロンプトに含めた場合にチャンク化をした場合と比較して適切な回答文の生成ができるかなどまだ情報が少ないため
    しばらく注視が必要。だが、将来的にはチャンク化が不要になる可能性もある
    • Azure OpenAI Service models - Azure OpenAI | Microsoft Learn
    • GPT-4 Turbo with Vision on Azure OpenAI Service (microsoft.com)
    • Azure OpenAI Service Launches GPT-4 Turbo and GPT-3.5-Turbo-1106 Models - Microsoft Community Hub
    • OpenAI 言語モデルで日本語を扱う際のトークン数推定指標 (zenn.dev)
    モデル バージョン 最大トークン 最大日本語文字数
    (推定)
    料金 (1,000トークンあたり)
    gpt-35-turbo 0613 4,096 3,756 $0.0015
    gpt-35-turbo-16k 0613 16,384 15,024 $0.003
    gpt-35-turbo 1106 入力: 16,385
    出力: 4,096
    入力: 15,025
    出力: 3,756
    入力: $0.001
    出力: $0.002
    gpt-4 0613 8,192 7,512 $0.03
    gpt-4-32k 0613 32,768 30,048 0.06
    gpt-4 Turbo 1106-preview 入力: 128,000
    出力: 4,096
    入力: 117,376
    出力: 3,756
    入力: $0.01 / 1000 tokens
    出力: $0.03 / 1000 tokens
    ※ 最大日本語文字数は 1 トークン 0.917 文字で計算。
    New
    New Japan
    Region
    は今後
    Japan
    Region
    は今後
    ファイルを分割した方が
    いいのか?

    View full-size slide

  25. そもそも LLM を使う必要があるのか?
    使い物になる仕組みを実装するためには相応の労力とコストを要するため、明確な課題意識が重要
     LLM を使うこと自体が目的になっていないか?
     果たして、解決しようとしている課題に対して RAG は解決策なのか?
     ナレッジベースを直接検索するのではだめか? (従来の社内情報検索)
     よりシンプルな解決策はないか?
     KISS (Keep it simple, stupid.)
    回答 (A)
    フロントエンド
    アプリケーション
    (UI)
    バックエンド
    アプリケーション
    (ビジネスロジック)
    RAG アプリケーション
    Azure AI Search
    (検索エンジン)
    データソース
    (ファイルやデータベースなど)
    ナレッジベース
    質問 (Q)
    Azure OpenAI Service
    LLM
    Search の改善で出来る事は多い

    View full-size slide

  26. Microsoft Copilot Your copilots
    Copilot Studio
    RAG
    Retrieval Augmented Generation
    Vectorization

    View full-size slide

  27. Vectorization

    View full-size slide

  28. Vectorization (Embedding)
     近傍 (曖昧でも) 検索ができる
     多言語
     マルチモーダル
     画像、テキスト、オーディオ、ビデオ、
    または それらの組み合わせ
    月曜日 金曜日
    火曜日
    日曜日
    土曜日
    木曜日
    水曜日
    ペンギン
    コサイン類似度 (2つのベクトル点間の角度) など
    使用して類似性を決定することが殆ど。
    位置・距離が近いユークリッド距離での類似性を
    決定する方法もある
    その近似値の求め方も複数ある
    - BruteForce, KNN: 全検索
    - IVFFlat: 反転リスト: データをクラスタ化分割
    - HNSW: つながりのあるデータでの階層化

    View full-size slide

  29. フルテキスト検索 ベクトル検索
    長所 • クエリに含まれる単語に一致するドキュメントを高速に
    検索することができる
    • 検索結果 (なぜそのドキュメントがヒットしたか) の
    解釈が比較的容易
    • 検索対象のドキュメントに含まれる単語がクエリに含まれて
    いなくてもも意味的に近いドキュメントを検索することができる
    • クエリと異なる言語のドキュメントを検索することができる。
    ただし、埋め込みを行うモデルに依存
    短所 • 意味的に近くても検索対象のドキュメントに含まれる
    単語で検索をしなければヒットしない
    • 単純にベクトルの類似度で検索を行うためクエリと全く関係の
    ないドキュメントがヒットする可能性がある
    • 検索結果 (なぜそのドキュメントがヒットしたか) を
    解釈することが難しい
    • Embedding (埋め込み) を行う言語モデルの選定を行う必要
    • インデックス作成時と検索時に埋め込み (Embedding) 処理
    が追加で必要になる。そのため、追加のオーバーヘッドやコストが
    発生する
    全文検索とベクトル検索

    View full-size slide

  30. Vectors in Azure databases
    データを元の場所に保管する:
    ネイティブベクトル検索機能
    ビルトイン
    Azure Cosmos DB MongoDB vCore
    and Azure Cosmos DB for PostgreSQL
    services
    など
    Azure AI Search
    最高の関連性:
    デフォルトでも最高に近い精度
    Azure データ ソースなどの
    データのインデックスを自動的に作成:
    SQL DB, Cosmos DB, Blob
    Storage, ADLSv2 など
    Vector databases in Azure

    View full-size slide

  31. Azure AI Search
    機能豊富なベクター
    データベース
    インジェスト
    データ型、任意の
    ソースから
    シームレスなデータ
    &プラットフォーム
    統合
    理想的な
    ランキング
    エンタープライズ
    対応
    Generally available Public preview Generally available
    Vector search Azure AI Search in
    Azure AI Studio
    Semantic ranker
    統合されたベクトル化
    a.k.a. Azure Cognitive Search
    Hybrid Search
    Semantic Ranking

    View full-size slide

  32. Vector search 全体像
    距離が類似性を表すベクトル表現にデータを変換する
    App/UX
    Images
    Audio
    Video
    Text
    埋め込みへの変換
    ベクトル表現 近似最近隣内挿法
    (Approximate Nearest
    Neighbor)
    ベクトル表現
    埋め込みへの変換
    -2, -1 , 0, 1
    2, 3, 4, 5
    6, 7, 8, 9
    Results
    2, 3, 4, 5
    データソース
    など
    Azure AI Search
    複数件の並び替え
    Ranking
    ベクトル検索 - Azure AI Search | Microsoft Learn

    View full-size slide

  33. 役割に応じた配置
    – Search Engine による DB Optimization -
     大量 Read アクセス
     スケールアウトしやすい
     関連性の追求
     ランキング ≒ 並び替え
     文章に強い
     データソースは別
    Read/Write
    Read
    Indexing
    App/UX
    Search Engine
    Operational
    Store
     大量の Read / Write
     複数セッションからのデータの一貫性保証
     検索時に厳密性を追求
     Where 句など
     数値に強い

    View full-size slide

  34. Vector Search の威力
    Vector Hybrid
    Keyword
    [1] 源頼朝-33.txt
    源義仲を討った理由は、義仲が朝奨に与ったことを憎んだからであり、ま
    た義仲が後白河法皇を幽閉した罪を問わなかったことを責めている。,この
    他に「成敗分明」(『玉葉』九条兼実)」... への評価は高いが、論評者
    が勤王家かどうか、儒教の倫理観に近いかなどの見方によって全体の評
    価が上下する傾向があるほか、時代によっても評価が揺らぐのも特徴と言
    える。
    score: 4.2731
    [2] 梶原景時-7.txt
    『なお、吉川友兼が景茂を討ち取った際、友兼が所持していた青江の太
    刀は、友兼の子孫である安芸国人吉川氏の家宝として伝授され、国宝
    「狐ヶ崎」として現在に伝わる。,だが『玉葉』によると景時追放の原因とさ
    れた讒言は、将軍・頼家にその弟・実朝を将軍に担ごうとする陰謀がある
    ことを報告したものであり、景時追放の3年後には北条氏の陰謀によって
    頼家が追
    score: 4.2657
    [3] 源実朝-9.txt
    実朝には子がなかったため、その死によって源氏将軍および源頼信から続
    く河内源氏直系棟梁の血筋は断絶した。,右大臣拝賀式参列者 『吾妻
    鏡』によれば、建保7年(1219年)鶴岡八幡宮での実朝暗殺時に随
    行した主な人物は以下の通りである。
    score: 3.5303
    どの 特徴 ja.lucene analyzer 和歌の特徴を知りたい 意図



    源 実 友 お歌
    [1] 源実朝-14.txt
    正岡子規を中心に和歌革新運動が進められたが、その口火を切った評
    論「歌よみに与ふる書」は ... 正直に申し候えば『万葉』以来、実朝以来、
    一向に振い申さず候」という文で始まっており、『万葉集』以後の第一人
    者とされている。この評価はアララギ派の歌人によって継承され、万葉風の
    歌人というイメージを定着させた。
    score: 0.0273
    [2] 梶原景時-8.txt
    墓所・神社 梶原景時の墓所は深沢小学校裏のやぐら五輪塔、梶原景
    時館址の墓石群、梶原山の墓石群がある。「深沢小学校裏のやぐら」内
    にある4基の五輪塔は、景時一族の墓と伝えられ、景時とその子、景季・
    景高らの五輪塔が4基並んでいる。梶原氏一族郎党(七士)の墓とし
    て伝えられる「梶原景時館址の墓石群」は、一族郎党を一宮館で留守
    をしていた家族、家臣 ...
    score: 0.0268
    [3] 源実朝-3.txt
    、5月26日には右近衛中将に任ぜられる。公卿となり政所を開設する資
    格を得、親裁権を行使し始める。この頃から幕府の下文が「鎌倉殿下
    文」から「政所下文」に変化する。7月5日、和歌30首の評を藤原定家に
    請う。8月13日、定家はこれに合点を加え、さらに「近代秀歌」として知ら
    れる詠歌口伝1巻を献じた。
    score: 0.0243
    [1] 源実朝-16.txt
    正岡子規 仰の如く近来和歌は一向に振ひ不申候。正直に申し候へば
    万葉以来實朝以来一向に振ひ不申候。實朝といふ人は三十にも足ら
    で、いざこれからといふ処にてあへなき最期を遂げられ誠に残念致し候。あ
    の人をして今十年も活かして置いたならどんなに名歌を沢山残したかも知
    れ不申候。とにかくに第一流の歌人と存候。...
    score: 0.8586
    [2] 源実朝-14.txt
    正岡子規を中心に和歌革新運動が進められたが、その口火を切った評
    論「歌よみに与ふる書」は ... 正直に申し候えば『万葉』以来、実朝以来、
    一向に振い申さず候」という文で始まっており、『万葉集』以後の第一人
    者とされている。この評価はアララギ派の歌人によって継承され、万葉風の
    歌人というイメージを定着させた。
    score: 0.8537
    [3] 源実朝-13.txt
    和歌 世の中は つねにもがもな なぎさこぐ あまの小舟の 綱手かなしも 鎌
    倉右大臣 源実朝歌碑、鴨川畔、京都市左京区下堤町 『金槐和歌
    集』定家所伝本に663首(貞亨本では719首)の和歌が収められてい
    る。万葉風の和歌もあるが、大半は『古今和歌集』や『新古今和歌集』
    の模倣の域を出ないとされている。
    score: 0.8406
    源実友のお歌にはどのような特徴があったのでしょうか?
    入力ミス 意図を
    汲まない
    雑にテキストの
    類似性
    意図!!!
    意図!!!
    複数件の並び替え
    Ranking
    意図!!!

    View full-size slide

  35. Hybrid Search の威力
    源実朝は征夷大将軍として知られているだけでなく、ある有名な趣味も持っています。それは何ですか。
    Hybrid
    [1] 北条政子-7.txt
    後の三代将軍・源実朝である。,その数日前に頼朝は征夷大将軍に任じ
    られている。,政子の気の強さを表す逸話であるが、これについては、頼家
    の鹿狩りは神によって彼が頼朝の後継者とみなされた事を人々に認めさ
    せる効果を持ち、そのために頼朝はことのほか喜んだのだが、政子にはそれ
    が理解できなかったとする解釈もなされている[11]。
    score: 6.2197
    [2] 比企能員-1.txt
    『吾妻鏡』によると、8月27日に北条時政は一幡と頼家の弟・源実朝に
    頼家遺領分与を決定し、関東28ヶ国地頭職と日本国総守護職を一幡
    に、関西38ヶ国地頭職を実朝に相続することになった。,これに不満を持っ
    た能員は、頼家に実朝擁立を計る時政の謀反を訴え、頼家は時政追
    討を能員に命じる。,密議が漏れていることを知らない能員は、さかんに引
    き止めて武装する
    score: 5.0393
    [3] 源頼朝-22.txt
    建久3年(1192年)3月に後白河法皇が崩御し、同年7月12日、後
    鳥羽天皇によって頼朝は征夷大将軍に任ぜられた。,なお、頼朝が征夷
    大将軍を望んだものの後白河法皇に阻まれたとする説については、近年
    は疑問視されている[39]。,同年8月、政子が三男(政子の子としては次
    男)の源実朝を出産。
    score: 4.6704
    源実朝 征夷大将軍 知る 有名 趣味 持つ 何 ja.lucene analyzer 趣味を知りたい→答えは和歌、歌人 意図
    [1] 源頼朝-30.txt
    また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏
    がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な
    身分として幕臣に君臨する(後年に到るまで、将軍の従一位から正二
    位に対して次位の執権(鎌倉)、管領(室町)、大老(江戸)は、
    ほとんど従四位から従五位。...
    score: 0.8879
    [2] 源頼朝-31.txt
    永井は、頼朝は勃興する東国武家勢力のシンボルであるとし、その業績
    を全て彼個人の能力に帰するような過大評価を戒めているが、一方でそ
    の政治力、人材掌握力は高く評価し、日本史における組織作りの天才
    であり、その手腕は後世に彼を手本とした徳川家康よりいっそう巧緻であ
    ると評している(永井路子『源頼朝の世界』中公文庫)。 以上はおお
    むね現代における
    score: 0.8845
    [3] 源頼朝-32.txt
    北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う
    と、北条政子は集まった御家人らに対し「故・右大将軍(頼朝)が朝敵
    を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深
    い。(中略)恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い
    るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。
    頼朝の...
    score: 0.8730
    [1] 源頼朝-30.txt
    また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏
    がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な
    身分として幕臣に君臨する(後年に到るまで、将軍の従一位から正二
    位に対して次位の執権(鎌倉)、管領(室町)、大老(江戸)は、
    ほとんど従四位から従五位。...
    score: 0.0304
    [2] 源実朝-0.txt
    源 実朝(みなもと の さねとも、實朝)は、鎌倉時代前期の鎌倉幕府
    第3代征夷大将軍。 鎌倉幕府を開いた源頼朝の嫡出の次男[注釈 1]
    として生まれ、兄の頼家が追放されると12歳で征夷大将軍に就く。...歌
    人としても知られ、92首が勅撰和歌集に入集し、小倉百人一首にも選
    ばれている。家集として『金槐和歌集』がある。小倉百人一首では鎌倉
    右大臣とされている。
    score: 0.0286
    [3] 源頼朝-32.txt
    北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う
    と、北条政子は集まった御家人らに対し「故・右大将軍(頼朝)が朝敵
    を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深
    い。(中略)恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い
    るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。
    頼朝の...
    score: 0.0250



    Vector
    Keyword 源実朝が下位
    源実朝が下位
    意図!!!

    View full-size slide

  36. RRF 算出方法の異なる検索結果を融合
    源実朝は征夷大将軍として知られているだけでなく、ある有名な趣味も持っています。それは何ですか。
    Hybrid
    [1] 北条政子-7.txt
    後の三代将軍・源実朝である。,その数日前に頼朝は征夷大将軍に任じ
    られている。,政子の気の強さを表す逸話であるが、これについては、頼家
    の鹿狩りは神によって彼が頼朝の後継者とみなされた事を人々に認めさ
    せる効果を持ち、そのために頼朝はことのほか喜んだのだが、政子にはそれ
    が理解できなかったとする解釈もなされている[11]。
    score: 6.2197
    [2] 比企能員-1.txt
    『吾妻鏡』によると、8月27日に北条時政は一幡と頼家の弟・源実朝に
    頼家遺領分与を決定し、関東28ヶ国地頭職と日本国総守護職を一幡
    に、関西38ヶ国地頭職を実朝に相続することになった。,これに不満を持っ
    た能員は、頼家に実朝擁立を計る時政の謀反を訴え、頼家は時政追
    討を能員に命じる。,密議が漏れていることを知らない能員は、さかんに引
    き止めて武装する
    score: 5.0393
    [3] 源頼朝-22.txt
    建久3年(1192年)3月に後白河法皇が崩御し、同年7月12日、後
    鳥羽天皇によって頼朝は征夷大将軍に任ぜられた。,なお、頼朝が征夷
    大将軍を望んだものの後白河法皇に阻まれたとする説については、近年
    は疑問視されている[39]。,同年8月、政子が三男(政子の子としては次
    男)の源実朝を出産。
    score: 4.6704
    源実朝 征夷大将軍 知る 有名 趣味 持つ 何
    [1] 源頼朝-30.txt
    また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏
    がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な
    身分として幕臣に君臨する(後年に到るまで、将軍の従一位から正二
    位に対して次位の執権(鎌倉)、管領(室町)、大老(江戸)は、
    ほとんど従四位から従五位。...
    score: 0.8879
    [2] 源頼朝-31.txt
    永井は、頼朝は勃興する東国武家勢力のシンボルであるとし、その業績
    を全て彼個人の能力に帰するような過大評価を戒めているが、一方でそ
    の政治力、人材掌握力は高く評価し、日本史における組織作りの天才
    であり、その手腕は後世に彼を手本とした徳川家康よりいっそう巧緻であ
    ると評している(永井路子『源頼朝の世界』中公文庫)。 以上はおお
    むね現代における
    score: 0.8845
    [3] 源頼朝-32.txt
    北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う
    と、北条政子は集まった御家人らに対し「故・右大将軍(頼朝)が朝敵
    を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深
    い。(中略)恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い
    るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。
    頼朝の...
    score: 0.8730
    [1] 源頼朝-30.txt
    また、武家政権を代表する地位が征夷大将軍であるという慣習、源氏
    がその地位に就かねばならないという観念、将軍のみが隔絶して高貴な
    身分として幕臣に君臨する(後年に到るまで、将軍の従一位から正二
    位に対して次位の執権(鎌倉)、管領(室町)、大老(江戸)は、
    ほとんど従四位から従五位。...
    score: 0.0304
    [2] 源実朝-0.txt
    源 実朝(みなもと の さねとも、實朝)は、鎌倉時代前期の鎌倉幕府
    第3代征夷大将軍。 鎌倉幕府を開いた源頼朝の嫡出の次男[注釈 1]
    として生まれ、兄の頼家が追放されると12歳で征夷大将軍に就く。...歌
    人としても知られ、92首が勅撰和歌集に入集し、小倉百人一首にも選
    ばれている。家集として『金槐和歌集』がある。小倉百人一首では鎌倉
    右大臣とされている。
    score: 0.0286
    [3] 源頼朝-32.txt
    北条政子と御家人 頼朝の死後に起きた承久の乱で朝廷と幕府が争う
    と、北条政子は集まった御家人らに対し「故・右大将軍(頼朝)が朝敵
    を滅ぼし関東を開いて以降、官位も俸禄も、その恩は山より高く海より深
    い。(中略)恩を知り名を惜しむ人は、早く不忠の讒臣を討ち恩に報い
    るべし」と述べた。これを聞いた御家人らは、ただ涙を流し報恩を誓った。
    頼朝の...
    score: 0.0250
    𝑅𝑅𝐹𝑠𝑐𝑜𝑟𝑒
    =
    1
    𝑘 + 13
    +
    1
    𝑘 + 9
    = 0.0286
    1
    𝑘 + 13
    ランクの逆数 =
    keyword
    1
    𝑘 + 9
    ランクの逆数 =
    vector



    (源実朝-0.txt は 13 位) (源実朝-0.txt は 9 位) (源実朝-0.txt)
    GV Cormack et al., 2009
    ja.lucene analyzer
    Vector
    Keyword
    Okapi BM25 cosine RRF
    意図!!!
    双方で上位に来ているか?
    趣味を知りたい→答えは和歌、歌人 意図

    View full-size slide

  37. Semantic Hybrid Search の威力
    13人の合議制に含まれるメンバー一覧
    Vector
    Keyword
    [1] 三浦義澄-1.txt
    さらに、これまでの勲功として頼朝に御家人10人の成功推挙が与えられ
    た時、その1人に入ったが子の義村に賞を譲っている。,正治元年(1199
    年)、頼朝が死去した後には2代将軍・源頼家を補佐する十三人の合
    議制の一人となる。,翌年、梶原景時の変で梶原景時の鎌倉追放に加
    担し、梶原一族が討たれた3日後に病没。
    score: 10.3941
    [2] 源頼家-7.txt
    十三人の合議制の実態と頼家の実績 十三人の合議制は、頼家が訴
    訟を「直に聴断」するのを停止し、北条時政ら宿老13人の合議により取
    り計らい、彼ら以外の訴訟の取次を認めないと定めたもので、通常は、就
    任早々頼朝の先例を覆す失政を重ねて御家人の信頼を失った頼家から
    親裁権を奪い、執権政治への第一歩になったと理解されてきた[10]。,そ
    もそも、その伏線と
    score: 9.8904
    [3] 北条時政-6.txt
    富士の巻狩り 英雄百首より(『源平盛衰記』巻20に見える、八牧(山
    木)兼隆を討ったときの歌) 「富士の巻狩り」も参照 建久4年(1193
    年)3月、後白河院の崩御から1年が過ぎて殺生禁断が解けると、頼朝
    は下野国・那須野、次いで上野国・吾妻郡三原野で御家人を召集して
    大規模な巻狩りを催した。...正治元年(1199年)に頼朝が死去すると
    十三人の合議制に名を連ね
    score: 8.7013
    制 含む ja.lucene analyzer 十三人の武将の名を知りたい 意図



    1 3 人 合議
    北条政子-8.txt
    若い頼家による独裁に御家人たちの反発が起き、正治2年(1200年)
    に頼家の専制を抑制すべく大江広元、梶原景時、比企能員、北条時
    政、北条義時ら老臣による十三人の合議制が定められた。 だがこれにつ
    いては13人全員で合議された例がなく、数名の評議の結果を参考に頼
    家が最終的判断を下す政治制度であり、頼家の権力を補完する機能を
    果たしていたとする見解も
    score: 0.7744
    [1] 源頼家-7.txt
    源頼家-7.txt. 十三人の合議制の実態と頼家の実績 十三人の合議制
    は、頼家が訴訟を「直に聴断」するのを停止し、北条時政ら宿老13人の
    合議により取り計らい、彼ら以外の訴訟の取次を認めないと定めたもので、
    通常は、就任早々頼朝の先例を覆す失政を重ねて御家人の信頼を
    失った頼家から親裁権を奪い、執権政治への第一歩になったと理解され
    てきた[10]。
    reranker score: 1.4289
    [2] 北条義時-3.txt
    権力闘争 建久10年(1199年)の頼朝の死後、跡を継いだ2代将軍・
    源頼家のもとで、政務を「談合」する13人の御家人、いわゆる十三人の
    合議制の一員となった。 義時のみが30代であり、同じく一員であった父
    時政と共同歩調を取ることとなる[20][注釈 8]。
    reranker score: 1.0621
    [1] 源頼家-7.txt
    十三人の合議制の実態と頼家の実績 十三人の合議制は、頼家が訴
    訟を「直に聴断」するのを停止し、北条時政ら宿老13人の合議により取
    り計らい、彼ら以外の訴訟の取次を認めないと定めたもので、通常は、就
    任早々頼朝の先例を覆す失政を重ねて御家人の信頼を失った頼家から
    親裁権を奪い、執権政治への第一歩になったと理解されてきた[10]。
    score: 0.8644
    [2] 足立遠元-1.txt
    元暦元年(1184年)10月6日、公文所が設置されると、5人の寄人の
    1人に選ばれた[4]。建久元年(1190年)に頼朝が上洛した際、右近
    衛大将拝賀の布衣侍7人の内に選ばれて参院の供奉をした[5]。さらに、
    奥州合戦の勲功として頼朝に御家人10人[6]の成功推挙が与えられた
    時、... 頼朝死後、2代将軍源頼家の時に成立した十三人の合議制の1
    人に安達盛長とともに加わる。
    score: 0.8346
    [3] 源実朝-10.txt
    主な参列者 一条能氏 一条実雅 源頼茂 一条信能 一条頼氏 一条
    能継 源仲章 中原季時 美作朝親 長井時広 足利義氏 北条時房 大
    江親広 北条義時 大内惟義 小笠原長清 武田信光 森頼定 二階堂
    基行 北条泰時 安達景盛 三浦朝村 河越重時 加藤景廉 佐々木義
    清 坊門忠信 西園寺実氏 平光盛 加藤光員 二階堂行村 葛西清重
    score: 0.8338
    メンバ 一覧
    Semantic Answer
    Semantic Hybrid
    Semantic Caption
    Semantic Caption
    https://qiita.com/nohanaga/items/4b9506c62b9e5796f405
    壊滅的…
    意図に近い単語
    が入力にあった
    意図に近い単語
    が入力にあった
    時代が違いすぎる
    内部で要約作成
    =意図に近づく
    セマンティック ランク付けを構成する - Azure AI Search | Microsoft Learn

    View full-size slide

  38. 並び替え (リランク) の選択肢を持つ事の重要性
    0
    10
    20
    30
    40
    50
    60
    70
    80
    Customer datasets
    [NDCG@3]
    Beir [NDCG@10] Miracl [NDCG@10]
    Keyword Vector (ada-002)
    Hybrid (Keyword + Vector) Hybrid + Semantic ranker
    Retrieval comparison using Azure AI Search in various retrieval modes on customer and academic benchmarks
    Source: Outperforming vector search with hybrid + reranking
    Azure Cognitive Search: Outperforming vector search with hybrid retrieval and ranking capabilities - Microsoft Community Hub

    View full-size slide

  39. Copilot stack
    AI orchestration
    Microsoft Copilot Your copilots
    Copilot Studio
    Microsoft apps
    AI infrastructure
    Foundation models & AI toolchain
    Your data
    Microsoft Cloud
    AI safety and security

    View full-size slide

  40. Microsoft Cloud
    d
    Databases
    a
    Analytics
    i
    AI
    g
    Governance
    Microsoft Intelligent Data Platform

    View full-size slide

  41. Enterprise Data Architecture の変遷

    View full-size slide

  42. Data Mesh
     それは、あなたがどこから行くかという考え方の転換
     集中型所有権から分散型所有権へ
     第一級の関心事としてのパイプラインから、
    第一級の関心事としてのドメイン・データ
     副産物としてのデータを製品としてのデータへ
     サイロ化されたデータエンジニアリングチームから
    部門横断的なドメインデータチームへ
     データ製品のエコシステムへの
    一元化されたデータレイク/ウェアハウス
    Credit to Zhamak Dehghani, Slack: data-mesh-learning.slack.com
    データメッシュは概念・アーキテクチャであり、製品ではない

    View full-size slide

  43. 2023 年の ML、AI、Data の Product / Service

    View full-size slide

  44. Microsoft Fabric
    一般提供 (GA)
    Fabric workloads are now generally available! | Microsoft Fabric ブログ | Microsoft Fabric
    Data
    Factory
    Synapse Data
    Engineering
    Synapse Data
    Science
    Synapse Data
    Warehousing
    Synapse Real
    Time Analytics
    Power BI
    Data
    Activator
    OneLake
    GA GA GA GA GA GA GA Preview

    View full-size slide

  45. Microsoft Fabric
    マルチクラウド
    オープンデータフォーマット
    オープン API
    OneLake
    Preview momentum

    View full-size slide

  46. Data
    Factory
    Synapse Data
    Engineering
    Synapse Data
    Science
    Synapse Data
    Warehousing
    Synapse Real
    Time Analytics
    Power BI
    Data
    Activator
    OneLake
    サービス
    テレメトリー
    ファイナンス
    カスタマー 360 ビジネス KPIs
    Serverless
    Compute
    Spark T-SQL KQL
    Analysis
    Services
    Fabric Compute Engine
    ミラーリング
    Snowflake
    そのほかにも…
    Mongo
    DB
    Azure SQL
    Database
    Azure
    Cosmos DB
    Microsoft Fabric
    ショートカット
    OneLake

    View full-size slide

  47. Amazon S3
    Dataverse
    Cosmos DB
    Azure DataBricks
    Snowflake
    Microsoft Ignite 2023 Keynote より

    View full-size slide

  48. 透過的に、それぞれのAPI (SQL, KQL, Spark など)
    でアクセスできる
    Microsoft Ignite 2023 Keynote より

    View full-size slide

  49. Copilot stack
    AI safety and security
    Microsoft Cloud
    Your data
    Foundation models & AI toolchain
    AI infrastructure
    AI orchestration
    Copilot Studio
    Microsoft Copilot Your copilots
    Microsoft apps

    View full-size slide

  50. 地球上のすべての個人とすべての組織が、
    より多くのことを達成できるようにするために

    View full-size slide

  51. Prompt のトレーニング
    Prompt のテンプレート集
    https://speakerdeck.com/dahatake
    プレゼン資料 コンテンツ
    https://github.com/dahatake
    独自で使うもよし! Microsoft と一緒にやるもよし!

    View full-size slide

  52. 2023年12月6日(水)~8日(金)開催
    会場:ベルサール六本木グランドコンファレンスセンター
    (六本木一丁目駅西改札直結)
    Session# Date Time Session Title Speaker
    H-9
    (基調講演)
    12/7 木 10:00~10:45
    AI Transformation に向けた
    Microsoft Copilot Stack と Data 戦略
    日本マイクロソフト株式会社
    畠山 大有
    A2 12/6 水 11:00~11:45
    SQL Server 技術支援のための動作の調査 ~あなたならどのように
    調査しますか?~
    Microsoft MVP for Data Platform
    小澤 真之 氏
    CL3 12/6 水 12:00~12:45
    ユーザー目線で語る データ活用のためのAll in One SaaS
    「Microsoft Fabric 」の推しポイント紹介
    株式会社ジール 永田 亮磨 氏
    株式会社リクルート 政岡 裕士 氏
    H4 12/6 水 13:00~13:45
    AIデータ基盤の新時代 - Microsoft Fabricの最新アップデートで
    ビジネスインテリジェンスを再定義
    日本マイクロソフト株式会社
    Jiayi Yang
    H6 12/6 水 15:00~15:45 Microsoftデータ分析プラットフォームの使い分け 日本マイクロソフト株式会社
    中川 一馬
    H14 12/7 木 15:00~15:45
    EOSを越えてSQL Serverをハイブリッド化
    及びAzure SQLの新機能でビジネスを変革
    日本マイクロソフト株式会社
    Jiayi Yang
    清水 淳也
    IL20 12/8 金 12:00~12:45
    Azure Cosmos DBのベクトル検索機能でAzure OpenAIとの連携
    を高度化しよう ~ 初心者向け機能概要と実装例の紹介
    マイクロソフトコーポレーション
    早川 武志
    H23 12/8 金 15:00~15:45
    ~生成AIがRebornしたAzure Databricks~ 生産性が爆上がり!
    今まで見たこともない魅力的な最新Data AI機能ご紹介
    日本マイクロソフト株式会社
    武田 雅生
    ご登録はこちらから https://www.db-tech-showcase.com/2023/

    View full-size slide

  53. © Copyright Microsoft Corporation. All rights reserved.

    View full-size slide