Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

LLM 時代におさえておきたい Azure Serverless ファミリーまとめ / ser...

miyake
September 23, 2023

LLM 時代におさえておきたい Azure Serverless ファミリーまとめ / serverlessdaystokyo2023-llm-aoai

ServerlessDays Tokyo 2023 で発表させていただいたセッション資料です。
- https://tokyo.serverlessdays.io/
- https://serverless.connpass.com/event/290640/

miyake

September 23, 2023
Tweet

More Decks by miyake

Other Decks in Technology

Transcript

  1. About Me 三宅 和之 / Kazuyuki Miyake 株式会社ゼンアーキテクツ 代表 ZEN:

    Azure, GitHub, Nuxt のスペシャリスト集団 Microsoft Regional Director / Microsoft MVP Vue.js 日本ユーザーグループコアスタッフ X: @kazuyukimiyake
  2. Azure で LLM (OpenAI) を使う理由 Azure OpenAI Service (AOAI) 利用できる

    API は基本的に本家 OpenAI と同じ モデル利用価格も同一 本家 OpenAI ではなく AOAI を使う理由 Private なネットワーク配下で OpenAI が使える Azure(東日本リージョン)内でトラフィックが完結 Azure の SLA が適用される、サポートが使える etc. 4
  3. LLM x Azure Chat UI LLM オーケストレーターを経由して AOAI にアクセスする ほとんどのケースで

    Static Web Apps が使える Easy Auth を使うとかんたんに認証を追加できる 9
  4. LLM x Azure RAG Retrieval Augmented Generation (RAG) 独自のデータを利用して LLM

    を拡張する手法 ベクターストアとして Azure Cognitive Search がおすすめ 13
  5. LLM x Azure セキュアな構成 Managed Identity を使った API 認証 Service

    Endpoint と VNET Integration によるネットワーク制御 15