Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure AI ことはじめ
Search
Yuta Matsumura
July 19, 2024
Technology
0
660
Azure AI ことはじめ
2024/07/19 福岡LLM勉強会
https://connpass.com/event/324157/
Yuta Matsumura
July 19, 2024
Tweet
Share
More Decks by Yuta Matsumura
See All by Yuta Matsumura
re:Invent の裏でアップデートされていた .NET Aspire で統合するAWS のクラウドリソース
tsubakimoto_s
1
84
.NET AspireでAzure Functionsやクラウドリソースを統合する
tsubakimoto_s
0
290
Microsoft Entra External IDとAzure AD B2C
tsubakimoto_s
0
1.4k
Minimal Observability on Minimal API
tsubakimoto_s
0
100
ワークフローのコピペを自作で解消した話
tsubakimoto_s
0
80
Azureのコアサーバーレス Azure Functions
tsubakimoto_s
0
660
米国カンファレンスで活躍したAzure AI Speech
tsubakimoto_s
0
800
GitHub Codespaces Updates
tsubakimoto_s
0
530
.NET 8 がリリース直前だから振り返る
tsubakimoto_s
0
620
Other Decks in Technology
See All in Technology
Perlアプリケーションで トレースを実装するまでの 工夫と苦労話
masayoshi
1
410
Claude CodeでKiroの仕様駆動開発を実現させるには...
gotalab555
3
910
大規模イベントに向けた ABEMA アーキテクチャの遍歴 ~ Platform Strategy 詳細解説 ~
nagapad
0
190
dipにおけるSRE変革の軌跡
dip_tech
PRO
1
230
バクラクによるコーポレート業務の自動運転 #BetAIDay
layerx
PRO
1
860
生成AI時代におけるAI・機械学習技術を用いたプロダクト開発の深化と進化 #BetAIDay
layerx
PRO
1
1k
LLMで構造化出力の成功率をグンと上げる方法
keisuketakiguchi
0
500
Claude Codeが働くAI中心の業務システム構築の挑戦―AIエージェント中心の働き方を目指して
os1ma
9
1.6k
金融サービスにおける高速な価値提供とAIの役割 #BetAIDay
layerx
PRO
1
750
JAWS AI/ML #30 AI コーディング IDE "Kiro" を触ってみよう
inariku
3
300
オブザーバビリティプラットフォーム開発におけるオブザーバビリティとの向き合い / Hatena Engineer Seminar #34 オブザーバビリティの実現と運用編
arthur1
0
350
S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか/try-to-query-s3-glacier-from-athena
emiki
0
190
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Balancing Empowerment & Direction
lara
1
530
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Making the Leap to Tech Lead
cromwellryan
134
9.5k
We Have a Design System, Now What?
morganepeng
53
7.7k
Code Review Best Practice
trishagee
69
19k
Faster Mobile Websites
deanohume
308
31k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Code Reviewing Like a Champion
maltzj
524
40k
Transcript
#LLM_FK Azure AI ことはじめ 2024/07/19 福岡LLM勉強会 Yuta Matsumura © 2024
Yuta Matsumura.
#LLM_FK 松村 優大 (MLBお兄さん) Currently working for © 2024 Yuta
Matsumura. 株式会社オルターブース (Chief Technical Architect) Microsoft MVP for Developer Technologies Microsoft Top Partner Engineer Award GitHub 公認トレーナー C#, PHP, Azure, GitHub が好き #fukuten #devblogradio の中の人 X: @tsubakimoto_s
#LLM_FK © 2024 Yuta Matsumura.
#LLM_FK Microsoft Azure • Microsoft が提供するパブリッククラウドサービスです • https://azure.microsoft.com/ • 商用提供は
2010年2月 で、今年で14周年になります • 日本国内リージョンは 2014年2月 に開設しました • 200以上のサービスが提供されています © 2024 Yuta Matsumura.
#LLM_FK © 2024 Yuta Matsumura. オンプレミス ネットワーク ストレージ サーバー 仮想化
OS ミドルウェア ランタイム データ アプリケーション ユ ー ザ ー 管 理 IaaS ネットワーク ストレージ サーバー 仮想化 OS ミドルウェア ランタイム データ アプリケーション ユ ー ザ ー 管 理 ベ ン ダ ー 管 理 PaaS ネットワーク ストレージ サーバー 仮想化 OS ミドルウェア ランタイム データ アプリケーション ユ ー ザ ー 管 理 ベ ン ダ ー 管 理 SaaS ネットワーク ストレージ サーバー 仮想化 OS ミドルウェア ランタイム データ アプリケーション ベ ン ダ ー 管 理
#LLM_FK © 2024 Yuta Matsumura. Azure のトップページ Azure のトップページ
#LLM_FK 責任ある AI https://www.microsoft.com/ja-jp/ai/responsible-ai © 2024 Yuta Matsumura.
#LLM_FK 責任ある AI 公平性 (Fairness) AI システムは、すべての人を公平に扱う 必要があります。 信頼性と安全性 (Reliability
and safety) AI システムは、確実かつ安全に実行する べきです。 プライバシーとセキュリティ (Privacy and security) AI システムはセキュリティで保護され、 プライバシーを尊重するべきです。 包括性 (Inclusiveness) AI システムは、すべての人に力を与え、 人々を引き付けるべきです。 透明性 (Transparency) AI システムは理解可能であるべきです。 説明責任 (Accountability) 人は AI システムに対して責任を負べきです。 © 2024 Yuta Matsumura. 倫理原則として ユーザーも意識しよう 責任ある AI の原則とアプローチ | Microsoft AI
#LLM_FK Azure AI Services https://azure.microsoft.com/ja-jp/products/ai-services/ © 2024 Yuta Matsumura.
#LLM_FK Azure Cognitive Services ▼ Azure Applied AI Services ▼
Azure AI Services © 2023 Yuta Matsumura.
#LLM_FK © 2024 Yuta Matsumura.
#LLM_FK Azure OpenAI Service OpenAI 社が提供する LLM を Azure 上で利用できる
© 2024 Yuta Matsumura. モデル 東日本リージョン 特徴 GPT-4o (米国東部など) マルチモーダル GPT-4 Turbo (米国東部など) マルチモーダル GPT-4 Vision (Preview) GPT-3.5 (0613, 16k 0613) Embeddings DALL-E (米国東部など) プロンプトから画像を作成 Whisper (米国東部など) 音声をテキストに変換 Text to Speech (Preview) (米国中北部など) テキストの読み上げ
#LLM_FK © 2024 Yuta Matsumura. https://azure.microsoft.com/en-us/blog/openais-fastest-model-gpt-4o-mini-is-now-available-on-azure-ai/
#LLM_FK Azure AI Search • フルテキスト検索およびベクトル検索をサポートしている 検索エンジン基盤 • Azure や
Microsoft 365 をデータストアとして利用可能 • RAG を構成するときのメインサービス © 2024 Yuta Matsumura.
#LLM_FK Azure AI Content Safety アプリケーションやサービス内の有害なユーザー生成 コンテンツや AI 生成コンテンツを検出できる ©
2024 Yuta Matsumura. 種類 機能 プロンプト シールド ★ 大規模言語モデルに対するユーザー入力攻撃のリスクがないか、 テキストをスキャンします。 グラウンデッドネス検出 ★ 大規模言語モデル (LLM) のテキスト応答が、ユーザーが提供す るソース資料に基づいているかどうかを検出します。 保護対象テキストの検出 ★ 既知のテキスト コンテンツ (曲の歌詞、記事、レシピ、一部の Web コンテンツなど) がないか、AI によって生成されたテキス トをスキャンします。 カスタム カテゴリ API ★ 新たな有害コンテンツ パターンを定義し、テキストと画像をス キャンして一致を確認できます。 テキスト分析 API 性的コンテンツ、暴力、憎悪、自傷行為に関するテキストを複 数の重大度レベルでスキャンします。 画像分析 API 性的コンテンツ、暴力、憎悪、自傷行為に関する画像を複数の 重大度レベルでスキャンします。 ★:プレビュー
#LLM_FK Azure AI Translator • テキスト翻訳とドキュメント翻訳を実施できる • 独自のカスタム翻訳用の辞書が作成可能 © 2024
Yuta Matsumura.
#LLM_FK Azure AI Speech • Speech to Text (オーディオファイルから・リアルタイムのマイクから) •
Text to Speech • 音声翻訳 • 言語識別 • 話者認識 など © 2024 Yuta Matsumura.
#LLM_FK Azure AI Vision • 光学式文字認識 (OCR):画像からテキストを抽出する • 画像分析:画像から視覚的特徴を抽出する •
顔識別:画像に含まれる人物の顔を検出、識別、分析する • ビデオ分析:動画中の空間分析やインデックス作成を行う © 2024 Yuta Matsumura.
#LLM_FK Azure AI Language • 自然言語処理に関する様々な機能を利用することができる • エンティティの識別 • 個人に関する情報の検出
• 言語検出 • 感情分析 • 会話言語理解 • Q&A など © 2024 Yuta Matsumura.
#LLM_FK Azure AI Document Intelligence • 文書に関する様々な機能を利用することができる • テキストの抽出 •
レイアウト(文書の構造)の特定 • 請求書や領収書などの定番なフォーマットに対応 (カスタム可能) © 2024 Yuta Matsumura.
#LLM_FK © 2024 Yuta Matsumura. Azure AI Studio https://ai.azure.com
#LLM_FK Azure AI Studio • 複数の Azure AI サービスを一つの画面で管理できる •
モデルカタログからリアルタイム推論エンドポイントにモ デルをデプロイ • Azure OpenAI Service のモデルのデプロイとテスト • RAG の構築 • プロンプトフローでワークフローを定義する など © 2024 Yuta Matsumura.
#LLM_FK © 2024 Yuta Matsumura. プロジェクト プロジェクト
#LLM_FK © 2024 Yuta Matsumura. モデルのデプロイ モデルのデプロイ
#LLM_FK © 2024 Yuta Matsumura. プレイグラウンド プレイグラウンド
#LLM_FK © 2024 Yuta Matsumura. モデルカタログ モデルカタログ
#LLM_FK 選択可能なモデル • OpenAI • Phi-3 • Meta • Mistral
AI • Cohere (検索拡張生成機能のための LLM) • Hugging Face (モデル公開のためのプラットフォーム) • Stability AI • Core42 (アラビア語の LLM) • Nixtla (時系列分析のための LLM) © 2024 Yuta Matsumura. LLM SLM LLM LLM LLM LLM LLM LLM LLM
#LLM_FK © 2024 Yuta Matsumura. チャットアプリのデプロイ チャットアプリのデプロイ App Service: Web
アプリのホスティング環境 App Serviceプラン: Web サーバー Cosmos DB: NoSQL データベース
#LLM_FK © 2024 Yuta Matsumura. デモ
#LLM_FK microsoft/azurechat https://github.com/microsoft/azurechat © 2024 Yuta Matsumura. オレオレAIチャットがほしいなら・・・
#LLM_FK © 2024 Yuta Matsumura. デモ
#LLM_FK ご清聴ありがとうございました © 2024 Yuta Matsumura.