Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【Azure OpenAI入門】Azure OpenAI Service × LangCha...
Search
SatakeYusuke
December 16, 2023
0
320
【Azure OpenAI入門】 Azure OpenAI Service × LangChain でクラウドネイティブなアプリ開発
Azure OpenAI Service × LangChainを組み合わせ、2022年1月以降の情報でも、OpenAIが自身で検索しながら補完してくれるような機能を実装したデモアプリを実装します。
SatakeYusuke
December 16, 2023
Tweet
Share
More Decks by SatakeYusuke
See All by SatakeYusuke
Microsoft for Startups Founders Hub
satakeyusuke19920527
0
13
Cram school DX - Tried to Make English Conversation Application
satakeyusuke19920527
0
220
Can't RAGs be cheaper?
satakeyusuke19920527
1
360
Implemented payment processing with Azure Functions and Stripe.
satakeyusuke19920527
1
200
platform engineering meetup wrapup
satakeyusuke19920527
0
280
Try to make a call center ver3
satakeyusuke19920527
0
3.4k
Try to make a call center
satakeyusuke19920527
1
240
コールセンターを作ってみた(1)
satakeyusuke19920527
0
420
Azure OpenAI ServiceのAdd your Dataで(出来る限り簡単に)企業の独自情報にも回答してくれるシステムをハンズオンで作ってみる
satakeyusuke19920527
0
240
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
180
21k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
9
680
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
Why Our Code Smells
bkeepers
PRO
334
57k
Facilitating Awesome Meetings
lara
49
6k
Bash Introduction
62gerente
608
210k
Unsuck your backbone
ammeep
668
57k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
664
120k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.2k
Designing for humans not robots
tammielis
249
25k
Transcript
【Azure OpenAI⼊⾨】 Azure OpenAI Service × LangChain でクラウドネイティブなアプリ開発 .NETラボ12⽉ 佐⽵
祐亮
apc-y-satake satyus 佐⽵祐亮 / Yusuke Satake 株式会社エーピーコミュニケーションズ Experience • 学習塾の起業
• ITコンサルティングファームにて仮想通貨取引システムの開発に従事 • SaaS 企業にてPM業務に従事 • プログラミングスクールの起業 • 株式会社エーピーコミュニケーションズにてDXコンサルタントに従事 Expertise 学習塾起業 プログラミングスクール起業 ソフトウェア開発 React / Next.js Node.js Microsoft Azure 数学ⅠA・ⅡB・ⅢC 物理
Agenda 本⽇の概要 使⽤する概念の説明 ⼤規模⾔語モデル(LLM) LLMを強化する⽅法
ReActとは? LangChainとは? DEMO AOAI + LangChainでReActアプリケーション開発 最後に
本⽇の概要 ⼤規模⾔語モデル(LLM)の概念及びReAct という概念についても学習し、これ からAzure OpenAI が⾃社内や個⼈開発の中で利活⽤出来そうだと感じれ ることがゴールです。 ⼤規模⾔語モデル(LLM)の説明から記載しているので、初学者の⽅もご安⼼し
てついてきていただければと存じます。 今回も実装⽅法を以下の記事にまとめてりますので、是⾮ハンズオンを通じて Azure OpenAI Serviceで遊んでみてください! Zenn https://zenn.dev/yusu29/articles/azure_react_llm
使⽤する概念の説明
⼤規模⾔語モデルの概要と課題 ⼤規模⾔語モデル(LLM: Large Language Models)は⾃然⾔語処理(NLP) の分野で⽤いられる⼤量のテキストデータから学習した機会学習モデルのことで す。 LLMが出来ること •
⾃然⾔語⽣成 • 質問応答 • 翻訳 • 要約 • ⽂書分類 • 要素認識 • 感情分析
⼤規模⾔語モデルの概要と課題 ⼤規模⾔語モデル(LLM)の開発の歴史があり、各社様々なAIを開発 出典 https://arxiv.org/pdf/2104.04473.pdf enterprise LLM Google BERT OpenAI
GPT NVIDIA Megatron-LM Microsoft Turning-NLG トランス フォーマーを 使った最初の モデル スケール測の発見 データを増やせば精度が上が る 学習に数億~数十億の投資
⼤規模⾔語モデルの概要と課題 特に最近注⽬されているChatGPTを詳細に⾒てみましょう。 2022年11⽉30⽇リリース GPTモデルを使って作られたチャットアプリサー ビス リリース後2ヶ⽉で1億ユーザ突破
GPT 3 / 4 モデルの学習データは2022年1⽉ までのデータしかない 先⽇発表されたGPT 4 Turboは2023年4 ⽉までのデータがあるが、現在の情報が必要 な回答作成は難しい
⼤規模⾔語モデルの概要と課題 ⼤規模⾔語モデル(LLM)の問題点はAIが学習した範囲内でしか回答出来な いということです。 そこで昨今では以下のようなニーズがあるかと存じます。 2022年1⽉以降の情報も回答してほしい… 外部には公開していない社内の情報への質問にも正確に回答してほしい… →LLMを独⾃に強化する必要がある。
Prompt Engineering LLM に与えるプロンプト内に追加データを 含めたり、不⾜がある場合に外部ツールを 呼び出してデータを追加することで回答精 度を向上させる⽅法 Ex)
以前の情報をヒントにして回答 Web で検索して回答 Fine Tuning LLM ⾃体を追加学習させ、パラメータを調 整することで回答精度を向上させる⽅法 膨⼤なコストとデータが必要 Ex) GPT3.5 に独⾃データを加えたモデルを作成 LLMを強化する⽅法 今回⽤いるのがPrompt Engineering の⼿法であるReActという概念になります。
ReActとは? ReAct(REasoning and ACTing)は、⾔語モデル(LLM)を使⽤して 思考(推論)と⾏動を同時に⾏うための新しい枠組みです。 ReAct の主な⽬的は、⾃然⾔語推論と意思決定のタスクを統合することで、 より⾼度な⾔語理解と知識活⽤を可能にすることです。
出典 https://react-lm.github.io/
ReActとは? 1. ⼈からの質問 2. Azure OpenAIへ質問を送る 3. OpenAIだけで回答を出すのが難しい 場合、Bing Searchを⽤いて検索を
⾏い情報を得る 4. Bing Searchから得た情報も含めて OpenAIへ送り、回答の要約を作成 5. ⼈へ回答を返す 実際に図にしてみると以下のイメージ。 思考(推論)と⾏動 を⾏っていることがわかります。
LangChainとは? 特徴 1. ReActプロセスを簡単に構築出来る 2. LLMを他のデータソース(RDBなど)に接続出来る GPTなどのLLMを使ったアプリケーションを開発する際に使⽤出来る開発を効 率化するためのライブラリ
本⽇のDEMOのアーキテクチャ ReActの概念をAzureのリソースを使って表現したいと思います!
DEMO AOAI + LangChainでReActアプリケーション開発
DEMO
最後に いかがだったでしょうか。 今回はAOAI + Bing Searchの構成にしましたが、Bing Searchの箇所を社内 独⾃のデータにすれば、独⾃情報を取り扱うことの出来るAIが作成出来ますし 、フロント部分をStatic
Web AppsからAzure Communication Serviceに変 えれば電話対応をAI化することも可能です。 本発表を通じて様々な拡張性があるAzure OpenAI Serviceを是⾮みなさま も⾊々と触ってみたい!と思っていただければ幸いです。
ご清聴頂きありがとうございました。
参考資料 Zenn https://zenn.dev/yusu29/articles/azure_react_llm Qiita https://qiita.com/fe_js_engineer/items/cd5cef784cb5e30a7ffc GitHub https://github.com/SatakeYusuke19920527/poc-react-app