Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AutoGenで作るLLM Agen
Search
peisuke
November 30, 2023
Technology
1
1.4k
AutoGenで作るLLM Agen
Azure OpenAI Service 生成AI実践知発表資料
peisuke
November 30, 2023
Tweet
Share
More Decks by peisuke
See All by peisuke
LangGraphで始めるマルチエージェントシステム
peisuke
13
4.1k
Self-RAG: Learning to Retrieve, Generate and Critique through Self-Reflections
peisuke
9
1.4k
Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields
peisuke
0
9.8k
LangChain Toolsの運用と改善
peisuke
4
2.6k
GNeRF: GAN-based Neural Radiance Field without Posed Camera
peisuke
1
740
TTS Skins: Speaker Conversion via ASR
peisuke
0
380
A Quantum Computational Approach to Correspondence Problems on Point Sets
peisuke
0
680
F0-Consistent Many-to-many Non-parallel Voice Conversion via Conditional Autoencoder
peisuke
0
180
YOLACT real-time instance segmentation
peisuke
1
270
Other Decks in Technology
See All in Technology
財務データを題材に、 ETLとは何であるかを考える
shoe116
2
300
デジタルアイデンティティ技術 認可・ID連携・認証 応用 / 20250114-OIDF-J-EduWG-TechSWG
oidfj
2
720
CDKのコードレビューを楽にするパッケージcdk-mentorを作ってみた/cdk-mentor
tomoki10
0
210
自社 200 記事を元に整理した読みやすいテックブログを書くための Tips 集
masakihirose
2
360
FinJAWS_reinvent2024_recap_database
asahihidehiko
2
140
いま現場PMのあなたが、 経営と向き合うPMになるために 必要なこと、腹をくくること
hiro93n
9
8.3k
第27回クラウド女子会 ~re:Invent 振り返りLT会~ 私の周辺で反響のあった re:Invent 2024 アップデートつれづれ/reinvent-2024-update-reverberated-around-me
emiki
1
300
[IBM TechXchange Dojo]Watson Discoveryとwatsonx.aiでRAGを実現!座学①
siyuanzh09
0
120
ゼロからわかる!!AWSの構成図を書いてみようワークショップ 問題&解答解説 #デッカイギ #羽田デッカイギおつ
_mossann_t
0
1.6k
GoogleのAIエージェント論 Authors: Julia Wiesinger, Patrick Marlow and Vladimir Vuskovic
customercloud
PRO
0
200
My small contributions - Fujiwara Tech Conference 2025
ijin
0
1.5k
「隙間家具OSS」に至る道/Fujiwara Tech Conference 2025
fujiwara3
7
6.7k
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
192
16k
Optimising Largest Contentful Paint
csswizardry
33
3k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Adopting Sorbet at Scale
ufuk
74
9.2k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Producing Creativity
orderedlist
PRO
343
39k
The Invisible Side of Design
smashingmag
299
50k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
98
18k
For a Future-Friendly Web
brad_frost
176
9.5k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Practical Orchestrator
shlominoach
186
10k
Transcript
Keisuke Fujimoto (Labs) AutoGenで作るLLM Agent
自己紹介 2 所属:ABEJA Labs テーマ:ビジョン、音声、NLP、ロボット SNS X (Twitter):@peisuke Github:https://github.com/peisuke
note:https://note.com/peisuke
• LLMとLLM Agent • AutoGenについて • AutoGenでできること 本日のテーマ
3
Agentとは? 4 • 強化学習にも出てくる、「エー ジェント」 • 結果を出力するだけのMLと異 なり、環境内で行動したり操作を することが特徴
• 囲碁や将棋では・・・ ◦ (1) 盤面を観測、(2) 次の手を 考え、(3) 打つ
• LLMに対し、(1) 目的を達成するプロセス案を提示させ、(2) 各プロセスの処理の InputをLLMによって生成・処理を行い、(3) これを逐次的に実行 ◦ LLMをChatBotだけではなく、プロセス案生成やクエリ生成に利用 LLM Agentについて
5 今流行っているお 笑い芸人の動画 を見たい STEP1: 最近の流行りの芸 人を検索 STEP2: 代表的な作品名 をピックアップ STEP3: 動画ユーザーに 提示 検索モジュールの出力した結果: [XXXX、XXXX、XXXX] LLMで生成した検索クエリ: [2023年 お笑い芸人 流行] クエリを利用し、外 部の検索APIを利 用 LLMで手順を生成し、プ ログラムで読み込む
• ユーザーがやりたいことを言うとLLMがそれを全部やってくれちゃう仕組み 要するに・・・ 6 社内データを分 析したい プログラムを作っ て欲しい 動画を作って
XXXについての 情報を集めて
ChatGPTでも使われているAgentの仕組み 7 画像解析が必要なら・・・ コードの実行が必要なら・・・ ファイルの読み込みが 必要なら GPT-4V 画像を描きたい場合は 質問を投げる どの機能を使う
かを考える
マルチエージェントの仕組み 8 質問を投げる 調査します ソースコードを 作ります 結果を整理しま す
世の中の色々なAgent 9 • プログラムの自動開発の仕組み • それぞれのキャラクターが、問題を解くAgentとして行 動 • 全体を統括するCTO、開発をするエンジニア、テストを するテスターなどのAgentが存在
• 利用者が指示したゴールに基づき、要件定義〜開 発〜テスト〜納品を行い、制作物を出力
• AutoGPT 世の中の色々なAgent 10
• Voyager:マインクラフトにおいて、次にどんなアクションをするかをLLMを用いて決 定、アクションをゲーム側に伝えて動かす 世の中の色々なAgent 11
• LangChain ◦ 様々な種類のAgentが利用可能 • Llama Index ◦ Data
AgentにAgentの仕組みが実装 • AutoGen ◦ MicrosoftのAgentに特化したライブラリ ◦ 柔軟な仕組みを構築できる Agentを作るためのライブラリ 12
• AutoGen: Microsoftが提供しているOSS ◦ AutoGen: Enabling Next-Gen LLM Applications via
Multi-Agent Conversation, preprint: 2308.08155, arxiv AutoGenの紹介 13
AutoGenの紹介 14
AutoGenを使ってできること 15
AutoGenのプログラム例 16
AutoGenのプログラム例 17
AutoGenのプログラム例 18
AutoGenのプログラム例 19
• Agentの構成例 AutoGenの簡単な原理 20
• 各Agentが通信する流れ ◦ generate_replyで各Agentがレスポンスを他のエージェントに出力 AutoGenの簡単な原理 21
• Azure OpenAI APIとOpenAI APIでの切り替えが容易 AutoGenをAzureで動かしてみよう! 22
AutoGenの色々なパターン 23
• プログラムを実行 ◦ FizzBuzzのコードを書かせて実行させてみる 色々できる、AutoGen 24
• RAG + AutoGen ◦ 検索して回答が得られなかったら、自動で再検索 ◦ 回答結果が、英語になってしまった場合も日本語で出力 色々できる、AutoGen 25
Retrieve 判定 再Retrieve 判定 終了 再Retrieve 終了 Retrieve 回答生成 Retriever Agent Agent 回答 質問 仮にここが英語 でも・・・ ここで日本語で 出力される Function Calling
• プログラムのマニュアルに基づいてコードを実行 ◦ Optunaのマニュアルを読ませて、パラメータ最適化のコードを実行させた 例 色々できる、AutoGen 26
• GroupChatという機能を用いて沢山の種類のエージェントを連携 色々できる、AutoGen 27 様々な役割を持つエージェントを連携 (例) • プランナー • コーダー
• 分析者 • 調査者
標準では文字を表示するだけで、サービスに組み込めない AutoGenをサービスに組み込むために 28 文字を表示するメソッドを継承し、履歴を残すカスタムクラスを作成
状態を持っているため、Azure Functions等のサービスに利用できない AutoGenをサービスに組み込むために 29 内部状態のロード/セーブの機構を追加で開発
LLM単独の汎用性ではできないことも多い中、Agentの仕組みで将来的には色ん な作業が自動化されていく まずは、AutoGenを使うことにより、非常に面白いことができそう! まとめ 30