Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
自発的にActionする(っぽい)AI Agentを常に稼働させている話
Search
Shota Totsuka
October 28, 2024
1
35
自発的にActionする(っぽい)AI Agentを常に稼働させている話
Shota Totsuka
October 28, 2024
Tweet
Share
More Decks by Shota Totsuka
See All by Shota Totsuka
Amazon Novaを使用した蒸留
totsukash
2
37
SageMaker AIワークフローのあれこれ紹介
totsukash
1
36
Vertex AIで画像分類タスクのデータセットを準備する
totsukash
0
32
Text-to-SQLで自然言語から構造化データを取得する
totsukash
2
60
トークナイザーの仕組みを少しだけ深ぼって理解する
totsukash
0
28
Bedrockエージェントから見るAI Agentとその挙動
totsukash
1
27
SageMaker Ground Truthでトレーニングデータセットを構築する
totsukash
0
11
Dify|基礎から最新アップデートまでをサラッと紹介
totsukash
7
1.7k
Bedrockのモデル評価
totsukash
3
330
Featured
See All Featured
Designing Experiences People Love
moore
139
23k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
KATA
mclloyd
29
14k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Making Projects Easy
brettharned
116
6k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
960
Building Better People: How to give real-time feedback that sticks.
wjessup
366
19k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
Facilitating Awesome Meetings
lara
51
6.2k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Transcript
自発的にActionする(っぽい)AI Agentを 常に稼働させている話 戸塚 翔太 2024.10.28 ©Blueish 2024. All rights
reserved.
AIがリアクション(だけ)する時代は終わった。 これからはアクションさせよう! ©Blueish 2024. All rights reserved.
興味がありそうなNewsを通知してくれるbot (深夜も構わず送ってくる) ©Blueish 2024. All rights reserved.
01 最近考えていること 02 botの構成 03 技術構成 04 課題 05 今後やりたいこと
目次 ©Blueish 2024. All rights reserved.
自己紹介 ©Blueish 2024. All rights reserved. 戸塚 翔太 Shota Totsuka
・Software Engineer(Go/Python/TypeScript) ・生成AI, 機械学習 ・趣味: ウィンタースポーツ, LLM Agents ・静岡県(浜松)に住んでます 近くの方がいれば、一緒に勉強会しましょう! Xアカウント @totsukash
会社紹介 ©Blueish 2024. All rights reserved. 会社名 株式会社BLUEISH 代表者 為藤アキラ
設立 2018年2月9日 所在地 〒106-0046 東京都港区元麻布3丁目1-35 VORT元麻布 5F 事業内容 ・WEBシステム開発 ・スマートフォンアプリケーション開発 資本金 10,000,000円
01 最近考えていること ©Blueish 2024. All rights reserved.
©Blueish 2024. All rights reserved. • 「この記事を要約して」など毎回指示するのがめんどくさい ◦ プロンプト入力はもちろん、URLなどinputを渡すこともめんどくさい •
LLMが自発的に稼働して勝手に進めてくれないか • 人間がサボるとAIもサボる(稼働しない) 情報収集がめんどくさい ① 最近考えていること
©Blueish 2024. All rights reserved. • LLMを使用して自律的にタスク を行うシステム • LLMが計画を立て、ツール(関
数)を使い、タスクをこなす AI Agentとは ① 最近考えていること https://www.pinecone.io/learn/langgraph-research-agent/
©Blueish 2024. All rights reserved. • 人間とAIの違いは何か? ◦ 実は人間も、日々の大量のinputをもとにリアクションしているだけでは? ◦
AIにも大量のinputを常に与え続ければそれっぽくなるのでは? ◦ 自分と同じ量のinputを与えてみよう ◦ 自分の行動を記録して真似(実装)しよう • 100%の精度は不要。60%でもいいからAIから人間に提案して欲しい ◦ 人間はそのタスクを始めるまでの一歩に時間がかかる ◦ Human-in-the-Loopのように人間のフィードバック/作業を含めることが前提 どうやってActionさせるか? ① 最近考えていること
©Blueish 2024. All rights reserved. • A Survey on Large
Language Model based Autonomous Agents ◦ https://arxiv.org/abs/2308.11432 • AutoGPT ◦ https://github.com/Significant-Gravitas/AutoGPT • (他参考になりそうな記事がある場合は教えていただけると嬉しいです) 参考 ① 最近考えていること
©Blueish 2024. All rights reserved. botの構成 02
©Blueish 2024. All rights reserved. ② botの構成
©Blueish 2024. All rights reserved. 技術構成 03
©Blueish 2024. All rights reserved. • Python3 • gemini-1.5-flash-002 /
gpt-4o-mini ◦ LiteLLMにて各ProviderのAPI呼び出しInterfaceを統一 • Firecrawl/JinaAI(Reader) • 今後取り入れたい,検証したいもの ※重複する機能あり ◦ LangGraph(JS/TS) ◦ LangSmithでログ収集 ◦ Slack連携以外をDifyに切り出す 言語・モデル ③ 技術構成
©Blueish 2024. All rights reserved. 課題 04
©Blueish 2024. All rights reserved. • LLMのRateLimit ◦ RSSアプリの都合上瞬間的に大量に送られることがあるため、現在はキューイ ングで対応。割り当て上限の引き上げも検討
• 料金 ◦ geminiが安いが、それでも1万円/月 は超えそう • 精度 ◦ 通知されたNewsしか確認しておらず、全てを評価できていない ◦ 個人に最適化されており、複数人での使用に最適化できていない 現在の課題 ④ 課題
©Blueish 2024. All rights reserved. • LLMが不要と判断した情報が「本当に不要だったか」の評価 • LLMの呼び出し回数が多すぎる場合にどこまで評価できるか •
自分に必要となる情報が変わった時に取得する情報も切り替えられる仕組み 今後の課題 ④ 課題
©Blueish 2024. All rights reserved. 今後やりたいこと 05
©Blueish 2024. All rights reserved. • Slack/LINE/Discord/メール などのテキストメッセージ • Xのタイムライン情報
• PCの操作ログ • …etc 人間が取得している情報をできるだけ多くLLMへ渡し、先回りして行動できるAgentを 作りたいと思っています。 人間と同じ量のイベントをLLMに ⑤ 今後やりたいこと
©Blueish 2024. All rights reserved. • 0→1フェーズの事業立ち上げ ◦ 2024年〜新規事業:業界特化型AIワークフローBPaaS 「Omni
Workspace」の開発をスタート ◦ IVS2024 KYOTO「Generative AI 起業家ピッチ」準優勝 ◦ シードラウンドで3億円の資金調達を実施 • 経験豊富なメンバーで開発 ◦ 役員の5/8がCTO・CIO経験者 ◦ Google、マイクロソフト出身のメンバーを迎え、更に体制強化中 • 最先端のAI技術を積極的に活用 AIエンジニア、フルスタックエンジニア、コーポレート エンジニア、SREなどのポジションで積極的に採用中! 採用について 【Wantedly】
ご清聴ありがとうございました。 ©Blueish 2024. All rights reserved.