Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
今、知っておきたい! 生成AIエージェントの世界
Search
Elith
April 05, 2024
Programming
3
940
今、知っておきたい! 生成AIエージェントの世界
Next in LLM 〜大規模言語モデルの研究ト レンドから未来を考える〜 #3
で登壇した時の資料です。
Elith
April 05, 2024
Tweet
Share
More Decks by Elith
See All by Elith
【W&B ミートアップ#19】AI エージェントは何に使うべきか - エージェント周りの分類の整理と利用すべき場面 -
elith
0
240
【Elith開催】ITSC 2024論文発表ウェビナー
elith
0
12
[ECCV2024読み会] 衛星画像からの地上画像生成
elith
1
1.1k
生成AI グローバルトレンド実務で活かす新規事業構築の5つの方法
elith
0
140
マルチモーダルLLMがもたらすビジネス革新と技術解説
elith
2
700
LLMに医療知識をつけるには
elith
5
1.5k
放射線分野の問題をLLMに解かせてみた
elith
1
720
Data Is All You Need
elith
0
230
[CVPR 2023 論文紹介]Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
elith
0
470
Other Decks in Programming
See All in Programming
複雑なフォームと複雑な状態管理にどう向き合うか / #newt_techtalk vol. 15
izumin5210
4
2.7k
PHPでお金を扱う時、終わりのない 謎の1円調査の旅にでなくて済む方法
nakka
3
980
‘무차별 LGTM~👍’만 외치던 우리가 ‘고봉밥 코드 리뷰’를?
hannah0731
0
520
Firebase Dynamic Linksの代替手段を自作する / Create your own Firebase Dynamic Links alternative
kubode
0
170
Going Structural with Named Tuples
bishabosha
0
160
AI時代のプログラミング教育 / programming education in ai era
kishida
22
20k
自分のために作ったアプリが、グローバルに使われるまで / Indie App Development Lunch LT
pixyzehn
1
120
研究開発と実装OSSと プロダクトの好循環 / A virtuous cycle of research and development implementation OSS and products
linyows
1
190
SideKiqでジョブが二重起動した事象を深堀りしました
t_hatachi
0
220
フロントエンドテストの育て方
quramy
8
2.4k
Develop Faster With FrankenPHP
dunglas
2
2.3k
PsySHから紐解くREPLの仕組み
muno92
PRO
1
510
Featured
See All Featured
Making Projects Easy
brettharned
116
6.1k
Documentation Writing (for coders)
carmenintech
69
4.7k
Testing 201, or: Great Expectations
jmmastey
42
7.4k
Optimizing for Happiness
mojombo
377
70k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
Site-Speed That Sticks
csswizardry
4
450
The Cult of Friendly URLs
andyhume
78
6.3k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.4k
Speed Design
sergeychernyshev
28
860
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
30k
Mobile First: as difficult as doing things right
swwweet
223
9.5k
Transcript
I Next in LLM 〜大規模言語モデルの研究ト レンドから未来を考える〜 #3 今、知っておきたい! 生成AIエージェントの世界 株式会社Elith
I 2 アジェンダ 本日は下記アジェンダに沿ってお話させていただきます ▪ Elithについて ✔ 登壇者自己紹介 ✔ 会社概要
✔ 案件ポートフォリオ(一部)のご紹介 ▪ 生成AIエージェントについて ✔ 生成AIエージェントとは ✔ 研究事例 ✔ ビジネス活用事例 ✔ 今後の動向
I 3 Elithについて
I 4 Elithについて_登壇者自己紹介 井上 顧基 Inoue Koki ファウンダー& CTO 【略歴】
• 北陸先端科学技術大学院大学にて、量子コン ピュータの材料探索にかかる研究で修士号を 取得 • 大手部品メーカーへ新卒入社後、AIベンダー などを経てAI開発に関わる多様な業務を経験 • 起業と同時期に、東北大学医学系研究科に進 学し、医学物理分野での医療AI研究に従事中 (博士後期課程) • 医学物理のトップカンファレンスである AAPMで採択された実績あり 【AIをはじめたきっかけ】 • 自己の深淵を探究したいという欲求が昔からあった • 更なる自己の真髄を解明するために、人間への敬意を基 盤とした医学的観点と、人間の機能を模倣するAIの工学 的観点の双方から、人間存在の神髄に迫ろうと考えた 本日はCTOの井上からElithにかかる研究/ビジネス事例をご紹介いたします。 AI資格試験の 企画支援・ 書籍/論文執筆の 実績
I 5 Elithについて_会社概要 Elithは『オートクチュ々ルなAI開発を通じてAIを身近な存在に変え、 ビジネスの加速と資本サイクルの活性化を実現する』ことをミッションとし、 AI受託開発/研究コンサルティングなど幅広い事業を展開しています ミッション 事業内容 ①AI受託開発 ②研究
コンサルティング ③自社サービス • POCからデプロイにかかる開発 をワンストップでご支援 • 顧客の課題解消に向けたオート クチュールなAI開発が可能 • 開発チームへの研修や弊社技術 顧問(書籍/論文執筆の実績あり) による伴走型ご支援 • 医療音声データセット販売 • 画像生成AIアプリケーション • 手話AI 東京大学・松尾研 究発スタートアッ プとして高い技術 力を持つ企業 社会貢献に寄与す る意思を持った 人材 様々な業界におけ る企業課題に対し、 AIによるソリュー ションを提供し、 ビジネスを加速
I 6 Elithについて_案件ポートフォリオ(一部)のご紹介 多様な業種の企業にソリューションをご提供。SX事例としてクライアントの成長に持続的に 寄与しています ソリューションテーマ 利活用 LLM* 画像AI AI教育/
アドバイザリー クライアント業種 製造・ インフラ 金融 医療 メディア 生成AI ✔ 画像説明文作成 ✔ 大手自動車メーカー ✔ 開発期間:2023年10月~現在 ✔ M&A契約書にかかる文書生 成 ✔ 外資系ファンド ✔ 開発期間:2023年9月~現在 ✔ カルテ形式の文書分類 ✔ 医療事業部門(インフラ) ✔ 開発期間:2023年11月 ~2024年1月 ✔ 広告文書生成 ✔ 大手広告会社 ✔ 開発期間:- ✔ マルチモーダルLLM構築 ✔ 大手自動車メーカー ✔ 開発期間:2023年10月~現在 ✔ 金融特化LLM構築 ✔ 証券会社 ✔ 開発期間:- ✔ 放射線特化LLM構築 ✔ 東北大学・藤田医科大学 ✔ 開発期間:2023年10月~現在 ✔ ドメイン特化型画像生成モ デル作成 ✔ 自社サービス ✔ 開発期間:2023年3月~現在 ✔ 製造工程における異常検知 システム構築 ✔ 機器メーカー ✔ 開発期間:2023年4月~ ✔ 会計文書読み取りOCRシス テム構築 ✔ M&A業界企業 ✔ 開発期間: 2022年12月~現 在 ✔ 放射線治療向け臓器セグメンテ ーションAI開発 ✔ 東北大学 ✔ 開発期間:2023年6月~現在 ✔ 広告クリエイティブ性能評 価AI開発 ✔ 広告代理店 ✔ 開発期間:- ✔ 高度専門機械学習講座 ✔ 大手自動車メーカー ✔ 開発期間: 2023年11月~2024年1月 ✔ AI開発アドバイザリー ✔ 外資系ファンド ✔ 開発期間:- ✔ 深層学習ライブラリ医療AI 向け講座 ✔ 東北大学 ✔ 開発期間: 2023年5月~現在 ✔ AI部署導入にかかる伴走型 支援・教育 ✔ 大手広告会社 ✔ 開発期間:- *: Large Language Models(大規模言語モデル)。大量データとディープラーニング技術によって構築された言語モデルを指す :提供済/中 :契約調整中
I 7 生成AIエージェントについて
I 8 生成AIエージェントについて_AIエージェントとは 生成AIエージェント(デジタルヒューマン)はLLMにより人間に近い学習プロセス・意思決 定プロセスを有しており、外部環境においてもチューニングを伴わない活動が可能 現状版との差異 基本構造 想定 活動環境 学習
プロセス 生成AIエージェント 既存のエージェント • 外部環境においても、 膨大なWeb知識イン プットによるチュー ニングを伴わない活 動が可能 • 特定環境でのみ活動 することを想定 • 外部環境での活躍に はチューニングが必 要 • LLMにより、人間に 近い学習プロセス・ 意思決定プロセスを 保有し • インタラクションに 対して継続的な学習 を行う • 人間による正解付け や報酬を設定し、学 習を行う • 報酬設計のため、単 純な問題に帰着しが ち 環境 知覚 学習 行動
I 9 生成AIエージェントについて_研究事例 2023年の5月に生成AIエージェントの研究は加速し、 現在は基幹技術・応用技術合わせて200本以上の研究論文が存在 技術分類 基幹技術 応用技術 テーマ 自己反省型モデル
• テキストを報酬とする強化学習 • 短期・中期記憶を用いてテキストを評価に変換 概要 曖昧な指示解決型モデル ※1 協力型モデル • エージェント間で自律的な協力を促す • エージェント間で役割分担させ、タスクを進行 • 曖昧な指示ではユーザに問い合わせる • 曖昧性を解消することで性能向上が見込まれる 人間のシミュラクラ (なりきり)※2 視覚情報を活用したナビ ゲーション Webタスクの遂行 • 「ポケモン」をプレイするAIエージェントを開発 • テキスト形式で強化学習を実施(対人勝率5割) • 言語指示で多様なWebタスクを遂行するAIエージェ ントを開発(情報収集などに活用可能) • 画像・言語情報によるナビゲーションをこなす AIエージェントを開発 ※1:Qian, C., He, B., Zhuang, Z., Deng, J., Qin, Y., Cong, X., ... & Sun, M. (2024). Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents. arXiv preprint ※2: Hu, S., Huang, T., & Liu, L. (2024). Pok¥'eLLMon: A Human-Parity Agent for Pok¥'emon Battles with Large Language Models. arXiv preprint
I 10 生成AIエージェントについて_ビジネス活用事例 ケーススタディ的に、医療・ヘルスケア・教育などの分野における生成AIエージェントの実 装事例が蓄積されつつある状況 電子カルテの 自動生成 テーマ • 他病院への紹介状/病歴/入院中の経過等
にかかる書類作成時間の膨大化により、 本来注力すべき業務に割く時間が短くな っていた クライアントの課題 生成AIエージェ ントによる介護 モニタリング 学習支援 コールセンター 業務の 自動対応 • LLMを医療用データベースを活用しFine-Tuningするこ とによって、電子カルテ・退院サマリの作成を自動化 することで、医師の労働時間を削減(医師1人当たり、 年間約116時間) ソリューション/バリュー • 慢性的な人材不足な介護業界では、高 齢者1人1人としっかりと向き合って 会話する時間を確保することが難しく うつ病/認知症の進行が加速していた • 介護モニタリングと呼ばれる高齢者の健康状態や、生 活状況の面談を対話AIで自動化 • 対話AIの活用により介護モニタリングの時間を7割削減 • 性格や能力の異なる学習者に対して、 1人1人のレベルに合わせたカスタマ イズされた教育プランの提供 • 性格の異なる様々な教育用のLLMエージェントを適切 に学習者と結びつけて、フィードバックやサポートを 通して、専門知識の効率的な学習を促進 • コールセンター要員にかかる人的コス トの膨大化・対応品質のばらつきが顕 在化していた • チャットボットの活用(複数言語に対応)による24時間対 応を実現し、品質向上・人的コストの削減を達成 • LLMエージェントに架空の「お客さま」に成り切っても らうことによって、様々な状況下を想定した研修が可能
I 11 生成AIエージェントについて_今後の動向 123のステップを踏まえ、生成AIエージェントは今後大規模な技術的進歩・社会課題の解決 を実現すると想定しております Step1:マルチモーダル エージェント化の推進 Step2:実社会 シミュレーションへの活用 Step3:実社会への浸透
概要 • 現在の人工知能は主にテキ ストベース • 視覚、音声、ロボットによ る物理的働きかけが重要に • 人工知能の記号と実世界の対 応付け(記号接地問題)が必 要 • 現在のLLMは一人の人間を模 倣するには知識が膨大すぎる • 現在のLLMエージェントは人 間の正しい価値観を模倣 • 多様な価値観を持つLLMの必 要性 • より少ない知識量のエージェ ント開発が必要 • AIアライメントの多様化が必 要 • 人間を模倣する生成AIエージ ェントが働く社会 • 人間が人間として本質的な活 動のみ行う • 生成AIエージェントを受け入 れる法整備が必要 課題