Azure OpenAI Service Dev Day / LLMでできる！使える！生成AIエージェント

https://azureai.connpass.com/event/319491/

Transcript

1. LLMでできる！使える！生成AIエージェント 株式会社ジェネラティブエージェンツ 西見 公宏 Azure OpenAI Service Dev Day / Breakout Track #2 Generative Agents, Inc. / Masahiro Nishimi
2. 西見 公宏（にしみ まさひろ） 株式会社ジェネラティブエージェンツ代表 #アジャイル開発 #生成AI #顧問CTO #新規事業IT #中学生からプログラマ #富士山の麓に移住 生誕〜／ゲーム開発 1983年 兵庫生まれ／東京育ち 中学生時代からプログラミング に親しみ、CGIによるWebサー ビス開発やDirectXを利用した 同人ゲーム開発などを行う。初 めて触ったのはC言語。 起業／Web制作 2001年頃からWebデザイナー として活動開始 法人向けWebサイトの受託制 作からスタートし、法人向け CMS、デザインテンプレート の開発／提供を行う。 就職／大規模開発 顧問CTO／サービス開発 現在／生成AI 2008年〜TIS株式会社 財務会計領域を中心にERPコン サルタントとして従事。金融か ら製造業まで経験。大規模デー タから会計仕訳を自動生成する 仕組みのソリューション化。 2011年〜株式会社ソニックガーデン 設立期に1人目社員としてジョイ ン。顧問CTOとして企画から開発ま で従事。アジャイル開発特化。2015 年に取締役就任。年間100件以上の 新規事業相談に対応、PJ立ち上げ。 2024年〜株式会社ジェネラティブ エージェンツ創業：AIエージェン ト書籍の上梓をきっかけにAIエー ジェント活用事例の展開を加速す るため3人の共同創業者と共に新会 社を設立。事業拡大に奔走中。 https://my.prairie.cards/u/mah_lab #助成金メンター #講師業 2023/12/16発売！ 有限会社エッジドエッジ代表プログラマ 合同会社てにをはCTO Unicorn farm主催Startup Advisor Academy認定 山梨県地域課題解決型起業支援事業2023メンター サウナ・スパ健康アドバイザー #専門誌連載 #書籍執筆 ▼MBTI 　ENFP（外向、直観、感情、知覚的態度） ▼ストレングスファインダー 　最上志向、収集性、戦略性、未来志向、適応性 ▼趣味 　サウナ、焚き火、子どもと遊ぶこと、安い店で飲むこと マイパーソナリティ #Ruby #子ども3人 #イヌ
3. 会社名 株式会社ジェネラティブエージェンツ （英文：Generative Agents, Inc.） 所在地 東京都港区 ※ 全社員リモート勤務 役員構成 CEO 西見 公宏 COO 吉田 真吾 CTO 大嶋 勇樹 設立年月 2024年3月14日 事業内容 AIエージェントによるBPaaSの提供／生成AIを活用し たソフトウェア開発／技術顧問、AIエージェントに関 わるコミュニティ運営、法人向けコンサルティング AIエージェントによるBPaaSの提供 複雑な業務管理を自律的におこなうLLMエージェントサービスを提 供します。独自のワークフローエンジンと複数プロフィールを設 定したマルチエージェントシステムが御社のワークフォースとし て業務を遂行します。 生成AIを活用したソフトウェア開発支援 AIエージェントの開発技術をコアに、生成AIを活用したソフトウェ ア開発をレンタルCAIO（最高AI責任者）として支援します。 株式会社ジェネラティブエージェンツ - 会社概要 AIエージェントが「ハブ」となり 人間とAIエージェントの協働が 当たり前になる世界を実現する
4. 代表取締役CEO / Founder 西見 公宏 Masahiro Nishimi 事業会社の顧問CTOとして活動するソフトウェア開発のスペシャリス ト。AIエージェントを経営に導入することにより、あらゆる業種業態の 生産性を高めるための活動に尽力している。 「その仕事、AIエージェントがやっておきました。――ChatGPTの次に 来る自律型AI革命」（技術評論社）単著、Software Design「実践LLMア プリケーション開発」（技術評論社）連載。 主な著書 『その仕事、AIエージェントがやっておきました』 取締役COO / Co-founder 吉田 真吾 Shingo Yoshida AWS Serverless Heroとして日本におけるサーバーレスの普及を促進。 「ChatGPT/LangChainによるチャットシステム構築［実践］入門」（技 術評論社）共著、「Azure OpenAI ServiceではじめるChatGPT/LLMシス テム構築入門」（技術評論社）共著、「AWSによるサーバーレスアーキ テクチャ」（翔泳社）監修、「サーバーレスシングルページアプリケー ション」（オライリー）監訳、「AWSエキスパート養成読本」（技術評 論社）共著。ChatGPT Community（JP）主催 主な著書 『ChatGPT/LangChainによるチャットシステム構築［実践］入門』 『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門 　エンジニア選書』 取締役CTO / Co-founder 大嶋 勇樹 Yuki Oshima 大規模言語モデルを組み込んだアプリケーションやAIエージェントの開 発を実施。 個人ではエンジニア向けの勉強会開催や教材作成など。オンラインコー スUdemyではベストセラー講座多数。 「ChatGPT/LangChainによるチャットシステム構築［実践］入門」（技 術評論社）共著。勉強会コミュニティStudyCo運営。 主な著書 『ChatGPT/LangChainによるチャットシステム構築 ［実践］入門』 運営メンバー
5. 本日のテーマ 1. 生成AIエージェントとは何か？ 2. 私たちの現場でどう使えるの？ 3. 活用していくための課題とは？ 何となくAIエージェントの 利用用途が見えてくる
6. 生成AIエージェントとは？
7. 人がいちいち指示をしなくとも、 自分でやることを考えて、 様々なツールを活用して 目標に向かってタスクをこなしていく AIの仕組みのこと AIエージェントとは？
8. 身近なAIエージェント
9. エージェント AIエージェント LLMベースの AIエージェント （LLMエージェント） 自律的に動作し目的達成を目指すソフトウェアの総称。ルールベースのエキ スパートシステムから、AIを活用する高度なエージェントまで幅広く含む。 機械学習アルゴリズムを用いて訓練されたモデルを活用するエージェント。 教師あり学習や強化学習などの手法により、パターン認識や意思決定を行 う。適応性と汎用性に優れる。 大規模言語モデル(LLM)を活用し、自然言語処理を高精度で行う最先端のAIエー ジェント。大量のテキストデータを用いた自己教師あり学習により、言語に関 する広範な知識を獲得し、複雑なタスクを処理できる。LLMの登場により、言 語に関わる幅広い分野でAIエージェントの性能が飛躍的に向上している。 ※エキスパートシステム: 特定分野の専門知識をルールベースで表現し、推論を行うシステム。 ※教師あり学習: 入力データとそれに対応する正解ラベルを用いてモデルを訓練する機械学習の手法。 ※自己教師あり学習: ラベル付けされていない大量のデータを用いて、モデル自身が入力データの一部をマスクし、マ スクされた部分を予測することで、言語の構造や文脈を学習する手法。正解ラベルを明示的に必要としない。 生成AIエージェント/LLMエージェントの位置付け
10. 個性（Profile） 記憶（Memory） 計画（Planning） 行動（Action） 担当するタスクにおける役割 AIエージェントとしての性格 文脈を捉えるための短期記憶 教訓を活かすための長期記憶 タスク実行のためのタスクばらし 結果や教訓からの再プランニング タスク実行のための具体的な行動 コード生成、画像生成、検索など 生成AIエージェントを構成する4つの要素
11. 25人の生成AIエージェントをスモールビル（Smallville）と呼ばれ る仮想的な町に住まわせることにより、AIエージェント同士でど のような創発が生まれるかを観察したプロジェクト。 住民が自発的に他の住民をパーティーに誘ったり、パーティー当 日のためのカフェの飾り付けを共同で行ったりした観察結果に基 づき、論文では生成AIエージェント同士が創発的に協働し合うこ とのできる可能性が示された。 生成AIエージェントによる社会シミュレーション Generative Agents
12. 生成AIエージェント同士の協働によって架空のソフトウェア開発 会社を作ってしまおうという試み。Generative Agentsは生成AI エージェント同士の協働によって何が起こるのかという社会シ ミュレーションがテーマだった一方、ChatDevは協働によって一つ の成果物を作り上げる仕組みを作ることがテーマ。 論文では、ChatDevはソフトウェア開発のプロセス全体を7分以内 で完了でき、大規模言語モデルによる思考プロセスを実行するた めのOpenAIへのAPI使用料は1ドル未満のコストしかかからなかっ たと報告されている。 生成AIエージェントが経営するソフトウェア開発会社 ChatDev
13. 私たちの現場でどう使えるの？
14. 人がいちいち指示をしなくとも、 自分でやることを考えて、 様々なツールを活用して 目標に向かってタスクをこなしていく そのような性質の度合いのこと エージェントらしさ（Agenticness）とは？
15. 人間による部分的な管理下において、複雑な目標を、複雑な環境で、適応的に達成する度合い OpenAI『Practices for Governing Agentic AI Systems』より 「現在の通常のAI」と「AIエージェント」には明確な境界があるのではなく、 以下の4つの性質が強いほどAIエージェントらしいと言える。 目標の複雑さ 環境の複雑さ 適応性 独立した実行 複雑で広範な目標を達成できるほどエージェントらしい 多くの環境、利害関係者、外部ツールの関係が必要なほどエージェントらしい ルールベースの対応だけでなく、予期しない状況に対応できるほどエージェントらしい 目標の達成までの人間の加入が少ないほどエージェントらしい エージェントらしさ（Agenticness）とは？
16. 生成AI 生成AI プロンプト プロンプト AIエージェント 生成AI活用 ユーザーは「プロンプト」（生成AIへの入力文）を用いて生成AIに指示を出し、望みの結果を得る。 AIエージェントの活用 ユーザーがAIエージェントに依頼を出すと、AI自身がプロンプトを生成して望みの結果を得られるように動作する。 生成AI活用とAIエージェント活用はどのように違うのか？
17. 内部向け 外部向け 創造的タスク 定型的タスク 意思決定支援 新規事業アイディエーション ペルソナによる製品シミュ 成果物生成 提案書作成／報告書作成 マーケットリサーチ 業務アシスタント 日程調整や資料検索 成果物レビュー カスタマー エンゲージメント 顧客支援のための AIエージェント いろいろな顧客と話してみた結果から見えた、現時点の生成AIエージェントへのニーズ AI for Imagination（博報堂） https://www.hakuhodo.co.jp/news/newsrelease/109174/ 汎用AIアシスタント（Copilot Studio / Microsoft） https://www.microsoft.com/ja-jp/microsoft-copilot/micr osoft-copilot-studio LIVEX.AI AI Sales Agent https://livex.ai/products#ai-sales-agent Patent Pal（特許出願支援ツール） https://patentpal.com/
18. 内部向け 外部向け 創造的タスク 意思決定支援 新規事業アイディエーション ペルソナによる製品シミュ 成果物生成 提案書作成／報告書作成 マーケットリサーチ 業務アシスタント 日程調整や資料検索 成果物レビュー カスタマー コミュニケーション タレント人格の チャットボット化 そのニーズを満たすために、私たちが取り組んできた生成AIエージェント リサーチエージェントを ベースとしたシミュレー ション、成果物生成エー ジェント開発 Agentic RAGをベースとした アシスタントエージェント 開発 外部向け 創造的タスク 定型的タスク
19. 生成AIエージェントのアーキテクチャ 基本アーキテクチャ Agentic RAG 現状理解 計画 ツール実行 評価・修正 出力 環境 記憶 リサーチエージェント ユーザー要求を、ユーザーのコンテキス トにあわせて拡張し、いかにして明確な 目標を作り出すかがポイント。 ・Passive Goal Creator ・Active Goal Creator Agenticの観点では、検索性能の出るク エリをいかにして動的生成するかがポイ ント。ただし、そもそも検索性能の悪い エンジンに対してクエリを工夫しても しょうがないので、どちらかというと、 そもそも検索の性能に着目する方が期待 する効果が出やすかったりする。 ・Retrieval Augmented Generation 初期に定義した目標からズレない成果物 をいかにして作り出すか。ユーザーがそ のまま利用できる成果物であることが重 要。 ・Tool/Agent Registry Passive Goal Creator、Active Goal Creator、Retrieval Augmented Generation、Tool/Agent RegistryはLiu et al. (2024)のエージェントデザインパターンカタログによる、AIエージェ ントの設計パターン名を表しています。https://arxiv.org/abs/2405.10467
20. いわゆるワークフローと生成AIエージェントの違い ワークフロー 生成AIエージェント • ユーザーが自分の手で個々の処理をフローとして繋 ぎ合わせ、作成する • 決められた通りに動作するため安定性が高い • ワークフローは増え続けるため、保守に注意が必要 • 生成AIエージェントがユーザーの要求に応じてオンデ マンドでワークフローを生成する • ユーザーの要求を達成するフローが必ず生成される とは限らないため、新しいマネジメントが必要
21. Slack kintone ※MTG書き起こしデータなど データ検索基盤 開発 イシュー 完了した イシュー 完了 レポート データ抽出 お問い合わせ 提案書 人間が生成するデータに影響を与える 案件 お仕事 組織に実装 情報発信 認知 アセット化 Github 社内で活躍する生成AIエージェント
22. 業務に特化したソフトウェアの在り方が変わる アジャイルによる業務アプリケーション 生成AIエージェントベースのアプリケーション • 変化する業務にあわせアプリを更新し続ける • 要件通りに動作するため安定性が高い • ただし継続的な開発が必要となるためランニングコ ストは高くなり、突発的なニーズには対応しづらい • 生成AIエージェントがユーザーの要求に応じてオンデ マンドでワークフローを生成、処理を実行する • AIによる推論のため安定性は低いが、正解ケースを 「ふりかえり」を通じDBに保存することで成功率を 高める ソフトウェア API API API ビジネスの変化に対応するため ソフトウェアは継続的に 開発し続ける必要がある API API API 「ふりかえり」による 自己学習により 自律的にノウハウを形成 入力スキーマを渡せば 自動的にAPI接続できる APIの繋ぎ込みには 開発が別途必要
23. 更に生成AIエージェントを活用していくための課題
24. Environment（環境） Perception（知覚） Brain（思考） Action（行動） ビジネス環境におけるデータ を知覚できるか？ LLMによって思考しやすい データ形式になっているか？ ビジネス環境に適したデータ に変換できるか？ ビジネス環境に対して、AIエージェントがどうワークできるか？
25. Environment（環境） Perception（知覚） Brain（思考） Action（行動） ビジネス環境におけるデータ を知覚できるか？ LLMによって思考しやすい データ形式になっているか？ ビジネス環境に適したデータ に変換できるか？ ビジネス環境に対して、AIエージェントがどうワークできるか？ 日本の業務現場特有の ファイルデータの解釈が できない （全角のあとに半角スペース、セル 結合だらけのExcel。。）
26. Environment（環境） Perception（知覚） Brain（思考） Action（行動） ビジネス環境におけるデータ を知覚できるか？ LLMによって思考しやすい データ形式になっているか？ ビジネス環境に適したデータ に変換できるか？ ビジネス環境に対して、AIエージェントがどうワークできるか？ 成果物として通用するフォー マットで出力して欲しい （マークダウンは求めていない）
27. エージェントのケイパビリティのレバレッジポイントはどこにあるのか？ 生成AIによって変化する ビジネスモデルについて レポートして ユーザー AIエージェント プログラムコードの生成／実行 インターネットや データベースからの情報収集 大規模言語モデルによる思考 ファイルの読み込み／書き出し アウトプットとなる 成果物 生成AIによって変化する ビジネスモデルは以下の 通りです...
28. コードの生成？ Open Interpreter、OpenAI Advanced Analysisのアプローチ ユーザーの要求に対し、オンデマンドでコード を生成・実行することでエージェントのケイパ ビリティを拡張するアプローチ。 生成されたコードのサンドボックス実行を支援 するサービスも増えてきている。 https://e2b.dev/ https://www.openinterpreter.com/
29. Environment（環境） エージェントツール いかにエージェント向けのツールを整備するかがイシュー Brain（思考） LLMによって思考しやすい データ形式になっているか？ 知覚のための ツール群 出力のための ツール群
30. 人間が様々なソフトウェアを駆使して 仕事を進めていく AIが様々なソフトウェアを駆使して 仕事を進めていく 人間中心設計からAI中心設計へ？ 人間がソフトウェアを使うのではなく、 AIがソフトウェアを扱う世界へのパラダイムシフト
31. （参考）チャットボット、エージェント型システム、ソフトウェアシステムの棲み分け 柔軟性 確実性 ユースケース チャットボット 高 低 不定型な業務の叩き台を作成する目的で使用する （例：メール文例作成、提案書アイデア生成） エージェント型 高 中 多様な業務処理を繋ぐハブとして使用する 要件の定まっていないタスクをAIと協力して進める ソフトウェアシステム 低 高 定まった要件を確実に実行するために使用する
32. まとめ • AIエージェントの業務応用ニーズとして「成果物生成」「カスタマー コミュニケーション」「意思決定支援」「業務アシスタント」がある • 業務AIエージェントは業務環境の情報を知覚できなければならない • 業務環境は多岐に渡るサービス間連携や商習慣に基づく独自のファイ ル構造によって構成されるため、これらの情報をいかにLLMが咀嚼で きる状態に変換するかが業務AIエージェント活用のイシューになる ◦ Microsoftなどのプラットフォーマーが有利なポイントがここ • コード生成能力を活かすことも重要だが、そもそもAIエージェントが 活用できるツールのバリエーションが増えることが重要になる
33. 終わりに：一緒に生成AIエージェントを盛り上げていきましょう！ • 生成AIエージェント導入に向けて検討されて いる企業さま、ぜひご支援させてください。 会場内でお声がけ頂けると大変嬉しいです。 QRコードから飛べるお問い合わせフォームか らも、もちろんご相談受け付けております。 • 生成AIエージェント開発・ビジネス開発に関 心のある方、ぜひ一緒に取り組みましょう！ ビジネス開発、エージェント開発、体験設計 など、あらゆるポジションがあります。 https://www.generative-agents.co.jp/
34. 告知
35. 8月16日（金）にメルカリさんと共催でLangChain Meetupを開催します！ 詳細＆イベントページは 3週間前にはX上で告知します
36. 8月22日（木）にAIエージェント本の徹底解説回をStudyCoでやります！ 詳細＆イベントページは 3週間前にはX上で告知します
37. X、フォローしてください！ https://x.com/mah_lab
38. ご清聴ありがとうございました