AIエージェント時代の可能性と実践 #AIエージェント_findy

2025年3月4日に開催されたFindyさん主催の「LayerX 名村さんに聞く！2025年AIエージェント時代の可能性と実践」で発表した資料です。

https://findy.connpass.com/event/344929/

Transcript

1. AIエージェント時代の 可能性と実践 Suguru Namura Software Engineer @ LayerX 2025-03-04
2. 自己紹介 ~ 2016 - 株式会社サイバーエージェント 各種サービスやメディアの開発・立ち上げ ~ 2022 - 株式会社メルカリ サービス開発、CTO、サービス立ち上げなど ~ 現在 - 株式会社 LayerX Enablement担当、最近は事業者向けの Agent 開発
3. 今の役割と状況 Enabling Team - エンジニアや社内の Enablement を担当 - エンジニアの生産性向上、LLMを活用した社内支援など CEO室 - 事業上緊急性の高い事案を技術的解決と共ににアプローチしていく - AI Agent は注力技術
4. 今日話すこと LayerXにおいて、AIエージェントに実践している中で 得られた知見や、考えていることを話します。
5. 注意 一般的なソフトウエアエンジニアです 機械学習や LLM, AI Agent のエキスパートではありません 各種周辺技術を網羅的に使い倒しているわけではありません
6. AIエージェントとは ..?
7. AI エージェント とは..? AIエージェントとは、特定のタスクや目標を達成するために 自律的に行動し、意思決定を行うことができる AIシステムを指します。 By Claude 3.7 Sonnet
8. なぜ AI エージェント？
9. なぜ AI エージェント ..? LLMによって ソフトウエアが「考える力」を手にした ↓ ソフトウエアの能力が限界突破した
10. 今までのソフトウエア プログラム 定義された 入力 定義された 出力
11. プログラムって何だっけ？ CPUが理解できる命令の集合体 プログラミング言語は、CPUへの命令（機械語）を人間が 理解しやすいように記述できる言語 順序性・論理性 が成立している必要がある
12. LLMを使ったソフトウエア LLM 予測不要な 入力 予測可能な 出力
13. 予測不要な入力とは ... LLMはベクトルで理解するので 入力に順序性や論理性が必須ではない LLMが出力するベクトルの 元になる文書や画像があれば良い
14. LLMの概念を理解する Transformer Explainer https://poloclub.github.io/transformer-explainer/
15. 文書や画像を雰囲気で認識する 人間みたい AI Agent
16. 予測不要な入力に対応したことで ソフトウエアに対する考え方が 根本的に変わった
17. いままで これから 順序性・論理性を持った形に 必ず変換する必要があった （プログラミング） 順序性・論理性が 必須ではなくなった
18. データのあり方も変化した
19. いままで これから スキーマ定義を行い 構造化されたデータでなければ 処理が難しかった 確定的なスキーマがない 曖昧な状態でも 処理できるようになった
20. ソフトウエアは プログラミング から 指示 の時代へ
21. AIエージェントを取り巻く技術
22. プログラミング言語について LLM関連はデータや機械学習の扱いもあり、Pythonベースの技術とエコシス テムが多い ex. LangChain, LlamaIndex, … 一方で、AIエージェントはインタラクティブなUIも必要。Web上で展開する場合 は Typescript ベースで実装するほうがシンプルかつ協力なアプリケーション を構築できる
23. 個人的には Web は Typescript が オススメ
24. エージェントフレームワークを参考に 必要な技術要素を見ていく
25. mastra.ai https://mastra.ai/
26. Model Routing Workflow Tool Memory RAG Evaluation
27. Model Routing 利用したいモデルがプロンプトごとに違ったとしても、統一的なインターフェイス で利用できるルーティング機能 Model Routing Workflow Tool Memory RAG Evaluation
28. Workflow Graph エージェントが各プロンプトなどを実行し、結果を得る 複雑なエージェントになると、複数のプロンプトや処理を組み上げていくので、 依存関係の管理が大変になる ワークフローエンジンがあると、そのあたりの実装がかなり楽になる Model Routing Workflow Tool Memory RAG Evaluation
29. Tool LLMが Tool Call に対応している場合、どのような対応ツールがあって、どの ような状況でそれを使うかを管理する必要がある Model Routing Workflow Tool Memory RAG Evaluation
30. Agent Memory エージェントが一連の処理をしていく中で保持する記憶領域 LLMはトークンの制限があるので、エージェント用のメモリが必要 過去のプロンプトとその結果を保持し、後々の処理で過去の会話から関連する 情報を引き出す Model Routing Workflow Tool Memory RAG Evaluation
31. RAG ベクトルデータの記憶領域 エージェントはベクトルを使った検索が最適なことが多いので、エージェントが 必要となるデータをトークン化(ベクトル)して格納しておく Chunking, Embedding して保存する Model Routing Workflow Tool Memory RAG Evaluation
32. Evaluation LLMの結果などの評価が必要になる 軽量なLLMを使って、実際に得られた結果にハルシネーションが起きていた り、事実と違う結果になっていないか、などの評価を実施し、メトリクスを記録す る Model Routing Workflow Tool Memory RAG Evaluation
33. エージェントのシステム上の役割 AIエージェント RAG Agent Memory Service A Service B Service C Agent Memory
34. エージェントのシステム上の役割 「指示」に対して、エージェントが適切なツール・データを選定し、考えて取得す る 指示を完遂するために - データの発見しやすさ - ツールの発見しやすさ、わかりやすさ が重要になってくる
35. エージェントの設置場所 デスクトップ アプリ ブラウザ拡張 サーバー
36. サーバー データへのアクセス可能 バックグラウンド処理 LLMへの指示を隠蔽できる デプロイが容易 利用者のOS・デバイスを問わない 認証情報や個人情報を取得・保 管しなければならない ネットワークの状態に依存する 設置したサイト上でしか利用でき ない Pros Cons
37. ブラウザ拡張 配布が簡単 ブラウザ・デバイスの 認証情報を使える あらゆるWebページに統合できる オフラインでも使える インストールが必要 ブラウザごとに対応が必要 セキュリティ上警戒される Pros Cons
38. デスクトップ ネイティブアプリ 端末の情報が使える オフラインでも使える 端末上のアプリと連携できる ローカルモデルを実行できる 認証情報を取得・保管しなければ ならない 更新手段が必要 OSごとの対応が必要 Pros Cons
39. Prompt Observability プロンプト バージョン 入出力ログ 利用モデル レイテンシ 評価結果 トレースとの統合
40. AIエージェントの弱点
41. AIエージェントの弱点 コスト 不確実性 考える時間 モデルの更新
42. エージェントのセキュリティ
43. プロンプトインジェクション エージェントは指示に従順に動く プロンプトインジェクションを使ったエージェントハック - エージェントの持つシークレットを吐き出させる - エージェントの持つ権限を利用して攻撃をさせる - エージェントへの指示を抽出し、業務情報を得る
44. プロンプトインジェクションに対して考えうる対策 - プロンプトに投入する前に、悪意のある要素がないかチェックする - AIエージェントが機密情報を引き出せる能力を制限する（期間や手段） - 応答するレスポンスに対して、機密情報の有無などのチェックを実施する チェック手法には、軽量モデルを使うこともできる
45. 使った（使いたい）技術の紹介
46. AI SDK by Vercel https://sdk.vercel.ai/ 言わずと知れた LLM のためのSDK 各種モデルの処理を汎用化している Web Frontend とサーバー実装が両方ある ストリーム処理やリアルタイムUIなどに対応・バックエンド・フロントエンドの繋 がりがシームレス AIエージェントにおいて間違いなく必須技術 Next.js と組み合わせると最強
47. Meilisearch https://www.meilisearch.com/ Rust製の軽量高速検索エンジン 日本語などの多言語対応をしている 初期設定などがない High Availability に対応していない
48. LlamaIndex.TS https://ts.llamaindex.ai/ LlamaIndex のTS版 LangChain よりRAG周辺の機能にまとまってて使いやすい Python版と比べると使える機能は少ない
49. Langfuse https://langfuse.com LLM のトレースやプロンプト管理を行うプラットフォーム Evaluation結果を保持したりプロンプトの品質管理ができる (今後使っていきたい)
50. LayerXにおける AIエージェントの実例
51. Sales Portal
52. 企業調査ツール
53. ガイドボット
54. スライド自動生成
55. 商談支援 架電仮説の作成 失注要因まとめ フォローアップ メール作成 商談情報 自動入力
56. LLMの登場で変化した Enabling の考え方の変化 エンジニア以外の職種は、非構造情報が多いため、対応が難しい事が多かっ たが、LLMによって対応範囲がかなり広がった 全職種 Enabling 全盛期
57. AIエージェントのこれから
58. モデルの進化 間違いなくモデルは今後 の３つの方向でそれぞれ進化し、異常な速度で発展していく 速い 安い 頭良い
59. LLMの限界とマルチモーダル LLMはあくまでも言語モデルなので、言語の表現能力が限界になる マルチモーダルが進化してビジョンや音声などが発展してくると、人間の認識能 力を超えた能力を発揮するはず
60. ソフトウエアエンジニアのこれから
61. ソフトウエアエンジニアはどうなっていくのか 機械語がコンピュータを動かすところは変わらないが、人間がロジックを機械語 にするための言語を扱う必要性は減っていく いかに優秀な ベクトル を作れるかが、これからのニュータイプな ソフトウエアエンジニアになっていくはず。
62. AIエージェント開発に興味のある方 https://jobs.layerx.co.jp/1accdd370bae8011a26ad9748bf3803d LayerXではAIエージェント開発に興味がある方を絶賛採用中です！ 興味のある方・もっと深く知りたい方は、是非上記のURLから応募いただけると 幸いです
63. ありがとうございました