Strands Agents で実現する名刺解析アーキテクチャ

20250723_JAWS-UG東京 Strands Agents Meetup
Fusic 大宮の資料です。
Strands Agents について、Google CSE / Pineconeを活用したカスタムToolの紹介をしています。

Transcript

1. ©Fusic Co., Ltd. 0 Strands Agentsで実現する名刺解析アーキテクチャ 〜Upstage×CSE×Pinecone〜 2025.7.23 大宮 佑仁 @_Svva110vvtai1_ omiya@fusic.co.jp JAWS-UG東京 Strands Agents Meetup
2. ©Fusic Co., Ltd. 1 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに
3. ©Fusic Co., Ltd. 2 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに
4. ©Fusic Co., Ltd. 3 はじめに 1
5. ©Fusic Co., Ltd. 4 自己紹介 はじめに 大 宮 佑 仁 ( 2 2) Y U J I N O M I YA 株式会社Fusic 前職 ： 陸上自衛隊 システム部隊（運用保守） 得意 ： 敬礼、謝罪、腕立て 保有資格 ： 情報処理安全確保支援士（合格） All AWS Certifications Engineer 2025 LPIC level 2
6. ©Fusic Co., Ltd. 5 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに
7. ©Fusic Co., Ltd. 6 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに
8. ©Fusic Co., Ltd. 7 概要と構成 ２
9. ©Fusic Co., Ltd. 8 作ったモノ概要 概要と構成 略
10. ©Fusic Co., Ltd. 9 作ったモノ概要 概要と構成 名刺を読み取り - 人物と会社の概要 - 関心のありそうなイベント情報 - 関心のありそうなニュース情報 - 関連するFusicの開発事例 を出力する。 QRコードを読み取ると 出力結果のPDFをダウンロード
11. ©Fusic Co., Ltd. 10 作ったモノ概要 概要と構成 名刺を読み取り - 人物と会社の概要 - 関心のありそうなイベント情報 - 関心のありそうなニュース情報 - 関連するFusicの開発事例 を出力する。 QRコードを読み取ると 出力結果のPDFをダウンロード
12. ©Fusic Co., Ltd. 11 作ったモノ概要 概要と構成 名刺を読み取り - 人物と会社の概要 - 関心のありそうなイベント情報 - 関心のありそうなニュース情報 - 関連するFusicの開発事例 を出力する。 QRコードを読み取ると 出力結果のPDFをダウンロード Upstage の Information Extract で 画像から特定の情報を抽出 HTML/CSSをPDF変換し、 S3バケットへアップロード＆URL取得 カスタムTool：Googleカスタム検索 カスタムTool：Pineconeベクトル検索
13. ©Fusic Co., Ltd. 12 作ったモノ構成 概要と構成 Google CSEを用いたWEBの専門検索 ・名刺から抽出された氏名・会社名を元に、 Google Custom Search API を用いて 高精度な外部検索を行う。 ・検索対象は事前に定義したCSEエンジンに 限定することで、ノイズを減らす。
14. ©Fusic Co., Ltd. 13 作ったモノ構成 概要と構成 Google CSEを用いたWEBの専門検索 ・名刺から抽出された氏名・会社名を元に、 Google Custom Search API を用いて 高精度な外部検索を行う。 ・検索対象は事前に定義したCSEエンジンに 限定することで、ノイズを減らす。 人物・会社に関する信頼性の高い検索結果をAgentから取得
15. ©Fusic Co., Ltd. 14 作ったモノ構成 概要と構成 Pinecone による事例/イベント情報検索 ・ブース情報や関連トピックの提示は、 ベクトル検索エンジン Pinecone を使用 ・Embedding + ベクトル検索により、 「意味的に近い情報」を提示
16. ©Fusic Co., Ltd. 15 作ったモノ構成 概要と構成 Strands Agentsを知的な接着剤として活用 ・上記のようなTool群を単に実行するだけでなく、Agentが“接着剤”として機能し、 名刺の内容や文脈に応じて自然な流れでToolを呼び出し、結果を1つの整った出力に統合
17. ©Fusic Co., Ltd. 16 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに
18. ©Fusic Co., Ltd. 17 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに
19. ©Fusic Co., Ltd. 18 改善と応用 ３
20. ©Fusic Co., Ltd. 19 より良いAgentにするためには 改善と応用 1. 自律的なワークフローの実現 WEB検索においても、自律的、反復的にGoogle CSE検索を使用させる。
21. ©Fusic Co., Ltd. 20 より良いAgentにするためには 改善と応用 1. 自律的なワークフローの実現 WEB検索においても、自律的、反復的にGoogle CSE検索を使用させる。 2. 自然言語＋画像によるマルチモーダルな入力対応 「技術よりの提案を強めて」など、自然言語+名刺画像で出力結果をチューニング
22. ©Fusic Co., Ltd. 21 より良いAgentにするためには 改善と応用 1. 自律的なワークフローの実現 WEB検索においても、自律的、反復的にGoogle CSE検索を使用させる。 2. 自然言語＋画像によるマルチモーダルな入力対応 「技術よりの提案を強めて」など、自然言語+名刺画像で出力結果をチューニング 3. S3 vector, Bedrock AgentCore の活用 ・低コスト、多数のIndex作成 ・エージェント専用のインフラを利用
23. ©Fusic Co., Ltd. 22 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに
24. ©Fusic Co., Ltd. 23 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに
25. ©Fusic Co., Ltd. 24 おわりに ４
26. ©Fusic Co., Ltd. 25 まとめ Stradns AgentsでWEB検索を行う場合、CSE ×カスタムTool定義 の組み合わせが有効 Strands Agentsによって、各Toolを接着剤のように繋ぎ合わせることが可能 Point.01 Point.02
27. ©Fusic Co., Ltd. 26 Thank You https://recruit.fusic.co.jp/ @_Svva110vvtai1_ ご清聴いただきありがとうございました