AIエージェント開発のノウハウと課題

Transcript

1. 2025.3.4 #pharmax_tech_collabo AIエージェント開発のノウハウと課題
2. （C）PharmaX Inc. 2025 All Rights Reserve 2 自己紹介 上野彰大 PharmaX共同創業者・エンジニアリング責任者 好きな料理はオムライスと白湯とコーラ マイブームはLLMとRust X：@ueeeeniki
3. （C）PharmaX Inc. 2025 All Rights Reserve 3 個人でも勉強会コミュニティ StudyCoも運営
4. （C）PharmaX Inc. 2025 All Rights Reserve 4 自社としては LLMを中心に勉強会を月 1回程度開催
5. （C）PharmaX Inc. 2025 All Rights Reserve 5 医療アドバイザーに体調 のことをいつでも気軽に相 談できる 相談型医療体験 30種類以上の漢方薬からあ なたに合ったものを月毎に 提案 パーソナライズ漢方薬 定期的に漢方をお届けし、 一人ひとりに寄り添うかか りつけ医療を提供 継続的なかかりつけ 一生涯にわたって寄り添うかかりつけ漢方薬局「 YOJO」
6. （C）PharmaX Inc. 2025 All Rights Reserve 6 患者向けチャットシステムと薬剤師向け管理画面を自作 患者とのスムーズなコミュニケーション 薬剤師向け管理画面 チャット形式での診断・相談・購入 患者向けチャットシステム
7. （C）PharmaX Inc. 2025 All Rights Reserve 7 YOJOで稼働する OTC医薬品相談 AIエージェント 患者さまからの一次対応をすべて AIエージェントが行う（裏側では 100近いのプロンプトが稼働） 基本的にはメッセージを自動送信し、必要があれば薬剤師に承認を求める 一次的な漢方選択や、こちらから送信する体調確認などもエージェントが自律的に作成 薬剤師に重要な 返信や判断の確認を依頼 一次的な漢方選択なども行う 薬剤師が返信する場合もある AIエージェント 薬剤師 ユーザー AIが人に指示をするような体験
8. （C）PharmaX Inc. 2025 All Rights Reserve 8 YOJOにおけるAgentic Workflow（フローエンジニアリング） ① ② ④ • ①ルールベースでLLM処理可能かを 判定 • ②LLMで会話を分類しLLM処理可能 かを判定 • ③LLMで次のフェーズに移るべきかど うかを判定 • ④LLMでメッセージを作成 • ⑤LLMで作成されたメッセージを評価 （LLM-as-a-Judge）し、一定の水準を 下回ったら再生成して、クリアしたもの のみをサジェストする 現時点では精度高く メッセージ提案できない ため薬剤師が対応 ③ ⑤ ※②〜⑤： GPT-4o
9. （C）PharmaX Inc. 2025 All Rights Reserve 9 LangGraphで実際に構築したグラフ ルール1 ルール2 LLM-メッセージ作成 _ 分類4 LLM-会話分類 LLM-メッセージ作成 _ 分類1 LLM-メッセージ作成 _ 分類2 LLM-メッセージ作成 _ 分類3 LLM-フェーズ切替 LangGraphで作成したグラフはmermaidで出力しテストにも使用している
10. （C）PharmaX Inc. 2025 All Rights Reserve 10 LangSmithによるトレーシング rule1 ① ② ③ ④ ⑤ ・・・ rule2 ④ ⑤ ① ② ④ ③ ⑤ ※②〜⑤： GPT-4o
11. 11 （C）PharmaX Inc. 2025 All Rights Reserve Agentic WorkflowとAIエージェント
12. （C）PharmaX Inc. 2025 All Rights Reserve 12 プロンプト内に タスクの計画ルールや 選択肢を明示する Agentic Workflow（フローエンジニアリング）とは • Agentic WorkflowとはLLMの組み合わせをデザインし、目的とする処理系を作り上げること • 途中で人が対応することがあってもいい • Agentic Workflowのようにワークフローを組むパターンはエージェントと呼ばないのでは？という指摘もある 分類・計画 タスク タスクA タスクB タスクC タスクD タスクE タスクF 分岐 人の承認を挟む 途中から人が引き継ぐ 分類・計画結果に よって分岐させる
13. （C）PharmaX Inc. 2025 All Rights Reserve 13 プロンプト内に タスクの計画ルールや 選択肢を明示する Agentic Workflow（フローエンジニアリング）の評価 分類・計画 タスク タスクA タスクB タスクC タスクD タスクE タスクF 分岐 人の承認を挟む 途中から人が引き継ぐ 各タスクごとに Outputを 評価する必要がある 分類・計画結果に よって分岐させる 処理系全体の 最終的な Outputも 評価する必要がある
14. 14 （C）PharmaX Inc. 2025 All Rights Reserve AIエージェント開発のコツ
15. （C）PharmaX Inc. 2025 All Rights Reserve 15 AIエージェント開発のコツ① 自動化したい業務があればまずは自分たちがやってみる 参考：https://note.com/dory111111/n/ncab810c5fc21 • 社内で誰もやったことのない業務は自動化できないと思うべ し • YOJOでもすでに薬剤師さんの業務はマニュアル化されてお り、それをAIに置き換えるだけだった ◦ 漢方の選択軸や文章のライティングマニュアルなど非常 に詳細なものが作られていた • 「AIに業務を教えれば勝手に学ぶ」という世界がいずれ来な いわけではないと思うが、現時点ではワークフローを構築した り、プロンプトを工夫したりをする必要がある
16. （C）PharmaX Inc. 2025 All Rights Reserve 16 AIエージェント開発のコツ② まずは業務をしている方にサジェストすることから始めることも要検討 • PharmaXのYOJOでは、薬剤師さんにメッセー ジをサジェストするところから始めた ◦ 一番最初はボタンを押すとメッセージが作 成される仕組み ◦ すでに業務をされている方の心理的ハード ルを下げるためにも重要 • サジェストした結果に対して FBを集めて精度を 向上させる
17. （C）PharmaX Inc. 2025 All Rights Reserve 17 一気にすべてのフローを自動化するのではなく、分割して一部の業務から自動化する AIエージェント開発のコツ③ 自動化の簡単さとインパクトとを秤にかけて、費用対効果の高いところから順番に自動化する
18. （C）PharmaX Inc. 2025 All Rights Reserve 18 タスクA&B&C プロンプト内に タスクの計画ルールや 選択肢を明示する AIエージェント開発のコツ④ 分類・計画 タスク タスクD タスクE タスクF 分岐 人の承認を挟む 途中から人が引き継ぐ 分類・計画結果に よって分岐させる • 各タスクは業務の塊の単位で分割する ◦ 最初は大きな粒度で設計して、精度が低ければプロンプトを分割する • 人の確認・承認を挟む必要がある場合に確実に人を挟めるようにするにはフローを設計するのが確実
19. 19 （C）PharmaX Inc. 2025 All Rights Reserve AIエージェント開発の今後のトレンド
20. （C）PharmaX Inc. 2025 All Rights Reserve 20 複数業務・ツールをまたいだ AIエージェントの実現 候補者の選定からスカウトの送信というまで一連のワークフローを自動化してくれる 参考：https://algomatic.jp/news/release_recruta-ai_20250130
21. （C）PharmaX Inc. 2025 All Rights Reserve 21 AIエージェントは SaaSを飲み込むか • AIエージェントがSaaSを操作するようになると、SaaSのUI/UXは人の使用を前提としていた時 ほどは競争優位性ではなくなる可能性はある ◦ SaaSは所詮データベースのラッパーに過ぎないと考えることもできる ◦ 社内業務用のSaaSを考えると、どのSaaSを使っても必要なデータが貯まれば同じという 考え方もできるようになる ◦ 一方で、人材系のマッチング（スカウト）ツールのように DBの量や質そのものに差がある 場合には、これまで通り十分価値になり得る • 既存SaaSをまたがって業務を自動化するAIエージェントの開発競争が始まる可能性 ◦ browser useやcomputer useもしばらくは安定しない上にどうしようもない業務の複雑 さは存在するので、少なくとも1〜2年程度は開発力による使い勝手の差分は発生すると 予想 browser useやcomputer useによりAPI連携せずとも複数ツールをまたいだ操作の自動化が可能に
22. （C）PharmaX Inc. 2025 All Rights Reserve 22 Anthropicのポケモン生配信による computer/browser useのデモ • 利用可能なボタン操作は、 上，下，左，右 ，A，B，START，SELECT • アクションを選択する際にはどの アクションを取るのかを思考して 決定する • ゲーム内のメモリ値を渡している のではなく、画面の画像を渡して いる Claude 3.7 Sonnetにポケモンを使ってプレイさせ、ジムリーダー 3人の撃破に成功した
23. （C）PharmaX Inc. 2025 All Rights Reserve 23 Computer/browser Useの課題 期待も大きいComputer Use/browserだが、実運用するには課題も多い • 現実的には動作速度もかなり遅く、ポケモンのプレイの例では、 17時間かかって（2つ目の街である）ニビ シティまでしか進んでいなかった ◦ ポケモンの例では拡張思考モードが使われており、次の行動を選ぶのに熟考を繰り返している ◦ 実際にcomputer useを使う場合には、PCを占有してしまうことになるので、処理速度の向上や仮想 環境での並列化などが求められる • コストの課題もまだ大きく、人の業務を代替させられるかはかなり怪しい水準 ◦ ポケモンの例では、3人目のジムリーダー撃破までに推定 35,000回以上のアクションを実行してお り、相当なコストがかかっているとされている • 視覚認識の精度や文脈の理解もまだ不安定なのでミスも多い ◦ Computer/browser Useでもワークフローを組む方法は引き続き有効
24. （C）PharmaX Inc. 2025 All Rights Reserve 24 computer/browser useは従来のRPAと同じ問題を抱えている 参考：https://x.com/tokoroten/status/1895737514046210356 computer/browser useはある程度のルールを与えたとしても画面を操作してしまうため非常に危険 AIエージェント＝computer useではない認識 従来のRPAにはなかった 柔軟性を獲得できることを 目指そうとすると、 ワークフローと自律判断のバ ランスが重要
25. 25 （C）PharmaX Inc. 2025 All Rights Reserve We're hiring!!! • AXカンパニーのカンパニーCTO • AXカンパニーのPdM などを募集しております！！ 医療・ヘルスケア業界で AIエージェントを実装していく toB事業を行うAXカンパニーを立ち上げました