「動くだけ」で終わらせない ― LLMアプリを継続的に改善・運用するための評価駆動開発

# LLMアプリ、とりあえず「動く」で止まっていませんか？

LLMを組み込んだアプリは、作った直後は「動く」ように見えても、
本番で使われ続ける中でこんな壁にぶつかります。

- なぜか精度が安定しない
- 改善したつもりが、別のところが壊れる
- そもそも「良くなったか」を判断できない

こうした "動くだけで止まる" 状態から抜け出す鍵が「評価駆動開発」です。

本セミナーでは、ヘルスケア領域でAIエージェントを内製開発・本番運用してきた
PharmaX CTO・上野彰大が、LLMアプリを **継続的に改善・運用し続けるための実践知** を、
現場で回してきた当事者の視点から解説します。

# こんな方におすすめ

- LLMを組み込んだプロダクト・機能を開発／運用している方
- テックリード、プロダクトエンジニア、AI/LLMアプリの開発責任者
- 「作ったものが "なんとなく動く" 止まりで、改善が回らない」課題を持つ方
- PM・EMとして、AI開発の進め方に課題を感じている方

# このセミナーで得られること

- LLMアプリが "PoC止まり・改善が回らない" に陥る典型パターンと抜け出し方
- 評価の設計 → 計測 → 継続改善のループを回す「評価駆動開発」の実践知
- 評価を「実装技術であり、プロジェクトを前に進める判断軸」として捉える視点

# タイムテーブル

| 時間 | 内容 |
| --- | --- |
| 18:30 - 18:35 | オープニング・登壇者紹介 |
| 18:35 - 19:00 | なぜLLMアプリは "動くだけ" で止まるのか |
| 19:00 - 19:40 | 評価駆動開発の実践知 ― 設計・計測・継続改善のループ（自社事例つき） |
| 19:40 - 19:55 | Q&A |
| 19:55 - 20:00 | クロージング |

※内容は変更となる場合があります。

# 登壇者

**上野 彰大（うえの あきひろ） / PharmaX株式会社 CTO**
[@ueeeeniki](https://x.com/ueeeeniki)

東京大学・IGPIを経て現職。ヘルスケア領域でAIエージェントを内製開発・本番運用。
2026年9月24日に『LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』
（翔泳社）を出版予定。

# 登壇者の書籍

『LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』（翔泳社）
2026年9月24日発売予定

▼ ご予約はこちら
https://amzn.asia/d/09bod0z6

Transcript

1. 「動くだけ」で終わらせない ― LLMアプリを継続的に改善・運用するた めの評価駆動開発
2. 自己紹介 上野彰大 PharmaX共同創業者・CTO/AX事業部長 書籍『LLMアプリケーション評価駆動開発』が発売予定 X：@ueeeeniki （C）PharmaX Inc. 2025 All Rights Reserve 2
3. 個人でも勉強会コミュニティ StudyCoも運営 （C）PharmaX Inc. 2025 All Rights Reserve 3
4. 自社としては LLMを中心に勉強会を月 1回程度開催 （C）PharmaX Inc. 2025 All Rights Reserve 4
5. 医療業界を横断する 2つの事業領域 BtoC/BtoB両事業でAIエージェントを実装することで患者満足度世界一の医療体験を実現 YOJO toC事業 AX toB事業 “まだ誰も見たことのない ”10Xな医療体験の実現 既存医療インフラの AIによる劇的なアップデート （C）PharmaX Inc. 2025 All Rights Reserve 5
6. 一生涯にわたって寄り添うかかりつけ漢方薬局「 YOJO」 相談型医療体験 パーソナライズ漢方薬 継続的なかかりつけ 医療アドバイザーに体調 のことをいつでも気軽に相 談できる 30種類以上の漢方薬からあ なたに合ったものを月毎に 提案 定期的に漢方をお届けし、 一人ひとりに寄り添うかか りつけ医療を提供 （C）PharmaX Inc. 2025 All Rights Reserve 6
7. YOJOで稼働する OTC医薬品相談 AIエージェント 患者さまからの一次対応をすべて AIエージェントが行う（裏側では 100近いのプロンプトが稼働） 基本的にはメッセージを自動送信し、必要があれば薬剤師に承認を求める 一次的な漢方選択や、こちらから送信する体調確認などもエージェントが自律的に作成 一次的な漢方選択なども行う AIが人に指示をするような体験 薬剤師に重要な 返信や判断の確認を依頼 ユーザー AIエージェント 薬剤師 薬剤師が返信する場合もある （C）PharmaX Inc. 2025 All Rights Reserve 7
8. 医療業界を横断する 2つの事業領域 BtoC/BtoB両事業でAIエージェントを実装することで患者満足度世界一の医療体験を実現 YOJO toC事業 AX toB事業 “まだ誰も見たことのない ”10Xな医療体験の実現 既存医療インフラの AIによる劇的なアップデート （C）PharmaX Inc. 2025 All Rights Reserve 8
9. OCR＋初期スクリーニングサービスの画面イメージ 大手調剤薬局様と PoC実施中 処方箋の有効期限 切れを検知 （C）PharmaX Inc. 2025 All Rights Reserve 9
10. 【AI基本処方監査】添付文書をもとにした処方監査 大手調剤薬局様と PoC実施中 公開情報等を使用した簡易的な疑義照会について PoC実績あり 処方箋画像 レセコン ①OCR ②連携 薬剤師 ④出力 ⑤確認 ③取得 疑義 医薬品添付文書等 （C）PharmaX Inc. 2025 All Rights Reserve 10
11. Agentic Workflow （C）PharmaX Inc. 2025 All Rights Reserve 11
12. YOJOにおける Agentic Workflow（フローエンジニアリング） • ①ルールベースで LLM処理可能かを 判定 • ②LLMで会話を分類し LLM処理可能 かを判定 ① • ③LLMで次のフェーズに移るべきかど 現時点では精度高く メッセージ提案できない ため薬剤師が対応 ② ④ ③ ⑤ うかを判定 • ④LLMでメッセージを作成 • ⑤LLMで作成されたメッセージを評価 （LLM-as-a-Judge）し、一定の水準を 下回ったら再生成して、クリアしたもの のみをサジェストする ※②〜⑤： GPT-4o （C）PharmaX Inc. 2025 All Rights Reserve 12
13. LangGraphで実際に構築したグラフ LangGraphで作成したグラフは mermaidで出力しテストにも使用している ルール1 ルール2 LLM-フェーズ切替 LLM-会話分類 LLM-メッセージ作成 _ 分類1 LLM-メッセージ作成 _ 分類2 LLM-メッセージ作成 _ 分類3 LLM-メッセージ作成 _ 分類4 （C）PharmaX Inc. 2025 All Rights Reserve 13
14. LangSmithによるトレーシング rule1 rule2 ① ・・・ ② ① ③ ② ④ ④ ③ ⑤ ⑤ ※②〜⑤： GPT-4o （C）PharmaX Inc. 2025 All Rights Reserve 14
15. LLMアプリケーション・ AIエージェントの評価 （C）PharmaX Inc. 2025 All Rights Reserve 15
16. AIエージェントの評価が必要な理由 評価と継続的な改善なくして価値あるアプリケーションを生み出すことは不可能 • AIエージェントの現在の価値を測定し、どうすればもっと価値あるものになるのかを把握するため ◦ 利益、ユーザーの評判や利用時間、クリック率などで評価することが重要 • ほとんどのアプリケーションでは、改善を繰り返さなければ真の成功にはたどり着かない ◦ リリース直後「一夜にして世界を変える」アプリケーションなどというのは夢物語 評価なきアプリケーション開発は暗闇でのゴルフの練習に等しい （C）PharmaX Inc. 2025 All Rights Reserve 16
17. 評価対象の 3レイヤー構造 L1→L2→L3の各層の改善が連鎖的に波及するよう、評価指標を設計し、定期的に検証するのが理想 レイヤー 1 レイヤー 2 レイヤー 3 プロダクト品質 ユーザーの体験品質・価値 ビジネスインパクト アプリケーションそのものが持つ内在的な品質 やポテンシャル 例：出力品質、機能要件、非機能要件、 設計品質 etc プロダクトがユーザーの元に届けられ、実際に使 われる中で生まれる価値 例：効果性、効率性、満足度、サポート品質、ブ ランド体験 etc プロダクトとユーザーの活動が最終的にビジネス 全体にもたらす成果 例：売上向上、コスト削減、市場シェア、 ROI、顧 客獲得数 エンジニアチーム プロダクト開発組織 事業部全体 （C）PharmaX Inc. 2025 All Rights Reserve 17
18. なにを評価すべきかはアプリケーションの目的次第 各層で何を評価すべきかのデザインはアプリケーションの目的や目指す方向性次第 • LLMアプリケーションを開発する目的、そのアプリケーションの用途や特性によって、評価すべき観点や項 目というのは千差万別であり、評価は非常に個別性の高い活動と言える ◦ 同じようなタスクでさえ、どのような側面を重んじるかで評価すべき観点は異なる ◦ ex. 「自社の製品に関する質問に回答するチャットボット」を考えてみても、それが社内だけで使われ るものなのか、ユーザーにも公開するものなのかで、評価すべき観点は異なる ？ （C）PharmaX Inc. 2025 All Rights Reserve 18
19. LLMベースのアプリケーション特有の評価の難しさ 識別（分類）問題や回帰問題と比較して自由度の高い出力の評価は難しい • 評価が必要なのは、 AIをまったく使わないアプリケーションや、従来の機械学習を用いたアプリケーション でも同様 • 一方で自由度の高い LLMの出力の評価は、分類問題などとは異なり、正解が 1つに定まるわけでないの で評価が難しい 以下の英文を読み、その内容を70~80字の日本 語で要約せよ。句読点も字数に含める。 識別 AIモデル 回帰 4 Table manners are as old as human society itself, the reason being that no human society can exist without them. The active sharing of food — not consuming all the food we find on the spot, but carrying some back home and then giving it out systematically — is believed, even nowadays, to lie at the root of what makes us different from animals. Birds, dogs, and hyenas carry home food for their young until they are ready to find for themselves, and chimpanzees may even demand and receive pieces of meat from other adults in their group. (Chimpanzees apparently exhibit this behaviour only on the occasions when they consume meat; their main, vegetable diet they almost invariably eat where they find it, without sharing.) Only people actively, regularly, and continuously work on the distribution of their food. This activity is based on and probably helped give rise to many basic human characteristics, such as family and community (who belongs with whom; which people eat together), language (for discussing food past, present, and future, for planning the acquisition of food, and deciding how to divide it while preventing fights), technology (how to kill, cut, keep, and carry), and morality (what is a fair portion?). The basic need of our stomachs for food continues to supply a good deal of the driving force behind all of human enterprise: we have to hunt for food, fight for it, find it, or sow it and wait for it to be ready; we then have to transport it, and distribute it before it goes rotten. It is in addition easier for us to consume food chopped, ground, cooked, or left to soften. Civilization itself cannot begin until a food supply is assured. And where food is concerned we can never stop; appetite keeps us at it. The active sharing out of what we are going to eat is only the beginning. We cannot help being choosy about our food: preference enters into every mouthful we consume. We play with food, show off with it, honour and despise it. The main rules about eating are simple: if you do not eat you die; and no matter how large your dinner, you will soon be hungry again. Precisely because we must both eat and keep on eating, human beings have poured enormous effort into making food more than itself, so that it bears multiple meanings beyond its primary purpose of physical nutrition. LLMモデル 食べ物を分け合う行為が人間を 動物と区別し、家族、言語、技術、 道徳などの基本的人間特性を生 み出した。人間は食べ物に栄養以 上の多重の意味を持たせてきた。 ―東京大学入学二次試験2022年英語 評価が比較的容易 評価が難しい （C）PharmaX Inc. 2025 All Rights Reserve 19
20. AIエージェントの危険性 識別（分類）問題や回帰問題と比較して自由度の高い出力の評価は難しい プロンプトエンジニアリングでどれだけ工夫をしても、 LLMの出力を完全には制御できず、予想もできない 大谷翔平に決まってんでしょ！ あんたバカァ？ 二刀流で活躍している 日本人メジャーリーガーは？ LLMモデル 不適切な表現 大谷翔平選手です。大谷翔平は、愛知 誤情報 県西春日井郡豊山町出身の 愛知県西春日井郡豊山町は イチロー選手の出身地 プロ野球選手です。 企業ブランドの著しい毀損や 法的なトラブルに繋がる危険性 大谷翔平選手です。大谷翔平は、現在 個人情報流出 Los Angels 1000 Vin Scully Aveに※1000 Vin Scully Aveは ドジャースタジアムの所在地 住んでいます。 開発したアプリケーションが信頼性や安全性を損なうような出力をしていないか、最低限守るべき品質基準を満 たしているかを、開発プロセスを通じて繰り返し評価・検証することが不可欠 （C）PharmaX Inc. 2025 All Rights Reserve 20
21. 評価用のプロンプトのイメージ LLMからのメッセージ提案を評価させるためのプロンプトを定義し、 LLMにLLMの評価をさせる 評価用プロンプト System User あなた(assistant)には、別のassistant(chat-assistant)のメッ セージを評価していただきます。 chat-assistantの最後の返答がどの程度下記の文章作成マニュ アルに従っているかで0〜100点のスコアを付けて下さい ## chat-assistantの前提 chat-assistantの役割は、PharmaX株式会社のYOJOという サービスのかかりつけ薬剤師です。健康や漢方の専門家とし て、常にユーザーの感情に寄り添いアドバイスをします。 ...（略） ## 文章のライティング方針 ・丁寧に対応する ・謝罪では絵文字を使わずに、文章だけで表現する ・難しい漢字はひらがなで書く ・細かい説明は箇条書きで書く ...（略） （C）PharmaX Inc. 2025 All Rights Reserve 21
22. LLM-as-a-Judgeの必要性 LLMアプリケーションの出力結果を LLMで評価することを LLM-as-a-Judgeという • LLMの出力を人が評価するのは、工数・コスト・速度の観点から限界があるので、LLMにLLMの 出力を評価をさせようというアイデア ◦ 人で評価する場合、異なる評価者の間で評価基準を一致させるのは難しいが、 LLMなら 可能 ◦ LLMであればプロンプトを作り込めば、専門家にしかできない評価も高精度にさせることが できる （C）PharmaX Inc. 2025 All Rights Reserve 22
23. Agentic Workflow（フローエンジニアリング）の評価 処理系全体の最終的な Outputも 評価する必要がある タスク A タスク B タスク C 人の承認を挟む 分類・計画 タスク 分岐 タスク D タスク E 途中から人が引き継ぐ 各タスクごとに Outputを 評価する必要がある タスク F （C）PharmaX Inc. 2025 All Rights Reserve 23
24. 評価がチームにもたらすもの 正しく評価ができればアプリケーションの価値の現在地と改善の方向性について客観的な議論ができる どの方向に向かうべきか ゴールはあっちだ！ 今どこにいるのか 正しい評価指標があれば、多くのステークホルダーが「なんとなく良い」のではなく、「客観的に良い」という判断 軸を手に入れることができ、リリースの判断や改善方法の議論がスムーズになる （C）PharmaX Inc. 2025 All Rights Reserve 24
25. 評価の3つの目的 まとめると評価には大きく分けて 3つの目的がある • 価値創出と向上の目的：アプリケーションが提供する価値を最大化し、ユーザー満足度やビジネスインパ クトを高めるため ◦ 独自の価値を追求し、ユーザーに「これが必要 !」と感じてもらえる体験を生み出す • 品質保証とリスク管理の目的：アプリケーションが最低限満たすべき品質基準を遵守し、潜在的なリスクを 回避するため ◦ 誤情報や有害な出力、システムダウンなど、ビジネスを脅かすリスクを未然に防ぐ • 合意形成と意思決定の目的：客観的なデータに基づき、チーム内外のステークホルダーと共通認識を築 き、リリース判断や改善の優先順位付けといった意思決定を円滑にするため ◦ 「リリースしてよいか」「次に改善すべきは何か」をデータに基づいて迅速に判断する 3つの目的は、それぞれが独立しているわけではなく密接に絡み合っている （C）PharmaX Inc. 2025 All Rights Reserve 25
26. AIエージェントの開発サイクルと LLMOps （C）PharmaX Inc. 2025 All Rights Reserve 26
27. AIエージェントの継続的改善サイクル 計画・設計 運用・オペレーション ・ 要件定義 ・実運用 ・ワークフローの設計 ・評価指標の決定 ・アノテーション 実装 リリース ・コーディング ・プロンプトエンジニアリング ＆パラメータ調整 ・ファインチューニング オブザーバビリティ ・ログ ・メトリクス（評価含む） ・トレース ・本番へのリリース リリース前評価・テスト ・データセット /テスト環境で の評価 各種シグナルの分析 ・異常の検知 ・原因の深堀り・特定 プロンプトやアプリケーションの変更履歴を紐づけて管理することが重要 （C）PharmaX Inc. 2025 All Rights Reserve 27
28. LLMOpsと従来の MLOpsの違い 必ずしもモデルのアップデートを伴わないため、改善サイクルを短くできるのが LLMOpsの特徴 MLOps LLMOps モデルアップデート ・モデルがアップデートされることが前提 ・新データ →再学習 →デプロイが中心 ・必ずしもモデルの再学習を伴わない ・プロンプト・パラメータ調整がメイン 主要な改善手法 ・データ収集・前処理 →モデル学習・評価 →再学習によるパフォーマンスの向上 ・プロンプトエンジニアリング ・パラメータ調整 ・RAG ・ファインチューニング等 評価の特徴 ・定量的指標中心（精度、 F1スコアなど） ・比較的客観的な評価が可能 ・出力が確率的で自由度が高い ・LLM-as-a-Judge等の新手法が必要 ・多面的評価（品質・安全性・コスト） 監視・観測の重点 ・モデルの変更履歴管理 ・本番でのモデル精度の評価 ・モデル精度の劣化の検知 ・プロンプト・パラメータ変更履歴管理 ・本番でのアウトプットの評価 ・予期せぬ挙動の検知 （C）PharmaX Inc. 2025 All Rights Reserve 28
29. オブザーバビリティの重要性 オブザーバビリティとは 複雑なシステムの内部状態を理解できる能力や仕組み • ログ (Logs): 特にLLMでは各タスクのインプット ・アウトプットの履歴情報が重要。詳細な状況分 析に利用。 • メトリクス (Metrics): システムやサービスの状 態を数値で表したデータ。健康状態・パフォーマ ンス指標の定量的な把握に利用。 • トレース (Traces): ワークフローをまたがるリク エストの処理経路やワークフローの問題特定に 利用。 異常を検知するだけでなく、「どこで何が起 こったのか」、「なぜ起こったのか」を把握す ることに重点がある https://github.com/cncf/tag-observability/blob/whitepaper-v1.0.0/assets/primary-signals.png （C）PharmaX Inc. 2025 All Rights Reserve 29
30. LLMアプリケーションにおけるオブザーバビリティの例 問い合わせ対応するAIチャットボットを運用していたとする、、、 • • • ログの活用 ：ユーザー質問と生成された回答のペアを分析し、「どんな種類の質問で的外れな回答が増え ているか」というパターンを発見可能 メトリクスの活用 ：評価の回答品質スコアの時系列変化を見ると、「先週火曜日の夕方から急激に品質スコ アが低下している」ことが判明する トレースの活用 ：回答生成の各ステップを追跡すると、「外部知識ベースへの接続が失敗している」「プロン プト前処理部分が正しく動作していない」といった具体的な処理の問題点を特定できる 3つの情報を組み合わせることで、、、 「先週のプロンプト更新でトークン節約のため説明文を短くしたところ、ナレッジベースを検索して回答に含めてく ださい』という重要な指示部分まで削除されてしまい、 LLMが社内データベースを参照せずに回答するようになっ た」という根本原因にたどり着ける 「チャットボットの回答品質が下がった」という現象を検知するだけでなく、「なぜ下がったのか」「ど のように修正すべきか」まで迅速に把握できる （C）PharmaX Inc. 2025 All Rights Reserve 30
31. LLMOpsの重要プラクティス抜粋 LLMOpsのプラクティスの中でも特に下記のようなものが重要なので後半でご紹介する • オブザーバビリティ（ログ・メトリクス・トレース） ◦ ログやメトリクスは従来のシステムに対する考え方の延長線上で理解・カバーしやすいの で、トレースに説明の重点を置く • プロンプトやパラメータを中心とする変更履歴管理 ◦ 従来の機械学習モデルと比較すると、学習を伴わないため変更することもそのものも履歴 の管理も非常に簡単になった ◦ 非エンジニア以外も変更可能にすることができれば改善速度がさらに向上 • 出力の評価 ◦ 従来の機械学習と比較しても自由度が高く、精度を評価しづらい＆多面的な評価が必要 ◦ 評価結果を定量的に表すことができれば、メトリクスの一種として捉えられる （C）PharmaX Inc. 2025 All Rights Reserve 31
32. トレーシングとプロンプト管理 （C）PharmaX Inc. 2025 All Rights Reserve 32
33. LangSmithによるトレーシング rule1 rule2 ① ・・・ ② ① ③ ② ④ ④ ③ ⑤ ⑤ ※②〜⑤： GPT-4o （C）PharmaX Inc. 2025 All Rights Reserve 33
34. LangSmithによるトレーシング rule1 rule2 ① ・・・ ② ① ③ ② ④ ④ ③ ⑤ ⑤ ※②〜⑤： GPT-4o （C）PharmaX Inc. 2025 All Rights Reserve 34
35. LangSmithによるトレーシング rule1 rule2 ① ・・・ ② ① ③ ② ④ ④ ③ ⑤ ⑤ ※②〜⑤： GPT-4o （C）PharmaX Inc. 2025 All Rights Reserve 35
36. LangSmithによるトレーシング rule1 rule2 ① ・・・ ② ① ③ ② ④ ④ ③ ⑤ ⑤ ※②〜⑤： GPT-4o （C）PharmaX Inc. 2025 All Rights Reserve 36
37. LangSmithによるトレーシング rule1 rule2 ① ・・・ ② ① ③ ② ④ ④ ③ ⑤ ⑤ ※②〜⑤： GPT-4o （C）PharmaX Inc. 2025 All Rights Reserve 37
38. LangSmithによるトレーシング ① rule1 rule2 ① ・・・ ② ③ rule1 rule2 ④ rule3 rule4 rule5 ⑤ （C）PharmaX Inc. 2025 All Rights Reserve 38
39. LangSmithによるトレーシング ② rule1 使用したprompt xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx rule2 ① ・・・ ② ③ ④ パラメータ model_name ⑤ xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx （C）PharmaX Inc. 2025 All Rights Reserve 39
40. LangSmithによるトレーシング ② rule1 rule2 ① ・・・ xxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx どんなinputのときに ③ xxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx ② ④ どんなoutputだったか ⑤ （C）PharmaX Inc. 2025 All Rights Reserve 40
41. プロンプト一覧 プロンプト名を選択 （C）PharmaX Inc. 2025 All Rights Reserve 41
42. プロンプトの履歴 Commitハッシュ （C）PharmaX Inc. 2025 All Rights Reserve 42
43. Playgroundでのプロンプトの実験 変数 （C）PharmaX Inc. 2025 All Rights Reserve 出力 43
44. プロンプトの比較機能 出力の比較 （C）PharmaX Inc. 2025 All Rights Reserve 44
45. パラメータ設定機能 （C）PharmaX Inc. 2025 All Rights Reserve 45
46. LangSmithによるトレースとプロンプト管理 LangSmithを活用することで Agentic Workflowの処理のトレースの可視化とプロンプトの履歴管理 • LangSmithを使うことで、処理の過程が記録されるため、どこでどのような出力がされて、どこ でなぜ処理が終了したのかが一目瞭然 ◦ ルールベース処理のようなLLMではない処理も記録することが可能 ◦ どのRunにどのプロンプトが使用されていたのか？ということも分かる • プロンプトやパラメータのバージョン管理もLangSmith上で行うことで、どのバージョンのときに どのような処理がされていたのかを後から確認することができる ◦ 開発者以外も含む複数人でプロンプト等を変更できるため、高速でPDCAを回すことが可 能になる ◦ 後述するオンライン評価でもどのタイミングでプロンプトやパラメータを変更したかを確認で きることは重要 （C）PharmaX Inc. 2025 All Rights Reserve 46
47. まとめ （C）PharmaX Inc. 2025 All Rights Reserve 47
48. まとめ AIエージェントで価値を届けるためには継続的に改善し続ける必要がある • エージェントを継続的に改善し続けるためには、評価し、LLMOpsのプラクティスを取り入れる必 要がある ◦ オブザーバビリティを担保し、プロンプトやパラメータなどのアプリケーションの変更履歴を 管理する必要がある ◦ 従来のアプリケーションと比較しても特にトレースや評価についての議論がホット • 評価を起点に開発を進める考え方を「評価駆動開発（Eval-driven development）」と呼ぶ （C）PharmaX Inc. 2025 All Rights Reserve 48
49. 『LLMアプリケーション評価駆動開発』という書籍を出版します • 評価の基本を網羅的に解説：評価の全体像から評価軸の考え方 まで丁寧に解説 • 幅広い評価のアプローチの解説：最新の評価手法である LLM-as-a-Judgeなども取り上げ、幅広い評価のアプローチを習 得することで、あらゆる場面で最適な評価手法を選択・活用できる 力を身につけられる • 評価・LLMOps実践力を身につけられる （C）PharmaX Inc. 2025 All Rights Reserve 49