Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Langsmith入門 トレーシングとプロンプト管理を試す

Avatar for ttnyt8701 ttnyt8701
February 26, 2025
Programming
1
120

Langsmith入門 トレーシングとプロンプト管理を試す

【AI Agent #10】今から理解するLangSmith
https://blueish.connpass.com/event/359716/

【AWS活用 AI/ML/LLM #4】機械学習/大規模言語モデルのモニタリング、保守、セキュリティ
https://blueish.connpass.com/event/346463/
Avatar for ttnyt8701

ttnyt8701

February 26, 2025
Tweet

More Decks by ttnyt8701

See All by ttnyt8701
ObsidianをMCP連携させてみる
Avatar for ttnyt8701 ttnyt8701
2
140
Claude Codeの使い方
Avatar for ttnyt8701 ttnyt8701
1
130
FastMCPでMCPサーバー/クライアントを構築してみる
Avatar for ttnyt8701 ttnyt8701
2
140
LangChain Open Deep Researchとは？
Avatar for ttnyt8701 ttnyt8701
2
81
Vertex AI Agent Builderとは？
Avatar for ttnyt8701 ttnyt8701
3
110
A2A(Agent2Agent )とは？
Avatar for ttnyt8701 ttnyt8701
1
290
Amazon Bedrock LLM as a Judgeを試す
Avatar for ttnyt8701 ttnyt8701
1
27
Amazon Sagemaker Jump Startを用いて爆速でモデルを作成してみる
Avatar for ttnyt8701 ttnyt8701
2
60
Amazon SageMaker Lakehouseでデータのサイロ化による課題を解決する
Avatar for ttnyt8701 ttnyt8701
1
33

Other Decks in Programming

See All in Programming
来たるべき 8.0 に備えて React 19 新機能と React Router 固有機能の取捨選択とすり合わせを考える
Avatar for Yuka O’oka oukayuka
2
810
生成AIコーディングとの向き合い方、AIと共創するという考え方 / How to deal with generative AI coding and the concept of co-creating with AI
Avatar for shiro seike seike460
PRO
1
320
データの民主化を支える、透明性のあるデータ利活用への挑戦 2025-06-25 Database Engineering Meetup#7
Avatar for Kentaro Yoshida y_ken
0
260
GoのGenericsによるslice操作との付き合い方
Avatar for syumai syumai
2
660
「ElixirでIoT!!」のこれまでとこれから
Avatar for takasehideki takasehideki
0
370
AWS CDKの推しポイント 〜CloudFormationと比較してみた〜
Avatar for アキキー akihisaikeda
3
280
TypeScript LSP の今までとこれから
Avatar for Yosuke Kurami quramy
1
510
型付きアクターモデルがもたらす分散シミュレーションの未来
Avatar for Takatomo Torigoe piyo7
0
800
コード書くの好きな人向けAIコーディング活用tips #orestudy
Avatar for Hiromi Hishida 77web
3
320
今ならAmazon ECSのサービス間通信をどう選ぶか / Selection of ECS Interservice Communication 2025
Avatar for Tetsuya Kikuchi tkikuc
11
2.6k
iOSアプリ開発で 関数型プログラミングを実現する The Composable Architectureの紹介
Avatar for yimajo yimajo
2
210
Javaに鉄道指向プログラミング (Railway Oriented Pro　gramming) のエッセンスを取り入れる/Bringing the Essence of Railway-Oriented Programming to Java
Avatar for takumi.okamoto cocet33000
2
580

Featured

See All Featured
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
52
7.6k
StorybookのUI Testing Handbookを読んだ
Avatar for Shingo Yamazaki zakiyama
30
5.8k
Understanding Cognitive Biases in Performance Measurement
Avatar for Philip Tellis bluesmoon
29
1.8k
JavaScript: Past, Present, and Future - NDC Porto 2020
Avatar for David Neal reverentgeek
48
5.4k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
Avatar for Michelle Schulp Hunt marktimemedia
31
2.4k
Facilitating Awesome Meetings
Avatar for Lara Hogan lara
54
6.4k
Adopting Sorbet at Scale
Avatar for Ufuk Kayserilioglu ufuk
77
9.4k
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
614
210k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
Avatar for Marc Duiker marcduiker
30
2.1k
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
1
340
Visualization
Avatar for Eitan Lees eitanlees
146
16k
How to train your dragon (web standard)
Avatar for Monica Dinculescu notwaldorf
92
6.1k

Transcript

  1. LangSmith入門🔰 トレーシング・プロンプト管理を試す 立野 祐太 ©BLUEISH 2025. All rights reserved.

  2. 立野 祐太 Yuta Tateno 普段はOCRやRAGを用いたアプリケーション開発に従事しています エンジニア 自己紹介 ©BLUEISH 2025. All

    rights reserved.

  3. ©BLUEISH 2025. All rights reserved. 目的 LangSmithの機能・導入のイメージを掴んでもらう

  4. ©BLUEISH 2025. All rights reserved. 目次 1. LangSmithについて a. 主な機能

    b. なぜ必要なのか c. その他特徴 d. プラン比較 e. Langfuseとの比較 2. LangSmithを試してみる a. トレース b. プロンプト管理 3. まとめ

  5. ©BLUEISH 2025. All rights reserved. LLMアプリケーション開発での課題 LLMは非決定的であり、非確実性を伴い品質担保が困難 出力を監視し継続的な評価が必要 👉 LangSmithを利用

  6. ©BLUEISH 2025. All rights reserved. 🦜⚒LangSmithとは LLMアプリケーションの開発の開発運用を支援するツール

  7. ©BLUEISH 2025. All rights reserved. 主な機能 ❏ オブザーバビリティ トレーシング、メトリック、アラート ❏

    評価 　　 データの収集・管理、継続的な自動評価 ❏ プロンプト管理 プロンプトの管理、テスト

  8. 非決定性の課題を改善 1. トレーシングによって入出力を分析 2. 継続的に出力を評価＆改善し、出力の非決定性を最小化し品質を担保 ©BLUEISH 2025. All rights reserved.

  9. ©BLUEISH 2025. All rights reserved. その他特徴 ❏ フルマネージド・セルフホストどちらも対応 ❏ 個人利用であれば無料枠がある

    ❏ フレームワークに依存しない ❏ LangChain・LangGraph環境だと簡単に導入できる

  10. ©BLUEISH 2025. All rights reserved. プラン比較

  11. ©BLUEISH 2025. All rights reserved. LangSmithとLangfuseの簡単な比較 引用: LangChainから使用する LangSmithとLangfuseの詳細比(https://zenn.dev/aidemy/articles/13ceca39b0ea6c) ※

    Enterpriseプラン (最上位プラン )に加入することでセルフホストも可能 どちらもLLMアプリケーションの開発・運用・改善を支援するツール

  12. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる 簡易的なチャット機能を構築

  13. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる LangSmithを導入。 HPにアクセスしサインアップ

  14. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる APIキーを発行

  15. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる 環境変数をアプリケーションに設定

  16. ©BLUEISH 2025. All rights reserved. LangSmithを試してみる 以上、環境変数を設定するだけでLangSmithが使えるようになる

  17. ©BLUEISH 2025. All rights reserved. トレース チャットでやり取りをして、トレースされているか確認する

  18. ©BLUEISH 2025. All rights reserved. トレース 環境変数で設定したプロジェクト単位で監視

  19. ©BLUEISH 2025. All rights reserved. トレース 個々のやり取りのトレースが記録

  20. ©BLUEISH 2025. All rights reserved. トレース 入力プロンプトと生成された出力、メタデータ

  21. ©BLUEISH 2025. All rights reserved. トレース アプリ全体としてモニタリング

  22. ©BLUEISH 2025. All rights reserved. トレース 可視化して確認できる

  23. ©BLUEISH 2025. All rights reserved. プロンプト管理 プロンプト管理を使ってみる

  24. ©BLUEISH 2025. All rights reserved. プロンプト管理 プロンプトを作成。想定する変数、モデルを指定してプロンプトの出力をテスト

  25. ©BLUEISH 2025. All rights reserved. プロンプト管理 プロンプトテンプレートを保存。LangSmith上で管理できる。

  26. プロンプトの変更をコミット履歴で管理 ©BLUEISH 2025. All rights reserved. プロンプト管理

  27. ©BLUEISH 2025. All rights reserved. プロンプト管理 保存したプロンプトはアプリケーションに簡単に呼び出せる

  28. ©BLUEISH 2025. All rights reserved. まとめ LangSmithはLLMアプリケーションの開発・運用・改善を支援し、簡単に導入できること がわかった