Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
Search
chimuichimu
December 19, 2024
3
1.1k
PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
chimuichimu
December 19, 2024
Tweet
Share
More Decks by chimuichimu
See All by chimuichimu
朝 Kaggle のすすめ
chimuichimu
3
580
atmaCup#19 2nd Place Solution
chimuichimu
3
330
Wantedly Visit における相互推薦システムの活用事例
chimuichimu
1
280
データ駆動で実現する、人と企業のマッチング
chimuichimu
0
120
ウォンテッドリーの推薦システム開発を支える評価とデプロイの仕組み
chimuichimu
1
770
進化計算ライブラリ DEAP の紹介
chimuichimu
2
190
Spotify Web API を使った分析で新しいお気に入りアーティストを発見する
chimuichimu
3
220
非競プロ勢によるUSPTOコンペ参加記
chimuichimu
2
1.8k
ウォンテッドリーのプロダクト開発における Python の開発・運用環境
chimuichimu
4
1.4k
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Building Applications with DynamoDB
mza
95
6.5k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
RailsConf 2023
tenderlove
30
1.2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Transcript
© 2024 Wantedly, Inc. PydanticAI × Logfire ではじめる LLM エージェントのモニタリング
みんなのPython勉強会 #111 Dev. 19 2024 - chimuichimu
自己紹介 © 2024 Wantedly, Inc. 名前: Ichimura Chiaki 仕事: データサイエンティスト@ウォンテッドリー
興味: 推薦システム、機械学習、犬 @chimuichimu1
目次 © 2024 Wantedly, Inc. • PydanticAI とは? • Logfire
とは? • PydanticAI × Logfire 連携
PydanticAI とは © 2024 Wantedly, Inc. Pydantic のチームにより開発された Agent フレームワーク
以下のような特徴を持つ • 型安全な LLM エージェントをシンプルに構築可能 • モデル非依存(現在は OpenAI, Anthropic, Gemini,,, などが使用可能) • Logfire との連携が容易に可能 ← 本日のトピック • … ※ 現時点(2024/12/19)ではβ版 https://ai.pydantic.dev/
Logfire とは © 2024 Wantedly, Inc. 同じく Pydantic のチームにより開発された可観測性プラットフォーム Python
アプリケーションのテレメトリデータ(ログ、メトリクス、トレース)を収集、可視化 することが可能 https://pydantic.dev/logfire
PydanticAI × Logfire 連携のイメージ © 2024 Wantedly, Inc.
PydanticAI × Logfire のメリット(1/2) © 2024 Wantedly, Inc. 容易に連携することが可能 •
PydanticAI のコードに数行追加 することで Logfire 連携が可能 • この変更だけで、PydanticAI アプ リのテレメトリ収集がはじめられる ← Logfire 連携に必要なコード
PydanticAI × Logfire のメリット(2/2) © 2024 Wantedly, Inc. アプリケーション全体に対する可観測性を提供 •
アプリ内の LLM モデルに関わる情報(入出力、消費トークン数、レスポンスな ど)だけでなく、HTTP トラフィックや DB クエリなども含めたトレースが可能 • LLM の監視に特化したツールとの差別化ポイント
PydanticAI × Logfire 連携の実行イメージ © 2024 Wantedly, Inc. PydanticAI による
LLM エージェント Logfire プロジェクト アプリ内の処理のトレースを活用したデバッグ ダッシュボードやアラートを活用したモニタリング を実現 テレメトリ データ https://ai.pydantic.dev/?h=logfire#next-steps
使ってみた感想 © 2024 Wantedly, Inc. • PydanticAI × Logfire との連携は簡単、かつ無料枠もあるため、お手軽に
LLM エージェントのモニタリングがはじめられる • 型安全な LLM エージェントの構築を支援する PydanticAI と、モニタリング機 能を提供する Logfire により、本番品質の LLM エージェントが拡がっていきそ う