PydanticAI × Logfire ではじめる LLM エージェントのモニタリング

Transcript

1. © 2024 Wantedly, Inc. PydanticAI × Logfire ではじめる LLM エージェントのモニタリング みんなのPython勉強会 #111 Dev. 19 2024 - chimuichimu
2. 自己紹介 © 2024 Wantedly, Inc. 名前： Ichimura Chiaki 仕事： データサイエンティスト@ウォンテッドリー 興味： 推薦システム、機械学習、犬 @chimuichimu1
3. 目次 © 2024 Wantedly, Inc. • PydanticAI とは？ • Logfire とは？ • PydanticAI × Logfire 連携
4. PydanticAI とは © 2024 Wantedly, Inc. Pydantic のチームにより開発された Agent フレームワーク 以下のような特徴を持つ • 型安全な LLM エージェントをシンプルに構築可能 • モデル非依存（現在は OpenAI, Anthropic, Gemini,,, などが使用可能） • Logfire との連携が容易に可能 ← 本日のトピック • … ※ 現時点（2024/12/19）ではβ版 https://ai.pydantic.dev/
5. Logfire とは © 2024 Wantedly, Inc. 同じく Pydantic のチームにより開発された可観測性プラットフォーム Python アプリケーションのテレメトリデータ（ログ、メトリクス、トレース）を収集、可視化 することが可能 https://pydantic.dev/logfire
6. PydanticAI × Logfire 連携のイメージ © 2024 Wantedly, Inc.
7. PydanticAI × Logfire のメリット（1/2） © 2024 Wantedly, Inc. 容易に連携することが可能 • PydanticAI のコードに数行追加 することで Logfire 連携が可能 • この変更だけで、PydanticAI アプ リのテレメトリ収集がはじめられる ← Logfire 連携に必要なコード
8. PydanticAI × Logfire のメリット（2/2） © 2024 Wantedly, Inc. アプリケーション全体に対する可観測性を提供 • アプリ内の LLM モデルに関わる情報（入出力、消費トークン数、レスポンスな ど）だけでなく、HTTP トラフィックや DB クエリなども含めたトレースが可能 • LLM の監視に特化したツールとの差別化ポイント
9. PydanticAI × Logfire 連携の実行イメージ © 2024 Wantedly, Inc. PydanticAI による LLM エージェント Logfire プロジェクト アプリ内の処理のトレースを活用したデバッグ ダッシュボードやアラートを活用したモニタリング を実現 テレメトリ データ https://ai.pydantic.dev/?h=logfire#next-steps
10. 使ってみた感想 © 2024 Wantedly, Inc. • PydanticAI × Logfire との連携は簡単、かつ無料枠もあるため、お手軽に LLM エージェントのモニタリングがはじめられる • 型安全な LLM エージェントの構築を支援する PydanticAI と、モニタリング機 能を提供する Logfire により、本番品質の LLM エージェントが拡がっていきそ う