LangfuseではじめるAIアプリのLLMトレーシング

⬢イベント
Road to SRE NEXT@福岡(ハイブリッド開催)
https://sre-lounge.connpass.com/event/347492/

⬢ 参考情報
Langfuse https://langfuse.com/
Giselle https://giselles.ai/

Transcript

1. LangfuseではじめるAIアプリのLLMトレーシング 2025/05/09 Road to SRE NEXT@福岡(ハイブリッド開催) 株式会社ROUTE06 重岡 正 1
2. 概要 本LTでは、Open Source LLM Engineering Platform「Langfuse」を用いたトレーシング の実例を紹介します。 Langfuse: LLMコールや関連ロジックを詳細に追跡し、ネストされたトレースによ って処理の流れを可視化します。これにより、開発者はアプリケーション内部で 何が起こっているかを正確に理解し、問題の根本原因を迅速に特定できます。 Giselle: 本LTで事例として紹介する、私が開発に関わっているAI App Builderです。 AI App Builder「Giselle」でのLangfuse活用事例を交えながら、LLMトレーシング導入 の具体的なメリットと今後の課題をご紹介し、AIアプリ開発の知見を共有します。 2
3. 自己紹介 重岡 正 (SHIGEOKA Tadashi) About me 株式会社ROUTE06 取締役 CTO / 共同創業者 普段は熊本からフルリモートワーク 本日は熊本からやって参りました 3
4. きっかけ LLMを活用したWebアプリケーションを「Giselle」で初めて開発しました。 Giselle (ジゼル) とは？ 直感的なAIアプリケーションビルダーです。 コードを書かずに強力なAIアプリを作成できます。 複雑なタスクの自動化、能力の増強、ワークフローの合理化を目指しています。 4
5. 本スライドの生成に活用したGiselleのスクリーンショット 5
6. なぜLangfuseを選んだか？ LLMアプリケーションのObservability（可観測性）を高めるツールを検討しました。 LangSmith (LangChain開発元) と Langfuse を比較。 Langfuseを選んだ理由: オープンソース: コミュニティによる開発と透明性。 セルフホスト可能: データ管理の柔軟性。 料金: LangSmithと比較して、Langfuseの方がコストパフォーマンスが良いと 判断。 6
7. GiselleでのLangfuse活用事例：Trace GiselleはノードベースでAIワークフローを構築します。 各ノードの実行結果（LLMコールなど）をLangfuseでトレースしています。 Giselleのノード構成例: ノード内で anthropic , gemini , openai などのLLMを利用 [Giselle UI] [Langfuse Trace] Node A (Input) ----> Trace A (LLM Call, Cost, etc.) | Node B (Process) --> Trace B (LLM Call, Cost, etc.) | Output これにより、どのノードでどのようなLLMコールが行われ、どの程度の時間がか かり、コストが発生したかを詳細に追跡できます。 7
8. 本スライドの生成時にTraceしたLangfuseのスクリーンショット 8
9. Langfuseを導入してよかったこと 1. LLM APIのObservability向上のきっかけに Langfuseを実践で使うことで、LLMアプリケーションの監視に必要な指標 （レイテンシ、コスト、エラーレート、トークン数など）は何かを具体的に 考える良いきっかけになりました。 2. LLM利用料金の概算を把握可能に 各トレースにコスト情報が付与されるため、開発段階からLLMの利用料金を 意識しやすくなりました。 9
10. 現状の課題とLangfuse Langfuseは非常に有用ですが、いくつかの課題も見えてきました。 1. 複雑な料金プランへの対応が難しい (LangSmithも同様の課題あり) 例1: トークン長によって単価が変わるモデル (例: gemini-2.5-pro ) 例2: OpenAIの web_search ツール利用時のコスト 例3: gpt-image-1 など画像生成のコスト 2. 日々進化するLLMのアップデートへの追従 新しいモデルや料金体系の変更に、Langfuse側の対応が追いつかない場合が あるかもしれません。 例: bug: models api - null value for model price (claude-3.7-sonnet-20250219) · Issue #6049 · langfuse/langfuse (90日以上openなissue) 10
11. 今後の対応 上記の課題に対して、以下のように対応していく予定です。 Langfuseは引き続き活用 基本的なトレーシング、デバッグ、分析機能は非常に強力なため、引き続き利 用します。 料金計算など、不足機能は自作で補完 Langfuseでカバーしきれない複雑な料金計算ロジックや、特定の指標のトラ ッキングについては、Giselle側で独自に実装することを検討しています。 コスト計算改善のIssue例: giselles-ai/giselle/issues/796 11
12. まとめ Langfuse はLLMアプリケーションのトレーシングとObservability向上に貢献する 強力なオープンソースツールです。 AI App Builder Giselle では、Langfuseを活用して各ノードのLLMコールを追跡し、 開発効率とコスト意識の向上に繋げています。 一部の複雑な料金体系や最新モデルへの追従には課題もありますが、自作機能で 補完しつつ、Langfuseのメリットを活かしていく方針です。 LLMアプリ開発におけるトレーシングの導入は、品質向上とコスト管理の観点から非 常に重要です。 12
13. 参考資料 Langfuse: https://langfuse.com/ GitHub: https://github.com/langfuse/langfuse Giselle: https://giselles.ai/ GitHub: https://github.com/giselles-ai/giselle 株式会社ROUTE06 (ルートシックス): https://route06.co.jp/ 13