レバレジーズのLangfuse活用事例

2025/11/29に開催された「Data Engineering Summit 前夜祭」の登壇資料です。

https://langfuse.connpass.com/event/372733/

Transcript

1. 1 © 2025 Leverages Co., Ltd. レバレジーズのLangfuse活用
2. 2 © 2025 Leverages Co., Ltd. 自己紹介
3. 3 © 2025 Leverages Co., Ltd. 苑田 朝彰 普段の業務内容 • AI エージェント開発（Google ADK, Strands Agent） • 社内AI推進（AI駆動開発、Agent開発） • クラウド（AWS, Google Cloud） 資格 • AWS Community Builders（ML） • 甲賀流忍者検定（中級） • 2024 AWS Top Engineers（前職） 趣味 • 月一で面白いことをするのにハマってます ◦ Spartanレース ◦ 100kmウォーキング ◦ 無人島かくれんぼ ◦ 滝行 SNS • https://x.com/sonoda_mj • https://zenn.dev/tomomj • https://note.com/sonoda_mj Tomotada Sonoda システム本部/テクノロジー戦略室/AIMLチーム 自己紹介
4. 4 © 2025 Leverages Co., Ltd. Contents レバレジーズについて
 レバレジーズのAgent開発体制
 レバレジーズのLangfuse活用事例
 レバレジーズのチャレンジ
 まとめ
 01. 02. 03. 04. 05.
5. 5 © 2025 Leverages Co., Ltd. レバレジーズについて
6. 会社概要 所在地 本社：渋⾕スクランブルスクエア 24 ‧ 25階 設⽴ 2005年 従業員数 正規：3,343名（2025年4⽉時点）  資本⾦ 5,000万円 年商 1428億円（2024年度） 事業内容 ⾃社メディア事業‧⼈材関連事業‧システムエンジニアリング 事業‧M&Aコンサルティング事業‧ ASP/ SaaS/クラウド関連 事業
7. 創⽴20周年を迎えました👏 ◉公式Youtubeサイト ◉特設サイト 【レバレジーズ20周年】岩槻代表と辿る20年の軌跡
8. 事業紹介 （※既存事業より⼀部抜粋） 医療‧介護 若年層 就活‧転職 M&A 海外 SaaS IT
9. 事業紹介 アイデアから新しい事業を⽣み出す。 型を拡⼤し、効率化していく。 型を作り、事業をグロースさせていく。 0→1 1→10 10→100
10. 売上推移 創業から黒字経営 年間130％成⻑
11. 11 © 2025 Leverages Co., Ltd. レバレジーズの Agent開発体制
12. 12 © 2025 Leverages Co., Ltd. インフラ基盤 LangfuseはEKSにセルフホストされています。インフラの運用・監視はSREチームが担当し ているので、AgentチームはAgentの開発に専念しています。
13. 13 © 2025 Leverages Co., Ltd. 体制図 エンジニアは機能（Tool）を改善し、ドメインエキスパートはプロンプトを改善していま す。Langfuseで責務を分解し、 高速な改善サイクルを回しています。 Langfuse ドメイン エキスパート Agent 開発者 trace プロンプト改善 デプロイ ・Tool開発 ・システム改善
14. 14 © 2025 Leverages Co., Ltd. レバレジーズの Langfuse活用事例
15. 15 © 2025 Leverages Co., Ltd. Langfuseを中心としたPDCAサイクル トレース プロンプト管理 プロンプトを変更する 何が起きてるかみる Good／Badを評価する 評価 Agentを 動かす Langfuse 4部署が使用していて、合計で12プロジェクトが導入している！
16. 16 © 2025 Leverages Co., Ltd. トレース AgentやLLMの実行フローを可視化し、複雑な挙動も簡単に確認できます。 Agentの軌跡 タグを追加
17. 17 © 2025 Leverages Co., Ltd. トレース（マルチモーダル） 画像のようなマルチモーダルでも、きちんとtraceされる。update_current_generation機 能を使用することで、きちんとコストも表示される。 4枚生成している
18. 18 © 2025 Leverages Co., Ltd. プロンプト管理 AgentのシステムプロンプトはLangfuseで管理しています。ドメインエキスパートが直接 Agentのシステムプロンプトを変更しています。 Agent エンジニア ドメイン エキスパート Agent ドメイン エキスパート Before After
19. 19 © 2025 Leverages Co., Ltd. プロンプト管理（ラベル戦略） dev環境はdevラベル、prd環境はproductionラベルで運用しています。ある一定の基準を満 たした場合のみproductionラベルをつけることで、品質を担保しています。 本番 Agent ドメイン エキスパート ラベル戦略なし 即反映 本番 Agent ドメイン エキスパート ラベル戦略あり ルール
20. 20 © 2025 Leverages Co., Ltd. 評価の流れ（オフライン評価） 例：Agentが接続されているデータソースの情報を正しく返答するかをテスト Datasets 評価 Agent ドメイン エキスパート input output expected output 確認
21. 21 © 2025 Leverages Co., Ltd. 評価の流れ（オフライン評価） 例：Agentが接続されているデータソースの情報を正しく返答するかをテスト Datasets 評価 Agent ドメイン エキスパート input output expected output 確認
22. 22 © 2025 Leverages Co., Ltd. ダッシュボード 部署ごとにコストを確認するときに使用している。metadataでフィルタリングできるの で、組織情報をmetadataに追加するだけで対応可能。 Strands Agents
23. 23 © 2025 Leverages Co., Ltd. レバレジーズの チャレンジ
24. 24 © 2025 Leverages Co., Ltd. マルチターンの評価 マルチターンは文脈考慮が必要であり、シングルターンに比べ評価難度が高くなります。 Langfuseの全ターントレースを用いてマルチターン評価パイプラインを構築予定です。 こんにちは！ 自己紹介をお願いします！ 苑田です！ 自己紹介をお願いします！ さっき言ったが？？ ・同じ質問をしていないか ・会話内容を忘れていないか ・ロールに沿った質問をしているか などなど
25. 25 © 2025 Leverages Co., Ltd. まとめ
26. 26 © 2025 Leverages Co., Ltd. まとめ 1. LangfuseにTraceを送ることで、Agentの挙動が確認できる。 2. Langfuseのプロンプト管理を使用することで、エンジニアの工数を削減。 3. LangfuseのDatasetを活用し、評価を簡単に実施。
27. 27 © 2025 Leverages Co., Ltd. ご清聴ありがとう ございました！！