Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LangfuseとClickHouse で進化するLLMOps
Search
Yuto Toya
September 20, 2025
3
1.6k
LangfuseとClickHouse で進化するLLMOps
Yuto Toya
September 20, 2025
Tweet
Share
More Decks by Yuto Toya
See All by Yuto Toya
Langfuse ✖️ Clickhouse MCPサーバを活用した分析
toyayuto
0
75
Langfuseを活用して、評価用プロンプトを育てていく
toyayuto
0
220
Langfuseを活用したLLM評価について
toyayuto
1
120
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.2k
BBQ
matthewcrist
89
9.8k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
A designer walks into a library…
pauljervisheath
208
24k
The Cult of Friendly URLs
andyhume
79
6.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
GitHub's CSS Performance
jonrohan
1032
460k
Faster Mobile Websites
deanohume
310
31k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
51k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Six Lessons from altMBA
skipperchong
28
4k
Transcript
ガオ株式会社 遠⽮ 侑⾳ ~トレースを価値に変える LLM評価エージェントの開発 ~ ServerlessDays Tokyo 2025/09/20 LangfuseとClickHouse
で進化する LLMOps
2 自己紹介
3 遠矢 侑音(Toya Yuto) ガオ株式会社 エンジニア Langfuseを活用した生成AIエージェントの開発や運 用のサポートを行なってます
4 エージェント改善の課題
5 トレースの必要性
6 可視化の課題とLangfuse
7 Langfuseとは • エージェントの挙動をグラフ形式で 可視化が可能 • コストとレイテンシの可視化も可能 • プロンプトの管理が可能 •
LLM as a JudgeをUIで設定可能 • セルフホスト可能 LLMアプリ開発~運用までをサポート するOSSのLLMOpsプラットフォーム
8 Langfuseのインフラ構成 • エージェントの挙動のトレースや LLM as a Judgeの スコアはClickhouseに格納
• サーバレスで作成も可能 ◦ Clickhouse CloudのAWSやGoogle Cloudでのデプロイによる、セット アップと運用の 負担軽減 構成図
9 Clickhouseとは • オープンソースのカラム指向データベース • データ圧縮率が高い • クエリパフォーマンスが他データベースと比べて高い • エージェントでDBを参照する際に、従量制課金ではない
◦ クエリごとの課金を考える必要性がない ClickHouseの高速性が、エージェントによる DBのリアルタイム分析を可能にし、優れ たユーザー体験と高いコストパフォーマンスを両立します。
10 評価の重要性
11 エージェントの評価の課題
12 評価エージェントのメリット
13 エージェントの役割
14 利用した技術・ツール
15 レポート結果 また、このようなエージェントを作ることでレポートの疑問点も適宜 対話していき、分析を行うことができる
16 BIツールでの分析との比較
17 このアプローチにより、LLMOpsにおける評価は単なるスコアリングから、 具体的な改善アクションに直結する 「意味のある活動へ」 進化します 継続的な改善サイクルを回すため強力なエンジンになる LLMOpsにおける評価(Eval)の進化
18 最後に
We’re hiring! https://www.gao-ai.com/contact
ご清聴ありがとうございました 20 (C) GAO, Inc.