Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
LiteLLM Proxyの紹介
Search
ryuichi1208
April 24, 2025
100
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
LiteLLM Proxyの紹介
ryuichi1208
April 24, 2025
Transcript
8 slides
LiteLLM Proxyの紹介 渡部⿓⼀ AIハッカソン 1
複数LLMでアプリケーションを作りたい!
⼤変じゃないですか?
認証、監視、モデルごとにクライアント 、リト ライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...
None
None
アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •
統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック 先にリクエスト • レイテンシーの監視、コストの監視
None
More Decks by ryuichi1208
See All by ryuichi1208
なぜそう壊れるのか「障害を切り分ける技術」を書きました
ryuichi1208
2
370
そのasync、止まってない? ”鉄板”イベントループ ブロッキング処理検出術
ryuichi1208
1
2.3k
AIでサービス運用はどう変わるのか
ryuichi1208
0
230
入門 再発防止策
ryuichi1208
17
8.1k
SREの組織構造と実践.
ryuichi1208
0
340
信頼性・システムの観測・障害対応
ryuichi1208
1
530
障害対応からの学びと体制づくり
ryuichi1208
0
1.2k
金曜日デプロイ、するかしないか.pdf
ryuichi1208
1
510
会話で作る信頼性
ryuichi1208
0
220
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
254
23k
Data-driven link building: lessons from a $708K investment (BrightonSEO talk)
szymonslowik
1
1.4k
We Have a Design System, Now What?
morganepeng
55
8.4k
Testing 201, or: Great Expectations
jmmastey
46
8.4k
How to build an LLM SEO readiness audit: a practical framework
nmsamuel
2
990
It's Worth the Effort
3n
188
29k
The SEO Collaboration Effect
kristinabergwall1
1
620
StorybookのUI Testing Handbookを読んだ
zakiyama
31
7.1k
Balancing Empowerment & Direction
lara
6
1.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.7k
Max Prin - Stacking Signals: How International SEO Comes Together (And Falls Apart)
techseoconnect
PRO
0
530
The Art of Programming - Codeland 2020
erikaheidi
57
15k