Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

LiteLLM Proxyの紹介

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for ryuichi1208 ryuichi1208
April 24, 2025
24
1

LiteLLM Proxyの紹介

Avatar for ryuichi1208

ryuichi1208

April 24, 2025

More Decks by ryuichi1208

See All by ryuichi1208
そのasync、止まってない？ ”鉄板”イベントループ ブロッキング処理検出術
Avatar for ryuichi1208 ryuichi1208
1
1.1k
AIでサービス運用はどう変わるのか
Avatar for ryuichi1208 ryuichi1208
0
190
入門 再発防止策
Avatar for ryuichi1208 ryuichi1208
17
7.7k
金曜日デプロイ、するかしないか.pdf
Avatar for ryuichi1208 ryuichi1208
1
86
会話で作る信頼性
Avatar for ryuichi1208 ryuichi1208
0
200
シグナル(Unix)と仲良くなる
Avatar for ryuichi1208 ryuichi1208
1
65
AI前提のサービス運用について再考する
Avatar for ryuichi1208 ryuichi1208
6
1.5k
A Shallow Dive into the World of TCP
Avatar for ryuichi1208 ryuichi1208
1
690
入門リトライ
Avatar for ryuichi1208 ryuichi1208
20
8.6k

Featured

See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
Avatar for Marcelo Somers marcelosomers
234
17k
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
135
10k
Improving Core Web Vitals using Speculation Rules API
Avatar for Sergey Chernyshev sergeychernyshev
21
1.6k
Producing Creativity
Avatar for Steve Smith orderedlist
PRO
348
41k
16th Malabo Montpellier Forum Presentation
Avatar for AKADEMIYA2063 akademiya2063
PRO
0
370
B2B Lead Gen: Tactics, Traps & Triumph
Avatar for Sophie Logan marketingsoph
0
240
技術選定の審美眼（2025年版） / Understanding the Spiral of Technologies 2025 edition
Avatar for Takuto WADA twada
PRO
120
120k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
659
62k
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
Avatar for Ines Montani inesmontani
PRO
3
3.7k
KATA
Avatar for Megan Lloyd mclloyd
PRO
35
15k
GraphQLの誤解/rethinking-graphql
Avatar for sonatard sonatard
75
12k
Applied NLP in the Age of Generative AI
Avatar for Ines Montani inesmontani
PRO
4
2.4k

Transcript

  1. LiteLLM Proxyの紹介 1

  2. 複数LLMでアプリケーションを作りたい！

  3. ⼤変じゃないですか？

  4. 認証、監視、モデルごとにクライアント 、リト ライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...

  5. None
  6. None

  7. アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •

    統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック 先にリクエスト • レイテンシーの監視、コストの監視
  8. None