LiteLLM Proxyの紹介

April 24, 2025

7

LiteLLM Proxyの紹介

ryuichi1208

April 24, 2025

More Decks by ryuichi1208

See All by ryuichi1208

そのasync、止まってない？ ”鉄板”イベントループブロッキング処理検出術

1

270

AIでサービス運用はどう変わるのか

0

180

入門再発防止策

17

7.6k

金曜日デプロイ、するかしないか.pdf

1

79

会話で作る信頼性

0

190

シグナル(Unix)と仲良くなる

1

61

AI前提のサービス運用について再考する

6

1.5k

A Shallow Dive into the World of TCP

1

690

入門リトライ

20

8.5k

Featured

See All Featured

<Decoding/> the Language of Devs - We Love SEO 2024

1

300

SEO in 2025: How to Prepare for the Future of Search

3

3.8k

Music & Morning Musume

47

7.3k

Refactoring Trust on Your Teams (GOTO; Chicago 2020)

35

3.8k

PRO

31

6.2k

How to Align SEO within the Product Triangle To Get  Buy-In & Support - #RIMC

2

1.8k

The Cost Of JavaScript in 2023

55

10k

How Software Deployment tools have changed in the past 20 years

1

34k

Why Your Marketing Sucks and What You Can Do About It - Sophie Logan

0

390

Chrome DevTools: State of the Union 2024 - Debugging React & Beyond

10

1.3k

Color Theory Basics | Prateek | Gurzu

0

430

The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024

28

3.6k

Transcript

LiteLLM Proxyの紹介 1
複数LLMでアプリケーションを作りたい！
⼤変じゃないですか？
認証、監視、モデルごとにクライアント、リトライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...
None
None
アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •
統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック先にリクエスト • レイテンシーの監視、コストの監視
None