LiteLLM Proxyの紹介

April 24, 2025

95

LiteLLM Proxyの紹介

ryuichi1208

April 24, 2025

More Decks by ryuichi1208

See All by ryuichi1208

そのasync、止まってない？ ”鉄板”イベントループブロッキング処理検出術

1

2.3k

AIでサービス運用はどう変わるのか

0

210

入門再発防止策

17

7.9k

SREの組織構造と実践.

0

320

信頼性・システムの観測・障害対応

1

10

障害対応からの学びと体制づくり

0

1.2k

金曜日デプロイ、するかしないか.pdf

1

490

会話で作る信頼性

0

200

シグナル(Unix)と仲良くなる

1

210

Featured

See All Featured

Let's Do A Bunch of Simple Stuff to Make Websites Faster

508

140k

Building an army of robots

307

47k

Agile Actions for Facilitating Distributed Teams - ADO2019

0

310

Color Theory Basics | Prateek | Gurzu

1

490

svc-hook: hooking system calls on ARM64 by binary rewriting

2

630

XXLCSS - How to scale CSS and keep your sanity

250

1.3M

Agile Leadership in an Agile Organization

PRO

0

290

<Decoding/> the Language of Devs - We Love SEO 2024

1

360

0

900

Reality Check: Gamification 10 Years Later

0

2.3k

The Spectacular Lies of Maps

PRO

1

1.1k

Site-Speed That Sticks

13

1.6k

Transcript

LiteLLM Proxyの紹介渡部⿓⼀ AIハッカソン 1
複数LLMでアプリケーションを作りたい！
⼤変じゃないですか？
認証、監視、モデルごとにクライアント、リトライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...
None
None
アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •
統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック先にリクエスト • レイテンシーの監視、コストの監視
None