Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

LiteLLM Proxyの紹介

Avatar for ryuichi1208 ryuichi1208
April 24, 2025
34
1

LiteLLM Proxyの紹介

Avatar for ryuichi1208

ryuichi1208

April 24, 2025

More Decks by ryuichi1208

See All by ryuichi1208
そのasync、止まってない？ ”鉄板”イベントループ ブロッキング処理検出術
Avatar for ryuichi1208 ryuichi1208
1
2.2k
AIでサービス運用はどう変わるのか
Avatar for ryuichi1208 ryuichi1208
0
210
入門 再発防止策
Avatar for ryuichi1208 ryuichi1208
17
7.8k
障害対応からの学びと体制づくり
Avatar for ryuichi1208 ryuichi1208
0
1.2k
金曜日デプロイ、するかしないか.pdf
Avatar for ryuichi1208 ryuichi1208
1
490
会話で作る信頼性
Avatar for ryuichi1208 ryuichi1208
0
200
シグナル(Unix)と仲良くなる
Avatar for ryuichi1208 ryuichi1208
1
210
AI前提のサービス運用について再考する
Avatar for ryuichi1208 ryuichi1208
6
1.5k
A Shallow Dive into the World of TCP
Avatar for ryuichi1208 ryuichi1208
1
700

Featured

See All Featured
How to audit for AI Accessibility on your Front & Back End
Avatar for davetheseo davetheseo
0
560
Thoughts on Productivity
Avatar for Jon Yablonski jonyablonski
76
5.4k
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
Avatar for Aleyda Solis aleyda
1
1.4k
Fashionably flexible responsive web design (full day workshop)
Avatar for Andy Clarke malarkey
409
67k
16th Malabo Montpellier Forum Presentation
Avatar for AKADEMIYA2063 akademiya2063
PRO
0
390
HDC tutorial
Avatar for Michiel Stock michielstock
2
930
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
Avatar for Liv Day livdayseo
0
200
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
12
1.9k
技術選定の審美眼（2025年版） / Understanding the Spiral of Technologies 2025 edition
Avatar for Takuto WADA twada
PRO
120
120k
What's in a price? How to price your products and services
Avatar for Michael Herold michaelherold
247
13k
Why Mistakes Are the Best Teachers: Turning Failure into a Pathway for Growth
Avatar for Umar Saidu Auna auna
0
310
Docker and Python
Avatar for Tania Allard trallard
47
4.2k

Transcript

  1. LiteLLM Proxyの紹介 渡部⿓⼀ AIハッカソン 1

  2. 複数LLMでアプリケーションを作りたい！

  3. ⼤変じゃないですか？

  4. 認証、監視、モデルごとにクライアント 、リト ライ処理... ⾔語ごとに⾊々なライブラリが... LangChainがない⾔語も...

  5. None
  6. None

  7. アプリケーションの代わりにProxy • 複数モデルをいい感じにルーティング ◦ gemini 1.5, 2.0、OpenAIとか設定すればいい感じにルーティング ▪ 重みづけ、ラウンドロビン •

    統⼀的なリトライ処理 • フォールバック設定もProxyが担当 ◦ クールダウン機能、落ちてる判定されたら最初からフォールバック 先にリクエスト • レイテンシーの監視、コストの監視
  8. None