Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Max out Local LLM in Challenging Environments
Search
Sashimimochi
April 30, 2024
Technology
3
490
Max out Local LLM in Challenging Environments
エンジニア達の「完全に理解した」Talk #52 で登壇したときのスライドです。
https://easy2.connpass.com/event/312501/
Sashimimochi
April 30, 2024
Tweet
Share
More Decks by Sashimimochi
See All by Sashimimochi
GraphRAG: What I Thought I Knew (But Didn’t)
sashimimochi
1
390
Search Engineer diving into Kubernetes
sashimimochi
1
130
Using GPTs from Local by Dify
sashimimochi
1
630
Search Engine for Frontend Engineer
sashimimochi
0
200
Start Vector Search with Solr
sashimimochi
1
1.1k
Other Decks in Technology
See All in Technology
似たような課題が何度も蘇ってくるゾンビふりかえりを撲滅するため、ふりかえりのテーマをフォーカスしてもらった話 / focusing on the theme
naitosatoshi
0
410
AI AgentOps LT大会(2025/04/16) Algomatic伊藤発表資料
kosukeito
0
130
20250411_HCCJP_AdaptiveCloudUpdates.pdf
sdosamut
1
110
MCP Documentation Server @AI Coding Meetup #1
yyoshiki41
2
2.6k
CBになったのでEKSのこともっと知ってもらいたい!
daitak
1
160
【日本Zabbixユーザー会】LLDを理解するときの勘所 〜LLDのある世界を楽しもう!〜
yoshitake945
0
130
20250408 AI Agent workshop
sakana_ai
PRO
15
3.7k
OSSコントリビュートをphp-srcメンテナの立場から語る / OSS Contribute
sakitakamachi
0
1.3k
50人の組織でAIエージェントを使う文化を作るためには / How to Create a Culture of Using AI Agents in a 50-Person Organization
yuitosato
6
3.3k
LiteXとオレオレCPUで作る自作SoC奮闘記
msyksphinz
0
340
Road to Go Gem #rubykaigi
sue445
0
110
クォータ監視、AWS Organizations環境でも楽勝です✌️
iwamot
PRO
1
250
Featured
See All Featured
Building Adaptive Systems
keathley
41
2.5k
How to Think Like a Performance Engineer
csswizardry
23
1.5k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Optimising Largest Contentful Paint
csswizardry
36
3.2k
Optimizing for Happiness
mojombo
377
70k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
2.9k
Agile that works and the tools we love
rasmusluckow
328
21k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
What's in a price? How to price your products and services
michaelherold
245
12k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
390
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.3k
Transcript
ここまで使えるローカルLLM さしみもち 弱小環境でも 💪 2024/4/30 【オンライン】エンジニア達の「完全に理解した」Talk #52
自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、検索エンジンとLLMの連携 でなんかおもしろいことができない か日夜研究しています。
3 世は空前の第4次AIブーム https://speakerdeck.com/pfn/llmnoxian-zai?slide=14
富めるものだけが開発できる世界? 4 GPT-4 APIは値段が... セキュリティ的に 許可が下りない... 申請が通るまで時 間がかかる Rate Limitが...
富めるものだけが開発できる世界? 5 クラウド借りる費用 もないし... APIじゃないとシステム に組み込みづらいし... GPUがあるわけ じゃないし... あきらめるしかないの?
弱小環境でも なんとかなります! 6 大丈夫!!
想定マシンスペック 7 CPU 6 Core (Ryzen) Memory 16GB ※2 Core
(Intel Core i5), Memory 8GB でも頑張れば動くことも確認しています 標準的なスペックのノートPCがあれば動かせる!!
その他前提条件 8 使用するモデル お話ししないこと • Quality • パフォーマンス • コスパ
• Calm2-chat-7b • llava-v1.5-7b 素だと16GB程度のGPUが必要なモデル
弱小環境の強い味方!その名も「量子化」 9 量子化によってCPUだけでも動かせるようになる! イメージ:厳密さは捨ててざっくり計算するようにする ex. 円周率πはだいたい3で良いじゃんね!? https://laboro.ai/activity/column/engineer/%e3%83%87%e3%82%a3%e3%83%bc%e3%83%97%e3%83%a9%e3%83%bc%e3%83%8b%e3%83%b3%e3%82%b0%e 3%82%92%e8%bb%bd%e9%87%8f%e5%8c%96%e3%81%99%e3%82%8b%e3%83%a2%e3%83%87%e3%83%ab%e5%9c%a7%e7%b8%ae/
おすすめの量子化ライブラリ 10 https://github.com/ggerganov/llama.cpp https://github.com/abetlen/llama-cpp-python LLMをローカルからクラウドまで幅広い環境で簡単かつベストパフォーマンスで 動かせることを目指したC++製のツール
できること1:マルチターンチャット 11 https://github.com/Sashimimochi/llm-chat-playbook できます!
できること2:RAG 12 できます! https://github.com/Sashimimochi/llm-chat-playbook
できること3:Function Calling 13 https://github.com/Sashimimochi/llm-chat-playbook https://zenn.dev/kazuwombat/articles/1f39f003298028 より できます!
できること4:Vision and Language 14 https://github.com/Sashimimochi/llava-python-sample https://llava-vl.github.io/llava-interactive/ より できます!
15 そのほかにも https://qiita.com/SH2/items/1d5ee5b898046ff89458 より https://qiita.com/moritalous/items/76ba9f2ad200df335d07 より GitHub Copilot Like なツール
チャットのトレースやメトリクスを収 集できるツール できます!
量子化モデルがない?自分ですればいいじゃない! 16 https://github.com/Sashimimochi/llm-quantize-sample できます!
もっと知りたい方は 17 https://zenn.dev/sashimimochi/articles/be1122c813d989 https://zenn.dev/sashimimochi/articles/29d78fadaf8b17
詳細は来月の技術書典16 で出すかも 18
まとめ 19 • 量子化モデルを使えばノートPCでも動かせる • メジャーな機能がサポートされたAPI完備 • オフラインでも稼働するローカルモデルならではの強み これでセキュリティやお金はLLM組み込みシステムを開発 しない理由にはならなくなりましたね
😁
APPENDIX 20
参考文献 21 • 横須賀市役所の「ChatGPT実用化実験」の実施内容まとめ ◦ https://bocek.co.jp/media/news/1498/ • “生成AI”全国の自治体で約9割が導入 業務の作業時間が平均3分の1に短縮の事例も ◦
https://news.tv-asahi.co.jp/news_society/articles/000343740.html • 生成AIカオスマップ 国内向けサービスを初公開!掲載数は258製品! ◦ https://aismiley.co.jp/ai_news/generativeai-chaosmap/ • 国産LLMに期待する企業は7割以上、MM総研が生成AIの利活用を調査 ◦ https://xtech.nikkei.com/atcl/nxt/news/24/00459/ • 緊急パネル:ChatGPTで自然言語処理は終わるのか? ◦ https://www.anlp.jp/nlp2023/#special_panel
参考文献 22 • 言語処理学会第30回年次大会(NLP2024)併設ワークショップ 自治体における生成 AI(ChatGPT)の利活用と問題点 ◦ https://broccoli-farm.jp/workshop-nlp2024/ • ELYZAとKDDIグループ、生成AIの社会実装に向け資本業務提携を締結
◦ https://news.kddi.com/kddi/corporate/newsrelease/2024/03/18/7333.html • AI Shift、カスタマーサポートに特化した各企業専用LLM構築サービスを提供開始 ◦ https://www.cyberagent.co.jp/news/detail/id=28841 • オフラインでも使えるAIチャットアプリ、ローカルLLMパッケージの販売を開始 ◦ https://prtimes.jp/main/html/rd/p/000000027.000065047.html • 日本語LLM 9種を量子化して回答内容を比較調査してみた ◦ https://qiita.com/wayama_ryousuke/items/50e36d0dcb37f8fb7dd8
素材集 23 • ぱくたそ ◦ https://www.pakutaso.com/
ローカルモデルとSaaSモデルのどっちを使う? 24 https://jedworkshop.github.io/JLR2024/materials/b-1.pdf
もちろん、有償サービスにはそれだけの価値がある 25 • お金がかかるだけのことはある • 作り込むなら買った方が安いかも • ローカルLLMにくらべて適当なプロンプトでもよしなに解釈して くれる