LLMを「速く」「安く」 動かすには / CloudNative Days Winter 2024

初心者にもわかりやすく、ChatGPTをはじめとした近年話題のLLM (Large Language Model)の中身について解説します。また、LLMを大規模に学習するだけではなく、LLMを動かして利用すること（推論）が重要になりつつあることを踏まえ、LLMの推論システムのサービングが難しい理由と、それに対応するための小規模化や量子化などの最近のモデルデータサイズを減らす工夫についてもお話しします。

イベントサイト: https://event.cloudnativedays.jp/cndw2024

Transcript

1. LLMを「速く」「安く」 動かすには Shintarou Okada Engenieer, Preferred Networks.Inc
2. Preferred Networksのエンジニア LLM追加学習・評価基盤の開発 llama.cppへPLaMo-13Bサポート追加 自己紹介 岡田 真太郎 / Shintarou Okada
3. 今、生成AIがアツい 総務省の政策白書から引用 https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/html/nd219100.html 8年後には 180兆円に 現時点 世界の生成 AI市場規模の推移と予測
4. OpenAIが開発したLLMを使ったWebサービス これまでのAIと比べてめっちゃかしこい ChatGPTの衝撃 リリースから2ヶ月で 1億ユーザー を獲得（史上最速）
5. 各社も続々と LLMサービスを展開
6. 公開LLMも続々登場 https://github.com/QwenLM/Qwen から引用 https://ai.meta.com/blog/meta-llama-3/ から引用
7. プライバシー・秘密情報 の保護 LLMのオンプレでの利用も今後ますます重要に 独自データを学習 したカスタムモデルの利用
8. しかしそのまま動かすと遅い＆コストが高い ……
9. LLMを速く動かすには？ 安く動かすには？ そもそもLLMってどういう仕組みなの？
10. LLMってなんなのか Large Language Model 大規模 言語モデル
11. LLMってなんなのか Large Language Model 大規模 言語モデル
12. LLMってなんなのか Large Language Model 大規模 言語モデル パラメータが めちゃくちゃ多い
13. スケーリング則：モデルとデータは大きいほど ※ 賢い モデルも データ（トークン量）も 大きい ※ 賢い ※言語モデルとして精度が高い 図は「Training Compute-Optimal Large Language Models」( https://arxiv.org/abs/2203.15556 ) から引用
14. スケーリング則：モデルとデータは大きいほど ※ 賢い ※ 賢い ※言語モデルとして精度が高い 図は「Training Compute-Optimal Large Language Models」( https://arxiv.org/abs/2203.15556 ) から引用 大規模にするほど どんどん賢くなる モデルも データ（トークン量）も 大きい
15. 「大規模」って具体的にはどれくらい Nemotron4 340B Llama3 70B GPT3 Davinchi 175B Llama2 7B GPT2 1.5B GPT1 0.1B
16. 「大規模」って具体的にはどれくらい Nemotron4 340B Llama3 70B GPT3 Davinchi 175B Llama2 7B GPT2 1.5B GPT1 0.1B 約140GB
17. LLMの「LM」ってなんなのか Large Language Model 大規模 言語モデル パラメータが めちゃくちゃ多い
18. LLMの「LM」ってなんなのか Large Language Model 大規模 言語モデル 文章の続きを少し 予測するモデル パラメータが めちゃくちゃ多い
19. 「言語モデル」は文章の続きを少し予測するモデル あしびきの
 山鳥
 イルカ
20. 「言語モデル」は文章の続きを少し予測するモデル あしびきの
 山鳥⭕
 イルカ✘
21. 実際は「出現確率」を推定 あしびきの
 山鳥 0.9 を 0.003 イルカ 0.02 酸素 0.002 　︙ 　︙ small 0.0005
22. 長く出力するために繰り返し実行して伸ばす
23. 長く出力するために繰り返し実行して伸ばす トークン（ Token）
24. 長く出力するために繰り返し実行して伸ばす
25. 長く出力するために繰り返し実行して伸ばす
26. 長く出力するために繰り返し実行して伸ばす
27. 長く出力するために繰り返し実行して伸ばす 前の トークン
28. 長く出力するために繰り返し実行して伸ばす 新しい トークン 前の トークン
29. 「言語モデル」が「大規模」だと発生する問題 Large Language Model 大規模 言語モデル 文章の続きを少し 予測するモデル パラメータが めちゃくちゃ多い
30. 「言語モデル」が「大規模」だと発生する問題 Large Language Model 大規模 言語モデル 文章の続きを少し 予測するモデル パラメータが めちゃくちゃ多い
31. 「言語モデル」が「大規模」だと発生する問題 Large Language Model 大規模 言語モデル 文章の続きを少し 予測するモデル パラメータが めちゃくちゃ多い 大量のメモリアクセス 　　
32. 長い文章の生成に大量のメモリアクセスが必要 依存により並列化できない ... こ ん に ち は 今 日 は とて も い い 天 気 で す 。 

33. 長い文章の生成に大量のメモリアクセスが必要 依存により並列化できない ... こ ん に ち は 今 日 は とて も い い 天 気 で す 。 

34. 長い文章の生成に大量のメモリアクセスが必要 依存により並列化できない ... こ ん に ち は 今 日 は とて も い い 天 気 で す 。 
 必要
35. 長い文章の生成に大量のメモリアクセスが必要 依存により並列化できない 一回の生成ごとに LLMの全パラメータ を メモリから読み出す ... こ ん に ち は 今 日 は とて も い い 天 気 で す 。 

36. 長い文章の生成に大量のメモリアクセスが必要 一回の生成ごとに LLMの全パラメータ を メモリから読み出す ... 70B LLMだと 140GBとか 依存により並列化できない こ ん に ち は 今 日 は とて も い い 天 気 で す 。 

37. 日本速読解力協会によると、 日本人の読むスピード 400~600文字/分 参考 https://www.sokunousokudoku.net/media/?p=9192 Chatでは速度も求められる
38. Chatでは速度も求められる 日本速読解力協会によると、 日本人の読むスピード 400~600文字/分＝10文字/秒 参考 https://www.sokunousokudoku.net/media/?p=9192 日本語対応LLMはだいたい1文字が1トークン
39. 1トークンの生成に 140GB読み込むとすると 1秒間に10トークン分 1.4TBメモリを読み込む必要がある Chatでは速度も求められる 日本語対応LLMはだいたい1文字が1トークン 日本速読解力協会によると、 日本人の読むスピード 400~600文字/分＝10文字/秒 参考 https://www.sokunousokudoku.net/media/?p=9192
40. メモリの壁：現代においても 大量のデータに素早くアクセスするのは困難 図は「AI and Memory Wall」( https://arxiv.org/abs/2403.14123 ) から引用 対数 スケール
41. メモリの壁：現代においても 大量のデータに素早くアクセスするのは困難 図は「AI and Memory Wall」( https://arxiv.org/abs/2403.14123 ) から引用 計算性能は20年間で 60000倍
42. メモリの壁：現代においても 大量のデータに素早くアクセスするのは困難 図は「AI and Memory Wall」( https://arxiv.org/abs/2403.14123 ) から引用 インターコネクト速度は 20年間で 30倍 メモリ速度は 20年間で 100倍
43. メモリの壁：現代においても 大量のデータに素早くアクセスするのは困難 図は「AI and Memory Wall」( https://arxiv.org/abs/2403.14123 ) から引用 速いメモリは 値段が高い 20年間で 100倍 20年間で 30倍 20年間で 60000倍
44. ハードウェアごとの 70B級 LLM（≒140GB）のトークン生成速度の理論上限 万円 生成token/sec（理論上限） 日本人の 読む速度
45. ハードウェアごとの 70B級 LLM（≒140GB）のトークン生成速度の理論上限 万円 生成token/sec（理論上限） 日本人の 読む速度 DDR5-5600 (dual channel) 64GB x4 メモリが多めな 最近のデスクトップPC 0.64 token/sec
46. ハードウェアごとの 70B級 LLM（≒140GB）のトークン生成速度の理論上限 NVIDIA A100 80GB PCIe x2 NVIDIA H100 80GB PCIe x2 万円 生成token/sec（理論上限） 日本人の 読む速度 DDR5-5600 (dual channel) 64GB x4
47. ハードウェアごとの 70B級 LLM（≒140GB）のトークン生成速度の理論上限 NVIDIA A100 80GB PCIe x2 NVIDIA H100 80GB PCIe x2 万円 生成token/sec（理論上限） 日本人の 読む速度 DDR5-5600 (dual channel) 64GB x4 80GBに 乗り切らないので 2台必要
48. ハードウェアごとの 70B級 LLM（≒140GB）のトークン生成速度の理論上限 NVIDIA A100 80GB PCIe x2 NVIDIA H100 80GB PCIe x2 万円 生成token/sec（理論上限） 日本人の 読む速度 DDR5-5600 (dual channel) 64GB x4 440万円 1040万円
49. 「速く」「安く」するために なんとかしてモデルデータを小さくしたい
50. モデルデータサイズを小さくして 「速く」「安く」する工夫 • 小規模言語モデル （SLM） • 量子化（Quantization）
51. モデルデータサイズを小さくして 「速く」「安く」する工夫 • 小規模言語モデル （SLM） • 量子化（Quantization）
52. 個々のパラメータを小さくする：量子化
53. 個々のパラメータを小さくする：量子化 4bitだと 約1/4に
54. Llama3-70B 4bit量子化（≒ 35GB＋α）の トークン生成速度の実測値（ llama.cpp Q4K_M） 万円 生成token/sec（実測値） (DDR5-5600 (dual channel) 32GB x2 *理論上限) NVIDIA H100 80GB PCIe x1 NVIDIA A100 80GB PCIe x1 日本人の 読む速度 参考：https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference
55. Llama3-70B 4bit量子化（≒ 35GB＋α）の トークン生成速度の実測値（ llama.cpp Q4K_M） 万円 生成token/sec（実測値） (DDR5-5600 (dual channel) 32GB x2 *理論上限) NVIDIA H100 80GB PCIe NVIDIA A100 80GB PCIe 日本人の 読む速度 参考：https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference x1 x1 bfloat16のときは2個必要だったが 量子化で必要な個数 を減らせる
56. 万円 生成token/sec（実測値） (DDR5-5600 (dual channel) 32GB x2 *理論上限) NVIDIA H100 80GB PCIe x1 NVIDIA A100 80GB PCIe x1 参考：https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference NVIDIA RTX4090 24GB x2 日本人の 読む速度 量子化で安いグラボ に 乗せられる Llama3-70B 4bit量子化（≒ 35GB＋α）の トークン生成速度の実測値（ llama.cpp Q4K_M）
57. Llama3-70B 4bit量子化（≒ 35GB＋α）の トークン生成速度の実測値（ llama.cpp Q4K_M） 万円 生成token/sec（実測値） (DDR5-5600 (dual channel) 32GB x2 *理論上限) NVIDIA H100 80GB PCIe x1 NVIDIA A100 80GB PCIe x1 参考：https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference 70万円 NVIDIA RTX4090 24GB x2 日本人の 読む速度
58. 量子化でLLMがスマホで動かせる llama.cppのAndroid example モデル： Mistral-7B 4bit量子化 Android端末：Umidigi-A13-Pro-Max 12GB RAM
59. 4bitまでの量子化であれば精度はほとんど落ちない 図は https://github.com/ggerganov/llama.cpp/pull/5747 から引用
60. モデルデータサイズを小さくして 「速く」「安く」する工夫 • 小規模言語モデル （SLM） • 量子化（Quantization）
61. 元から小さい：小規模言語モデル（ SLM） 元からモデルを小さく しておけばいいじゃん！ https://www.llama.com/ から引用 llama3.2の1B, 3Bモデル
62. 元から小さい：小規模言語モデル（ SLM） 元からモデルを小さくしておけばいいじゃん！ でも性能が悪くなってしまう のでは？
63. 元から小さい：小規模言語モデル（ SLM） • 用途を限定 • 学習トークン量を大 幅に増やす 元からモデルを小さくしておけばいいじゃん！ でも性能が悪くなってしまうのでは？
64. 元から小さい：小規模言語モデル（ SLM） 元からモデルを小さくしておけばいいじゃん！ でも性能が悪くなってしまうのでは？ • 用途を限定 • 学習トークン量を大 幅に増やす
65. 学習トークン量を増やすと精度を維持できる 図は https://www.harmdevries.com/post/model-size-vs-compute-overhead/ から引用 Chinchillaスケーリング則を元に モデルサイズ（とトークン量）を変えて 同一の精度のモデルのライン 学習コストの 増加比率 モデルサイズの比率
66. 学習トークン量を増やすと精度を維持できる 図は https://www.harmdevries.com/post/model-size-vs-compute-overhead/ から引用 Chinchillaスケーリング則を元に モデルサイズ（とトークン量）を変えて 同一の精度のモデルのライン 学習コストの 増加比率 モデルサイズの比率 基準
67. 学習トークン量を増やすと精度を維持できる 図は https://www.harmdevries.com/post/model-size-vs-compute-overhead/ から引用 モデルを大きくすると 同一精度を達成するための 学習コストは緩やかに大きくなる 学習コストの 増加比率 モデルサイズの比率 基準
68. 学習トークン量を増やすと精度を維持できる 図は https://www.harmdevries.com/post/model-size-vs-compute-overhead/ から引用 モデルを小さくすると 同一精度を達成するための 学習コストは急激に大きくなる 学習コストの 増加比率 モデルサイズの比率 基準
69. 学習コストの 増加比率 モデルサイズの比率 学習トークン量を増やすと精度を維持できる 図は https://www.harmdevries.com/post/model-size-vs-compute-overhead/ から引用 基準 モデルを小さくすると 同一精度を達成するための 学習コストは急激に大きくなる 登ろう！！
70. PFNのSLM：PLaMo-1B 1BのLLMは Chinchillaスケーリング則では 20B tokenが学習コスト最適
71. PFNのSLM：PLaMo-1B 1BのLLMは Chinchillaスケーリング則では 20B tokenが学習コスト最適 4T(=4000B)超 tokenで学習 ※ https://www.preferred.jp/ja/news/pr20240828/ リリース時点での情報
72. PFNのSLM：PLaMo-1B 1BのLLMは Chinchillaスケーリング則では 20B tokenが学習コスト最適 1Bで 13BのLLMよりも高い 日本語性能 4T(=4000B)超 tokenで学習 ※ https://www.preferred.jp/ja/news/pr20240828/ リリース時点での情報
73. LLMの利用は今後ますます重要になる LLMを速く動かすには メモリアクセス速度 が重要 高速化、省コスト化は量子化や 小規模言語モデル（ SLM）で対応 まとめ
74. 補足：Apple Mシリーズ 万円 生成token/sec（実測値） (DDR5-5600 (dual channel) 32GB x2 *理論上限) NVIDIA H100 80GB PCIe x1 NVIDIA A100 80GB PCIe x1 参考：https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference 日本人の 読む速度 NVIDIA RTX4090 24GB x2 Apple M2 Ultra 192GB 300W
 900W