LLMを展開する

Transcript

1. LLMを展開する （そして書き下す） えすびて (𝕏: @nbit0125)
2. この発表は何？ • 最近 ⼤規模⾔語モデル(LLM)ってやつがすごい ◦ ◦ ◦ コーディングをゴリゴリやったり 数学の証明したり ▪ https://openai.com/ja-JP/index/ten-advances-in-mathematics/ ポケモンFRLGをクリアしたり ▪ https://www.youtube.com/watch?v=Ty_50J84fMY
3. この発表は何？ • 私のLLMに対する理解： トークン列を⼊れると、計算がされて、次のトークンの確率分布が返る 日本 の 首都 は LLM P(東京)=0.8 P(大阪)=0.1 … P(Linux)=0.001
4. この発表は何？ • • 私のLLMに対する理解： トークン列を⼊れると、計算がされて、次のトークンの確率分布が返る 素朴な疑問：この計算ってどのくらい⼤規模なの？ 日本 の 首都 は LLM P(東京)=0.8 P(大阪)=0.1 … P(Linux)=0.001
5. この発表は何？ • • • ところで、計算は（多くの場合）数式によって書き下すことができる → LLM の計算処理を展開していくことによって、 最終的に単⼀の（巨⼤な）数式で表現できるはず！ →ということで、やってみた ◦ ◦ ⾏列は使わず、四則演算+√, expなどの関数のみを使う 量⼦化や⼩数計算による誤差は無視 P(東京|日本 の 首都 は) = exp(0.123+0.456+...)/(exp(...)+exp(...)...) = 0.8 LLMの推論で行ってる計算 （この部分を書き下す）
6. Warm up：3層NN を⽤いた画像認識モデル • • まずはLLMによる次トークン予測より簡単なタスク‧モデルを使って試す タスク：⼿書き数字画像から数字の認識 ◦ • データセットには MNIST (https://huggingface.co/datasets/ylecun/mnist ) を使⽤ ▪ 28x28 の ⼿書き数字の⽩黒画像 ▪ これを 784 次元のベクトルにflattenし、各値を0.0〜1.0にスケールしてからモデルに⼊⼒ モデル：3層NN ◦ ◦ 画像 x を⼊⼒として、「xが数値y(0〜9)である確率」P(y|x)が出⼒される パラメータ数：25450個 784x32 Linear x ReLU (max(0,x)) 32x10 Linear Softmax P(0|x) P(1|x) ... P(9|x)
7. Warm up：3層NN を⽤いた数値認識モデル • 前述のモデルを学習させたのち、右下の画像について 「画像が8である確率」を求めるために実⾏される計算を書き下してみる
8. Warm up：結果 1/5
9. Warm up：結果 2/5
10. Warm up：結果 3/5
11. Warm up：結果 4/5
12. Warm up：結果 5/5
13. Warm up：結果 5/5 https://upload.wikimedia.org/wikipedia/commons/c/ca/Rosetta_Stone_BW.jpeg
14. Warm up：所感 • • ロゼッタストーンみたいになった 数式全体で 400万⽂字くらい ◦ • • 10.5pt, A4 余⽩なしで印刷すると 約650ページ（畳約 27枚分） とはいえ、まだ⽬でとらえることができる →これが LLM になったらどのくらいの⼤きさになる？
15. 本題：LLM（Kimi K3） • • LLMとして何を使うか→せっかくなら 2026/08 の SOTA なものを使いたい → https://artificialanalysis.ai/models#intelligence によると、Kimi K3 が (open weightなもののうち)トップなので、これを⽤いる ◦ • Kimi K3 のパラメータサイズ：約2.78兆（約1.6TB） ◦ ◦ • https://huggingface.co/moonshotai/Kimi-K3 ⼀回の推論で使われるのは約1050億 このパラメータだけ⾒ても前述のモデルの400万倍 これを⼀度に描画するのは⾮現実的
16. 巨⼤なモデルをどう描画するか？ • 実際は、ディスプレイに表⽰できる数式は全体のごく⼀部 ◦ • ⼤半は画⾯外 or つぶれて⾒えない このことを使って「数式が⾒える⼤きさになったら初めて描画」で現実的な 速度で描画できるように ◦ 実装は Claude Fable 5 様にやっていただきました
17. デモ前のお知らせ • • 本来であれば、Kimi K3 の weight をそのまま⽤いたかった ただ、このモデルは約 1.6TB あり、ダウンロードするには⾼速な回線が必要 • 我が家の回線は Very high-bit-rate Digital Subscriber Lineなので ⼤丈夫だろ！と思っていたが… ◦ ◦ • いわゆるVDSL回線で、なんと 最⾼で 100Mbps しか出ない 名前にVeryとかLargeとか⼊れるの良くないと思います ダウンロードに少なくとも35時間以上かかるので、代わりにモデル構造だけ を取得し、実際の値はそれらしい値をランダムに当てはめることにしました ◦ なので、今回の結果はあくまで⽬安としてとらえてください
18. デモ：P(東京|⽇本 の ⾸都 は) （数式の集合体が映るので、苦⼿な⽅はご注意ください）
41. … (10^3507倍後)
49. 所感 • • デカい！！！ 先ほどと同様に⼀番⼩さい数字を 10.5pt とすると、 先ほどのレイアウトで組んだ式全体の横幅は 2.2×103514 [m]になる ◦ ◦ • 観測可能な宇宙の直径： 8.8×10²⁶ m ただ、今回は⾏列積などで表現できる計算も完全に展開しているので、 その分冗⻑ではある デカさについては知れたが、具体的な演算の中⾝については何もわからない ◦ ◦ それはそう これから知っていきたい
50. まとめ • • • Kimi K3 の推論時に発⽣する計算をひとまとめに書き下した LLM の計算は⼤規模 (VDSL はもはや Very high-bit-rate ではなくなっている)