最近話題の1bit量子化とは？実際に調べてみました！

最近話題の1bit量子化について理論的な観点から解説します。

Transcript

1. 最近話題の1bit 量子化とは？ 実際に調べてみ ました！ 樹神宇徳
2. 導入 最近Twitter(X)でこんなツイート(ポスト)を見か けました。
3. 導入 実際、1bit量子化にはどのようなポテンシャルを秘め ているのか？ 1bit量子化でGPUが いらなくなる！！ GPUがいらなくなる わけないだろwww
4. 1bit量子化とは •そもそも1bit量子化とは？ ニューラルネットワークの重みを1,0,-1の みにすること
5. ニューラルネット について
6. ニューラルネットについて
7. ニューラルネットについて
8. 1bit量子化とは •そもそも1bit量子化とは？ ニューラルネットワークの重みを1,0,-1の みにすること
9. 1bit量子化とは 全ての重みを-1,0,1に変換する 手法
10. 1bit量子化が1bitではない？ https://arxiv.org/pdf/2310.11453.pdf 2402.17764.pdf (arxiv.org) 2402.17764.pdf (arxiv.org) 元々の1bit量子化である BitNet(https://arxiv.org/pdf/2310.11453.pdf) の改良版のBitNet-b1.58(2402.17764.pdf (arxiv.org))が量子化しないモデルと同程度の精 度を出す事が話題に。 今話題になっている1bit量子化は正確には 1.58bit量子化
11. 1.58bit量子化の何が画期的？ 今までのBitNetは重み が-1,1のどちらかしかと れない BitNet-b1.58は0も追加 されたことにより、関 係ない入力をはじくこ とが出来る。
12. 1.58bit量子化の何が画期的？ 重みが-1,0,1のみ かけ算の処理を行 う必要がなく計算 を高速化出来る。
13. どうやって1.58bit 量子化するの？ 各重みを、重みの絶対値の平均より大きけれ ば1。重みの絶対値の平均に-1を掛けたものよ り小さければ-1。それ以外なら0にする
14. どれくらい高速化するの？
15. 精度はどの程度か？
16. 本当にGPUはいらなくなるの？ • 現在は1bit量子化に最適化されたハードウェアの作成が構 想されている段階 • 1bit量子化に最適化されたハードウェアが完成しても、現 状1bit量子化の利用が期待されているのはLLMのみ GPUがいらなくなると結論づけるのは早計
17. ご清聴ありがとうございました