Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最近話題の1bit量子化とは?実際に調べてみました!
Search
Takanori Kotama
May 20, 2024
Research
0
41
最近話題の1bit量子化とは?実際に調べてみました!
最近話題の1bit量子化について理論的な観点から解説します。
Takanori Kotama
May 20, 2024
Tweet
Share
More Decks by Takanori Kotama
See All by Takanori Kotama
新たなAIアーキテクチャ を作ろう!! ~フーリエ級数展開編~
kotama7
0
64
Other Decks in Research
See All in Research
[第62回NLPコロキウム]「なりきり」を促すHCI設計:対話型接客ロボットの遠隔操作者へのリアルタイム変換音声フィードバックの適用
nami_ogawa
0
260
Minimum Bayes-Risk Decoding における性能変動の理解に向けて(2024年6月5日 第59回 NLPコロキウム)
atsumoto
0
310
「確率的なオウム」にできること、またそれがなぜできるのかについて
eumesy
PRO
7
2.8k
SSII2024 [OS2] 画像、その先へ 〜モーション解析への誘い〜
ssii
PRO
1
1.2k
SNLP2024:Planning Like Human: A Dual-process Framework for Dialogue Planning
yukizenimoto
1
260
Language is primarily a tool for communication rather than thought
ryou0634
4
630
SSII2024 [OS2] 大規模言語モデルとVision & Languageのこれから
ssii
PRO
5
1.4k
WikipediaやYouTubeにおける論文参照 / joss2024
corgies
1
240
SSII2024 [TS1] 生成AIと3次元ビジョン ~3次元生成AIの最先端の理論~
ssii
PRO
1
1.2k
大規模言語モデルのバイアス
yukinobaba
PRO
4
460
LLM based AI Agents Overview -What, Why, How-
masatoto
1
310
Active Adaptive Experimental Design for Treatment Effect Estimation with Covariate Choices
masakat0
0
170
Featured
See All Featured
Designing with Data
zakiwarfel
98
5k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
103
48k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
28
1.6k
The Brand Is Dead. Long Live the Brand.
mthomps
53
37k
Building Your Own Lightsaber
phodgson
101
6k
Visualization
eitanlees
142
15k
The Straight Up "How To Draw Better" Workshop
denniskardys
230
130k
Atom: Resistance is Futile
akmur
261
25k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
157
15k
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.2k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
23
1.7k
Writing Fast Ruby
sferik
623
60k
Transcript
最近話題の1bit 量子化とは? 実際に調べてみ ました! 樹神宇徳
導入 最近Twitter(X)でこんなツイート(ポスト)を見か けました。
導入 実際、1bit量子化にはどのようなポテンシャルを秘め ているのか? 1bit量子化でGPUが いらなくなる!! GPUがいらなくなる わけないだろwww
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
ニューラルネット について
ニューラルネットについて
ニューラルネットについて
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
1bit量子化とは 全ての重みを-1,0,1に変換する 手法
1bit量子化が1bitではない? https://arxiv.org/pdf/2310.11453.pdf 2402.17764.pdf (arxiv.org) 2402.17764.pdf (arxiv.org) 元々の1bit量子化である BitNet(https://arxiv.org/pdf/2310.11453.pdf) の改良版のBitNet-b1.58(2402.17764.pdf (arxiv.org))が量子化しないモデルと同程度の精
度を出す事が話題に。 今話題になっている1bit量子化は正確には 1.58bit量子化
1.58bit量子化の何が画期的? 今までのBitNetは重み が-1,1のどちらかしかと れない BitNet-b1.58は0も追加 されたことにより、関 係ない入力をはじくこ とが出来る。
1.58bit量子化の何が画期的? 重みが-1,0,1のみ かけ算の処理を行 う必要がなく計算 を高速化出来る。
どうやって1.58bit 量子化するの? 各重みを、重みの絶対値の平均より大きけれ ば1。重みの絶対値の平均に-1を掛けたものよ り小さければ-1。それ以外なら0にする
どれくらい高速化するの?
精度はどの程度か?
本当にGPUはいらなくなるの? • 現在は1bit量子化に最適化されたハードウェアの作成が構 想されている段階 • 1bit量子化に最適化されたハードウェアが完成しても、現 状1bit量子化の利用が期待されているのはLLMのみ GPUがいらなくなると結論づけるのは早計
ご清聴ありがとうございました