Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最近話題の1bit量子化とは?実際に調べてみました!
Search
Takanori Kotama
May 20, 2024
Research
0
120
最近話題の1bit量子化とは?実際に調べてみました!
最近話題の1bit量子化について理論的な観点から解説します。
Takanori Kotama
May 20, 2024
Tweet
Share
More Decks by Takanori Kotama
See All by Takanori Kotama
論文サーベイ NVIDIA SIMNET™: AN AI-ACCELERATED MULTI-PHYSICS SIMULATION FRAMEWORK
kotama7
0
4
新たなAIアーキテクチャ を作ろう!! ~フーリエ級数展開編~
kotama7
0
150
Other Decks in Research
See All in Research
スキマバイトサービスにおける現場起点でのデザインアプローチ
yoshioshingyouji
0
230
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
170
Large Language Model Agent: A Survey on Methodology, Applications and Challenges
shunk031
16
9.9k
MetaEarth: A Generative Foundation Model for Global-Scale Remote Sensing Image Generation
satai
4
200
機械学習と数理最適化の融合 (MOAI) による革新
mickey_kubo
1
320
Combinatorial Search with Generators
kei18
0
790
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
160
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
590
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
170
診断前の病歴テキストを対象としたLLMによるエンティティリンキング精度検証
hagino3000
1
130
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
270
Type Theory as a Formal Basis of Natural Language Semantics
daikimatsuoka
1
290
Featured
See All Featured
Become a Pro
speakerdeck
PRO
29
5.5k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
Into the Great Unknown - MozCon
thekraken
40
2k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.9k
KATA
mclloyd
32
14k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.1k
Code Reviewing Like a Champion
maltzj
525
40k
Transcript
最近話題の1bit 量子化とは? 実際に調べてみ ました! 樹神宇徳
導入 最近Twitter(X)でこんなツイート(ポスト)を見か けました。
導入 実際、1bit量子化にはどのようなポテンシャルを秘め ているのか? 1bit量子化でGPUが いらなくなる!! GPUがいらなくなる わけないだろwww
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
ニューラルネット について
ニューラルネットについて
ニューラルネットについて
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
1bit量子化とは 全ての重みを-1,0,1に変換する 手法
1bit量子化が1bitではない? https://arxiv.org/pdf/2310.11453.pdf 2402.17764.pdf (arxiv.org) 2402.17764.pdf (arxiv.org) 元々の1bit量子化である BitNet(https://arxiv.org/pdf/2310.11453.pdf) の改良版のBitNet-b1.58(2402.17764.pdf (arxiv.org))が量子化しないモデルと同程度の精
度を出す事が話題に。 今話題になっている1bit量子化は正確には 1.58bit量子化
1.58bit量子化の何が画期的? 今までのBitNetは重み が-1,1のどちらかしかと れない BitNet-b1.58は0も追加 されたことにより、関 係ない入力をはじくこ とが出来る。
1.58bit量子化の何が画期的? 重みが-1,0,1のみ かけ算の処理を行 う必要がなく計算 を高速化出来る。
どうやって1.58bit 量子化するの? 各重みを、重みの絶対値の平均より大きけれ ば1。重みの絶対値の平均に-1を掛けたものよ り小さければ-1。それ以外なら0にする
どれくらい高速化するの?
精度はどの程度か?
本当にGPUはいらなくなるの? • 現在は1bit量子化に最適化されたハードウェアの作成が構 想されている段階 • 1bit量子化に最適化されたハードウェアが完成しても、現 状1bit量子化の利用が期待されているのはLLMのみ GPUがいらなくなると結論づけるのは早計
ご清聴ありがとうございました