Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最近話題の1bit量子化とは?実際に調べてみました!
Search
Takanori Kotama
May 20, 2024
Research
0
91
最近話題の1bit量子化とは?実際に調べてみました!
最近話題の1bit量子化について理論的な観点から解説します。
Takanori Kotama
May 20, 2024
Tweet
Share
More Decks by Takanori Kotama
See All by Takanori Kotama
新たなAIアーキテクチャ を作ろう!! ~フーリエ級数展開編~
kotama7
0
110
Other Decks in Research
See All in Research
ソフトウェア研究における脅威モデリング
laysakura
0
2k
インドネシアのQA事情を紹介するの
yujijs
0
170
リモートワークにおけるパッシブ疲労
matsumoto_r
PRO
6
5k
NLP2025SharedTask翻訳部門
moriokataku
0
260
PetiteSRE_GenAIEraにおけるインフラのあり方観察
ichichi
0
290
移動ビッグデータに基づく地理情報の埋め込みベクトル化
tam1110
0
270
地理空間情報と自然言語処理:「地球の歩き方旅行記データセット」の高付加価値化を通じて
hiroki13
1
220
Weekly AI Agents News! 2月号 アーカイブ
masatoto
1
110
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
2.1k
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
1
370
Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment
satai
3
180
Dynamic World, Near real-time global 10 m land use land cover mapping
satai
3
100
Featured
See All Featured
Speed Design
sergeychernyshev
28
860
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
How STYLIGHT went responsive
nonsquared
99
5.4k
Building Adaptive Systems
keathley
41
2.5k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
The Cost Of JavaScript in 2023
addyosmani
48
7.6k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Writing Fast Ruby
sferik
628
61k
Gamification - CAS2011
davidbonilla
81
5.2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
Thoughts on Productivity
jonyablonski
69
4.5k
How to Think Like a Performance Engineer
csswizardry
22
1.5k
Transcript
最近話題の1bit 量子化とは? 実際に調べてみ ました! 樹神宇徳
導入 最近Twitter(X)でこんなツイート(ポスト)を見か けました。
導入 実際、1bit量子化にはどのようなポテンシャルを秘め ているのか? 1bit量子化でGPUが いらなくなる!! GPUがいらなくなる わけないだろwww
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
ニューラルネット について
ニューラルネットについて
ニューラルネットについて
1bit量子化とは •そもそも1bit量子化とは? ニューラルネットワークの重みを1,0,-1の みにすること
1bit量子化とは 全ての重みを-1,0,1に変換する 手法
1bit量子化が1bitではない? https://arxiv.org/pdf/2310.11453.pdf 2402.17764.pdf (arxiv.org) 2402.17764.pdf (arxiv.org) 元々の1bit量子化である BitNet(https://arxiv.org/pdf/2310.11453.pdf) の改良版のBitNet-b1.58(2402.17764.pdf (arxiv.org))が量子化しないモデルと同程度の精
度を出す事が話題に。 今話題になっている1bit量子化は正確には 1.58bit量子化
1.58bit量子化の何が画期的? 今までのBitNetは重み が-1,1のどちらかしかと れない BitNet-b1.58は0も追加 されたことにより、関 係ない入力をはじくこ とが出来る。
1.58bit量子化の何が画期的? 重みが-1,0,1のみ かけ算の処理を行 う必要がなく計算 を高速化出来る。
どうやって1.58bit 量子化するの? 各重みを、重みの絶対値の平均より大きけれ ば1。重みの絶対値の平均に-1を掛けたものよ り小さければ-1。それ以外なら0にする
どれくらい高速化するの?
精度はどの程度か?
本当にGPUはいらなくなるの? • 現在は1bit量子化に最適化されたハードウェアの作成が構 想されている段階 • 1bit量子化に最適化されたハードウェアが完成しても、現 状1bit量子化の利用が期待されているのはLLMのみ GPUがいらなくなると結論づけるのは早計
ご清聴ありがとうございました