Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM の Attention 機構まとめ — 数式・計算量・メモリ

Avatar for プワー プワー
May 01, 2026
Research
470
1

LLM の Attention 機構まとめ — 数式・計算量・メモリ

最新のLLMのAttentinon,SSM(Mamba2,Gated DeltaNet)などを、 数式・計算量・メモリの観点からまとめスライドです。
使用されているモデルなどもまとめて、書かれてます。

Avatar for プワー

プワー

May 01, 2026

More Decks by プワー

See All by プワー
言語モデルを学習、推論するためのライブラリについて
Avatar for プワー puwaer
0
19

Other Decks in Research

See All in Research
【NICOGRAPH2025】Photographic Conviviality: ボディペイント・ワークショップによる 同時的かつ共生的な写真体験
Avatar for Chinatsu Ozawa toremolo72
0
220
Ankylosing Spondylitis
Avatar for Charles Holtzkampf ankh2054
0
160
衛星×エッジAI勉強会 衛星上におけるAI処理制約とそ取組について
Avatar for SatAI.challenge satai
4
440
LLM Compute Infrastructure Overview
Avatar for KARAKURI Inc. karakurist
2
1.2k
20年前に50代だった人たちの今
Avatar for marimari hysmrk
0
180
データセンター事業者を取り巻く近年の状況とその中での研究開発動向、テストベッドへの貢献の可能性
Avatar for KIKUCHI Shunsuke kikuzo
1
100
R&Dチームを起ち上げる
Avatar for shibuiwilliam shibuiwilliam
1
230
"主観で終わらせない"定性データ活用 ― プロダクトディスカバリーを加速させるインサイトマネジメント / Utilizing qualitative data that "doesn't end with subjectivity" - Insight management that accelerates product discovery
Avatar for 株式会社カミナシ kaminashi
16
24k
2026 東京科学大 情報通信系 研究室紹介 (大岡山)
Avatar for Tokyo Tech ICT Dept. icttitech
0
2.3k
視覚から身体性を持つAIへ: 巧緻な動作の3次元理解
Avatar for Take Ohkawa tkhkaeio
1
250
生成AI による論文執筆サポート・ワークショップ 論文執筆・推敲編 / Generative AI-Assisted Paper Writing Support Workshop: Drafting and Revision Edition
Avatar for Kenji Saito ks91
PRO
0
190
Model Discovery and Graph Simulation: A Lightweight Gateway to Chaos Engineering
Avatar for Anatoly A. Krasnovsky anatolykr
0
140

Featured

See All Featured
Marketing Yourself as an Engineer | Alaka | Gurzu
Avatar for Gurzu gurzu
0
180
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
128
17k
Avoiding the “Bad Training, Faster” Trap in the Age of AI
Avatar for Mike Taylor tmiket
0
130
Highjacked: Video Game Concept Design
Avatar for Ryan Kendrick rkendrick25
PRO
1
340
Thoughts on Productivity
Avatar for Jon Yablonski jonyablonski
76
5.1k
Impact Scores and Hybrid Strategies: The future of link building
Avatar for Tamara Novitovic tamaranovitovic
0
260
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
Avatar for Aleyda Solis aleyda
1
1.2k
Mind Mapping
Avatar for Hélio Medeiros helmedeiros
PRO
1
160
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
Avatar for r-kagaya rkaga
61
43k
Building Adaptive Systems
Avatar for Chris Keathley keathley
44
3k
Build The Right Thing And Hit Your Dates
Avatar for Maggie C. maggiecrowley
39
3.1k
CSS Pre-Processors: Stylus, Less & Sass
Avatar for Bermon Painter bermonpainter
360
30k

Transcript

  1. None
  2. None
  3. None
  4. None
  5. None
  6. None
  7. None
  8. None
  9. None
  10. None
  11. None
  12. None
  13. None
  14. None
  15. None
  16. None
  17. None
  18. None
  19. None
  20. None
  21. None
  22. None
  23. None
  24. None
  25. None
  26. None
  27. None
  28. None
  29. None
  30. None
  31. None
  32. None
  33. None
  34. None
  35. None
  36. None
  37. None
  38. None
  39. None
  40. None
  41. None
  42. None
  43. None
  44. None
  45. None
  46. None
  47. None
  48. None
  49. None
  50. None
  51. None
  52. None
  53. None
  54. None
  55. None
  56. None
  57. None
  58. None
  59. None
  60. None
  61. None
  62. None
  63. None
  64. None
  65. None
  66. None
  67. None
  68. None
  69. None
  70. None
  71. None
  72. None
  73. None
  74. None
  75. None
  76. None
  77. None
  78. None
  79. None
  80. None
  81. None
  82. None
  83. None
  84. None
  85. None
  86. None
  87. None
  88. None
  89. None
  90. None
  91. None
  92. None
  93. None
  94. None
  95. None
  96. None
  97. None
  98. None
  99. None
  100. None
  101. None
  102. None
  103. None
  104. None
  105. None
  106. None
  107. None