LLM Internals: 언어 모델의 계보와 알고리즘 진화 (2023~2026)

이 발표에서는 거대 언어 모델의 구조 및 알고리즘이 어떤 식으로 개선되고 진화해 왔는지, 각 언어 모델들이 어떤 경로를 따라 서로 영향을 주고 받았는지에 대해 다뤄봅니다.

본 발표 자료는 2026년 5월 12일에 진행한 국가인공지능전략위원회 내부 세미나용으로 만든 발표자료입니다.

In this talk, I walk through how the architectures and algorithms behind large language models have improved and evolved, and how the different model families influenced one another along the way.

These slides were originally prepared for an internal seminar of Presidential council on National AI Strategy, held on May 12, 2026.

Transcript

1. LLM internals 언어 모델의 계보와 알고리즘 진화 (2023–2026) 신정규 래블업 주식회사 2026년 5월 12일
2. 2 오늘 이야기 LLM internals: 언어 모델의 계보와 알고리즘 진화 • 2023년 2월 Llama 1 공개 이후, 오픈 웨이트 LLM이 50종 넘게 등장 • 골격은 모두 Decoder-only Transformer지만, 내부 구조는 갈수록 갈라지는 중 • Normalization · Attention · Positional · Activation · MoE의 변주가 여러 갈래로 늘어나는 중 • 새 모델을 볼 때 어디서 갈라졌고 어디로 향하는지를 알면 구조가 빨리 보임 • 이 발표에서는 시간 축(가계도)과 알고리즘 축(스레드)을 따로 보며 LLM 진화 지도를 그려봄
3. 3 목차 LLM internals: 언어 모델의 계보와 알고리즘 진화 Part 1 시간 축으로 본 가계도 Part 2 알고리즘 변화, 주제별로 살펴보기 Part 3 종합과 서빙 시사점
4. 4 한눈에 보는 8가지 아키텍처 흐름 LLM internals: 언어 모델의 계보와 알고리즘 진화 '흐름'은 엄격한 출시 순서가 아니라, 여러 모델군에서 반복된 아키텍처 패턴을 묶은 단위. 시기는 시작점을 뜻하고 서로 겹칠 수 있음 8 architecture streams Overlapping waves of recurring model-design patterns 1 Llama RMSNorm · SwiGLU · RoPE 2 Gemma stability variants 3 Efficiency Qwen · Phi · OLMo 4 Specialized code · region · context 5 MoE sparse experts 6 Beyond T SSM · RNN 7 Hybrid Attn + SSM/Linear 8 New std cache · routing · quant 2023 주제 기반 정립 2024 흐름 시기 1 2023-02~ 2 2024-02~ 3 2024-04~ 4 2024~ 5 2023-12~ 효율화 · 소형화 특수화 · 지역화 MoE 시대 6 2023-12~ Beyond Transformer Mamba 1/2, RWKV v7 7 2024-03~ Hybrid Jamba, Nemotron-H, Nemotron 3 Nano, Qwen3 Next 8 2025-04~ Gemma 변주 신표준 대표 모델 Llama 1/2/3, Mistral, Cohere Gemma 1 · 2 · 3 · 3n · 4 Qwen 2/2.5/3, OLMo, Phi, SmolLM StarCoder2, InternLM, GLM-4, HyperCLOVA X SEED Mixtral, DeepSeek V2/V3/V4, Qwen MoE Llama 4, DeepSeek V4, Qwen 3.5/3.6, Nemotron Omni 2025 2026
5. LLM internals: 언어 모델의 계보와 알고리즘 진화 Part 1 시간 축으로 본 가계도
6. 6 흐름 1: Llama Era Llama 1(2023-02) 이후의 오픈 모델 대부분은 Llama 직계이거나, 그 골격을 살짝 바꾼 변형 • 표준 골격: Decoder-only Transformer · Pre-norm • Llama가 정립한 4종 세트: – RMSNorm (Pre-norm) – SwiGLU activation – RoPE positional embedding – MHA → GQA로 가는 어텐션 압축 경로 • 여기서 Llama 직계, Mistral, Cohere라는 세 갈래가 생김 LLM internals: 언어 모델의 계보와 알고리즘 진화 Decoder-only Transformer baseline The Llama-style four-piece template tokens RMSNorm RoPE Q/K SwiGLU FFN pre-norm residual stream MHA → GQA residual next block
7. 7 LLM internals: 언어 모델의 계보와 알고리즘 진화 Llama 1 → 2 → 3 세대 출시 어텐션 Llama 1 2023-02 MHA RMSNorm · SwiGLU · RoPE 표준 정립 Llama 2 2023-07 Llama 3 2024-04 모든 크기 GQA Llama 3.1 2024-07 GQA 토크나이저 · 데이터 확장 RoPE 주파수 즉석 계산, paged-decode GQA(70B만) 비고 GQA의 본격 도입 직계 후손: Yi · Vicuna · TinyLlama · ExaOne 3.0 · Hunyuan v1 Dense · StableLM 등
8. 8 Mistral 패밀리: SWA · GQA의 대중화 LLM internals: 언어 모델의 계보와 알고리즘 진화 • 2023-09 Mistral 7B: Sliding Window Attention(SWA) + GQA를 한꺼번에 보급 • 슬라이딩 윈도우는 글로벌 어텐션의 O(N²) 비용을 일부 피한 첫 실용 해법 • 2024-12 Ministral 3: 작은 모델에 Llama-4 스타일 어텐션 스케일링을 얹음 • 2025 Mistral 3: Pixtral VLM의 텍스트 백본으로 사용 • 2025 Mistral 4: MLA(DeepSeek 영향) + MoE + Llama-4 스케일링이 한데 모인 흐름 5 · 7 · 8의 합류점
9. 9 Cohere 패밀리: Parallel Block · QK Norm 분기 LLM internals: 언어 모델의 계보와 알고리즘 진화 • 2024-03 Command R: Llama 흐름에서 크게 갈라져 나온 초기 분기 • Parallel Block: Attention과 MLP를 순차가 아니라 병렬로 계산 – out = attn(norm(x)) + mlp(norm(x)) + x • QK Norm: 내적 전 Q · K에 LayerNorm. Qwen 3 · OLMo2 · SmolLM3 · MiniMax M2로 확산 • Logit Scaling: 출력 투영 전 스칼라를 곱함. Gemma · MiniCPM · Llama 4 변형으로 확산 • 2024-12 Cohere2: 슬라이딩 패턴(N개 중 1개만 글로벌)으로 Gemma 3 · OLMo3과 같은 길로 수렴
10. 10 흐름 2: Gemma 변주 Google은 Llama 템플릿을 그대로 따르기보다, 훈련 안정성을 높이는 구조 변경을 세대마다 시도 • 모든 세대 공통: RMSNorm에 1.0 + weight 오프셋 적용 (0 나눗셈 방지) • 세대별 추가 변형: – G1 (2024-02): 임베딩 × √d, GeLU LLM internals: 언어 모델의 계보와 알고리즘 진화 Gemma stability variants Each generation changes the normalization / attention / cache recipe G1 G2 G3 G3n G4 RMSNorm(1+w) softcapping 4 norms/block AltUp / LAUREL Partial RoPE embed × √d residual norm QK norm KV sharing Sparse MoE GeLU alternating attn Dual RoPE per-layer inputs custom vision Main theme: keep Llama compatibility, move stability work into block internals – G2 (2024-06): Logit softcapping, residual path norm – G3 (2025-03): Hybrid attention, Dual RoPE, 블록당 4 norm – G3n (2025-05): AltUp · LAUREL · KV 공유 · Per-Layer Inputs – G4 26B A4B (2026-04): Top-8/128 전문가 Sparse MoE · Dual Head Dim · Partial RoPE · MTP drafter
11. 11 Gemma 1 · 2: 안정화의 시작 LLM internals: 언어 모델의 계보와 알고리즘 진화 Gemma 1 (2024-02) • RMSNorm(1+w) : 가중치가 0 근처일 때 그래디언트가 더 안정적 • 임베딩 × √(hidden_size): 작은 d에서도 스케일을 일관되게 유지 • GeLU 선택. SwiGLU 흐름에서 잠시 벗어난 선택 Gemma 2 (2024-06) • Logit softcapping: Attention 점수와 최종 logit에 tanh , 훈련 안정성 향상 • Residual path norm: h = x + norm(layer(x)) , layer 출력에 norm을 적용한 뒤 residual add • Alternating attention: 슬라이딩과 글로벌을 교대로 적용. G3 · Cohere2 · OLMo3 · ExaOne 4로 이어지는 출발점
12. 12 Gemma 3 · 3n · 4: 변주의 가속 LLM internals: 언어 모델의 계보와 알고리즘 진화 Gemma 3 (2025-03) • 블록당 4개 norm + QK Normalization • Dual RoPE: 로컬 · 글로벌 레이어에 다른 base frequency • AnyKVCache: 가변 길이 KV와 고정 길이 Rotating 캐시를 혼합 • Residual Clipping: FP16 범위로 명시 클리핑 Gemma 3n (2025-05) • AltUp · LAUREL: 레이어 단위 라우팅 · 추가 residual path • KV Sharing: 형제 레이어 K/V 재사용 → Gemma 4 · LongcatFlash로 확산 Gemma 4 (2026-04) • 26B A4B MoE: 총 26B 중 약 3.8B 활성, 128 전문가 중 Top-8 라우팅 • Dual Head Dim · Partial RoPE · Per-Layer Inputs • MTP drafter: 별도 assistant 모델이 후보 토큰을 만들고, 대상 모델이 병렬 검증
13. 13 흐름 3: 효율화 · 소형화 모델 Qwen 2 / 2.5 Qwen 3 OLMo / OLMo2 / OLMo3 LLM internals: 언어 모델의 계보와 알고리즘 진화 시기 2024-06 / 09 2024-12 2024-02 → 2025-04 핵심 Attn bias · tied embeddings QK Norm · MoE 실험 통합 파라미터 없는 LN → Post-norm → SWA Phi 1 / 2 2023-06 / 12 Partial RoPE, Parallel Block Phi-3 Mini/Medium 2024-04 LongRoPE (SuScaledRoPE), 128k 문맥 Phi-3 Small 2024-05 Block Sparse + GeGELU + MUP SmolLM3 (HF) 2025-04 ExaOne 3.0 (LG) 2024-08 QK Norm + 컴팩트 한 · 영 이중언어 + SwiGLU
14. 14 흐름 4: 특수화 · 지역화 모델 LLM internals: 언어 모델의 계보와 알고리즘 진화 시기 StarCoder2 2024-02 InternLM 2 / 3 2024-01 / 2025-01 GLM-4 Baichuan / M1 2024-01 2023-09 / 2024-09 MiniCPM / MiniCPM3 2024-04 / 09 Hunyuan v1 Dense 2025-03 ERNIE 4.5 2025-05 HyperCLOVA X SEED (NAVER) 2025-04 → 2026-01 핵심 모든 선형에 bias, LayerNorm Dynamic NTK RoPE · Packed QKV Post-Norm 하이브리드 · 융합 gate_up_proj 중 · 영 + SWA depth-scaled residual → MLA + SuScaledRoPE Tencent 계열 · Llama + SWA Multi-RoPE · 융합 QKV 한국어 중심 Dense · VLM · Omni, Peri-LN · μP
15. 15 흐름 5: MoE 시대 개요 LLM internals: 언어 모델의 계보와 알고리즘 진화 추론 비용을 크게 늘리지 않고 모델 용량을 키우려는 흐름이 여기로 모임 • 2023-12 Mixtral 8×7B: 오픈 웨이트 Sparse MoE의 출발점 (Top-K Gating) • 2024-05 DeepSeek V2: MLA (KV 압축) + DeepSeekMoE (Aux-free 로드 밸런싱) 이 함께 등장 • 2024-12 DeepSeek V3: V2를 다듬고 FP8 학습까지 적용. 후속 모델에 가장 큰 영향을 줌 • 2025-01 DeepSeek R1: V3 구조에 RL을 얹은 추론(Reasoning) 모델 • 2025-06 DeepSeek V3.2: 희소 어텐션용 Indexer + LoRA 스타일 어텐션 • 2026-04 DeepSeek V4: CSA/HCA 하이브리드 어텐션 + mHC + 1M context • 2026-04 Gemma 4 26B A4B: 128 전문가 중 Top-8 라우팅으로 약 3.8B만 활성화하는 MoE • 2024-06+ Qwen MoE: 공유 전문가 패턴을 정립했고, 이후 Solar · GLM4 MoE 등으로 전파 DeepSeek V4 architecture CSA  HCA hybrid attention, mHC residual streams, sparse MoE CSA 4× pool Lightning Indexer tokens DeepSeekMoE routed experts + shared expert mHC streams HCA 128× pool dense compressed 1M context by compressing long-range KV before attention
16. 16 흐름 5: MoE의 확산 모델 LLM internals: 언어 모델의 계보와 알고리즘 진화 시기 라우팅 Top-K Softmax 특징 표준 출발점 Mixtral 8×7B 2023-12 Qwen 2/3 MoE 2024-06 / 12 + 공유 전문가 PhiMoE 2024-08 Top-K + SuScaledRoPE OLMoE 2024-09 SwitchGLU DeepSeek V3 2024-12 Sigmoid + Aux-free 그룹 제한 + e_score 편향 DeepSeek V4 2026-04 SqrtSoftplus + Aux-free CSA/HCA + mHC + 1M context Gemma 4 26B A4B 2026-04 ExaOne MoE (LG) 2025 Sigmoid + 그룹 공유 + 라우티드 GLM4 MoE / Lite / DSA 2025 Solar Open 102B-A12B (Upstage) 2026-01 Hunyuan MoE 2025-04 ERNIE 4.5 MoE 2025-05 MiMo 2025-06 Top-K + 공유 MiniMax M2 2025-10 Sigmoid (DSv3) GPT-OSS (OpenAI) 2025-08 SwitchGLU + Sinks Top-8 / 128 전문가 Sigmoid + 그룹 128 라우티드 + 1 공유 전문가 Top-K + 공유 Top-K + 공유 norm_topk_prob (Q3 MoE) 긴 문맥 MoE Q/K Norm + 정규화 26B 총량 · 약 3.8B 활성 · 256K MLA(Lite), Indexer(DSA) 한국어 MoE tiktoken Multi-RoPE 상속 다중 토큰 예측 256 전문가 + QK RMSNorm MXFP4, 슬라이딩 + Attn Sinks
17. 17 흐름 6: Beyond Transformer LLM internals: 언어 모델의 계보와 알고리즘 진화 Attention의 O(N²) 비용 문제가 RNN · SSM의 부활을 끌어낸 흐름 Mamba 1 (2023-12) / Mamba 2 (2024-05) • Self-Attention을 1D conv + 순환 상태 업데이트 형태로 대체 • 시퀀스 길이와 무관한 고정 메모리 • Mamba 2: 'Heads'( n_groups ) 도입, 행렬 곱 유닛 최적화. Falcon Mamba · Mamba-Codestral도 같은 경로 RWKV v7 (2025-01) • Receptance Weighted Key Value (RNN 패밀리) • Token Shift: 현재 임베딩과 이전 임베딩 혼합 • WKV Kernel: 효율적 순환 상태 업데이트용 커스텀 커널 • Internal LoRA: 레이어 안에서 광범위한 저랭크 적응
18. 18 흐름 7: Hybrid LLM internals: 언어 모델의 계보와 알고리즘 진화 서로 다른 패러다임(Attention + SSM/Linear)을 한 모델 안에 결합 Nemotron 3 Nano hybrid core Top: compute path. Bottom: runtime state each serving stack must carry. COMPUTE PATH Mamba-2 state Sparse MoE GQA attention Mamba-2 state SERVING STATE MambaCache fixed recurrent state expert routing active 3B/token 31.6B total / 3.2B active KVCache attention layers Hybrid models mix cache types; the serving runtime must select a state path per layer. 모델 Jamba (AI21) RecurrentGemma (Griffin) Nemotron-H (NVIDIA) Nemotron 3 Nano Nemotron 3 Nano Omni Nemotron-NAS (NVIDIA) Qwen3 Next Qwen 3.5 Qwen 3.6 시기 2024-03 2024-04 2025-04 2025-12 2026-04 2025-06 2025-06 2026-02 2026-04 결합 Mamba 레이어와 Attention 교대 + Sparse MoE RGLRU 순환 + 슬라이딩 로컬 attn Mamba2 + Attn + MLP (+ MoE) 패턴 문자열 Hybrid Mamba-Transformer MoE, 30B-A3B 계열 30B-A3B Hybrid MoE + image/video/audio encoders NAS로 도출된 이종 레이어 config Full Attn + GatedDeltaNet(Linear) + MoE Qwen3 Next 계승 VLM + GatedDeltaNet/Attention + MoE 35B-A3B MoE / 27B Dense, agentic coding 강화 + 내장 MTP
19. 19 흐름 8: 2025–26 신표준 KV 캐시 변화와 여러 패러다임의 융합이 한꺼번에 일어나는 중 LLM internals: 언어 모델의 계보와 알고리즘 진화 Nemotron 3 Nano Omni • 2025-04 Llama 4: ChunkedKVCache + Interleaved MoE + 비전 모델 image (Llama 4 Scout) video encoders 30BA3B agent RADIO / EVS Hybrid MoE Parakeet decoder • 2026-04 DeepSeek V4: CSA/HCA 압축 어텐션 + mHC + hash-MoE audio bootstrap text • 2026-02/04 Qwen 3.5/3.6: Qwen3 Next 계승, 네이티브 VLM + GatedDeltaNet/Attention + MoE/Dense + 내장 MTP • 2025-07 ExaOne 4 (LG): 'LLLG' 슬라이딩 패턴 + Output-norm + Q/K RMSNorm • 2025-08 GPT-OSS (OpenAI): Sparse MoE + 슬라이딩/풀 어텐션 교대 + Per-head Attention Sinks + MXFP4 • 2025-08 LongcatFlash (Meituan): MLA + 듀얼 서브레이어 디코더 (레이어당 2× attn + 2× MLP) + 선택적 n-gram • 2025-07 Kimi K2 (Moonshot): KimiMLAAttention과 KimiDeltaAttention(GatedDeltaNet)을 교대 배치 + DeepSeek MoE • 2025-09 Step 3.5 (StepFun): ZeroCenteredRMSNorm + 헤드별 게이트 + 레이어별 RoPE • 2026-01 HyperCLOVA X SEED Omni/Think: 8B Omni는 텍스트·이미지·비디오·오디오 입출력을 통합, 32B Think는 128K VLM 추론 + thinking mode 제공 • 2026-04 Nemotron 3 Nano Omni: 텍스트·이미지·비디오·오디오를 한 30B-A3B Hybrid MoE 루프로 통합 Vision, audio, video, and text enter one 30BA3B hybrid MoE loop single perception loop for computer use · documents · audio-video reasoning
20. LLM internals: 언어 모델의 계보와 알고리즘 진화 Part 2 알고리즘 변화, 주제별로 살펴보기
21. 21 Part 2의 주요 갈래 LLM internals: 언어 모델의 계보와 알고리즘 진화 Thread 주요 갈래 Normalization LayerNorm → RMSNorm → +1 → Post-norm → QK Norm → 4-norm → Gated → ZC Attention MHA → MQA → GQA → SWA → MLA → Block Sparse → Sinks → Chunked Positional RoPE → Partial → LongRoPE / YaRN / NTK → Multi/Dual/Per-layer Activation ReLU → GeLU → SwiGLU → GeGLU → Clamped SwiGLU → ReLU² MoE Top-K → 공유 전문가 → Aux-free → Sigmoid → 거대/세분화 전문가 KV Cache KVCache → Rotating → Chunked → CacheList → 혼합 (KV + Mamba) Non-Attention SSM → RNN → Linear Attention → Hybrid Decoding Speculative decoding → 외부 drafter → 내장 MTP → 병렬 검증
22. 22 Norm: 정규화가 왜 중요한가 LLM internals: 언어 모델의 계보와 알고리즘 진화 • LLM은 수십~수백 레이어까지 깊게 쌓이는 구조 • 깊이가 깊을수록 residual stream에서 활성값 분산이 커지기 쉬움 • 정규화는 수치 안정성뿐 아니라 학습 가능 여부 자체를 좌우 • LLM 진화의 큰 줄거리 중 하나는 'Norm을 어디에, 몇 개, 어떻게 끼울까'라는 질문
23. 23 LayerNorm → RMSNorm (Llama, 2023) • 기존 LayerNorm: 평균과 분산을 모두 계산. reduction 두 번 필요 • RMSNorm: 평균 0을 가정하고 RMS만 계산. reduction 한 번이면 충분 – y = x / sqrt(mean(x²) + ε) · γ • 효과: 같은 품질에서 forward가 ~10–15% 더 빠르고, 메모리는 비슷함 • Llama 1이 표준화한 후 거의 모든 후속 모델이 채택 • 예외 분기: Cohere · Phi · OLMo · StarCoder2 · StableLM은 LayerNorm 유지 LLM internals: 언어 모델의 계보와 알고리즘 진화 LayerNorm vs RMSNorm Removing the mean subtraction saves one reduction LayerNorm mean(x) var(x) scale + bias RMSNorm mean(x²) sqrt + scale no mean centering 2 reductions 1 reduction
24. 24 LLM internals: 언어 모델의 계보와 알고리즘 진화 Pre-norm vs Post-norm • Pre-norm (대다수): h = x + layer(norm(x)) , Llama 패밀리 전부 • Post-norm 회귀: 깊은 네트워크의 그래디언트 흐름 개선이 목적 – GLM-4 (2024-01): pre-norm + attn/mlp 뒤에도 norm 추가 ('Post-norm 하이브리드') – OLMo2 (2024-11): Q/K norm 추가 후 본격 post-norm 전환 Pre-norm vs Post-norm Where the normalization sits relative to the residual addition Pre-norm: x + layer(norm(x)) x norm layer + Post-norm family: x + norm(layer(x)) x layer norm + – Gemma 2 (2024-06): Residual path norm h = x + norm(layer(x)) , residual add 전 정규화 – HyperCLOVA X SEED Think (2025-07): Peri-Layer Normalization, 서브레이어 출력 뒤 RMSNorm 추가 + μP 스케일링 • 매우 깊은 MoE(80+ 레이어)에서는 post-norm 계열이 안정적이라는 공감대가 생기는 중
25. 25 QK Normalization: 가장 빠르게 확산된 기법 • 내적 계산 전 Q와 K에 별도 norm을 적용 • 효과: 큰 모델의 학습을 안정화하고, 어텐션 폭주를 억제 • Cohere (2024-03) 최초 (LayerNorm2D) • 1년 안에 Qwen 3 / Qwen 3 MoE(RMSNorm) · OLMo2 / OLMo3 · Gemma 3 · ExaOne 4 · SmolLM3 · InternLM3 · MiniMax M2 · ExaOne MoE로 확산 • 2024–2025년 신모델에서는 기본 선택지에 가까워진 상태 LLM internals: 언어 모델의 계보와 알고리즘 진화 QK Normalization Normalize Q and K before dot-product attention hidden h Q proj norm K proj norm V proj Q · Kᵀ softmax ×V
26. 26 Norm 폭증: Gemma 3 • 블록당 norm이 4개 (Input · Post-Attn · Pre-FFN · Post-FFN), 여기에 Q · K norm 2개가 더 붙음 • 한 레이어 = 6개 RMSNorm 호출 • Residual Clipping까지 추가 (FP16 범위 강제) • 비용: 추론 시 norm 호출은 늘지만 메모리 대역폭에 비례하고, 병목은 아님 • 트레이드오프: 학습 안정성은 좋아지지만 추론 지연이 살짝 늘어남 LLM internals: 언어 모델의 계보와 알고리즘 진화 Gemma 3: many norms in one block Input / attention / FFN paths all get their own normalization Input norm QK norm Attention Post-Attn norm Pre-FFN norm FFN Post-FFN norm 6 RMSNorm calls per layer
27. 27 Gated · Centered 변형 (2025) • RMSNormGated (Qwen3 Next): 출력에 silu(gate) 곱 – Linear Attention 결과를 정규화하면서 동시에 게이트 • MambaRMSNormGated (Nemotron-H): Mamba 블록 출력 정규화 + 게이트 • ZeroCenteredRMSNorm (Step 3.5): 런타임 동작은 RMSNorm과 같고, 학습 안정성을 보강 • NemotronLayerNorm1P (Nemotron-4): weight + 1 오프셋 (Gemma와 같은 패턴) LLM internals: 언어 모델의 계보와 알고리즘 진화 Gated / centered normalization variants Normalize the state, then modulate how much passes through Qwen3 Next / Nemotron-H: gate controls normalized state state RMSNorm × gate output
28. 28 Attention: 가장 많이 손댄 부품 LLM internals: 언어 모델의 계보와 알고리즘 진화 어텐션은 메모리(KV 캐시)와 연산량(O(N²))을 동시에 잡아먹는 부품 네 가지 접근 • 압축: MHA → GQA, 헤드가 K/V를 공유해 캐시를 줄임 • 우회: SWA · MLA, 전체 KV를 직접 들고 가지 않는 경로 • 희소화: CSA/HCA, 중요한 토큰과 해시 버킷 중심으로 선택 • 대체: SSM · Linear, 어텐션을 순환 상태나 선형 연산으로 치환 흐름 1–5의 큰 변화는 대부분 어텐션 주변에서 일어남. DeepSeek V4부터는 MLA 이후 단계인 CSA/HCA까지 진입
29. 29 MHA → MQA → GQA: 헤드 압축의 흐름 • MHA (Multi-Head): 헤드마다 K/V가 독립적. KV 캐시 = H × d_k × L × N • MQA (Multi-Query): 모든 헤드가 같은 K/V를 사용. 캐시는 1/H로 줄지만, 품질 손실이 약간 있음 • GQA (Grouped Query): 헤드를 그룹으로 묶어 그룹당 K/V를 공유. MHA와 MQA 사이의 타협점 • 확산 경로 – Llama 2 70B (2023-07) 첫 도입 → Llama 3 전 사이즈 적용 LLM internals: 언어 모델의 계보와 알고리즘 진화 MHA  MQA  GQA Different ways to share K/V heads MHA Q Q Q Q MQA Q Q K/V K/V K/V K/V K/V K/V Q Q Q Q GQA Q Q Q one shared K/V KV cache size shrinks as K/V sharing increases – Mistral 7B와 동시기에 표준화 – 2024년 이후 GQA는 기본값에 가까움. 새 모델이 MHA를 쓰면 그 이유가 따로 있어야 함 Q K/V Q Q K/V Q Q K/V
30. 30 LLM internals: 언어 모델의 계보와 알고리즘 진화 Sliding Window Attention (SWA) • 토큰이 자기 앞 W개만 봄. 어텐션이 국소화되는 구조 • 효과: O(N²) → O(N · W) 연산, RotatingKVCache로 캐시도 W로 고정 • Mistral 7B (2023-09) 도입 후 거의 모든 후속 모델에서 옵션화 • 단점: 멀리 떨어진 토큰을 직접 못 봄 • 보완 패턴은 대부분 SWA, 일부 레이어만 글로벌로 두는 Alternating Attention – Gemma 2 → Gemma 3 (로컬 · 글로벌 교대) – Cohere2 (N개 중 1개만 글로벌) – OLMo3 (post-norm + SWA) – ExaOne 4 ( LLLG 같은 패턴 문자열로 명시) – GPT-OSS (layer_types로 명시) Sliding Window Attention Each token attends only to the previous W tokens window W dense history ON² → ON·W
31. 31 LLM internals: 언어 모델의 계보와 알고리즘 진화 MLA: Multi-Head Latent Attention • DeepSeek V2 (2024-05)가 제안. KV를 저랭크 잠재 벡터로 압축 • 메커니즘: c_t^{KV} = W_DKV · h_t (압축), 디코딩 시 k = W_UK · c , v = W_UV · c (복원) • 효과: 품질은 유지하면서 KV 캐시 메모리 5–10×↓ • LoRA 스타일 분해로 추가 압축 가능 ( q_a_proj → q_a_layernorm → q_b_proj ) MLA: latent KV compression Store a compact latent vector, reconstruct K/V during decode K restore hₜ down project cₜᴷⱽ latent cache V restore KV cache stores c, not full K/V 계승 경로 • DeepSeek V3 / R1 / V3.2 (Indexer 추가) • DeepSeek V4 (MLA 계열을 CSA/HCA 하이브리드 압축 어텐션으로 대체) • MiniCPM3 (엣지 LLM에 MLA + SuScaledRoPE) • GLM4 MoE Lite (LoRA 스타일 KV 압축) • Mistral 4 (Llama-4 스케일링과 결합) • Kimi K2 (Linear Attention과 교대) • LongcatFlash (듀얼 서브레이어와 결합)
32. 32 LLM internals: 언어 모델의 계보와 알고리즘 진화 Block Sparse · Indexer • Block Sparse Attention: 미리 정의한 블록 마스크로 일부 토큰 쌍만 계산 – Phi-3 Small (2024-05). Dense + Block Mask 혼합 • Sparse Attention용 Indexer: Top-k 인덱스를 학습된 보조 Block Sparse + learned Indexer A helper attention module chooses which blocks are worth reading Indexer top-k blocks 어텐션으로 고름 – DeepSeek V3.2 (2025-06) 도입, 효율적인 긴 문맥 – DeepSeek V4 (2026-04): CSA는 4× 압축 KV 위에서 Lightning Indexer로 top-k 블록 선택, HCA는 128× 압축 KV를 dense로 읽음 – GLM MoE DSA가 V3.2 Indexer를 GLM 매핑으로 흡수 – CacheList: 메인 어텐션 캐시 + Indexer 캐시 = 레이어당 캐시 2개 Main attention CacheList = main KV + indexer KV sparse mask
33. 33 Attention Sinks: GPT-OSS의 작은 한 수 • 첫 토큰이 어텐션을 과도하게 흡수해버리는 attention sink 현상 • 슬라이딩 윈도우에서 첫 키 위치가 멀어지면 학습 때의 분포와 어긋남 • GPT-OSS (2025-08): 첫 키 위치에 학습된 편향을 추가 (perhead Attention Sinks) • DeepSeek V4 (2026-04): CSA/HCA 공통 백본에도 perhead learnable sink 사용 • 효과: 슬라이딩 윈도우에서도 어텐션 엔트로피 손실 방지 • 별도 의미 토큰 없이 학습된 편향만으로 안정화 LLM internals: 언어 모델의 계보와 알고리즘 진화 Attention Sinks Learned per-head bias keeps sliding-window attention stable sink bias S 1 2 3 4 5 6 7 8 prevents first-position distribution shift under SWA 9 10
34. 34 ChunkedKV: Llama 4의 메모리 할당 방식 • 기존 KVCache는 연속 메모리 할당이라 긴 시퀀스에서 단편화가 생김 • ChunkedKVCache (Llama 4, 2025-04): KV를 청크 단위로 저장 – 메모리 할당 단편화 회피 – 가변 시퀀스 길이에 더 유연 • Interleaved MoE와 함께 사용: dense 레이어 사이에 MoE를 전략적으로 배치 (예: 매 4번째) • 동적 attention 스케일링 ( floor_scale , attn_scale ) LLM internals: 언어 모델의 계보와 알고리즘 진화 Chunked KV Cache Store KV in chunks instead of one large contiguous allocation contiguous KV chunked KV fragmentation pressure variable lengths fit by adding chunks
35. 35 어텐션 하이브리드 패턴 정리 패턴 SWA 단독 Alternating (교대) 패턴 문자열 Dual Cache MLA + Linear 교대 MLA + 듀얼 서브 Full + Linear 모델 Mistral 7B, Baichuan M1 Gemma 2, Cohere2, OLMo3 ExaOne 4 ( LLLG ), GPT-OSS Gemma 3, ExaOne 4 Kimi K2 LongcatFlash Qwen3 Next, Qwen 3.5/3.6 LLM internals: 언어 모델의 계보와 알고리즘 진화 핵심 처음부터 끝까지 슬라이딩 일부 글로벌 레이어마다 명시 로컬은 Rotating, 글로벌은 KVCache KimiMLAAttention과 KimiDeltaAttention 한 '레이어'가 2× attn + 2× MLP full_attention_interval로 교대
36. 36 Positional Embedding • 절대 위치 → 상대 위치 → 회전 위치(RoPE) 형태로 수렴해 온 역사 • RoPE의 강점: 상대 위치 정보를 곱셈으로 주입하면서도 KV 캐시와 잘 맞음 • 2023년 이후 거의 모든 모델이 RoPE 변형 사용 • 세 가지 분기 – 얼마나 적용할까 (Partial) – 어떻게 늘릴까 (Long) – 어떻게 섞을까 (Multi/Dual) LLM internals: 언어 모델의 계보와 알고리즘 진화
37. 37 LLM internals: 언어 모델의 계보와 알고리즘 진화 RoPE → Partial RoPE • RoPE (RoFormer, 2021): Query · Key에 차원별 회전 행렬을 곱함 • 표준은 헤드 차원 전체에 적용 • Partial RoPE: 헤드 차원의 일부에만 적용, 나머지는 그대로 – Phi 1/2 (2023-06) 첫 도입 – Phi-3 Mini/Medium – GLM-4 (2024-01) 도입 – Nemotron-4 (2024-06) – MiniMax M2(2025) · Gemma 4(2026)까지 확산 • 직관: 일부 차원은 위치의 영향을 덜 받고 의미 정보를 더 담게 둠 RoPE vs Partial RoPE Which head dimensions receive positional rotation? Full RoPE All dimensions of Q/K carry position information. head dim ↻ ↻ ↻ ↻ ↻ ↻ ↻ ↻ ↻ position ↻ Partial RoPE Only selected dimensions rotate; the rest stay as content/semantic dimensions. head dim ↻ ↻ ↻ ↻ = = = = = = rotate keep rotated position dims unchanged content dims
38. 38 긴 문맥: LongRoPE · YaRN · NTK • 표준 RoPE는 학습 길이를 벗어나면 외삽에 실패하기 쉬움 • 세 갈래의 확장 기법이 거의 동시에 등장 LLM internals: 언어 모델의 계보와 알고리즘 진화 Long-context RoPE scaling Stretch or adapt rotary frequencies beyond training length LongRoPE YaRN equency scale Dynamic NTK context length 기법 출처 LongRoPE (SuScaledRoPE) Phi-3 (2024-04) YaRN DeepSeek V2 (2024-05) Dynamic NTK InternLM2 (2024-01) 특징 짧은/긴 길이마다 별도 스케일링. 소형 모델이 128k 지원 NTK-aware + 점진 보정. 가장 널리 채택 추론 시 가변 길이에 적응, 외삽 우수 채택 분포: Phi-3 / PhiMoE(LongRoPE), DeepSeek 전 세대 / Mistral 4 / GPT-OSS(YaRN), InternLM2/3(Dynamic NTK) 정도
39. 39 Multi · Dual · Per-layer RoPE • Multi-RoPE (ERNIE 4.5, 2025-05): 헤드 차원의 다른 부분에 다른 RoPE 설정 적용 – multi_rope_section · multi_rope_factor • Dual RoPE (Gemma 3, 2025-03): 로컬 · 글로벌 레이어가 다른 base frequency • Per-layer RoPE (Step 3.5, 2025-09): 레이어마다 LLM internals: 언어 모델의 계보와 알고리즘 진화 Multi / Dual / Per-layer RoPE Different layers or head sections can carry different rotary settings head section 1 head section 2 head section 3 head section 4 와 partial_rotary_factor 가 다름 • M-RoPE (Qwen2-VL): 2D/3D 위치 정보. 비전 토큰 좌표를 RoPE에 직접 인코딩 • No RoPE on global (Cohere2, ExaOne 4): 글로벌 레이어에서는 RoPE를 빼는 선택 rope_theta local θ global θ layer θₗ section-wise / layer-wise position geometry
40. 40 Activation: SwiGLU로 수렴하다 • 2017 Transformer는 ReLU • 2019 BERT는 GeLU • 2022년 GLU 계열 제안 → 2023년 Llama 1이 SwiGLU 표준화 • SwiGLU = Swish(x · W_gate) ⊙ (x · W_up) · W_down • 효과: ReLU/GeLU 대비 같은 품질까지 더 빠르게 수렴 • 2023년 이후 거의 모든 모델이 SwiGLU 또는 그 변종을 사용 LLM internals: 언어 모델의 계보와 알고리즘 진화 SwiGLU / GLU-family FFN Gate branch controls the up-projection branch gate proj x ⊙ up proj Swish / GeLU / clamp variants live in the gate path down proj
41. 41 SwiGLU에서 갈라진 변종들 LLM internals: 언어 모델의 계보와 알고리즘 진화 SwiGLU / GLU-family FFN Gate branch controls the up-projection branch gate proj x ⊙ up proj Swish / GeLU / clamp variants live in the gate path 변종 표준 SwiGLU 모델 Llama, Mistral, Qwen, DeepSeek 등 다수 GeGLU Gemma 2 GeLU approx Gemma 3 · 3n · 4 GeGELU Phi-3 Small Clamped SwiGLU Step 3.5, GPT-OSS 빠른 근사 GeLU 명시적 입출력 클램프 레이어별 클램프 한계 ( swiglu_limit ) Custom α GPT-OSS alpha=1.702 큰 흐름은 클램프 추가 방향. 학습 안정성과 MoE 전문가 출력 폭주 억제에 효과 특징 β=1 Gate에 Swish 대신 GeLU Swish down proj
42. 42 ReLU² 부활: Nemotron 패밀리 • Squared ReLU ( relu(x)² ): GeLU/SwiGLU 대비 더 날카로운 비선형성 • Nemotron-4 (2024-06): 엔터프라이즈용 견고성에 초점 • Nemotron-H (2025-04): Mamba2 + Attn + MLP/MoE 하이브리드의 MLP에 ReLU² 유지 • 직관: 0 이하는 0, 0 이상은 제곱. sparse한 활성 패턴과 강한 양수 신호를 만듦 • 채택은 NVIDIA 계열에 집중됨. 다른 패밀리는 대체로 SwiGLU 계열 유지 LLM internals: 언어 모델의 계보와 알고리즘 진화 Squared ReLU Sharper positive response than ReLU / GeLU-style activations ReLU² ReLU
43. 43 MoE: 폭발적 사용 증가의 이유 • 모델 용량은 총 파라미터로 키우되, 활성 파라미터는 작게 유지 • 추론 비용은 활성 파라미터에 비례 → 100B 모델도 10B 수준 비용으로 동작 • 단점: 로드 밸런싱과 라우터 학습이 불안정하고, 메모리는 여전히 총 파라미터 크기를 따라감 • 2023-12 Mixtral 이후 2년 만에 MoE가 큰 모델의 사실상 표준이 된 상태 • 2026년에는 DeepSeek V4-Pro(1.6T/49B active)와 Nemotron 3 Nano(30B-A3B)가 같은 흐름을 서로 다른 방식으로 확장 LLM internals: 언어 모델의 계보와 알고리즘 진화 Sparse MoE routing A small router chooses a few experts per token token router E1 E2 E3 E4 E5 E6 Top-k active experts; inactive experts stay cold
44. 44 Mixtral: Top-K Gating 표준 제시 • Mixtral 8×7B (2023-12): 8 전문가 × 7B = 46.7B 총, 12.9B 활성 • Top-K Gating (K=2): 라우터가 토큰당 상위 2 전문가를 선택 • Sparse Block: MLP를 전문가 MLP 뱅크로 대체 • 학습 안정화는 auxiliary loss로 로드 밸런싱을 맞춤 • 한계: aux loss가 학습 신호와 충돌, 그룹 균형이 미세하게 깨짐. 이후 Aux-free로 해결 LLM internals: 언어 모델의 계보와 알고리즘 진화 Sparse MoE routing A small router chooses a few experts per token token router E1 E2 E3 E4 E5 E6 Top-k active experts; inactive experts stay cold
45. 45 공유 전문가: Qwen MoE의 패턴 • Qwen 2 MoE (2024-06): 라우티드 전문가 외에, 모든 토큰에 활성화되는 공유 전문가 도입 • 출력은 MoE_output + sigmoid(Gate) · LLM internals: 언어 모델의 계보와 알고리즘 진화 Shared expert pattern Routed experts handle specialization; shared expert handles common knowledge routed experts Shared_Expert_Output • 직관: 공통 지식은 공유 전문가가 맡고, 특화 지식은 라우티드 전문가가 맡음. 라우터 부담도 줄어듦 • 확산: DeepSeekMoE · OLMoE · ExaOne MoE · GLM4 MoE · Hunyuan MoE · ERNIE 4.5 MoE · MiMo · Solar Open · LongcatFlash • Qwen 3 MoE (2024-12)에서 norm_topk_prob 정규화가 추가됨 token + gated sum shared expert MoE_output + sigmoid(gate) · Shared_Expert_Output
46. 46 DeepSeekMoE: Aux-free Load Balancing • DeepSeek V3 (2024-12)가 제안. 보조 손실 없이 부하 균형을 맞춤 • 편향 보정( e_score_correction_bias ) 사용 – 각 전문가에 학습 가능한 편향 추가 – 균형이 깨지면 편향만 동적으로 보정하고, 본 라우터 점수는 건드리지 않음 LLM internals: 언어 모델의 계보와 알고리즘 진화 Aux-free load balancing Adjust expert bias without changing the main router score load imbalance • Group Limited Greedy: 사전 정의된 그룹으로 전문가 선택 제한. 그룹 간 균형 보장 • FP8 학습 지원: V3가 FP8로 학습된 첫 대규모 오픈 모델 • 확산: V3.2 · R1 · Kimi K2 · MiniMax M2 등 • V4에서는 초반 hash-MoE bootstrap + SqrtSoftplus affinity로 변경, Auxfree 편향 보정은 유지 e_score correction bias E1 E2 E3 E4 E5 bias nudges routing; main score remains intact
47. 47 Sigmoid 라우팅: Softmax의 대안 • 표준 Top-K MoE는 라우터에 softmax를 사용 • Sigmoid 라우팅: 각 전문가 점수를 독립적인 0~1로 계산. 여러 전문가가 동시에 강한 신호를 낼 수 있음 • 강점: 학습 신호가 한 전문가에 쏠리는 압력 약화 • 채택: DeepSeek V3 · MiniMax M2 · Solar Open · GLM4 MoE / DSA · Step 3.5 · ExaOne MoE • MiniMax M2 (2025-10): 256 전문가 + top-8 + 시그모이드. 현재까지 가장 큰 규모의 사례 • DeepSeek V4는 Sigmoid에서 SqrtSoftplus affinity로 이동. 라우팅 함수 자체도 모델별 최적화 대상 LLM internals: 언어 모델의 계보와 알고리즘 진화 Softmax vs Sigmoid routing Softmax couples experts; sigmoid scores each expert independently softmax: sums to 1 sigmoid: independent scores E4 E4 E3 E3 E2 E2 E1 E1
48. 48 KV Cache: 메모리 병목의 핵심 • LLM 서빙의 메모리 압박은 모델 가중치보다 KV 캐시에서 더 크게 나오는 중 • 긴 컨텍스트에서는 KV가 모델보다 큼 • 이제 캐시 구조 자체가 모델 설계의 결정 요소가 됨 LLM internals: 언어 모델의 계보와 알고리즘 진화
49. 49 KV 캐시의 진화 LLM internals: 언어 모델의 계보와 알고리즘 진화 KV cache evolution Runtime state is no longer one uniform KV tensor Full KV all tokens Rotating fixed window Compressed CSA/HCA Chunked paged alloc Mixed KV + state Llama Mistral DeepSeek V4 Llama 4 Qwen/Nemotron Serving code must choose cache layout per layer not just allocate one contiguous K/V buffer 캐시 등장 KVCache (표준) 2023~ RotatingKVCache Mistral SWA (2023-09) CacheList DeepSeek V3.2 (2025-06) CSACache / HCACache DeepSeek V4 (2026-04) ChunkedKVCache Llama 4 (2025-04) AnyKVCache Gemma 3 (2025-03) MambaCache Mamba (2023-12) 혼합 KV + Mamba ArraysCache Qwen3 Next, Nemotron-H, Nemotron 3 Nano LongcatFlash 용도 풀 어텐션 슬라이딩 윈도우 (고정 W 크기) 메인 + Indexer 캐시 슬라이딩 K=V + 압축 풀 + Indexer 상태 청크 단위 할당 (단편화 회피) 가변 길이 KV + 고정 길이 Rotating 혼합 순환 상태 (고정 크기) 레이어 종류에 따라 다른 캐시 n-gram 해시 룩업
50. 50 Non-Attention: O(N²)을 벗어나서 LLM internals: 언어 모델의 계보와 알고리즘 진화 • Self-Attention의 O(N²) 비용은 긴 시퀀스에서 현실적인 한계가 됨 • 상태 공간 모델인 SSM과 RNN이 동시에 부활 • Nemotron 3 Nano는 Mamba-Transformer MoE로 긴 reasoning trace 처리량을 끌어올린 계열 • Linear Attention은 둘 사이에 걸친 형태로, 어텐션을 순환 상태로 표현
51. 51 Mamba: SSM의 부활 • State Space Model: 연속 시간 시스템 h'(t) = A·h(t) 를 이산화 • 핵심 트릭은 A를 입력에 따라 달라지는 선택적 행렬로 만들어, 입력에 맞춰 기억 정도를 조절하는 것 + B·x(t) • Mamba 1 (2023-12): Selective SSM + Hardware-aware Parallel Scan • Mamba 2 (2024-05): 'Heads'( n_groups ) 도입, 행렬 곱 유닛으로 재해석 • Nemotron 3 Nano (2025-12): Mamba-2 레이어를 Transformer/MoE와 섞은 30B-A3B Hybrid MoE • RNN처럼 메모리 크기는 시퀀스 길이와 무관한 고정 크기 • 한계: 정확한 회상(retrieval)이 어려움. Hybrid가 등장한 배경 LLM internals: 언어 모델의 계보와 알고리즘 진화 Mamba selective SSM Input-dependent state update with fixed memory x1 x2 x3 x4 x5 h0 h1 h2 h3 h4 y1 y2 y3 y4 y5 parallel scan computes recurrent updates efficiently
52. 52 RWKV v7: RNN의 재발견 • Receptance Weighted Key Value. Linear Attention과 RNN의 교집합 • Token Shift: 현재 임베딩을 이전 임베딩과 혼합 ( x_r , x_k , x_v , x_g ) • WKV Kernel: 효율적인 순환 상태 업데이트를 위한 커스텀 커널 • Internal LoRA: 레이어 정의 안쪽에서 저랭크 적응을 수행 • 강점: 추론 시 진짜 O(1) 메모리와 진짜 스트리밍 LLM internals: 언어 모델의 계보와 알고리즘 진화 RWKV token shift + WKV state Mix current token with previous token, then update recurrent WKV state xₜ₋₁ token shift mix xₜ O1) memory streaming WKV state
53. 53 Linear Attention 결합: Hybrid의 본격화 • 정확한 회상(어텐션)과 긴 컨텍스트(SSM/Linear)를 한 모델에서 결합 • Qwen3 Next (2025-06): GatedDeltaNet 레이어와 Full Attention을 full_attention_interval 로 교대 • GatedDeltaNet 메커니즘: g = exp(-exp(A_log) · softplus(a + dt_bias)) , 학습된 게이트로 상태를 업데이트 LLM internals: 언어 모델의 계보와 알고리즘 진화 Full Attention + Linear Attention hybrid Alternate exact recall layers with long-context recurrent layers Full Delta Delta Delta KVCache MambaCacheMambaCacheMambaCache Full Delta Delta Delta Full MambaCacheMambaCacheMambaCacheMambaCache • Qwen 3.5 (2026-02): Qwen3 Next 계승 네이티브 VLM, Gated DeltaNet + Gated Attention + sparse MoE • Qwen 3.6 (2026-04): 같은 계열을 35B-A3B MoE와 27B Dense 오픈 모델로 확장, 내장 MTP까지 포함 • Kimi Linear / K2 (2025): KimiMLAAttention과 KimiDeltaAttention 교대 (MLA + Linear 결합) • 혼합 캐시: Linear 레이어는 MambaCache, Full 레이어는 KVCache 사용 full_attention_interval controls the cadence
54. 54 LLM internals: 언어 모델의 계보와 알고리즘 진화 Decoding: Speculative decoding · MTP • Speculative decoding: 작은 drafter가 여러 토큰을 먼저 제안, 큰 target 모델이 한 번에 검증 • 거절된 토큰이 있어도 target이 그 위치의 정답 토큰을 내므로, 출력 품질은 target 모델 기준으로 유지 • MTP: DeepSeek V3의 보조 학습 목표에서 시작해, 2026년에는 서빙 기능으로 전면화 • Qwen 3.6: 체크포인트에 mtp.* 가중치 포함. vLLM qwen3_next_mtp , SGLang NEXTN 경로로 사용 • Gemma 4: *-assistant 4-layer drafter를 별도 공개. 26B A4B는 MoE라 배치 1에서 expert reuse가 낮으면 이득이 줄 수 있음 Speculative decoding + MTP Draft tokens first, verify with target in parallel Autoregressive decoding Speculative / MTP decoding One expensive target pass per token Target t+1 Target t+2 Target Cheap draft + one target verification pass native mtp.* weights t+2 t+k or MTP head Target verify in parallel Accept prefix + 1 token t+3 One target pass per token Qwen 3.6 t+1 Drafter Rejected draft → target token, then restart Gemma 4 assistant drafter Serving engine draft schedule · acceptance
55. LLM internals: 언어 모델의 계보와 알고리즘 진화 Part 3 종합과 시사점
56. 56 8가지 흐름을 관통하는 5가지 패턴 LLM internals: 언어 모델의 계보와 알고리즘 진화 1. 효율성: MoE가 본격화되고(DeepSeek V3/V3.2/V4 · Mixtral · MiniMax M2 · GPT-OSS · Nemotron 3 Nano), Linear Attention 비중도 커짐(Mamba · RWKV · Qwen3 Next · Qwen 3.5/3.6 · Kimi Linear) 2. 안정성: 정규화가 복잡해짐 (Gemma 2/3 다중 norm, QK Norm 확산, RMSNormGated, ZeroCenteredRMSNorm) 3. 전문화: 엣지(MiniCPM · Phi-3 · SmolLM3), 도메인(StarCoder2 코드, R1 추론), 지역(ExaOne · HyperCLOVA · Solar · Baichuan · Hunyuan · ERNIE · Kimi)으로 세분화 4. 하이브리드화: Transformer와 SSM/Linear를 함께 사용(Jamba · RecurrentGemma · Nemotron-H/Nano · Qwen3 Next · Qwen 3.5/3.6 · Kimi K2 · LongcatFlash) 5. 캐시 구조 변화: CacheList · DeepSeek V4 CSA/HCA 캐시 · ChunkedKV · 혼합 KV+Mamba · Rotating
57. 57 알고리즘 영향력 지도: 누가 누구를 따랐나 LLM internals: 언어 모델의 계보와 알고리즘 진화 • Llama → 거의 전부 (RMSNorm · SwiGLU · RoPE · GQA) • Mistral → SWA를 여러 후속 모델로 확산 • Cohere → QK Norm을 1년 안에 8개 이상 모델로 확산 • Mixtral → Top-K MoE의 표준 출발점 • Gemma 2 → Alternating attention, Logit softcapping, residual norm • DeepSeek V2/V3/V4 → MLA + Aux-free에서 CSA/HCA + mHC까지 이어지며 긴 문맥 MoE의 기준선을 계속 이동 • Mamba / Nemotron → 단독 SSM 모델 수는 적어도, Hybrid Mamba-Transformer MoE의 기반 • Qwen MoE → 공유 전문가 패턴을 거의 모든 후속 MoE로 확산
58. 58 서빙 · 최적화 시사점 영역 라우팅 로직 상태 관리 어텐션 마스크 다중 캐시 추측 디코딩 양자화 LLM internals: 언어 모델의 계보와 알고리즘 진화 과제 Softmax / Sigmoid / SqrtSoftplus, 그룹/공유 전문가, Aux-free 편향 보정 SSM/RNN/Linear Attention의 순환 상태, DeepSeek V4 CSA/HCA 압축 상태 슬라이딩 / Alternating / 패턴 문자열 / Block Sparse / Attention Sinks CacheList/CSACache/HCACache, 혼합 KV+Mamba, RotatingKV, ChunkedKV MTP head/assistant, draft token 스케줄, acceptance rate, assistant KV 공유 FP8 PTQ (Qwen3.6 · Nemotron), NVFP4 (Gemma 4 PTQ · Nemotron QAD), MXFP4 (GPT-OSS) MSFA, 동적 소프트 토큰, Nemotron Omni CRADIO/Parakeet 비전 백본 M-RoPE, 인코더 단순 GEMM 최적화만으로는 부족. 모델 구조 자체가 서빙 코드의 형태를 결정 Serving implications Model architecture now selects runtime subsystems routing softmax / sigmoid / groups state KV / rotating / Mamba mask SWA / block sparse / sinks quant FP8 / MXFP4 / NVFP4 spec MTP / drafter / acceptance vision MRoPE / connector / soft tokens not just GEMM kernels
59. 59 한국 모델의 위치 LLM internals: 언어 모델의 계보와 알고리즘 진화 • ExaOne 3.0/4.0 (LG, 2024–2025): Llama 계열에서 출발, 'LLLG' 패턴 + Output-norm + Q/K RMSNorm으로 신표준에 합류 • ExaOne MoE (LG, 2025): Sigmoid + 그룹 + 공유. DeepSeek 흐름을 흡수 • HyperCLOVA X SEED (NAVER, 2025-04~): 0.5B/1.5B Text, 3B Vision, 14B/32B Think, 8B Omni로 공개 라인업 확장 • SEED Think/Omni (2025-07~2026-01): Peri-LN + μP 기반 reasoning, 32B VLM 128K, 8B any-to-any 한국어 우선 Omni • Solar Open 102B-A12B (Upstage, 2026-01): 128 라우티드 + 1 공유 전문가 MoE • 국내 모델은 새로운 분기라기보다 합류와 한국어 특화에 가까움. 세계 흐름을 빠르게 흡수해 공개 생태계를 키우는 패턴
60. 60 다음 흐름의 방향 LLM internals: 언어 모델의 계보와 알고리즘 진화 • 단일 패러다임의 종료: 흐름 8 신모델 대부분이 복합 구조 • 캐시 · 라우팅 다양성 확대: 레이어마다 다른 어텐션, 캐시, RoPE 조합 • 양자화 친화적 배포: Qwen3.6 · Nemotron 3 Nano는 BF16 기반 FP8 PTQ, Gemma 4는 BF16 기본 + NVFP4/FP8 PTQ. Nemotron Nano NVFP4는 QAD로 보정 • MTP/Speculative decoding 전면화: Qwen 3.6은 내장 MTP, Gemma 4는 assistant drafter로 같은 병목을 겨냥 • Linear Attention 비중 확대: Qwen3 Next · Qwen 3.5/3.6 · Kimi Linear · LongcatFlash가 후속 모델을 이끄는 흐름 • 서빙 인프라의 지연: 모델 구조 변화보다 늦게 따라오는 실행 · 캐시 · 라우팅 지원, 래블업의 과제
61. 감사합니다. LLM internals 신정규 · 래블업
62. 62 References: 자료 기준 LLM internals: 언어 모델의 계보와 알고리즘 진화 • 1차 기준: mlxcel 모델 아키텍처 분석 (Lablup 내부 문서, 2026) • 공개 자료 우선순위: 공식 기술 보고서 → 모델 카드 → 구현 문서 → 릴리스 노트 • 검증 대상: config.json , generation_config.json , safetensors index, 공개 체크포인트의 모델 카드 • 구현 확인: Hugging Face Transformers, vLLM, SGLang, MLX-LM/MLX-VLM 구현을 함께 대조 • 표기 방식: 슬라이드 본문은 모델 계보 중심, 레퍼런스는 논문·모델 카드·구현 문서를 분리해 정리
63. 63 References: 알고리즘 논문 LLM internals: 언어 모델의 계보와 알고리즘 진화 • Transformer 계열: Vaswani et al., 2017; Llama / Llama 2, Meta, 2023; Llama 3/4 모델 카드, Meta, 2024– 2026 • 정규화 · 활성화 · 위치 인코딩: RMSNorm, Zhang & Sennrich, 2019; GLU Variants Improve Transformer, Shazeer, 2020; RoFormer/RoPE, Su et al., 2021 • 어텐션 효율화: Mistral 7B, Jiang et al., 2023; GQA, Ainslie et al., 2023; DeepSeek V2의 MLA, DeepSeek-AI, 2024 • MoE 계열: Shazeer et al., 2017/2019; Switch Transformer, Fedus et al., 2021; Mixtral, Jiang et al., 2024; DeepSeek V3/V4 Aux-free · CSA/HCA • SSM · RNN · Linear Attention: Mamba, Gu & Dao, 2023; Mamba-2, Dao & Gu, 2024; RWKV v7, Peng et al., 2025; Kimi Linear, Moonshot AI, 2025 • 디코딩: Speculative decoding, Leviathan et al., 2023; DeepSeek V3, DeepSeek-AI, 2024; Qwen3.6/Gemma 4 MTP 문서, 2026
64. 64 References: 모델 패밀리와 릴리스 LLM internals: 언어 모델의 계보와 알고리즘 진화 • Llama · Mistral · Gemma: Meta Llama 1/2/3/4 기술 보고서·모델 카드; Mistral 7B/Mixtral/Mistral 패밀리 모델 카드; Google Gemma 1/2/3/3n/4 기술 보고서·모델 카드 • Qwen: Qwen 2/2.5/3, Qwen3 Next, Qwen 3.5, Qwen3.6-35B-A3B, Qwen3.6-27B 모델 카드, Alibaba/Qwen Team, 2024–2026 • DeepSeek: DeepSeek V2/V3/R1 기술 보고서; DeepSeek-V4 Transformers 문서와 공개 모델 카드, DeepSeekAI, 2024–2026 • NVIDIA: Nemotron-H, Nemotron 3 Nano, Nemotron QAD/NVFP4, Nemotron 3 Nano Omni, NVIDIA, 2025– 2026 • 한국 · 지역 모델: ExaOne 3.0/4.0/MoE, LG AI Research, 2024–2025; HyperCLOVA X / SEED model cards, NAVER, 2025–2026; Solar Open, Upstage, 2026 • 기타 오픈 흐름: GPT-OSS, OpenAI, 2025; Kimi K2/Linear, Moonshot AI, 2025; LongcatFlash, Meituan, 2025; MiniMax M2, MiniMax, 2025; Step 3.5, StepFun, 2025
65. 65 References: 구현 · 서빙 · 양자화 LLM internals: 언어 모델의 계보와 알고리즘 진화 • Transformers 구현 문서: Llama, Mistral, Gemma, Qwen/Qwen3 Next, DeepSeek V4, HyperCLOVA X, Nemotron, Solar Open 모델 문서·config • Speculative/MTP 서빙: Qwen3.6 모델 카드의 SGLang NEXTN · vLLM qwen3_next_mtp ; Gemma 4 MTP와 Gemma 4 assistant 모델 카드 • 양자화: Qwen3.6 FP8 PTQ 모델 카드; Gemma 4 BF16 원본과 NVIDIA/커뮤니티 NVFP4·FP8 PTQ 모델 카드; Nemotron QAD/NVFP4; GPT-OSS MXFP4 문서 • 런타임 구현: vLLM, SGLang, KTransformers, MLX-LM, MLX-VLM, mlxcel 변환·런타임 코드 경로 • 시각화: 본문 SVG는 공개 논문/모델 카드의 구조 설명을 바탕으로 발표용으로 재구성