In-Context Learning再入門。ICLの勾配降下的解釈の研究動向を追ってみる。

「ICLがなぜ動くのか」を勾配降下法の観点から解釈しようとする研究の紹介をしています。

Transcript

1. In-Context Learning再入門 ICLの勾配降下的解釈の研究動向を追ってみる A Survey on In-context Learning（Dong+, EMNLP 2024）より 主に Dai+ 2023a "Why Can GPT Learn In-Context?" を詳しく AI技術共有会 2026-10-29 GO株式会社 福島大祐 AI技術共有会 2026-10-29
2. 自己紹介 福島 大祐 | Daisuke Fukushima GO株式会社 開発本部 AI技術開発部 (2026年1月入社) AI1グループ 猫好き 画像(研究室時代)→広告→製造→now 『GOエコノミー』のアルゴリズム開発がメイン ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 2
3. 0. はじめに AI技術共有会 2026-10-29 3
4. 主題 LLM使うばっかりなので、たまには理論を(ライトに)追ってみよう KDA (Kimi Linear)への接続周りも少し理解したい ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 4
5. In-Context Learning (ICL)と関連概念 Fine-tuning パラメー タ更新 あり（全体） Few-shot Learning あり（少数例で適 離散プロンプト：なし / ソフトプ 応） ロンプト：あり 必要デー 多数のラベル付き 少数のラベル付き タ データ データ 必要 必要 学習フェ ーズ 関係 — Prompt Learning 一般的な ML の枠 組み In-context Learning なし タスクによる 文脈内の k 個のデモ 場合による 不要（推論のみ） 広義には ICL を含む 離散プロンプトの一種（サーベイは「prompt tuning のサブクラス」と表現） ※ デモ（demonstration）：プロンプトに入れる「入力と正解」の例 Prompt Learning との関係：ICL は「デモがプロンプトの一部」になっている 離散プロンプト の一種。サーベ イは「prompt tuning のサブクラス」と書くが、ソフトプロンプトを学習する狭義の prompt tuning（Lester+ 2021）とは別物 Few-shot Learning との違い：「少数例」は共通だが、ICL は パラメータを動かさない ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 5
6. 何が不思議なのか Fine-tuning デモ (x_i, y_i) │ forward ▼ 損失 L │ backward（勾配） ▼ W ← W − η∇L ← 重みが変わる │ クエリ x → 予測 In-context Learning [デモ (x_i, y_i) ; クエリ x] │ forward のみ ▼ 予測 ← 重みは固定 ICL には 損失も backward もない のに、デモに合わせて予測が「適応」する デモを増やすと性能が上がり、ラベルを反転すると予測も反転する…まるで 学習している 問い：順伝播の中に「重み更新」に相当する計算が隠れているのでは？ ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 6
7. A Survey on In-context Learning（Dong+, EMNLP 2024） ICL は y ^ = arg maxyj fM (yj , C, x) という スコア関数付きの条件付き予測 として定式化で ​ ​ ​ ​ ​ きる（M：モデル、C ：デモの集合、x：クエリ） 性能は デモの選択・形式・順序 と スコア関数 に強く依存 「良いデモ」を選ぶ方法は モデル依存（論文の追加実験で確認） 事前学習後に ICL 形式に寄せた追加学習（warmup） をすると能力が伸びる なぜ動くか： ベイズ的解釈：デモから潜在コンセプト θ を事後推定している 勾配降下的解釈：アテンションはデモを「メタ勾配」とする暗黙の fine-tuning と双対 回路的解釈：Induction Head がパターンをコピーする 課題：効率・スケーラビリティ、汎化、Long-context ICL ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 7
8. 以降の内容 勾配降下的解釈をピックアップして研究動向を追ってみます パート 内容 1. Irie+ 2022 線形層 ＋ 勾配降下 ＝ 注意機構 / 基本となる恒等式 2. Dai+ 2023a メタ勾配による橋渡し / ICL ＝ 暗黙の fine-tuning 3. 以降の研究動向 サーベイ論文以降の理論 / 主張の 3 段階で整理 / 批判論文 / 言えること・言えないこと 4. 設計の側から 線形アテンションの弱点 / 推論中に本当に GD する層：DeltaNet → KDAまでのつながり 5. まとめ 実務への示唆 / まとめ 目標：細かく理解するというよりは、最近の研究動向までの流れを理解する ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 8
9. 1. 線形層 ＋ 勾配降下 ＝ 注意機構 "The Dual Form of Neural Networks Revisited: Connecting Test Time Predictions to Training Patterns via Spotlights of Attention", Kazuki Irie et al., ICML2022 AI技術共有会 2026-10-29 9
10. 1-1. 出発点：線形層の勾配は「誤差信号 ⊗ 入力」 線形層 y = W x（W ∈ Rdout ×din ）を、学習データ x′1 , … , x′N で 勾配降下（GD: Gradient Descent） によ ​ ​ ​ ​ って学習する。出力 yi = W x′i に対する損失を L とする ​ ​ ∂(yi )a ′ 成分で書くと (yi )a = ∑b Wab (xi )b なので = (x′i )b 。連鎖律より ∂Wab ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ∂L = ∑ (∇yi L)a (x′i )b ∂Wab i ​ ​ ​ ​ ​ ​ ​ ​ ⟺ ∂L ′ = ∑ ∇yi L x′⊤ i = ∑ ∇ yi L ⊗ x i ∂W i i ​ ​ ​ ​ ​ ​ ​ ​ ​ 外積 a ⊗ b = a b⊤ ：ベクトルに掛けると (a ⊗ b) q = a (b⊤ q) どんな損失関数でも、線形層の勾配は「出力側の勾配 ⊗ 入力」の形（厳密） 出典: Irie+ 2022, Dai+ 2023a §2.2 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 10
11. 1-2. 学習例N 個で更新すると「外積の和」になる 初期重み W0 から学習率 η で 1 ステップ更新する。誤差信号 ei := −η ∇yi L（W = W0 で評価）とおくと ​ ​ ​ ​ ​ N N ∂L ′ ΔW = −η = ∑ ei x′⊤ i = ∑ ei ⊗ x i ∂W ​ ​ ​ ​ ​ i=1 ​ ​ i=1 dout ×din 次元の確認：ei ∈ Rdout 、x′i ∈ Rdin → ei x′⊤ （W と同じ形） i ∈R ​ ​ ​ ​ ​ ​ ​ ​ 二乗誤差の例：損失が L = 12 ∑i ∥yi − ti ∥2 （ti ：正解）なら、ei = η (ti − W0 x′i ) ＝ 学習率 × 残差 ​ ​ ​ ​ ​ ​ ​ ​ ​ （正解 − 今の予測） 複数ステップでも、各ステップの外積を全部足し合わせた形になる 更新後の重み（主形式：重みを dout × din 個の数として持つ） ​ ​ N W ′ = W0 + ΔW = W0 + ∑ ei x′⊤ i ​ ​ ​ ​ ​ i=1 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 11
12. 1-3. 双対形式の導出 更新後の層にテスト入力 x を通す（⟨a, b⟩ = a⊤ b は内積） 定義を代入 分配法則 結合法則で括弧を移動 F(x) = W ′ x = (W0 + ∑ ei x′⊤ i )x ​ ​ ​ i = W0 x + ∑ (ei x′⊤ i )x i = W0 x + ∑ ei (x′⊤ i x) i = W0 x + ∑ ⟨x′i , x⟩ ei i ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ただの数 W0 x + ( ∑ ei x′⊤ i )x = W0 x + ∑⟨x′i , x⟩ ei 主形式：重みを持つ 双対形式：学習データ (x ,e ) を持つ ​ ​ i ICL as Implicit Gradient Descent ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ i ′ i ​ i ​ AI技術共有会 2026-10-29 12
13. 1-4（準備）. Self-attention の復習：クエリ・キー・バリュー 文章の各トークンの表現 x1 , x2 , … から、学習済みの 射影行列 WQ , WK , WV で 3 種類のベクトルを作る ​ ベクトル ​ ​ 作り方 ​ 役割（検索にたとえると） クエリ q WQ x（今処理している位置） 「何を探しているか」 キー ki WK xi （参照される各トークン） 「自分は何についての情報か」 WV x i 「自分が渡す中身」 ​ ​ バリュー vi ​ ​ ​ ​ ​ ​ 1 つの位置の出力：クエリと各キーの 似ている度合い（内積） で重みを決め、バリューを混ぜる 出力 = ∑ α v , i ​ i ​ k⊤ q αi = softmaxi ( i ) ( dk ​ ​ ​ i ​ ​ 重みは正で、合計 1) ​ ​ dk ：キー・クエリの次元。 dk で割るのは内積の大きさをそろえるため ​ ​ 行列でまとめて K = [k1 ⋯ ]、V = [v1 ⋯ ] と書くと、出力 = Attn(V , K, q) ​ ​ 生成中は、過去の全トークンの ki , vi が必要 → 保存しておく（KV キャッシュ、4-1 で再登場） ​ ​ クエリに 似ているキー を持つトークンほど、その バリュー を多く取り込む ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 13
14. 1-4. 線形層+GD → 線形attentionの形 Self-attention（1 つの位置の出力）は「バリューの加重和で、重みはクエリとキーの内積で決まる」 k⊤ q Attn(V , K, q) = ∑ softmaxi ( i ) vi dk i softmax ​ ​ ​ ​ と d を外す k ​ ​ ​ ​ LinearAttn(V , K, q) = ∑⟨ki , q⟩ vi ​ ​ ​ i ​ ​ 右は 勾配降下とは無関係に、Self-attention から softmax を外して作った変種（正規化なし線形アテンション。 WQ , WK , WV は同じで、違うのは重みの計算＝softmax を外すことだけ。一般的な線形アテンション（Katharopoulos+ ​ ​ ​ 2020）は特徴写像と正規化項も持つ）。1-3 と並べると GD 後の線形層： F(x) − W x = ∑⟨x , x⟩ e 0 ​ ​ i 勾配降下の世界 注意機構の世界 学習入力 x′i キー ki 誤差信号 ei ​ ​ テスト入力 x ′ i ​ i ​ 線形アテンション： ∑⟨k , q⟩ v ​ i ​ i ​ i ​ バリュー vi ​ クエリ q 勾配降下で学習した線形層の式を変形すると、線形Attentionと同じ形になった 逆向きに読めば、線形アテンションを重みの更新として読める ICL as Implicit Gradient Descent 出典: Irie+ 2022（"spotlights of attention"） AI技術共有会 2026-10-29 14
15. 1-5. ただし：ここまでで「証明された」のは何か 証明されたこと（厳密な恒等式） 勾配降下で学習した線形層の予測 ＝ W0 x ＋ 正規化なし線形アテンションの出力 ​ 証明されていないこと 項目 実際の Transformer ここまでの設定 注意の正規化・スケーリング softmax・1/ 非線形・正規化層 MLP・LayerNorm・多層 なし ei （バリュー）の正体 不明 本物の損失の勾配 ​ dk ​ なし（線形） ここまでは同じ形が出てきたというだけ 実際の Transformer では何を学習信号としているの？ ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 15
16. 1-5（続）. 以降の研究 F(x) = W ′ x = (W0 + ∑ ei x′⊤ i )x ​ ​ ​ ​ i ​ = W0 x + ∑⟨x′i , x⟩ ei = W0 x + LinearAttn(E, X ′ , x) i ​ ​ ​ ​ ​ ​ （E = [e1 ⋯ eN ]：バリュー、X ′ = [x′1 ⋯ x′N ]：キー、x：クエリ） ​ ​ ​ ​ 以降の研究はこの恒等式を本物の Transformer に近づける試み 方向 代表 近似を入れて 実際の GPT に当てはめる Dai+ 2023a 設定を単純化（線形回帰の ICL：文脈の例 (xi , yi ) から、未知の重みを推定させる）し ​ て 厳密に 示す ​ von Oswald+, Mahankali+, Ahn+, … どちらも出発点は同じ。「どこまで現実に近づけて、どこまで厳密に言えるか」の違い ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 16
17. 2. メタ勾配での橋渡し ( ICL ＝ 暗黙 の fine-tuning ?) "Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers", Damai Dai et al., 2023（Findings of ACL 2023） AI技術共有会 2026-10-29 17
18. 2-1. 設定：ICL 時のAttentionを書き下す x′1 x′2 ⋯ x′N ′ ​ ​ デモのトークン X ′ ​ ​ x1 ⋯ xt−1 ​ ​ ​ xt ​ ​ ​ ​ 予測位置 クエリ側のトークン X 予測位置 ＝ プロンプト末尾のトークン（例： … Sentiment: の : ）。GPT はここで 次のトークン（ラベ ル語） を予測する 予測位置のトークン表現 xt から、クエリ q = WQ xt を作る（WQ , WK , WV は 1-4（準備）の射影行 ​ ​ ​ ​ ​ ​ 列） ある層・あるヘッドのアテンション出力は、デモ X ′ とクエリ側 X の 両方 を参照 ⊤ FICL (q) = Attn(V , K, q) = WV [X ′ ; X] softmax( ​ (WK [X ′ ; X]) q ​ ​ ​ dk ​ ​ ) [X ′ ; X]：デモとクエリ側トークンの 連結（各トークンを列ベクトルとし、列を 横に 並べた行列。Dai+ の記法に合わせる） 比較対象：ゼロショット（ZSL） ＝ デモなし、X だけを参照したときの出力 出典: Dai+ 2023a §3.1 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 18
19. 2-2. 近似：softmax と dk を外す（relaxed linear attention） ​ ⊤ FICL (q) ≈ WV [X ′ ; X] (WK [X ′ ; X]) q ​ ​ ​ なぜ外すのか Dai+ の説明は「定性的な分析をしやすくするため」 softmax の 分母 ∑m exp(sm ) には、デモとクエリ側の両方のスコアが入る → デモを足すとクエリ側の重みまで縮 ​ ​ む トークン A ゼロショットの重み（スコア k⊤ q/ スコア 2 のデモを 1 つ足すと dk が 2, 1, 0） ​ B C デモ 0.67 0.24 0.09 — 0.40 0.15 0.05 0.40 → softmax のままだと「ゼロショットの出力 ＋ デモの寄与」という 足し算に分けられない 失うもの：正規化（デモを増やしても出力が大きくならない性質）、鋭く 1 か所に集中する注意 以降の結論はすべて「この近似の下で」という前提つき 出典: Dai+ 2023a §3.1, Limitations ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 19
20. 2-3. 分解：ゼロショット項と ICL 項に分ける 2-2 の近似（線形 Self-attention）のもとで ⊤ FICL (q) ≈ WV [X ′ ; X] (WK [X ′ ; X]) q ​ ​ ​ 連結行列の積は ブロックごとの和 に分かれる（[A; B][C; D]⊤ = AC ⊤ + BD ⊤ 。[A; B] は 2-1 と同じく列を横に並べ た行列） = WV X (WK X )⊤ q + WV X ′ (WK X ′ )⊤ q ​ ​ WZSL ​ ​ ​ ΔWICL ​ ​ FICL (q) ≈ (WZSL + ΔWICL ) q ​ ​ ​ ​ ​ WZSL ：デモがなくても存在する部分 ＝ ゼロショットのときの行列 ΔWICL ：デモがあるときだけ足される部分 ＝ デモ由来の差分 ​ ​ 1 章の双対形式 W0 + ∑i ei ⊗ x′i と 同じ「元の行列 ＋ 差分」の形 → 差分 ΔWICL を 重み更新 と読 ​ ​ ​ ​ ​ める（次ページで項ごとに対応づける） 出典: Dai+ 2023a §3.1（式 (10)〜(12)） ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 20
21. 2-4.ΔWICL を外積の和に開く ​ X ′ = [x′1 ⋯ x′N ′ ] を列ごとに書けば、行列積は 列の外積の和 になる ​ ​ ΔWICL = (WV X ′ ) (WK X ′ )⊤ = [ WV x′1 ⋯ WV x′N ′ ] [ WK x′1 ⋯ WK x′N ′ ] ​ ​ ​ ​ N′ ​ ​ ​ ​ ​ ​ ​ ⊤ ​ N′ ⊤ = ∑ (WV x′i )(WK x′i ) = ∑ (WV x′i ) ⊗ (WK x′i ) i=1 i=1 ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ⊤ （確認：AB ⊤ = ∑i ai b⊤ i 。成分で (AB )ab = ∑i Aai Bbi ） ​ ​ ​ ​ ​ ​ ​ 1 章と照合する ΔW = ∑ ei ⊗ x′i ​ ​ ​ ​ vs. i 1 章：本物の GD ΔWICL = ∑(WV x′i ) ⊗ (WK x′i ) ​ ​ ​ ​ ​ ​ ​ i ICL 形が完全に一致している。これが Dai+ の中心主張 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 21
22. 2-5. メタ勾配の正体 1 章の 誤差信号 ei の位置 に、ICL では何が入っているか ​ 勾配降下（明示的 fine-tuning） 初期重み W0 学習入力 x′i ICL（暗黙の fine-tuning） WZSL = WV X (WK X )⊤ ​ ​ ​ ​ WK x′i （デモトークンの キー） ​ ​ ​ 誤差信号 ei = −η ∇yi L（逆伝播 で計算） WV x′i （デモトークンの バリュー、順伝播 で計算） オプティマイザ（SGD など） Transformer の順伝播 ＝ メタオプティマイザ ​ ​ ​ ​ メタ勾配の正体 ＝ デモトークンのバリュー WV x′i ​ ​ ​ 計算の仕方（WK , WV ）は 事前学習で獲得 →「良い更新を作る方法」を学習した（メタ学習）と読める ​ ​ 更新は そのプロンプトの間だけ 存在し、重みには残らない（＝ 暗黙の fine-tuning） 出典: Dai+ 2023a §3.1 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 22
23. 2-5（続）. ここが最大の論点 WV x′i ​ が、意味のある（タスクの）損失の勾配だという根拠はない ​ 1 章の ei は「−η× 損失の勾配」という 定義を持つ量。WV x′i は ただのバリュー（Dai+ は対応する損失 ​ ​ ​ を示していない） 形式的には線形損失 L = − η1 ∑i vi⊤ yi を置けばどんなベクトルも「勾配」と書けてしまうので、形だけ ​ では何も言えない 両者を結ぶのは「∑( ​ ​ ​ ベクトル) ⊗ (ベクトル) という 形が同じ」という事実だけ → アナロジー であっ て同一性の証明ではない 1 章の ei ​ ICL の WV x′i ​ ​ 正体 −η× 損失の勾配 デモトークンのバリュー 損失を下げる方向か 定義上そう 保証はない ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 23
24. 2-6. 明示的 fine-tuning と並べる 比較のため、明示的な fine-tuning（FT）を アテンションの WK , WV だけ に限定する（デモはコンテキストに入れな ​ ​ い）と、2-2 と同じ線形化の下で FT 後も同じ形に書ける（ΔWFT は WZSL 以外の項をすべてまとめたもの） ​ ​ FFT (q) ≈ (WV + ΔWV ) XX ⊤ (WK + ΔWK )⊤ q = (WZSL + ΔWFT ) q ​ ​ ​ ​ ​ ​ ​ FICL (q) ≈ (WZSL + ΔWICL ) q ​ ​ ​ → 同じ WZSL に別の方法で差分を足している 形なので、直接比べられる ​ FT を ICL に揃える条件：学習データ ＝ 同じデモ、各例 1 ステップ・1 エポック、ICL と同じ順番、同じテンプレート 主張される 4 つの共通点（Dai+ §3.2） 共通点 ICL FT ① WZSL への加法的な更新（勾配降下の形） メタ勾配を 順伝播 で作る 勾配を 逆伝播 で作る ② 同じ学習情報 デモ 同じデモ ③ 例の因果的な順序 causal：後のデモは前に影響しない 同じ順に 1 エポック ④ アテンションに作用 キー・バリュー経由でのみ効く WK , WV だけを更新 ​ ​ ​ 出典: Dai+ 2023a §3.2（式 (13)）, §4.1 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 24
25. 2-7. 実験的検証：設定と 4 つの指標 モデル：GPT 系事前学習 LM 2 種（1.3B / 2.7B, fairseq 公開モデル） タスク：分類 6 種 — SST-2, SST-5, MR, Subj, AGNews, CB 3 条件：ZSL（デモなし）/ FT（デモで K, V を SGD 更新）/ ICL（デモを文脈に、最大 32 例） 指標 何を測るか Rec2FTP 予測レベル FT が（ZSL では誤り→）正解に変えた例のうち、ICL も正解できた割合 SimAOU 表現レベル アテンション出力の 更新方向 の類似度：cos(hICL − hZSL , hFT − hZSL )。ランダムな更新方向と比較 SimAM Kendall アテンショ ン重み 定義（概略） ​ ​ ​ ​ クエリ側トークンへのアテンション重み（softmax 前）の類似度：cos(ICL, FT) を cos(ICL, ZSL) と比較 アテンショ デモ（学習）トークンへの注意の 順位相関。FT はデモを文脈に入れないので、FT 側は双対形式（1 章）から定まる ン重み 「学習トークンへの暗黙の注意」を使う。ランダムな重みと比較 ポイント：「正解率が近い」だけでなく、内部の更新方向やアテンションの向き方 まで比べる 出典: Dai+ 2023a §4。指標の厳密な定義は原論文参照 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 25
26. 2-7（続）. 実験結果 予測レベル Rec2FTP の平均は 85.56%（1.3B）/ 89.39%（2.7B）：FT が直せた例の大半を ICL も直せる 正解率は概ね ICL > FT > ZSL（例外：2.7B の CB は FT 57.1 > ICL 55.4） 表現レベル（SimAOU） ICL の更新方向は、ランダムな更新方向よりはるかに FT の更新方向に近い アテンションレベル（SimAM / Kendall） ICL のアテンション重みは、ZSL（FT 前）よりも FT 後のアテンション重みに近い デモトークンへの注意の順位も FT と正の相関（ランダムとはほぼ 0） 結論（著者ら）：ICL は複数の観点で明示的 fine-tuning と似た振る舞いをする → 「ICL ＝ 暗黙の fine-tuning」という理解を支持 ※ 比較の基準が弱いという批判あり（Deutch+ 2024、3 章） ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 26
27. 2-8. 双対性から設計へ：モメンタム・アテンション 「アテンション ＝ GD」なら、GD の改良をアテンションに輸入 できるはず モメンタム付き SGD：過去の勾配の指数重み付き和を使う（Θ：パラメータ、f ：損失、γ ：学習率、λ ∈ (0, 1)：減衰率。原論 文は減衰率を η と書く） t−1 Θt = Θt−1 − γ ∑ λ t−i ∇fΘi ​ ​ ​ ​ ​ i=1 モメンタム・アテンション：過去のバリューの指数重み付き和を足す t−1 MoAttn(V , K, qt ) = Attn(V , K, qt ) + ∑ λ t−i vi ​ ​ ​ ​ i=1 バリュー vi ＝ メタ勾配 なので、メタ勾配のモメンタム に相当 ​ 結果：350M の GPT をスクラッチ学習して比較。パープレキシティ改善、ICL 6 タスクで 正解率 平均 +2.8 を報告 -> 双対性は「説明」だけでなく アーキテクチャ設計の指針 にもなり得る 出典: Dai+ 2023a §5 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 27
28. 2-9. まとめ 示したこと：線形化すると ICL は WZSL + ΔWICL という GD と同じ形。実モデルでも FT と似た振る舞い ​ ​ 置いた近似・前提 # 近似・前提 dk を外す 何を無視しているか 1 softmax と 2 WZSL を「初期重み」とみなす X に依存し 入力ごとに変わる（固定の W0 ではない） 3 1 層・1 ヘッドだけ、MLP・LN・残差は無視 層をまたぐ影響、非線形部分 4 FT 側は WK , WV のみ・各例 1 ステップ 実際の fine-tuning とは別物 5 WV x′i を「勾配」と呼ぶ 意味のある損失が示されていない（アナロジー） ​ ​ ​ ​ ​ ​ 正規化：デモを足すとゼロショット部分が 縮む 効果 ​ ここで示したのは「GD の形に書ける」＋「FT と似ている」。 「ICL が GD をしている」ことの証明ではない ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 28
29. 3. 研究動向 サーベイ論文（EMNLP 2024）前後〜の研究と、ここまでで言えること AI技術共有会 2026-10-29 29
30. A Survey on In-context Learning 以降の理論（2024 年〜、サーベイ未収録のもの） 方向 何が分かったか GD を何回も回す 1 層だけでは GD を 1 回しか回せないが、途中の計算を書き出させる （CoT） か 同じ層を繰り返し使う と、GD を何回も回すことを学習で きる Huang+（ICLR 2025）、Gatmiry+ 2024、Chen+ 2025 softmax を外さなくても、回帰でなく分類や強化学習の問題でも、 Dragutinović+ 2025、Zhang & Cao GD に近い計算 をしている。ただし素の GD ではなく、学習率が文脈 に応じて変わる GD など 2026（分類）、Xie (Z.)+ 2026（強化学 習） softmax・分類・ 強化学習でも どう身につくか 前提への注意 ICL の能力は、学習の途中で 急に 身につくことも、段階的に 身につ くこともある（パラメータの持ち方しだい） データの前提（平均 0 の分布など）を変えると、素の GD 1 ステップ とは ぴったり一致しなくなる。初期値を学習可能にした GD なら一致 する 代表的な研究 Zhang+（ICML 2025） Xie (S.)+（TMLR 2025） 玩具設定：文脈の例から線形回帰の重みを推定させる、単純化した ICL のこと（1-5（続）） 傾向：玩具設定から より現実的な設定 へ広がる一方、「GD そのもの」より「GD に似た最適化の仲 間」として捉える方向 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 30
31. 研究の地図：主張の強さを 3 段階に分ける 段階 (A) 表現できる 主張 重みをうまく選べば、Transformer は GD を 実装できる 代表的な研究 von Oswald+ 2023, Akyürek+ 2023 (B) 学習するとそう なる ICL 用に学習させると、最適解・学習結果 が GD（の仲間）に なる Mahankali+ 2023, Ahn+ 2023 / Zhang+ 2025, Huang+ 2025 (C) 実際の LLM が そうしている 事前学習済み LLM の ICL が、GD と 同じ 振る舞い をする Dai+ 2023a（示唆） / Shen+ 2024, Deutch+ 2024, Lampinen+ 2025（反論・相違） (A) → (B) → (C) の順に主張は強く、示すのは難しくなる。論争はほぼ (C) で起きている ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 31
32. 批判論文の内容：実際の LLM では成り立つか（段階 C） Shen+ 2024（ICML 2024 position paper）：批判 先行研究の仮定（ICL 用に学習させたモデル、手で置いた重み）は 実際の LLM と合わない LLaMA-7B で比べると、ICL と GD は デモの順序への敏感さ が違い（GD は順序にほぼ依存しない）、出力分布の変え方も 異なる Deutch+ 2024（NAACL 2024）：Dai+ の実験の再検証（批判 ＋ 部分的な擁護） 学習していない（ICL ができない）モデル でも同程度の類似度スコアが出る → 比較の基準が弱い ICL は上の層が 下の層で処理済みの情報 しか使えないが、FT は全層を同時に更新する（layer causality）→ これを考慮し た GD で類似度が上がる（比べ方しだいで対応は見える） Lampinen+ 2025（サーベイ以降）：ICL と FT の比較研究（GD 説の検証が目的ではないが関係する証拠） 汎化の仕方が違う：関係の逆向き（A は B → B は A）や論理的な推論で、ICL のほうが 柔軟に汎化 ICL で得た推論結果を FT データに足すと、FT の汎化が改善 実 LLM では「ICL ≈ FT」は 振る舞いの面でも全面的には成り立たない。違いを利用する研究も出てき た 出典: Shen+ 2024, Deutch+ 2024, Lampinen+ 2025 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 32
33. ここまでで言えること・言えないこと 主張 判定 根拠 ICL は GD の 「形」 をし ている 言え る 線形化すれば ICL も GD も「元の重み ＋ 外積の和」（Irie+, Dai+）。近似なしでも Transformer ブロックは MLP 重みの rank-1 更新と等価（Dherin+ 2025、付録） 線形回帰の玩具設定では 言え 構成（von Oswald+）、最適解（Mahankali+, Ahn+）。2025 年以降は softmax・分 GD を実装・学習する る 類・CoT へ拡張 実際の LLM の ICL が GD そのもの 言え ない 指標の弱さ（Deutch+）、順序感度（Shen+）、汎化の違い（Lampinen+） ただし GD の 仲間 っぽ くはある 示唆 学習したモデルは、素の GD より賢い最適化（方向ごとに学習率を変える GD や、 Newton 法に近い反復）に近い（Fu+ 2023 ほか、付録） 一方で、同じ見方(「アテンション ＝ 高速重み ＝ 学習則」)に立つ アーキテクチャ設計の流れ （DeltaNet系, 2021 ~ ）が2025 年以降は実用 LLM に入り始めた ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 33
34. 4. 設計の側から 同じ見方で設計された「推論中に GD する」層 AI技術共有会 2026-10-29 34
35. 4-1（準備）. 線形アテンション ＝ 重みを書き込み続ける「高速重み」 1 章の双対形式を 逆向き（線形アテンション → 重みの更新）に読み、トークンを 1 つずつ処理する形で書く ⊤ o t = ∑ v i (k ⊤ i qt ) = ( ∑ vi ki ) qt , ​ ​ ​ ​ ​ ​ i≤t ​ ​ ​ ​ St = St−1 + vt k⊤ t ​ ​ ​ ​ i≤t =: St ​ ′⊤ トークンを 1 つ読むごとに、行列 St に外積 vt k⊤ t が 書き足される ＝ 勾配降下の ΔW = ∑i ei xi と同じ形 ​ ​ ​ ​ ​ ​ モデルの重みは変わらないのに、順伝播の中で 別の重み行列が作られ続ける ＝ 高速重み（fast weights; Schmidhuber 1992, Schlag+ 2021） この見方が、以降で見る DeltaNet（2021〜）などの層の設計の出発点 出典: Irie+ 2022, Schlag+ 2021 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 35
36. 4-1. 背景：普通のアテンションは重く、線形アテンションは忘れられない 普通の Self-attention：新しいトークンを 1 つ作るたびに、それまでの全トークン と内積を取る 過去を そのまま正確に 参照できるので高性能。ただし計算と KV キャッシュ（全トークンのキー・バリュー）が文脈の長さ に比例して増える KV キャッシュが要る理由：softmax（exp と正規化）があるとクエリ qt を和の外に出せず、新しいクエリごとに 過去の ​ キー全部と内積を取り直す しかない 線形アテンション：過去を 固定サイズの行列 S （メモ帳）1 枚 にまとめて持ち歩く（前ページの高速重み） 書く： S = S t ​ ⊤ t−1 + vt kt ​ ​ ​ 読む： o = S q = ∑(k q ) v t ​ t ​ t ​ ​ ⊤ i t ​ ​ i ​ i≤t S は「キー k を入れるとバリュー v が出る」連想記憶（Sk ≈ v）。文章が長くても S の大きさは変わらない 計算・メモリ（1 トークンあたり） 性能 弱点 普通の Self-attention 文脈の長さに比例 高い（全部を正確に参照） 長文脈で重い 線形アテンション 一定 低め ① 消せない（古い記憶と混ざる） ② 大きさに限界（覚えられる量に上限） 長い文章ほど書き込みが増え、①②が効いて性能が落ちる → ① を直したのが DeltaNet ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 36
37. 4-2. DeltaNet (Schlag+ ICML2021) の発想 線形アテンションの弱点 ①（書き足すだけで混線する）を見つけ、更新を delta 則（誤差を見て直す学習則）に置き換えた 例：S には「k1 = (1, 0) → v1 = (1, 2)」が記憶済み。そこへ「k1 の答えは v3 = (0, 1) に変わった」が来る ​ 更新 ​ ​ ​ 線形アテンション DeltaNet（β = 1） S ← S + v3 k⊤ 1 （書き足すだけ） S ← S − (Sk1 − v3 ) k⊤ 1 （差だけ直す） (1, 3) = v1 + v3 ：古い記憶と 混線 (0, 1) = v3 ：きれいに 上書き ​ 読み出し Sk1 ​ ​ ​ ​ ​ ​ ​ ​ 差 Sk1 − v3 （＝ 今の答え − 正解）が delta。すでに正しく覚えていれば差は 0 で、何もしない ​ ​ β = 1 でぴったり上書きできるのは ∥k∥ = 1 のとき（DeltaNet はキーを L2 正規化する） S を パラメータ、新しいトークンのペア (kt , vt ) を 1 個の学習データ と見ると、1-1・1-2 の計算がそのまま当てはまる ​ ​ 1-1・1-2 の線形層（二乗誤差、学習例 1 個） DeltaNet 記号 重み W 、入力 x′ 、正解 t、学習率 η メモ帳 S 、キー kt 、バリュー vt 、βt 損失 L = 12 ∥W x′ − t∥2 Lt = 12 ∥Skt − vt ∥2 勾配（1-1：出力側の誤差 ⊗ 入力） ∇W L = (W x′ − t) x′⊤ ∇S Lt = (Skt − vt ) k⊤ t GD 1 ステップ（1-2） W ← W − η (W x′ − t) x′⊤ St = St−1 − βt (St−1 kt − vt ) k⊤ t ICL as Implicit Gradient Descent ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ 出典: Schlag+ 2021。数値例の詳しい計算は 詳細_4章_推論中にGDする層とKimiLinear.md AI技術共有会 2026-10-29 37
38. 4-3. DeltaNet を GD として読む Dai+ のメタ勾配 WV x′i は、意味のある損失の勾配だという根拠がない ​ ​ DeltaNet では、書き込む量が 本物の損失の勾配 論文 GD との関係の書き方 原論文（Schlag+ ICML 2021） 「学習率 β つきの delta 則（誤差修正の学習則）」として導入。「GD」とは言っていない Yang+ 2024（DeltaNet の大規模化） 「回帰損失への SGD 1 ステップとも見なせる」と明示（delta 則 ＝ 二乗誤差の勾配法 LMS） DeltaNet の delta 則を土台に、記憶管理の工夫を足して派生 DeltaNet ＋ 忘却ゲート ​ Gated DeltaNet （Qwen3-Next） 忘却をチャネルごとに KDA（Kimi Linear → Kimi K3） ​ 出典: Schlag+ 2021, Yang+ 2024, Kimi Team 2025 §2.2 "DeltaNet: Online Gradient Descent on Reconstruction Loss" ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 38
39. 5. まとめ AI技術共有会 2026-10-29 39
40. 実務への示唆（GD 解釈から読めること） GD 解釈での読み方 実務上の示唆 寄与は (WK x′i )⊤ q に比例 クエリに似たデモ ほど強く効く → クエリに似たデモを近傍探索で選ぶ方法 （KATE, Liu+ 2022）が強い理由 デモ ＝ 学習データ ラベルの質・多様性が「更新」の質を決める 更新はその場限り・浅い 大きな分布シフトや新知識の定着は 本物の FT が必要 （GD 解釈が外した softmax を戻すと）寄与 が正規化される 線形版では更新はデモ数にほぼ比例するが、実際は softmax のため 比例し ては大きくならない ΔW は 1 本のベクトルに圧縮できる場合があ る デモの効果を 1 本のベクトルにして注入する手法（Task Vector / ICV、付 録）で デモのトークンを削減 ​ ​ ※ これらは解釈から導かれる「示唆」であり、それぞれ単独で厳密に証明されたものではない ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 40
41. まとめ 1. 双対形式：GD で学習した線形層は W0 x + ∑i ei (x′⊤ i x) ＝ 初期重み ＋ 線形アテンション ​ ​ ​ ​ 2. ICL の分解：アテンションを線形近似すると同じ形が出てくる FICL (q) ≈ (WZSL + ΔWICL ) q, ​ ​ ​ ΔWICL = ∑i (WV x′i ) ⊗ (WK x′i ) ​ ​ ​ ​ ​ ​ デモのバリュー ＝ メタ勾配、Transformer の順伝播 ＝ メタオプティマイザ 3. 実験：ICL は予測・表現・アテンションの各レベルで FT に似た振る舞い（Rec2FTP 平均 85〜89%） 4. 研究動向：玩具設定では GD（前処理付き・Newton 寄り）を実装・学習することが示され、2025 年以降は softmax・分類・CoT へ拡張。実 LLM では順序感度・汎化の違いなど反論が多く 未決着 5. 設計の側：同じ見方から生まれた DeltaNet 系（推論中にオンライン GD する層）が、Qwen3-Next・Kimi Linear・ Kimi K3 で実用化。2-8 のモメンタム・アテンションは、説明の側から設計に踏み込んだ例 一言で：ICL は「デモで重みを一時的に書き換えた モデル」として読める。ただしそれは GD の"形"で あって、GD そのものかはまだ議論中 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 41
42. 参考文献 Q. Dong et al. A Survey on In-context Learning. EMNLP 2024 / arXiv:2301.00234 D. Dai et al. Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers. Findings of ACL 2023（arXiv v3 では "Implicitly Perform" に改題） K. Irie, R. Csordás, J. Schmidhuber. The Dual Form of Neural Networks Revisited. ICML 2022 J. Schmidhuber. Learning to Control Fast-Weight Memories: An Alternative to Dynamic Recurrent Networks. Neural Computation, 1992 A. Katharopoulos et al. Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention. ICML 2020 J. von Oswald et al. Transformers Learn In-Context by Gradient Descent. ICML 2023 A. Mahankali, T. Hashimoto, T. Ma. One Step of Gradient Descent is Provably the Optimal In-Context Learner with One Layer of Linear Self-Attention. ICLR 2024 K. Ahn et al. Transformers Learn to Implement Preconditioned Gradient Descent for In-Context Learning. NeurIPS 2023 E. Akyürek et al. What Learning Algorithm is In-Context Learning? Investigations with Linear Models. ICLR 2023 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 42
43. 参考文献（続き） D. Fu et al. Transformers Learn Higher-Order Optimization Methods for In-Context Learning. 2023（改題 後: Transformers Learn to Achieve Second-Order Convergence Rates for In-Context Linear Regression. NeurIPS 2024） L. Shen, A. Mishra, D. Khashabi. Position: Do Pretrained Transformers Learn In-Context by Gradient Descent? ICML 2024 G. Deutch, N. Magar, T. Bar Natan, G. Dar. In-context Learning and Gradient Descent Revisited. NAACL 2024 B. Lester, R. Al-Rfou, N. Constant. The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP 2021 J. Liu et al. What Makes Good In-Context Examples for GPT-3? DeeLIO 2022（KATE） J. Pan et al. What In-Context Learning "Learns" In-Context: Disentangling Task Recognition and Task Learning. Findings of ACL 2023 C. Han et al. Explaining Emergent In-Context Learning as Kernel Regression. 2023 R. Hendel, M. Geva, A. Globerson. In-Context Learning Creates Task Vectors. Findings of EMNLP 2023 E. Todd et al. Function Vectors in Large Language Models. ICLR 2024 S. Liu et al. In-context Vectors: Making In Context Learning More Effective and Controllable Through ICL as Implicit Gradient AI技術共有会 2026-10-29 Latent SpaceDescent Steering. ICML 2024 43
44. 参考文献（サーベイ以降の研究 1/2） J. Huang, Z. Wang, J. D. Lee. Transformers Learn to Implement Multi-step Gradient Descent with Chain of Thought. ICLR 2025 / arXiv:2502.21212 K. Gatmiry, N. Saunshi, S. J. Reddi et al. Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? ICML 2024 / arXiv:2410.08292 B. Chen, X. Li, Y. Liang et al. Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent. AISTATS 2025 Y. Zhang, A. K. Singh, P. E. Latham, A. Saxe. Training Dynamics of In-Context Learning in Linear Attention. ICML 2025 / arXiv:2501.16265 S. Dragutinović, A. M. Saxe, A. K. Singh. Softmax ≥ Linear: Transformers May Learn to Classify InContext by Kernel Gradient Descent. arXiv:2510.10425, 2025 C. Zhang, Y. Cao. Transformers Efficiently Perform In-Context Logistic Regression via Normalized Gradient Descent. arXiv:2605.06609, 2026 Z. Xie, X. Liu, C. Chen et al. Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning. arXiv:2605.07333, 2026 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 44
45. 参考文献（サーベイ以降の研究 2/2） S. Xie, R. Yuan, S. Rossi, T. Hannagan. The Initialization Determines Whether In-Context Learning Is Gradient Descent. TMLR 2025 / arXiv:2512.04268 A. K. Lampinen et al. On the Generalization of Language Models from In-Context Learning and Finetuning: A Controlled Study. arXiv:2505.00661, 2025 B. Dherin, M. Munn, H. Mazzawi, M. Wunder, J. Gonzalvo. Learning without Training: The Implicit Dynamics of In-Context Learning. arXiv:2507.16003, 2025 K. A. Wang, J. Shi, E. B. Fox. Test-time Regression: A Unifying Framework for Designing Sequence Models with Associative Memory. JMLR 2026 / arXiv:2501.12352 J. Liu, S. Elflein, O. Litany et al. Test-Time Training with KV Binding Is Secretly Linear Attention. ICML 2026 / arXiv:2602.21204 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 45
46. 参考文献（4 章・付録：DeltaNet とその派生） I. Schlag, K. Irie, J. Schmidhuber. Linear Transformers Are Secretly Fast Weight Programmers. ICML 2021 S. Yang, B. Wang, Y. Zhang, Y. Shen et al. Parallelizing Linear Transformers with the Delta Rule over Sequence Length. NeurIPS 2024 S. Yang, J. Kautz, A. Hatamizadeh. Gated Delta Networks: Improving Mamba2 with Delta Rule. ICLR 2025 / arXiv:2412.06464 Y. Sun et al. Learning to (Learn at Test Time): RNNs with Expressive Hidden States. arXiv:2407.04620, 2024 A. Behrouz, P. Zhong, V. Mirrokni. Titans: Learning to Memorize at Test Time. arXiv:2501.00663, 2025 C. Zhou, H. Li, Y. Liu et al. OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention. arXiv:2605.13473, 2026 J. von Oswald, N. Scherrer, S. Kobayashi et al. MesaNet: Sequence Modeling by Locally Optimal Test-Time Training. ICLR 2026 Kimi Team. Kimi Linear: An Expressive, Efficient Attention Architecture. arXiv:2510.26692, 2025 Kimi Team. Kimi K3: Open Frontier Intelligence. arXiv:2607.24653, 2026 Qwen Team. Qwen3-Next モデルカード, 2025 ICL as Implicit Gradient Descent AI技術共有会 2026-10-29 46