Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
論文紹介:Doc-to-LoRA: Learning to Instantly Interna...
Search
Yukako Nakano
August 20, 2026
Research
240
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
論文紹介:Doc-to-LoRA: Learning to Instantly Internalize Contexts
Yukako Nakano
August 20, 2026
Transcript
23 slides
第18回 最先端NLP勉強会2026 論文紹介 Doc-to-LoRA: Learning to Instantly Internalize Contexts Rujikorn
Charakorn, Edoardo Cetin, Shinnosuke Uesaka, Robert Tjarko Lange ICML2026 発表者:中野由加子(NTT 人間情報研究所) © NTT, Inc. 2026
概要 コンテキスト情報を効率的に扱う手法を提案した論文 長いコンテキストをLLMのプロンプトとして毎回読ませるのではなくコンテキス トを入力するとその内容を集約したLoRAを生成し,LLMに適用する手法を提案 回答の判断材料となる情報 © NTT, Inc. 2026 出典:Sakana
AI 「Instant LLM Updates with Doc-to-LoRA and Text-to-LoRA」 1
背景 LLMに特定の文書やタスク,ユーザの好みに合わせた応答をさせるためには, 関連するコンテキストの付与が必要 In-Context Learning(ICL) 入力プロンプトに知識を追加することでタスクを学習・適応する手法 良い点 情報を与えるだけで適応できる柔軟性 クエリ +
© NTT, Inc. 2026 LLM 回答 課題 ・コンテキスト長に応じてKV cacheが 肥大化し,メモリ使用量が増大 ・長いコンテキストを毎回処理するため, 推論レイテンシ・計算コストが増大 2
背景 LLMに特定の文書やタスク,ユーザの好みに合わせた応答をさせるためには, 関連情報の付与が必要 Context Distillation(CD) コンテキストありのLLMの出力を,コンテキストなしのLLMが模倣するように 学習 予測回答 クエリ+ LLM
予測回答 クエリ LLM © NTT, Inc. 2026 学習 良い点 推論処理の高速化 課題 ・学習に時間がかかりメモリを大量 に消費 ・情報の更新に時間がかかる 3
背景 LLMに特定の文書やタスク,ユーザの好みに合わせた応答をさせるためには, 関連情報の付与が必要 In-context Learning の「情報を与えるだけで適応できる柔軟さ」と Context Distillation の「知識のパラメタ化による推論処理の高速化」 の両立を目指す
© NTT, Inc. 2026 In-context Learning Context Distillation 4
提案手法 © NTT, Inc. 2026 5
提案手法 コンテキストを入力するとその内容を集約したLoRAを生成し,LLMに適用する Ζ:コンテキストの潜在表現 Δ𝑊𝑙 :コンテキストから生成したLoRA © NTT, Inc. 2026 6
訓練手法 1/2 コンテキストから,情報を集約したLoRAを生成 ① ② ①コンテキストをLLMに入力 ②コンテキストの潜在表現を D2L Hypernetに与えて,LoRA を生成
Ζ:コンテキストの潜在表現 Δ𝑊𝑙 :コンテキストから生成したLoRA © NTT, Inc. 2026 7
訓練手法 2/2 ③生成したLoRAをLLMに適用 ④コンテキストあり/なしの予測回答を比較し, その差分を損失としてD2L Hypernetを学習 ③ Ζ:コンテキストの潜在表現 Δ𝑊𝑙 :コンテキストから生成したLoRA
© NTT, Inc. 2026 ④ 8
推論時 クエリを入力するとコンテキストを踏まえた回答を生成 訓練済みD2L Hypernetで コンテキスト内容を集約し たLoRAを生成し,LLMに 適用 Ζ:コンテキストの潜在表現 Δ𝑊𝑙 :コンテキストから生成したLoRA
© NTT, Inc. 2026 9
実験 © NTT, Inc. 2026 10
実験設定 • ベースモデル › gemma-3-12b-it • ベースライン › In-context knowledge:ICL,
LLMLingua-2 › In-parameter knowledge:CD, T2L(Text2LoRA), コンテキストなし 評価データセット › 文書QA(SQuAD, DROP, ROPES, LongBench) • 評価観点 › 精度:外部コンテキストなしで高い性能を発揮できるか › 即時性:コンテキスト適応にかかる時間を短縮できるか › メモリ:コンテキストのパラメタ化に伴う追加メモリを抑えられるか © NTT, Inc. 2026 11
高い性能を発揮できるか? 提案手法はICLの6~8割程度の性能 CD(oracle)以外のIn-parameter knowledgeのベースラインを上回る SQuAD © NTT, Inc. 2026 DROP
ROPES 12
時間を短縮できるか? 提案手法は1秒未満でコンテキスト情報をLoRA化 CD(oracle)は情報のパラメタ化に約40秒、CD(generated queries)は100秒以上 SQuAD © NTT, Inc. 2026 DROP
ROPES 13
追加メモリを抑えられるか? 提案手法は更新プロセス中に2GB未満のVRAMの使用にとどまる CDは一度に多数のクエリに対して逆伝播するため40GB以上のメモリを消費 SQuAD © NTT, Inc. 2026 DROP ROPES
14
コンテキスト情報のLoRAへの集約効果の検証 長い文書中に埋め込まれた4桁の数字を回答できるか 使用データセット: RULER benchmark 40k tokensまでほぼ100%正解 © NTT, Inc.
2026 使用メモリが50MB未満で一定 使用モデル:gemma-2-2b-it 15
学習時の最大長を超える長文書への適用性の検証 最大2,344 tokensで学習した提案手法に対し,最大32K tokensの長文書を入力し, 文書内容を効果的にLoRAへ集約できるか検証 2WikiMultihopQAの結果 長文書の内容を高精度でLoRAへ集約,1秒未満の高速な内部化,CDの更新 に比べて半分のメモリ使用量の実現 © NTT,
Inc. 2026 16
まとめ • 長い文書をLLMのプロンプトとして毎回読ませるのではなく,文書を入力する とその内容を集約したLoRAを生成する手法を提案 • ICLの6~8割程度の性能を示しながら, 1秒未満でコンテキスト情報をLoRA化 し,更新プロセス中に2GB未満のVRAMの使用にとどまる 感想 •
即時性やメモリ使用量低減というメリットがあるが,ICLと比べるとまだ精度 差がある • 一つのD2L Hypernetを作ればどんなLLMにも適用できるわけではない • LoRAという固定されたパラメータへ集約可能な情報量の限界が気になる © NTT, Inc. 2026 17
Appendix © NTT, Inc. 2026 18
Doc-to-LoRA派生研究① PORTAL: Per-User LoRA Memory for Aggregation-Heavy Reasoning at O(1)
Context 背景:RAGで長期の個人履歴の取得を行う際に予算の都合上必要なレコード数が 取得できない場合に精度が大幅に落ちる 提案手法:ユーザの履歴をLoRAに変換する © NTT, Inc. 2026 19
Doc-to-LoRA派生研究② LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills
for LLM Agents 背景:長いスキル情報を入力として与えることで,指示とコンテキストの関係を正 しく捉えにくくなるリスクやプロンプトから手順が露呈する可能性がある 手法:スキル情報をLoRAに変換する © NTT, Inc. 2026 20
None
None
Other Decks in Research
See All in Research
La longévité des troupeaux laitiers: état des lieux et perspectives
institutdelelevage
PRO
0
150
論文読み会 SNLP2026 Tau2-Bench: Evaluating Conversational Agents in a Dual-Control Environment
s_mizuki_nlp
0
350
GeoAgent勉強会 論文紹介と強い推論モデルが与えるインパクト
satai
5
510
JPA2026_NetworkTutorial_JunKashihara
junkashihara
0
280
Détection des lésions podales par thermographie infrarouge chez les bovins et les ovins
institutdelelevage
PRO
0
130
[Research Paper Analysis] Deep Learning - SigLIP2
auranightsky
0
180
XDPerf: A High-Performance Traffic Generator Built with WASM and eBPF
takehaya
1
410
HAKARI-Bench - 実運用視点での情報検索モデル評価ベンチマーク
hotchpotch
1
870
【ACL読み会2026@名古屋大学】Find Your Optimal Teacher: Personalized Data Synthesis viaRouter-Guided Multi-Teacher Distillation
uskimura
0
110
L’albédo:levier d’atténuation du changement climatique dans les systèmes fourragers
institutdelelevage
PRO
0
170
A new deal for disabled people
resolutionfoundation
0
390
Work in progress: How have changes in the labour market over the past decade affected attitudes to work?
resolutionfoundation
0
390
Featured
See All Featured
KATA
mclloyd
PRO
35
16k
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
670
A designer walks into a library…
pauljervisheath
211
25k
Leadership Guide Workshop - DevTernity 2021
reverentgeek
1
430
What Being in a Rock Band Can Teach Us About Real World SEO
427marketing
0
1.1k
Leading Effective Engineering Teams in the AI Era
addyosmani
9
2.9k
What the history of the web can teach us about the future of AI
inesmontani
PRO
3
830
Large-scale JavaScript Application Architecture
addyosmani
516
110k
Git: the NoSQL Database
bkeepers
PRO
433
67k
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
380
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
3
1.5k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
141
35k