Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Context Window のお話
Search
schroneko
September 25, 2023
Programming
1
1.8k
Context Window のお話
https://llm-app.connpass.com/event/296674/
上記イベントの登壇資料です。
schroneko
September 25, 2023
Tweet
Share
More Decks by schroneko
See All by schroneko
Claude Code の Context Engineering
schroneko
4
740
Claude Code のすすめ
schroneko
52
110k
LLM に対する攻撃データの収集アプリケーションの開発と収集したデータの特性について
schroneko
1
880
Vibe Coding の話をしよう
schroneko
16
4.9k
DeepSeek を利用する上でのリスクと安全性の考え方
schroneko
3
1.5k
AI Safety の必要性と具体的な攻撃、その対策について
schroneko
16
3.4k
Jailbreak データセット収集アプリケーションの開発について
schroneko
5
3k
Anthropic Cookbook のおすすめレシピ
schroneko
8
2.3k
Other Decks in Programming
See All in Programming
deno-redisの紹介とJSRパッケージの運用について (toranoana.deno #21)
uki00a
0
170
ふつうの技術スタックでアート作品を作ってみる
akira888
0
290
NPOでのDevinの活用
codeforeveryone
0
650
関数型まつりレポート for JuliaTokai #22
antimon2
0
160
Systèmes distribués, pour le meilleur et pour le pire - BreizhCamp 2025 - Conférence
slecache
0
120
Go1.25からのGOMAXPROCS
kuro_kurorrr
1
840
ニーリーにおけるプロダクトエンジニア
nealle
0
710
Node-RED を(HTTP で)つなげる MCP サーバーを作ってみた
highu
0
120
童醫院敏捷轉型的實踐經驗
cclai999
0
210
LT 2025-06-30: プロダクトエンジニアの役割
yamamotok
0
660
既存デザインを変更せずにタップ領域を広げる方法
tahia910
1
260
地方に住むエンジニアの残酷な現実とキャリア論
ichimichi
5
1.5k
Featured
See All Featured
A Tale of Four Properties
chriscoyier
160
23k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Side Projects
sachag
455
42k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.8k
Done Done
chrislema
184
16k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
What's in a price? How to price your products and services
michaelherold
246
12k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Automating Front-end Workflow
addyosmani
1370
200k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Transcript
Context Window のお話 もしトークン数を気にせず LLM が使えたら? 林 祐太 / ぬこぬこ
@schroneko ※このページは削除して構いません USE TEMPLATE Click 1
- 林 祐太 / ぬこぬこ - 12 月から LLM 無職→転職
- 専門は核融合(核融合はいいぞ!) 自己紹介 2
LLM において入力できる トークン数のこと Context Window とは? 3 https://arxiv.org/abs/2212.10947
ChatGPT を使っていてこんな表示を見かけたら、どんな気持ちになりますか? 4
😑 5
Claude を使ったことは ありますか?✋ 6
- 性能評価で GPT-4 と僅差 - 100k Tokens まで入力可 - GPT-4
の RLHF 味がない 😆😆😆うれしい😆😆😆 ただ、日本で使えるようになる のはもう少し...! Claude のここがすごい! https://chat.lmsys.org/?arena 7 ※ VPN 接続での利用はやめましょう!
100k トークン? イメージ沸かない? 8
9 だいたい 75,000 字
なるほどわかった💡 で、なにに使えるの? 10
論文めちゃ読める💡 Context Window まわりの論文を紹介 11
- 7月17日の論文 - Transformer を使わず、Context Window を 増やしても推論コストの増大を低減 https://arxiv.org/abs/2307.08621 https://github.com/microsoft/unilm/tree/
master/retnet 論文紹介 Retentive Network: A Successor to Transformer for Large Language Models 12
- 8月31日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B を 4k → 128k(16~32倍) - 性能劣化はほぼなし(0.49%) https://arxiv.org/abs/2309.00071 https://github.com/jquesnelle/yarn 論文紹介 YaRN: Efficient Context Window Extension of Large Language Models 13
- 9月20日の論文 - Vision Transformer に RetNet を適用 - 計算コストが下がるだけでなく性能向上
https://arxiv.org/abs/2309.11523 論文紹介 RMT: Retentive Networks Meet Vision Transformers 14
- 9月21日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B / 70B を 4k から 100k / 6k / 32 k に拡張 https://arxiv.org/abs/2309.12307 https://github.com/dvlab-research/LongLoRA 論文紹介 LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models 15
要素技術は出揃ってきた 16
Context Window を 気にしない未来って もしかすると近い? 17
- Embedding はもしかすると不要? - Hallucinations がかなり軽減? - そもそも大量の情報を人間が解釈する必要性って? - etc…
18 もしトークン数を気にせず LLM が使えたら?
もし日常使いの LLM の Context Window に上限がなくなったら?🤔 19
20
もし時間があまったら 21
22 実演 Claude くんを普段 どう使っているか?
23 で、でもお高いんでしょう? https://www-files.anthropic.com/production/images/model_pricing_july2023.pdf
長文 Prompt テクニック 真ん中があんまり抽出できない? →https://arxiv.org/abs/2307.03172 一昨日の Anthropic の公式記事によると 1. 引用の指示
2. 指示を最後に置く https://www.anthropic.com/index/prompting-lon g-context 24
最近作ったもの 論文要約 後日 webui化予定 https://gist.github.com /schroneko/210881cb6 80322ea455baee21abdd f29 25
Claude 使いたいんだけど?💢 26 残念ながら、本日時点で US / UK のみ あと数ヶ月で一般公開とありました。 首を長くして待ちましょう!
API 使いたいんだけど?💢 27 https://www.anthropic. com/earlyaccess こちらからどうぞ!