Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Context Window のお話
Search
schroneko
September 25, 2023
Programming
1
1.7k
Context Window のお話
https://llm-app.connpass.com/event/296674/
上記イベントの登壇資料です。
schroneko
September 25, 2023
Tweet
Share
More Decks by schroneko
See All by schroneko
DeepSeek を利用する上でのリスクと安全性の考え方
schroneko
3
1.3k
AI Safety の必要性と具体的な攻撃、その対策について
schroneko
15
2.9k
Jailbreak データセット収集アプリケーションの開発について
schroneko
5
2.6k
Anthropic Cookbook のおすすめレシピ
schroneko
8
2.1k
Other Decks in Programming
See All in Programming
Develop Faster With FrankenPHP
dunglas
2
3.2k
remix + cloudflare workers (DO) docker上でいい感じに開発する
yoshidatomoaki
0
130
MCP世界への招待: AIエンジニアが創る次世代エージェント連携の世界
gunta
4
880
Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update
rkaga
9
4.8k
API for docs
soutaro
1
800
PHP で学ぶ OAuth 入門
azuki
1
130
メモリウォールを超えて:キャッシュメモリ技術の進歩
kawayu
0
1.9k
海外のアプリで見かけたかっこいいTransitionを真似てみる
shogotakasaki
1
160
Day0 初心者向けワークショップ実践!ソフトウェアテストの第一歩
satohiroyuki
0
830
Java 24まとめ / Java 24 summary
kishida
3
490
Signal-Based Data FetchingWith the New httpResource
manfredsteyer
PRO
0
160
SEAL - Dive into the sea of search engines - Symfony Live Berlin 2025
alexanderschranz
1
130
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
133
9.2k
Building an army of robots
kneath
304
45k
A designer walks into a library…
pauljervisheath
205
24k
How STYLIGHT went responsive
nonsquared
99
5.5k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Statistics for Hackers
jakevdp
798
220k
Writing Fast Ruby
sferik
628
61k
KATA
mclloyd
29
14k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
104
19k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Automating Front-end Workflow
addyosmani
1369
200k
Transcript
Context Window のお話 もしトークン数を気にせず LLM が使えたら? 林 祐太 / ぬこぬこ
@schroneko ※このページは削除して構いません USE TEMPLATE Click 1
- 林 祐太 / ぬこぬこ - 12 月から LLM 無職→転職
- 専門は核融合(核融合はいいぞ!) 自己紹介 2
LLM において入力できる トークン数のこと Context Window とは? 3 https://arxiv.org/abs/2212.10947
ChatGPT を使っていてこんな表示を見かけたら、どんな気持ちになりますか? 4
😑 5
Claude を使ったことは ありますか?✋ 6
- 性能評価で GPT-4 と僅差 - 100k Tokens まで入力可 - GPT-4
の RLHF 味がない 😆😆😆うれしい😆😆😆 ただ、日本で使えるようになる のはもう少し...! Claude のここがすごい! https://chat.lmsys.org/?arena 7 ※ VPN 接続での利用はやめましょう!
100k トークン? イメージ沸かない? 8
9 だいたい 75,000 字
なるほどわかった💡 で、なにに使えるの? 10
論文めちゃ読める💡 Context Window まわりの論文を紹介 11
- 7月17日の論文 - Transformer を使わず、Context Window を 増やしても推論コストの増大を低減 https://arxiv.org/abs/2307.08621 https://github.com/microsoft/unilm/tree/
master/retnet 論文紹介 Retentive Network: A Successor to Transformer for Large Language Models 12
- 8月31日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B を 4k → 128k(16~32倍) - 性能劣化はほぼなし(0.49%) https://arxiv.org/abs/2309.00071 https://github.com/jquesnelle/yarn 論文紹介 YaRN: Efficient Context Window Extension of Large Language Models 13
- 9月20日の論文 - Vision Transformer に RetNet を適用 - 計算コストが下がるだけでなく性能向上
https://arxiv.org/abs/2309.11523 論文紹介 RMT: Retentive Networks Meet Vision Transformers 14
- 9月21日の論文 - Context Window の拡張手法 - Llama 2 7B
/ 13 B / 70B を 4k から 100k / 6k / 32 k に拡張 https://arxiv.org/abs/2309.12307 https://github.com/dvlab-research/LongLoRA 論文紹介 LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models 15
要素技術は出揃ってきた 16
Context Window を 気にしない未来って もしかすると近い? 17
- Embedding はもしかすると不要? - Hallucinations がかなり軽減? - そもそも大量の情報を人間が解釈する必要性って? - etc…
18 もしトークン数を気にせず LLM が使えたら?
もし日常使いの LLM の Context Window に上限がなくなったら?🤔 19
20
もし時間があまったら 21
22 実演 Claude くんを普段 どう使っているか?
23 で、でもお高いんでしょう? https://www-files.anthropic.com/production/images/model_pricing_july2023.pdf
長文 Prompt テクニック 真ん中があんまり抽出できない? →https://arxiv.org/abs/2307.03172 一昨日の Anthropic の公式記事によると 1. 引用の指示
2. 指示を最後に置く https://www.anthropic.com/index/prompting-lon g-context 24
最近作ったもの 論文要約 後日 webui化予定 https://gist.github.com /schroneko/210881cb6 80322ea455baee21abdd f29 25
Claude 使いたいんだけど?💢 26 残念ながら、本日時点で US / UK のみ あと数ヶ月で一般公開とありました。 首を長くして待ちましょう!
API 使いたいんだけど?💢 27 https://www.anthropic. com/earlyaccess こちらからどうぞ!