Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文を読むコツ/Paper reading
Search
Yoshioka Lab (Keio CSG)
April 10, 2023
Research
0
180
論文を読むコツ/Paper reading
Yoshioka Lab (Keio CSG)
April 10, 2023
Tweet
Share
More Decks by Yoshioka Lab (Keio CSG)
See All by Yoshioka Lab (Keio CSG)
高精度、高効率アナログCompute-in-Memory回路に向けて
kentaroy47
2
30
LiDARセキュリティ最前線
kentaroy47
0
280
”良い”データセット構築を考える
kentaroy47
4
680
アナログが世界を救う? アナログコンピューティングの応用と課題
kentaroy47
0
580
A 0.7V 12b 160MS/s 12.8fJ/conv-step Pipelined-SAR ADC in 28nm CMOS with Digital Amplifier Technique
kentaroy47
0
16
吉岡研究室紹介(2022年度)
kentaroy47
0
1.8k
信頼されるLiDARに向けて
kentaroy47
0
880
A 20ch TDC/ADC Hybrid SoC for 240x96-pixel 10%-Reflection <0.125%-Precision 200m-Range-Imaging LiDAR with Smart Accumulation Technique
kentaroy47
0
320
PhaseMAC: A 14 TOPS/W 8bit GRO based Phase Domain MAC Circuit for In-Sensor-Computed Deep Learning Accelerators
kentaroy47
0
180
Other Decks in Research
See All in Research
Target trial emulationの概要
shuntaros
2
1.1k
Weekly AI Agents News!
masatoto
12
3.6k
Source Code Diff Revolution (JetBrains Open Reading Club)
tsantalis
0
270
第14回対話システムシンポジウム EMNLP 2023 参加報告
atsumoto
0
160
Introduction of NII S. Koyama's Lab (AY2024)
skoyamalab
0
120
Prompt Tuning から Fine Tuning への移行時期推定
icoxfog417
17
7k
FMP L3 Year 1 Project Proposal
haiinya
0
150
機械学習と数理最適化の融合-文脈付き確率的最短路を例として-
mickey_kubo
0
420
SANER 2019 Most Influential Paper Talk
tsantalis
0
120
Combating Misinformation in the age of LLMs
teacherpeterpan
0
140
Evolutionary Optimization ofModel Merging Recipes (2024/04/17, NLPコロキウム)
iwiwi
9
3.1k
時系列解析と疫学
kingqwert
2
940
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
689
190k
How to train your dragon (web standard)
notwaldorf
74
5.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
Rails Girls Zürich Keynote
gr2m
91
13k
Automating Front-end Workflow
addyosmani
1357
200k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
5
3.4k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
Bash Introduction
62gerente
605
210k
The Power of CSS Pseudo Elements
geoffreycrofte
61
5k
KATA
mclloyd
16
12k
Thoughts on Productivity
jonyablonski
59
3.8k
Transcript
論文を読むコツ 吉岡 2023/4/10 Kentaro Yoshioka(1/17)
◼ 21世紀で最も有名な論文の一つ ◆Transformerを提案 ◆現在のChatGPTなどへ続く NLP分野の革命へリード 今回読む論文 Kentaro Yoshioka(2/17)
◼ 新規性(Novelty)が最も重要 ◆過去の論文と同じでは論文は採択(Accept)されない ◆過去研究で何がされていなかったのか、 自分の論文ではどう違うのかを明確に記述しなければならない ➢例:過去にはなかった脆弱性を明らかにした ➢例:新しい動作原理に基づくニューラルネットや回路ブロックを提案する ◆新しい事をする、というのも大事だが有効性を実証するのも重要 ⚫ 新しいだけで性能が下がってしまったら誰も使いたくはない
➢例:提案する技術により◦◦%性能を向上することを実験で確認 論文で重要なこと Kentaro Yoshioka(3/17)
◼ 引用数で論文のインパクトは測れる ◆多くの人が引用する、ということは多く読まれている/多く使われている ◼ https://scholar.google.co.jp/ 論文のインパクト Kentaro Yoshioka(4/17) Attention..論文を引用している記事も表示できる
◼ Abstract ◆論文を短くまとめたもの。何でこの論文が重要かはAbst.に煮詰められている。 ◼ イントロダクション ◆この論文はどのような問題を解決しようとしているか? ⚫ 例:より精度の高いニューラルネットがあると便利だよね ⚫ 例:より消費電力が小さい回路があると便利だよね
⚫ レベルのことを言っている。 ◼ Related works ◆過去に発表された論文をまとめつつ、本研究がどう違うかについて触れる (一般的な)論文の構成 Kentaro Yoshioka(5/17)
◼ Methodology(提案技術) ◆提案する技術の詳細について説明 ⚫ 〇〇機構を◎◎の目的で導入 ⚫ 例:今までなかったTransformerという アーキテクチャを提案。従来RNNよりも計算効率に優れる ◼ Evaluation(実験結果)
◆提案した技術の有用性を実証する ◆例:Transformerを使うとこんなに性能が良くなるよ (一般的な)論文の構成 Kentaro Yoshioka(6/17)
◼ 最初読んでもわからないことばかり ◼ まずは・・ ◆なぜその論文は評価されているのか?どこが面白いのか?を説明できるように読むと良い ⚫ 新規性、つまり従来との差に注目して読む ◆実験や実装の細かい部分は最初は読み飛ばして良い ◼ 教員も読み飛ばして読んでます
◆重要そうな論文だけ精読(細かい部分だけ読む)しています ◼ 有名な論文は日本語の解説があったりするのでググると良い 論文の読み方 Kentaro Yoshioka(7/17)