Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文を読むコツ/Paper reading
Search
Yoshioka Lab (Keio CSG)
April 10, 2023
Research
0
280
論文を読むコツ/Paper reading
Yoshioka Lab (Keio CSG)
April 10, 2023
Tweet
Share
More Decks by Yoshioka Lab (Keio CSG)
See All by Yoshioka Lab (Keio CSG)
LLM時代の半導体・集積回路
kentaroy47
1
820
高精度、高効率アナログCompute-in-Memory回路に向けて
kentaroy47
2
590
LiDARセキュリティ最前線
kentaroy47
0
580
”良い”データセット構築を考える
kentaroy47
4
910
アナログが世界を救う? アナログコンピューティングの応用と課題
kentaroy47
0
890
A 0.7V 12b 160MS/s 12.8fJ/conv-step Pipelined-SAR ADC in 28nm CMOS with Digital Amplifier Technique
kentaroy47
0
88
吉岡研究室紹介(2022年度)
kentaroy47
0
3.3k
信頼されるLiDARに向けて
kentaroy47
0
1.1k
A 20ch TDC/ADC Hybrid SoC for 240x96-pixel 10%-Reflection <0.125%-Precision 200m-Range-Imaging LiDAR with Smart Accumulation Technique
kentaroy47
0
500
Other Decks in Research
See All in Research
数理最適化と機械学習の融合
mickey_kubo
16
9.2k
SkySense : A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
satai
3
310
データサイエンティストの採用に関するアンケート
datascientistsociety
PRO
0
1.2k
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
870
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
900
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
130
集合間Bregmanダイバージェンスと置換不変NNによるその学習
wasyro
0
140
Self-supervised audiovisual representation learning for remote sensing data
satai
3
260
VectorLLM: Human-like Extraction of Structured Building Contours via Multimodal LLMs
satai
4
120
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
140
カスタマーサクセスの視点からAWS Summitの展示を考える~製品開発で活用できる勘所~
masakiokuda
2
180
能動適応的実験計画
masakat0
2
780
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Practical Orchestrator
shlominoach
190
11k
Facilitating Awesome Meetings
lara
55
6.5k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Gamification - CAS2011
davidbonilla
81
5.4k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
How GitHub (no longer) Works
holman
315
140k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Git: the NoSQL Database
bkeepers
PRO
431
65k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Transcript
論文を読むコツ 吉岡 2023/4/10 Kentaro Yoshioka(1/17)
◼ 21世紀で最も有名な論文の一つ ◆Transformerを提案 ◆現在のChatGPTなどへ続く NLP分野の革命へリード 今回読む論文 Kentaro Yoshioka(2/17)
◼ 新規性(Novelty)が最も重要 ◆過去の論文と同じでは論文は採択(Accept)されない ◆過去研究で何がされていなかったのか、 自分の論文ではどう違うのかを明確に記述しなければならない ➢例:過去にはなかった脆弱性を明らかにした ➢例:新しい動作原理に基づくニューラルネットや回路ブロックを提案する ◆新しい事をする、というのも大事だが有効性を実証するのも重要 ⚫ 新しいだけで性能が下がってしまったら誰も使いたくはない
➢例:提案する技術により◦◦%性能を向上することを実験で確認 論文で重要なこと Kentaro Yoshioka(3/17)
◼ 引用数で論文のインパクトは測れる ◆多くの人が引用する、ということは多く読まれている/多く使われている ◼ https://scholar.google.co.jp/ 論文のインパクト Kentaro Yoshioka(4/17) Attention..論文を引用している記事も表示できる
◼ Abstract ◆論文を短くまとめたもの。何でこの論文が重要かはAbst.に煮詰められている。 ◼ イントロダクション ◆この論文はどのような問題を解決しようとしているか? ⚫ 例:より精度の高いニューラルネットがあると便利だよね ⚫ 例:より消費電力が小さい回路があると便利だよね
⚫ レベルのことを言っている。 ◼ Related works ◆過去に発表された論文をまとめつつ、本研究がどう違うかについて触れる (一般的な)論文の構成 Kentaro Yoshioka(5/17)
◼ Methodology(提案技術) ◆提案する技術の詳細について説明 ⚫ 〇〇機構を◎◎の目的で導入 ⚫ 例:今までなかったTransformerという アーキテクチャを提案。従来RNNよりも計算効率に優れる ◼ Evaluation(実験結果)
◆提案した技術の有用性を実証する ◆例:Transformerを使うとこんなに性能が良くなるよ (一般的な)論文の構成 Kentaro Yoshioka(6/17)
◼ 最初読んでもわからないことばかり ◼ まずは・・ ◆なぜその論文は評価されているのか?どこが面白いのか?を説明できるように読むと良い ⚫ 新規性、つまり従来との差に注目して読む ◆実験や実装の細かい部分は最初は読み飛ばして良い ◼ 教員も読み飛ばして読んでます
◆重要そうな論文だけ精読(細かい部分だけ読む)しています ◼ 有名な論文は日本語の解説があったりするのでググると良い 論文の読み方 Kentaro Yoshioka(7/17)