論文輪読会 第1回 AI論文読み方講座

AcademiX が開催した 第1回 論文輪読会「AI論文読み方講座」に関する資料

日時：2023/02/18
発表者：大熊拓海さん

＜概要＞
AIの最新技術を詳細までキャッチアップする為には、論文を読む事が必要不可欠である一方、普段論文を読まない方にとっては中々ハードルが高いように思われる。
本講座では、そのような論文読み初学者の為に、
・そもそも論文とは何か
・なぜ論文を読むのか
・どの論文を読むべきなのか
・どのように論文を読むのか
を順番に丁寧に説明している。

1. https://www.academix.jp/ AcademiX 論文輪読会 AI論文読み方講座 AcademiX Founder 大熊 拓海 2023/02/18
2. 経歴 • 2019年 3月 東京大学 工学部 計数工学科卒業 • 2021年 3月 東京大学 情報理工学系研究科 創造情報学専攻 修士課程 修了 （修了時に研究科長賞受賞） • 2021年 4月 同 博士課程 進学 （休学中） • 2021年 6月 Airion株式会社 創業 • 2022年 7月 AI学生団体「AcademiX」設立 専門分野 • 画像認識（Few-shot Learning、Human Pose Estimation) その他 • 東京大学 工学系研究科 講義「深層学習」講師（2020年度-） • 松尾研スプリングセミナー講義 監修 (画像認識) 講師 (画像認識/生成モデル) • 2021年度未踏アドバンスト事業採択 • Twitter: @shien5963 (link) 大熊拓海 自己紹介
3. 本講座の対象者 • AIの論文読んだこと無いけど、これからチャレンジしたい人 • AIの論文を読もうとしたが、難しくて挫折した人 • どの論文を読んだら良いか迷っている人 本講座が皆さんのレベルアップのきっかけになれば幸いです！
4. 多くの方が抱く「論文」のイメージ • 難しくて理解出来なさそう • 研究者の、研究者による、研究者の為の文章 • 修士・博士の学生が必死で書いてる • 難解な英語が多い 総じて取っつきにくそう、、、
5. • 難しくて理解出来なさそう • 研究者の、研究者による、研究者の為の文章 • 修士・博士の学生が必死で書いてる • 難解な英語が多い 総じて取っつきにくそう、、、 まず、この先入観を壊そう！
6. そもそも論文って何？
7. 論文とは • 論文＝学問の研究成果などのあるテーマについて論理的な手法で書き記した文章 （Wikipedia より引用） 要するに、 我々の研究により、◦◦であることが分かった or △△が出来るようになった を報告する文章 出典 https://mainichigahakken.net/hobby/article/post-632.php
8. 何故論文が大切なのか • 論文＝研究成果に関する一次情報にアクセスする唯一の方法 • 書籍や解説記事からも情報は得られるが、 • メジャーな論文・研究に限られる。 • いわゆる「論文の要約」なので、情報量がかなり落ちる。 • （素人が書いた解説記事は）信憑性が数段落ちる。 • 書籍は出版に時間がかかるので、最先端まで網羅しきれない。 （AcademiX の勉強会も本をベースにしているので、最先端までは追えていない） • 最先端の理論や技術を理解する為には、論文の読解が必要不可欠。
9. 論文＝研究者の成果物！ 出典: https://dora-world.com/contents/2767 アニメーター 小説家 研究者 アニメ 小説 論文 職業 成果物
10. 研究者が論文を書く意味 自分の研究成果を世界に発信する為 論文を通じて、自身の研究者としての価値が世の中に認められる 論文通じて「自身の研究成果」を他人に理解させる必要性 注）ポストや研究費の獲得に関わるので、割と人生がかかっている 理解してもらえなければ評価もされない なので、研究者は頑張って理解しやすい論文を書いている！！ わざわざ難解なを論文を書く研究者はいない（はず、、、）
11. 論文を理解する為に 研究者は分かりやすく論文を書いているのに、理解できないとしたら、、、 • 読む順番が良くない → 小説の様に頭から読むのが正しいという訳ではない（後述） • 論文のコンテキスト・前提条件が理解出来ていない → イントロや関連研究をしっかり読む必要がある（後述） • 英語を読めていない → DeepL等の翻訳を使ってみよう • 実は分かりやすい or 良い論文ではなかった → よほど重要な研究でない限り（少なくとも初心者は）読まなくても良いかも → しかし、読み方が分かっていないと「わかりにくいか否か」の判断すら出来ない
12. 研究者は分かりやすく論文を書いているのに、理解できないとしたら、、、 • 読む順番が良くない → 小説の様に頭から読むのが正しいという訳ではない（後述） • 論文のコンテキストが共有出来ていない → イントロや関連研究をしっかり読む必要がある（後述） • 英語を読めていない → DeepL等の翻訳を使ってみよう • 実は分かりやすい or 良い論文ではなかった → よほど重要な研究でない限り（少なくとも初心者は）読まなくても良いかも → しかし、読み方が分かっていないと「わかりにくいか否か」の判断すら出来ない こうならない様にする為に 正しい読み方を学びましょう！！
13. どの論文を読むべきか？
14. 論文を読む目的 • 「どの論文を読むべきか」の前に「なぜ論文を読むのか」 • 読む目的によって読むべき論文は異なってくる 研究者以外の方にとっての目的で多いのは、 • 面白そうな or 話題になった研究を理解したいから • 特定分野の大まかな把握 • 論文を読む練習 or 輪読会での発表 • 実装するアルゴリズムの検討 あたりだと思われるので、順番に見ていく。
15. 面白そうな or 話題になった研究 その論文を読んでください！ 最近では話題になったAIで論文化されている研究も多い ※ 有名になるような大規模プロジェクトの論文は、かなり長かったり、形式が一般的な論文（後述）と違うことも多いので注意。 Stable Diffusion 論文名: High-Resolution Image Synthesis with Latent Diffusion Models GPT-3 論文名: Language Models are Few-Shot Learners AlphaCode 論文名: Competition-Level Code Generation with AlphaCode
16. 特定分野の大まかな把握 分野のキーとなる論文を浅く広く抑える必要がある（論文を「浅く」読む方法は後述）。 キーとなる論文を見つけるためには、 1. 「サーベイ論文」を当たってどの論文が重要か（≒被引用数が多いか）を見極める サーベイ論文は、特定分野の概要を把握する為の文章で（新規の研究ではない）、 タイトルに大体 “survey” の単語が含まれている。 例）”Pose Estimation survey” でGoogle検索すると、” 2D Human Pose Estimation: A Survey”というサーベイ 論文がヒットする。 2. 日本語の解説記事を等を当たる 有名な論文は日本語の解説記事も多く出ているので、適当な単語で検索かけてみる。 一からサーベイ論文で探すよりも手っ取り早いことも多い。 色々読んでいくうちに、段々と分野の大まかな全体像を把握できるはずである。
17. 輪読会での発表 1. 興味のある分野で、最近出た論文（1年以内くらいが目安） ・Paper with Code が便利。 2. トップ学会に採択された論文 ・トップ学会に関しては https://research-p.com/column/1144 あたりを参考。 ・学会の採択には半年くらい時間がかかるので、最新論文に関しては必須ではない。 3. 自分がしっかり理解でき、人に説明できる自身のある論文 の３条件を満たす論文を選べるとベター 初心者のうちは、もし論文を理解しきれなくてもリカバリーできるように、 QiitaやAI-SCHOLAR等で日本語記事が出ている論文を選ぶと良いかもしれない。 ※ 上記も素人が書いた記事が多く、内容に誤りを含む場合もあるので注意。
18. 実装するアルゴリズムの検討 • 理論よりも、既存実装・学習済みモデルが存在することが重要 • Paper with Code で探すのが楽 • Paper with Code で該当するタスクを 検索する。 • ベンチマークを選択肢、精度上位の手 法の一覧を見る。 • GitHubのリポジトリが存在する手法は マークをクリックしてアクセスできる。 • 手法の精度とリポジトリの信頼度・使 いやすさを考慮して、実装するアルゴ リズムを検討する。
19. 読む論文が決まったら • ここまでは「目的に応じた読むべき論文の選び方」を説明した。 • 読みたい論文が決まったら、次はいよいよ実際に読んでいく。 • しかし、何も考えずに頭から読んでしまうと、理解が難しくなったり、効率 が悪くなったりする恐れがある。 • 次は「私がお薦めする論文の読み方」を紹介したいと思う
20. 私がお薦めする論文の読み方
21. 論文の構成 まず、一般的な（AI分野の）論文は以下の構成で書かれている。 0. 概要 (Abstract) : 論文全体の概要 1. 序論 (Introduction) : 研究が行われた背景や前提知識 2. 関連研究 (Related Work) : 関連する先行研究を示す 3. 手法の説明 (Method) : メインとなるトピック・手法の説明 4. 実験 (Experiment) : 手法の有効性等を示す為の実験・主結果 5. 考察 (Discussion) : 更に理解を深めるための追加実験・考察 6. 結論 (Conclusion) : 研究全体の総括
22. 上から順番に読むのか？ 0. 概要 (Abstract) : 論文全体の概要 1. 序論 (Introduction) : 研究が行われた背景や前提知識 2. 関連研究 (Related Work) : 関連する先行研究を示す 3. 手法の説明 (Method) : メインとなるトピック・手法の説明 4. 実験 (Experiment) : 手法の有効性等を示す為の実験・主結果 5. 考察 (Discussion) : 更に理解を深めるための追加実験・考察 6. 結論 (Conclusion) : 研究全体の総括
23. 0. 概要 (Abstract) : 論文全体の概要 1. 序論 (Introduction) : 研究が行われた背景や前提知識 2. 関連研究 (Related Work) : 関連する先行研究を示す 3. 手法の説明 (Method) : メインとなるトピック・手法の説明 4. 実験 (Experiment) : 手法の有効性等を示す為の実験・主結果 5. 考察 (Discussion) : 更に理解を深めるための追加実験・考察 6. 結論 (Conclusion) : 研究全体の総括 素直に上から読むのはお薦め出来ない ではどの順番がベストなのか？
24. まず概要・結論を読むべき 0. 概要 (Abstract) 1. 序論 (Introduction) 2. 関連研究 (Related Work) 3. 手法の説明 (Method) 4. 実験 (Experiment) 5. 考察 (Discussion) 6. 結論 (Conclusion) • 概要と結論を読み、研究の大枠を把握する。 • 研究の目的は何か、何故重要なのか、成果及び限界点 は何処か等を理解する。 • これらを読んだ結果、自分が知りたい内容とは異 なると感じた場合、読むのを止める。 • 一般に、論文を一本理解するにはそれなりの労力がか かるので、無駄を省ける。
25. 次に序論・関連研究を読む 0. 概要 (Abstract) 1. 序論 (Introduction) 2. 関連研究 (Related Work) 3. 手法の説明 (Method) 4. 実験 (Experiment) 5. 考察 (Discussion) 6. 結論 (Conclusion) • 研究目的、問題領域、研究範囲、先行研究等、 研究が行われる前提条件を把握する。 • 特に、殆どの研究は単体で成立するのではなく、先行 研究に基づいて行われている為、 関連する先行研究を把握することは非常に大切。 • 読者の知識が不十分な場合、研究の前提条件が把握で きない、しっくりこない場合もある。 • この状態で論文を読んでも得るものは少ないので、 一旦読むのをストップして、先に重要な先行研究を理 解する必要がある。
26. （図表とその説明文） • 章立てからは外れるが、次は図表とその説明文に目を通すべき。 • 図表は一番目立つ部分なので、研究者は図表を見れば提案内容や結果を大ま かに把握できる様に執筆することが多い。 • 「メインの図 = 論文の顔」であり、論文が有名になると図も有名になる。 いかにも提案手法っぽい図 いかにも結果っぽいグラフ Dosovitskiy, Alexey, et al. "An image is worth 16x16 words: Transformers for image recognition at scale." arXiv preprint arXiv:2010.11929 (2020). より図を引用
27. 熟読する 0. 概要 (Abstract) 1. 序論 (Introduction) 2. 関連研究 (Related Work) 3. 手法の説明 (Method) 4. 実験 (Experiment) 5. 考察 (Discussion) 6. 結論 (Conclusion) • 研究内容を詳しく把握したい場合に読む。 • 関連研究を薄く広くサーベイしている場合には読 み飛ばすことも多い。 • 「手法の説明」には詳しい数式等、「実験」には 細かいパラメータ設定や結果等が書かれるので、 納得感を得たい場合にはそれぞれを読むべき。 • 読む順番はそのまま3, 4, 5で良い。 • 「実験」と「考察」は分かれていないこともある。
28. （公開されているコードを見る） • 最近のAI研究では「再現性」が重要視されており、それを示す為に実験で使 われたコードがGithubで公開されていることも多い。 • 再現性: 他の人が同様の実験を行った場合でも同じ結果が得られること。 • 開発等で実装するAIを検討する為に論文を当たっている場合は、コードが公 開されている論文を当たるのが良い。 • 更に、Githubのスター数が多い、issueが活発であるとなお良い。 • 実装しない場合でも、コードを読むことで手法への理解が深まることも多い。 • 論文で理解できなかった部分をコードを通じて理解できる場合も
29. まとめ 論文は頭から読むのではなく、以下の順番をお勧めする 1. 概要・結論を読み、読むべき論文か否かを把握 2. 序論・関連研究を読み、研究の前提条件を把握 →把握できない場合は、先に関連研究を深堀する 3. 図表及びその説明を読み、提案手法や主結果を大まかに把握する 4. （より詳しく知りたい場合は）手法の説明・実験・考察を順に読む 5. 公開コードがある場合は、必要に応じて参照する
30. 正しい読み方を身に着け 楽しい論文ライフを！！