慶應義塾大学 AI実践05 論文執筆の仕組み化

Transcript

1. 慶應義塾大学 AI実践 第５回 大学院理工学研究科 論文執筆の仕組み化 情報工学科 教授 杉浦孔明 komei.sugiura@keio.jp
2. 研究活動でよくある失敗 方針転換を繰り返し、半年経っても 研究が進まない 締切ギリギリまで実験と論文執筆を 並行し本人も指導教員も疲弊 コーディング・実験は内発的動機で 進むが、論文執筆は後回しになりがち -2-
3. 研究活動でよくある失敗 方針転換を繰り返し、半年経っても 研究が進まない 開始時にPaper Skeletonを作成 締切ギリギリまで実験と論文執筆を 並行し本人も指導教員も疲弊 Leaderboard方式 コーディング・実験は内発的動機で 進むが、論文執筆は後回しになりがち 60QA -3-
4. 前提 ▪ 研究の進め方・論文の書き方に関する書籍・情報は多く存在するので、まず はそちらを参考にすることを勧めます ▪ 研究の仕組み化には正解が無数にあります ▪ 限られた分野を対象とした「仕組み化」の例として以下を紹介します -4-
5. Paper Skeleton ▪ 研究開始前に論文の骨子を作成する ▪ 科研費提案書の雛形 ▪ Cf. スタートアップにおけるリーンキャンバス ▪ 途中で方針変更は可能だが、最初に案を言語化することが重要 -5-
6. Paper Skeleton なぜこの問題が重要なのか 75文字以内 どれほど解くことが難しいか 75文字以内 既存研究のエラー原因は何か 75文字以内 解決策の新規性は何か 100文字以内 どんな尺度で評価するか 50文字以内 ベースラインとablation conditionは何か 50文字以内 -6-
7. Leaderboard方式の背景 背景 ▪ 研究は「無限タスク」になりがち Leaderboard方式 ▪ 手法の構築・評価サイクルを常に行う ▪ 論文執筆開始日以降は「提案手法」を固定 ▪ 締切日直前に斬新な最良手法を思いついたら？次の会議に投稿すれば 良い -7-
8. Leaderboardの例 -8-
9. Leaderboard方式運用のコツ ▪ 「性能が改善したケース」のみの報告にならないようにする ▪ グループ全員がLeaderboardを閲覧可能とする ▪ 同じシートに比較不可能な数字を載せないデータセットを更新したら次の シートに移る ▪ シートが１０程度に増えることもある ▪ ベースラインがないタスクは「誰でも思いつきそうな手法」をベースライン とする -9-
10. 60 Questions & Answers - 10 -
11. 論文添削の悩み 締切前になると急に赤入れ 依頼が殺到する これは… どこから修正すれば… 執筆スケジュールが後ろ倒し され続ける - 11 -
12. 60QAを作った経緯 背景 ▪ 誰向けに・何を・どの流れで書けばいいのかわからず、途方に暮れるケース は多い（含自分） 経緯（2010年頃） ▪ 自分が書いた査読を分類・保存していた 着想 ▪ 想定質問に答える形で論文が書けるのでは？ - 12 -
13. 60QAにおいて重視した点 分割統治 ▪ 論文全体を考えるから途方に暮れるのであって、分割すれば楽 ▪ 標準的な国際会議論文は約60段落からなる段落を質問への回答と考える 工数管理 ▪ 研究は工数管理できないが、論文執筆は工数管理できる - 13 -
14. 60QA公開版 https://docs.google.com/document/d/180tNamxQFV2fWUOmEdtTFVy-R-sTgiFlbxL-o3Lg6n4/edit?usp=sharing - 14 -
15. 使用例 ▪ コメント機能は使用せず、要修正部・ 各著者を色分け コメント機能は元の文を削除したら 消えてしまう ▪ よくある間違いは注意を記載 注意書きが常に改良される ▪ 回答ごとに記録を残しながら添削 添削側の認知負荷を減らす - 15 -
16. 執筆の工数管理 ▪ ソフトウェア開発と類似 ▪ 研究や実験は内発的動機で進む ⇔論文執筆が締切ドリブンの研究者は多い ▪ 執筆開始から投稿まで： N日 ▪ Nは分野や経験に依存 ▪ 間に合わない場合は対象会議を後ろ倒し - 16 -
17. 執筆順序 do {３問題設定} while (完了率<66%); do {５実験設定} while (完了率<66%); do {４手法} while (完了率<50%); do {６実験結果} while (完了率<66%); do {３問題設定, ４手法, ５実験設定, ６実験結果} while (完了率<100%); do {７結論} while (完了率<66%); do {１はじめに} while (完了率<66%); do {２関連研究} while (完了率<66%); do {１はじめに, ２関連研究, ７結論, ０前提・アブストラクト} while (完了率<100%); - 17 -
18. 60QAは何であって、何ではないのか 何と似ている？ ▪ 典型的な査読質問 ▪ RebuttalにおけるQA 何と違う？ ▪ 論文執筆初心者向けであって、経験豊富な著者向けではない ▪ 理論系・解析系向けではない（質問を大幅に入れ替える必要有り） ▪ 個人的な考えであって、全著者・全PI向けではない - 18 -
19. （予告）実習（10分） ▪ 以下を満たす論文をダウンロードし、質問への回答部分を探せ ▪ 本講義で紹介した国際会議（直近２年） ▪ 手法に関する内容 ▪ 対象質問： Q1-4, 1-5, 4-9, 6-3 ▪ 発表内容 ▪ 論文タイトル ▪ 回答部分の行番号 ▪ 時間が余った場合はそれ以外のQについて探してください。 - 19 -
20. はじめに・序論(1) ▲ 1-1. 本研究の社会的背景は何か？ 第１文は、読者と共有できる最大公約数的事実から始めることが多い。100人いたら90人が賛成するような文と いう意味。 以下のようなロジックが理解されやすい（Q1-1からQ1-6）。 [Q1-1] Aは重要である。 読み手「ほぼ賛成」 [Q1-1からQ1-3] AのうちBにはCという問題がある。[Q1-4] Cは難しい。 読み手「まあそういうものかな」 [Q1-1, 1-5] 既存研究ではCを解くには不十分であった。[Q1-6]そこで本研究では...を提案する 読み手「了解」 ▲ 1-2. 本研究の対象タスク・問題は何か？ ▲ 1-3. その対象問題のユースケース（具体例）は何か？ - 20 -
21. はじめに・序論(2) ▲ 1-4. その対象問題が難しいと言う根拠は何か？既存手法が誤る例はどんなケースか？ ▲ 1-5. 既存手法群には何が不足しているのか？ 既存手法として1つだけを引用するのはNG。提案手法が狭い範囲を扱ったように見えるし、著者が不勉強である と受け取られる。 既存手法群の不十分な点を抽象化すべし。英語では既存手法を複数形とすべし。 ▲ 1-6. 本研究では何を提案し、何を解決するのか？ - 21 -
22. はじめに・序論(3) ▲ 1-7. 提案手法は既存手法と何が違うのか？主要な違い１点のみに絞って述べよ。 ▲ 1-8. 提案既存手法との違う部分は、なぜ導入するべきなのか？なぜ導入するとうまくいく と予想されるのか？ ▲ 1-9. 本研究の主要な貢献をまとめよ ▲ 1-10. 【査読がある会議のみ】提案手法全体の構成を概要図を用いて示せ - 22 -
23. 関連研究(1) ▲ 2-1. 論文を複数挙げて、１個目の関連分野を説明せよ ▲ 2-2. 論文を複数挙げて、N個目の関連分野を説明せよ（この項目を個数分コピーしてくだ さい） ▲ 2-3. XXX分野の標準ベンチマーク群について説明せよ ▲ 2-4. 提案手法と類似手法A（＋類似手法B、類似手法C）との違いは何か？ - 23 -
24. 問題設定(1) ▲ 3-1. 本研究では何というタスクを対象とするか？その内容を説明せよ ▲ 3-2. 対象タスクの望ましい解・出力について説明せよ（何をもって良い解だとするのか） 本タスクでは、…が望ましい ▲ 3-3. 対象タスクの代表例を示せ（図を付けること） - 24 -
25. 問題設定(2) ▲ 3-4. このタスクで与えられる入力は何か？ 提案手法に限らず、どの手法であっても与えられる入力について書きましょう。 ▲ 3-5. タスクで求められる出力は何か？ ▲ 3-6. 使用する用語を定義せよ ▲ 3-7. 本研究では何を扱わないか（＝何を前提にしているか） ▲ 3-8. タスクの評価尺度は何か？ - 25 -
26. 手法(1) ▲ 4-1. 本研究は何の手法を拡張した何を提案するものか？ ▲ 4-2. 提案手法で行った主たる拡張は、上記の既存手法以外にも広く適用可能であることを 説明せよ（＝他の既存手法に適用できないのであれば一般性がない拡張である） - 26 -
27. 手法(2) ▲ 4-3. 提案手法と既存手法の違いを箇条書きせよ ▲ 4-4. 提案手法のモデル構造を示せ（図） ▲ 4-5. 提案手法は何個の主要モジュールを有するか？各主要モジュールの名称を示せ。 - 27 -
28. 手法(3) ▲ 4-6. 入力を数式記号（x等）を用いて説明せよ。各入力はそれぞれ何次元か？ 例えば、「モデルの入力はx_imgである。ここに、x_imgはmagnetogram画像を表す。」のように説明したとす る。それにより、曖昧性を減少させると同時にスペースの無駄遣いを回避できる。 ▲ 4-7. どのように入力特徴を抽出したのか（例えばバックボーンネットワークについて説明 せよ）？ - 28 -
29. 手法(4) ▲ 4-8a. N (=1,2,…)個目のモジュールの導入の動機・役割・入出力・構造を示して説明せよ（ この項目を個数分コピーし、4-8b, 4-8c, ...としてください） ▲ 4-9. 予測を数式で定義せよ。ただし、4-8a,4-8b,..で定義済みの記号を用いよ。 ▲ 4-10. 損失関数の定義を示せ。 - 29 -
30. 実験設定(1) ▲ 5-1. 【データセットを新規構築した場合】なぜデータセットを新規構築する必要があった のか？データセットはどのような仕様・特徴を有するべきか？なぜ標準データセットを使わ なかったのか？構築したデータセットの独自性は何か？ このQ以降は過去形で書くべし。 - 30 -
31. 実験設定(2) ▲ 5-2. 【既存データセットを使った場合】何というデータセットを使用したか？なぜそのデ ータセットを使用したのか？ ▲ 5-3. どのようにデータセットを構築したか（データセットのアノテーション方法や、アノ テータへ指示の詳細、品質管理のためのクロスチェックの方法、等） - 31 -
32. 実験設定(3) ▲ 5-4. データセットをどのように事前処理（またはデータ拡張）したか？ ▲ 5-5. データセットの統計情報を示せ。サンプル数、画像数、軌道数・時間、語彙サイズ（ ユニーク語数）、全単語数、平均文長、言語、アノテータの数、シミュレーションまたは実 機、等について説明せよ - 32 -
33. 実験設定(4) ▲ 5-6. 訓練集合・検証集合・テスト集合をどのように分割したか？各々のサイズを示せ。 ▲ 5-7. 訓練集合・検証集合・テスト集合を各々どのように使用したか。 - 33 -
34. 実験設定(5) ▲ 5-8. 提案手法の設定（最適化手法、学習率＋ウォームアップ＋アニーリング、エポック数 、ハイパーパラメータ等）を表にまとめよ - 34 -
35. 実験設定(6) ▲ 5-9. 提案手法の学習可能パラメータ数とFLOPsまたは積和演算数を示せ。 ▲ 5-10. 訓練に用いたハードウェア構成を示せ ▲ 5-11. 訓練に要した時間を示せ。また、１サンプルあたりの推論に要した時間または FLOPsを示せ（テストセットサイズで割ればいいだけ）。 - 35 -
36. 実験結果(1) ▲ 6-1. ベースライン手法との定量的比較結果を示せ 縦と横の意味は？数字の意味は？平均と標準偏差なのか？何回実験したのか？Human performanceが存在するな ら表示せよ。 - 36 -
37. 実験結果(2) ▲ 6-2. 何をベースライン手法（群）としたか？ ▲ 6-3. 上記ベースラインを選んだ理由を説明せよ ▲ 6-4. 評価尺度（群）について数式で説明せよ。複数あるのであれば、どれが主要尺度か？ ▲ 6-5. なぜそれらの評価尺度を使用したのか？他の評価尺度ではダメなのか？ - 37 -
38. 実験結果(3) ▲ 6-6. ベースラインと提案手法の性能を（相対的な性能差ではなく）絶対的な値で示せ 実験結果説明において、同じ文型をコピペして説明したら不採択になる、と思ってください。 少なくとも「Similarly」「as well」等を入れてください。 ▲ 6-7. 実験結果は統計的に有意（p<0.05）であったか？ - 38 -
39. 実験結果(4) ▲ 6-8. 定性的結果：提案手法が成功した例（N個）を示せ。正解、ベースライン手法、提案 手法による予測結果をそれぞれ示せ 第１文で「表/図に**を示す」と書くべし。 結果の説明だけはNG（＝「読者が勝手に解釈せよ」という意味だから）。どういう点が適切だったのかという 解釈と、何を根拠にそう考えるのかを説明せよ。 ▲ 6-9. 定性的結果：提案手法が失敗した例（M個。N>M）を示せ。なぜ失敗したのか？ - 39 -
40. 実験結果(5) ▲ 6-10. アブレーション実験において何のために何を取り除いたかを説明せよ。 アブレーシ ョン実験の結果に基づき、取り除いた要素が有効だったことを示せ。なぜ有効だったのかを 説明せよ Modelに(i)(ii)...のように番号を与えるべし。条件には(i)(ii)をつけてはならない。 本文の内容 XXX ablation 説明（何をinvestigateするために、何を取り除いたの か）＋ 定量的結果＋考察 YYY ablation 説明＋定量的結果＋考察 ZZZ ablation ... Model 取り除いた結果のモデルをModel (i), Model (ii), ...と命 名する 提案手法とは、(i)(ii)...すべてを指す。(i)(ii)...のうちの１ つが提案手法のような書き方はNG。 表の列は以下のようになる。 Model (i) (ii) .. ▲ 6-11. 混同行列を示せ。 - 40 -
41. 実験結果(6) ▲ 6-12. 提案手法の失敗例は予測結果の中に合計何サンプルあったか？ ▲ 6-13. 失敗例を人手でカテゴリに分類せよ。各カテゴリの定義を示せ。 ▲ 6-14. 失敗の主要な要因と考えられる解決策について説明せよ - 41 -
42. 結論(1) ▲ 7-1. 本研究ではどのようなタスクを扱ったか？ ▲ 7-2. 本研究の貢献を過去形で書け ▲ 7-3. 将来研究は何か？ - 42 -
43. （再）実習（10分） ▪ 以下を満たす論文をダウンロードし、質問への回答部分を探せ ▪ 本講義で紹介した国際会議（直近２年） ▪ 手法に関する内容 ▪ 対象質問： Q1-4, 1-5, 4-9, 6-3 ▪ 発表内容 ▪ 論文タイトル ▪ 回答部分の行番号 ▪ 時間が余った場合はそれ以外のQについて探してください。 - 43 -
44. 付録 - 44 -
45. AI分野の会議を調べるには ▪ トップ会議の粗い傾向の理解 ▪ CSRankings (https://csrankings.org/) ▪ AIRankings (https://airankings.org/) ▪ CORE (https://portal.core.edu.au/confranks/) ▪ 清華大学TH-CPL ▪ どのリストも、全員が完全に合意できるわけ ではない ▪ 例：音声言語処理分野、若い会議 - 45 -
46. AI分野のトップ会議の主観的紹介 ▪ 人工知能全般 ▪ 機械学習 ▪ 音声・信号処理 ▪ 自然言語処理 ▪ コンピュータビジョン ▪ Robot Learning ▪ マルチエージェントシステム ※紹介する会議以外にも重要会議はあります - 46 -