我流リサーチテイストの鍛え方

自分自身がResearch Tasteを鍛えるために取り組んでいることを資料にまとめました。ご参考になれば幸いです。

Transcript

1. 1 我流リサーチテイストの鍛え⽅ （間違ってたらごめんなさい） D2 Atsuyuki Miyai 宮井 淳行 東京⼤学
2. l 所属: 東京⼤学の博⼠2年⽣の学⽣である Ø https://atsumiyai.github.io/ l 経歴: NLP (少し) → CV →LMM/AI Agent周りで研究をしてきた l ⾃分は研究アイデアやストーリーを作るのが好きだったりもするが、 そのノウハウを共有したことがなかった l 最近のAdvent calendarの流れに乗り、⾃分も何かしら貢献をして みたいと感じたため、⾃分の⼀番得意な部分に関して述べてみる 2 背景
3. l 本スライドの内容は⾃分個⼈にしか当てはまらないかもしれない l ⾃分の⾝分で、このようなスライドを作るのは無礼であると⾃分で も感じている l 結局は、⾃分にあった⽅法で極めるべきである l ここに書いているのはあくまでも⾃分の理想的話であり、⾃分が実 践できているわけではない 3 ⼤前提
4. l 2021年までの研究:「枠にハマった研究を解いていくスタイル」 Ø 既存研究のlimitationを粗探し⇨⼿法提案⇨結果改善のスタイル Ø ある意味、テーマを思いつくためは、既存研究に乗っかれば良い l 最近の研究:「何の枠もなく、宙ぶらりんの状態で研究テーマを考え る必要がある」 Ø LLMの進化で⼀気に研究の⾃由度が増してしまった結果 Ø ⼀種の思想の戦いのようなもの Ø 既存研究の真似に留まらず、「分野がどのように進化するべきか︖」など の客観的な意⾒を⾃分⾃⾝で持つことが重要 ※ 計算機が豊富な研究機関だとこれはその通りではないかもしれない 4 研究がどのように変化しているか︖
5. l ⼭のように出てくる論⽂を⼤量に読む︖︖ 5 ではどのように研究テーマを思いつく必要があるのか︖
6. l ⼭のように出てくる論⽂を⼤量に読む︖︖ 6 ではどのように研究テーマを思いつく必要があるのか︖ おそらくこれも効果はあるが、 根本的な能⼒アップには繋がらない
7. l テイストを磨く努⼒をするのが根本的な解決⽅法 7 ではどのように研究テーマを思いつく必要があるのか︖
8. l 多くの研究者とコラボレーションするのが⼀番の近道 Ø ⽇本国内でもComputer Vision, NLPで全く考え⽅が違う Ø 海外でも、USのLab、ヨーロッパのLabでアプローチが違う Ø LMMの分野でもUSのNLP派閥とアジアの画像派閥とではアプローチが違う 8 テイストを磨く⽅法
9. l 多くの研究者とコラボレーションするのが⼀番の近道 Ø ⽇本国内でもComputer Vision, NLPで全く考え⽅が違う Ø 海外でも、USのLab、ヨーロッパのLabでアプローチが違う Ø LMMの分野でもUSのNLP派閥とアジアの画像派閥とではアプローチが違う 9 テイストを磨く⽅法 しかし、コラボを気軽にするのはなかなかキツイ… なので代理案を考えてみた
10. l 1. 論⽂を読むときに、結果や⼿法だけではなくて、どうしてこの著 者はこれを作ろうとしたのか等の深い思想を読み取る訓練をする Ø ヒット作を読んだだけでは、ヒット作を作ることができない。 Ø 重要なのは、再現性を⽣み出すことであり、その作者の思想をそのままコ ピーすることが近道である l 2. 偉⼈のBlogやツイート、講演をチェックする Ø 偉⼈が書いたBlogはかなり有益である。彼らがどのような未来を描いている のか、どのような取り組みが重要なのかがわかる Ø ⾃分はDan Hendrycksが好きなので、AI Safety Newsletter はよく⾒る l 3. 常に多くの意⾒に⽿を傾けてみる Ø 研究者、起業家、AI驚き屋、それぞれが⼀部の側⾯で有益な情報を出す Ø ⽇本国内、USのTwitter界隈の動きも両⽅チェックする Ø アカデミア、カンパニー、両⽅の動きをチェックする 10 テイストを磨く⽅法
11. l テイストは研究⽅向性が良いのかどうかのSelf Judgementに使える が、そもそもの発想⼒を鍛えることでもう⼀段上にいけるはず 11 テイストだけで⼗分なのか︖
12. l 発想⼒を鍛える⽅法は、研究に閉じたものではないので、他分野の 成功者を真似ることができると考えている Ø ⼩説家、作詞作曲家、漫画家 etc. l ⾃分はmiletさんとMrs. GREEN APPLEの⼤森さんにハマり中 Ø 基本的に彼らは作曲は夜に⾏なっている。miletさんは部屋の電 気を消して真っ暗にして考えるらしい Ø ⾃分は夜のランニング中に考えることが多い Ø イカれたアイデアはイカれた思考状態から⽣まれるはずなので、 無理やりそのテンション状態に持っていく (過激ではある) 12 そもそもの発想⼒を鍛える⽅法
13. l 究極的な未来、⻑期的な未来を想像しながら研究する Ø 化け物みたいなコラボ相⼿、NTUのBo Liが教えてくれた研究⽅法 Ø この研究の先にどんな未来があるのかをめっちゃ語れるやつが強いというシ ンプルな結論に⾄った l 会議論⽂としての価値とコミュニティ (社会)への価値は切り離す Ø 最近、⾃分が作りたい論⽂が会議論⽂に通りづらい論⽂になってしまうこと が多いと感じるようになった • 会議論⽂は新規性や堅実性を最も重要なファクターとして審査するから • シンプルなアイデアや型にハマらない論⽂は怒られてしまうことが結構多い Ø コミュニティとしての価値と会議論⽂としての価値は別物であると割り切る ⽅がRejectされたときのメンタルが安定する Ø 本当にこれでいいのかはよくわからないが、最終的にOpen-science, Open- source, Open-reportが最後に残る価値と勝⼿に信じている 13 最近の⾃分が好きな研究のやり⽅
14. 14 結論 l 最近、研究の流れが変化して、求められる能⼒も⼤きく変化 l テイストは努⼒で磨くことができるものなので、論⽂を読みまく るのではなくて、根本のテイストを磨くことにfocusした⽅がコス パが良いかもしれない l とりあえず⾃分の考えている鍛え⽅を書いてみたので、参考にな れば幸いです