Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
自分を知る,遊び場を作る
Search
Sho Yokoi
PRO
February 10, 2022
Education
10
4.6k
自分を知る,遊び場を作る
第6回 統計・機械学習若手シンポジウム
の
企画セッション 日本の博士課程〜十人十色の選択肢〜
で利用したスライドです
Sho Yokoi
PRO
February 10, 2022
Tweet
Share
More Decks by Sho Yokoi
See All by Sho Yokoi
Zipf 白色化:タイプとトークンの区別がもたらす良質な埋め込み空間と損失関数
eumesy
PRO
8
1.2k
Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve
eumesy
PRO
7
1.3k
「確率的なオウム」にできること、またそれがなぜできるのかについて
eumesy
PRO
8
3.2k
A Theory of Emergent In-Context Learning as Implicit Structure Induction
eumesy
PRO
5
1.4k
ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送
eumesy
PRO
25
18k
Revisiting Over-smoothing in BERT from the Perspective of Graph
eumesy
PRO
0
1.2k
構造を持った言語データと最適輸送
eumesy
PRO
5
7.4k
最適輸送と自然言語処理
eumesy
PRO
19
12k
言葉の形を教えてくれる自然言語処理
eumesy
PRO
1
1.6k
Other Decks in Education
See All in Education
開発終了後こそ成長のチャンス!プロダクト運用を見送った先のアクションプラン
ohmori_yusuke
2
270
Repaso electricidade e electrónica
irocho
0
220
Adobe Express
matleenalaakso
1
7.6k
20241002_Copilotって何?+Power_AutomateのCopilot
ponponmikankan
1
200
Logistique et supply chain : application au e-commerce
martine
0
110
TP5_-_UV.pdf
bernhardsvt
0
130
ニュースメディアにおける生成 AI の活用と開発 / UTokyo Lecture Business Introduction
upura
0
170
HTML5 and the Open Web Platform - Lecture 3 - Web Technologies (1019888BNR)
signer
PRO
1
2.6k
Flinga
matleenalaakso
2
14k
Mathematics used in cryptography around us
herumi
2
610
子どものためのプログラミング道場『CoderDojo』〜法人提携例〜 / Partnership with CoderDojo Japan
coderdojojapan
4
15k
HCI and Interaction Design - Lecture 2 - Human-Computer Interaction (1023841ANR)
signer
PRO
0
910
Featured
See All Featured
Done Done
chrislema
182
16k
KATA
mclloyd
29
14k
Six Lessons from altMBA
skipperchong
27
3.5k
Statistics for Hackers
jakevdp
797
220k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
26
1.9k
Designing for Performance
lara
604
68k
Rails Girls Zürich Keynote
gr2m
94
13k
Building Your Own Lightsaber
phodgson
104
6.2k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Making Projects Easy
brettharned
116
6k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
171
50k
Transcript
⾃分を知る,遊び場を作る 横井 祥 2022-02-10, 第6回 統計・機械学習若⼿シンポジウム
今⽇のテーマ 2 • ⾃分は今の⽣活がなかなか楽しい − 博⼠課程やその前後の⽣活は苦しみとともに語られがちだけれど… • なぜ楽しい⽣活を享受できているの…︖ − ✘
才能があった − ✘ 研究業界との相性がはじめから最⾼だった − ✔ ⾃分は何をしていると楽しいのかについてたくさん考えた − ✔ ⾃分が楽しくなるようにした • テーマ︓⾃分を知る,遊び場を作る • 裏テーマ︓規範に振り回されない − 皆が欲しがるものと⾃分が欲しいものが違うなら, 皆が欲しがるものを⼿に⼊れるためにわざわざ苦しまない
今⽇話すこと 3 • 前半︓楽しい⼈⽣の例(⾃分語り) • 後半︓楽しい博⼠⽣活を作るコツ(ノウハウ共有)
⼈⽣ in 10 minutes 4 喜びの形を⾒つける
⼈⽣(=ハマっていたこと)⼀部抜粋 5 • 中︓3D格闘ゲーム楽しい…︕期 • ⾼︓ドラム楽しい…︕期
⼈⽣(=ハマっていたこと)⼀部抜粋 6 • 労楽しい…︕期 • 勉強楽しい…︕期
ゆっくりわかってきたこと︓ ⾃分はどういう種類の活動が楽しいのか 7 • 中︓3D格闘ゲーム − 上達すること,同じ趣味の⼈と話し議論すること,肴/娯楽としての勝負 • ⾼︓ドラム −
ライブ (⾼揚感を提供すること),技能を⾝につけること,熱⼼な集団に ⾝を置くこと • 労 − 何かを体系⽴てて⾯⽩く⼈に伝えること,調べること,やる気があるけ れどやりかたがわからない⼈を引き上げること • 受験勉強 − 少しずつ成⻑すること,世界への解像度が上がっていくこと • 裏メッセージ − 周りの⼈が考える「お前の⼈⽣の良さ」と私が思う「私の⼈⽣の良さ」 はほとんど関係がない
今(修⼠〜博⼠〜現在)の⽣活の何が楽しいのか 8 • 今は研究楽しい…︕期 − あと20年は楽しめそう • 何がそんなに楽しいのか − 研究テーマは⾯⽩い
– 最近は⾔語の “意味” と埋込空間の “形” の対応がとても⾯⽩い − …それよりも広義研究活動が,⻑い時間をかけて⾃覚した⾃分の各種 喜びに明らかに直結するのが⼤きい
研究業界は 私にとって魅⼒的な遊びかたが可能 9 • 賢い⼈々と議論し放題プラン − ※ これを成⽴させるために知的誠実さはとても重要 • プロジェクト単位のチーム戦
− 万能超⼈にならなくても良い − ⾊々な⼈と遊べる,たくさんのプロジェクトで遊べる • ライブの機会が多い − 研究発表,トーク
研究業界は 私にとって魅⼒的な遊びかたが可能 10 • 広義問題解決能⼒を鍛える⾃分育成ゲームが常時同時開催 − 課題を⾒つけて,整理して,解いて,⽂書化して,… • 精進が趣味の広義同僚(同分野,近隣分野の研究者)がた くさん
− キャリア30年のベテラン,世界中の若い才能の塊 • 広義後輩の精進をサポートするボリューム満点のゲーム − やる気はあるけれどやり⽅がわからない⼈を引き上げる喜び − しかもあっという間に追い抜いてくれ楽しい議論相⼿にジョブチェン ジ
なぜ研究⽣活が楽しいのか 11 研究⽣活や博⼠進学は 「私の」喜びに直結していた • ⼈それぞれ.組み合わせは無限⼤. − GAFA に⾏きたい/⼤学教授になりたい,PhD 取得が最短経路
→ OK︕ − ⼤好きな物理学をもっと理解したい,**先⽣の下で学びたい → OK︕ − 教育機会をくれた両親を喜ばせたい,博⼠号を⾒せたい → OK︕ − 数学とプログラミングが好き,これを職にしたい → OK︕ • 「これ楽しいな…」「あれやってみたいな…」に真摯に − 規範的な遊び⽅と異なっていても悲観的になる必要はない
アクションの起こし⽅ 12
実践においてたぶん⼤事なこと︓ 幸せの形を少しずつ探す 13 • …とはいえさっきの話は後知恵さくさく • 喜びの形も業界との相性も活動してみないとわからない − 研究に⼀⽣懸命取り組んだ後でないと,⾃分が研究活動を通して幸せ になれるかはわからない
− 研究に⼀⽣懸命取り組んだ後でないと,⾃分が研究業界と相性が良い かはわからない • はじめから100%相性の良い場所など存在しない • ⼤事なこと − 「私は」どういうことに幸せを感じるタイプかを内省し続ける − 研究活動や博⼠⽣活が幸せな場所になるよう⾃⼒で近づける やってよかったことをいくつか共有します
1. 遊びに⾏く(=機会を広げる) 14 • どこへでも遊びに⾏く − B4になってすぐに発⽣したはじめての学会 (JSAI) には,⾃腹でカプ セルホテルをとって出張
– 学会ってどんなものなの︖︕ という好奇⼼が圧勝 – ボスが後から知り「え…︕払ってあげるよ (困惑)」と精算してくださった – ここで発表していたTさん (NII → 東北⼤ → 現Google) の発表にいたく感 銘を受ける.彼の研究を半ば追う形で東北⼤へ. − ⾯⽩そうな学会・勉強会の存在を⾒つけたら即参戦 – ⾃然⾔語処理,機械学習系,数学系,⾔語学系,その他なんでも – ボスからのヘルプが絶⼤だった.ラボは東北で,オフライン時代のイベン トは基本東京たまに関⻄だったが,遠征費をたくさん⽀援してくださった.
1. 遊びに⾏く(=機会を広げる) 15 • ある⽇の出会いが将来の楽しいプロジェクトになる − 研究 – M2の研究︓勉強会後の飲み会でM先⽣に「こんなことに興味があって…」 と話しかけたのがきっかけ
– D1の研究︓その後M先⽣が「カーネル法ならF先⽣に相談したら︖」とつ ないでくださったのがきっかけ − この会も「いつかの縁」のかたまり – Tさん︓IBIS で出会う – Mさん・Iさん︓Overfit Summer Seminar で出会う – Nさん︓数学カフェで出会う – Iさん︓ACT-X で出会う − ほか私がこれまで関わったプロジェクトはほぼ全てどこかで出会った 誰かとの「⼀緒にやりましょう」 – どんなコミュニティにも気の合う⼈は必ずいる
2. 遊び場を作る 16 • ⾃然⾔語処理は初学者を歓迎するあたたかい⽂化がある − 初学者や別分野からの参⼊者の歓待が主⽬的の YANS (若⼿の会) −
厳しい QA を⼀度も⾒たことがない⾔語処理学会年次⼤会 − 最⾼.分野は当⾯確実に安泰.⽂化を作られた先達にただ感謝…… • …⼀⽅で私の趣味︓研究オタク/ガチ勢がキャッキャウフフ とノーガードで議論している様⼦を…⾒たい…!! − ⻁同⼠が⽖を出しながらじゃれあっているのを⾒たい!! − ※ 私が⻁だとは⾔っていない
2. 遊び場を作る 17 • 最先端NLP勉強会 (2016–2019) − 年に1度の論⽂読み会 − 私的楽しいポイント︓各位論⽂に書かれていないことを語りまくり
– その研究が出てきた歴史的な⽂脈,特にどの知⾒が今後に影響を与えそう か,書かれていない limitation は何か,著者はどこを誤魔化しているか • NLPコロキウム (2021–) − お昼休みに著者による研究紹介 (20分) + 議論 (30分) + 1-on-1 − 私的楽しいポイント︓世界中に散らばった⽇本⼈NLPerと議論し放題 – 狭い業界だし組織を越えた共同研究の機会を作ってプレゼンスを上げてい きたい • …という楽しさを味わえるよう運営・設計・調整する 私が運営に関わっていた期間
2. 遊び場を作る 18 • ステート・オブ・AIガイド (???–) − 論⽂紹介を中⼼とした有料メールマガジン by Hさん
(Octanove) − ⾃分は先⽇1本だけ寄稿 − 私的魅⼒ポイント︓⽇本の研究⼒の底上げに直結しそうな予感 – プロの研究者が⽇本語記事を書くインセンティブ・専⾨知をマネタイズす る仕組みに育つ可能性を感じる – → ⽇本語の良質な専⾨記事が出回る材料に
3. ⾃分のペースとやり⽅を知る 私の場合︓⻑期戦に持ち込む 19 • 延⻑戦としての博⼠課程進学 − とても2〜3年では研究⼒(広義問題解決⼒︔ぜひ⾝につけたい)など⼿ に⼊らないという確信 –
はじめて挑戦した研究の進捗,出来具合 – 経験的に知っている⾃分の成⻑曲線の形 − → 何にも邪魔されず精進し続ける時間がほしい 勉強時間 試験の点数 部分点…︖ なにそれ美味しいの︖ 腑に落ちた…︕
3. ⾃分のペースとやり⽅を知る 私の場合︓⻑期戦に持ち込む 20 • 延⻑戦としての博⼠課程進学 − ⼤正解だった – D2の途中くらいで「あ、なんかちょっとだけわかったかも」に到達
– 今も毎年確実に成⻑している実感 – あと5年〜10年くらい鍛えれば「だいぶ⾝につけたわ…」になれそう
3. ⾃分のペースとやり⽅を知る 私の場合︓⻑期戦に持ち込む 21 • 後輩との共同研究 − たぶん⼀般的な修⼠〜博⼠学⽣に⽐べて,後輩の共同研究をものすごく たくさんおこなった −
親切なアドバイス – ︖︖︖「(ほとんどの⼈は研究にハマるわけではないので)後輩と研究しても 業績になる確率は低いよ」 – ︖︖︖「⾃分の研究だけをしないとダメだよ」 − が,私はこういう理由で⾃分にとってもコスパが良いと思っていた – 教える中で研究(知的⽣産)⾃体に対するメタな⾔語化が進む – 私はそもそも万能超⼈プレイが苦⼿で協働が好き – やる気がある⼈を引き上げるのは楽しい – 「これができるようになったら強い」な技能を⾝につけた⼈の数が増えると、 チームとしての⽣産性が跳ね上がり、また将来の議論の相⼿・同僚が増える – 複数のプロジェクトを持つことでどれかは進んでいる状態が作れ精神的にも楽 − → 5年近くかかったけれどすべて⼤正解だった
4. ロールモデルを作る 22 • この⼈⽣はいいなぁと思う⼈を⼼の中でフォローする − 私の場合 – 引退済みの歌⼿ –
ギタリスト – イラストレーター – ドラマー – 分野の後輩 – プロゲーマー – 家具職⼈ – 医師 – 全然違う分野の学部⽣ – etc. − 私の場合,求道/修練に⽣きる⼈,もしくはエンターテイメントに矜持を 持っている⼈に対して「こうありたいなぁ…」となる − 「フォローする」︓ご本⼈の SNS,⾃伝,ドキュメンタリーなどを追う
まとめ 23
⾃分を知る,遊び場を作る 24 • ⼈⽣でやってよかったこと − なんでも良いので⽬⼀杯やってみる − → ⾃分は何に幸せを感じるのかについて理解が進む •
「研究⽣活が楽しい」とはどういう状態を指すのか − ⾃分の喜びの種類と,研究⽣活が与えてくれる喜びの種類がマッチした らきっととても楽しい − 研究の楽しさの種類は無限にあるので,要するにきっと皆楽しい • ⾃分を知り研究⽣活と博⼠⽣活を楽しむための4つの⼯夫 − 1. 遊びに⾏く → 出会いがある → 楽しいプロジェクトが確率的に⽣える → 楽しい︕ − 2. こういう場がほしいな… → 作る → 楽しい︕ − 3. ⾃分のやり⽅とペースを⾒つけ,粛々と進める − 4. ロールモデルを作る • 裏メッセージ︓⼈の⾔うことはほどほどに聞く
おまけ 25
特性 (納得欲) と業界の要請の相性が良かった 26 • 「なぜ」と聞き続けて良い (嬉しい…︕) − 考え,調べ,質問・議論し続けることが尊ばれる –
cf. わかったフリでも良いのでどんどん仕事を進めるべき業界 − ⽐較的 “正しさ” 重視のコミュニティ – 主張と発⾔者を分けることが尊ばれる – 学部⽣と偉い先⽣が議論できる – cf. ⾝分・⾯⼦・上下関係の⽅がずっと重要な業界 − 時間がかかっても問題ない – 研究テーマはだいたい待ってくれる – ※ 私がそういうテーマが好きなことも⼤きいと思います – ※ 私が「〜才までに〜をして」に無頓着なことも⼤きいと思います • ※ 良い悪いではなく単に相性の話
博⼠課程での延⻑戦を気軽に選択できた理由 27 • 博⼠課程を気軽に選択できたのは価値観の問題も⼤きそう − 「あ,わかったかも…」まで10年かかるかもしれない – → ⼈⽣1回だしやりたいことをのんびりやれば良いのでは…︖ −
時間がかかったらお⾦に困るかもしれない – → 屋根のついた場所で眠れれば満⾜ − → そんなことより研究⼒なる魅⼒的な能⼒を⾝につけたい • こういう気軽なタイプでも,戦略的なアクションは⼤事 (本⽂)
過去の⾃分語り 28 • 勉強をやり直したい⼤⼈のための⼤学受験のすすめ − https://sho- yokoi.hatenablog.com/entry/20110527/1306506890 • なぜなぜ期が終わらない⼈への学部教育という救い −
https://www.t.kyoto- u.ac.jp/publicity/no76/introduction/usl33b