Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文系的な興味を理系的な達成目標に変換する
Search
tatHi
March 19, 2021
Research
7
4.7k
文系的な興味を理系的な達成目標に変換する
言語処理学会第27回年次大会ワークショップ「若手研究者交流のニューノーマルを考える」発表資料
tatHi
March 19, 2021
Tweet
Share
More Decks by tatHi
See All by tatHi
SNLP2023: From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding
tathi
0
450
最長一致法のためのサブワード正則化手法(MaxMatch-Dropout)とその周辺の話
tathi
1
670
最先端NLP2022: Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
tathi
1
650
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
tathi
1
930
要点を聞いてもらえるプレゼンを作ろう
tathi
14
6.7k
Task-Oriented Word Segmentation (Presentation for Doctoral Dissertation)
tathi
3
630
論文紹介: Fast WordPiece Tokenization
tathi
0
560
最先端NLP2021: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
tathi
0
670
最先端NLP2020: Dice Loss for Data-imbalanced NLP Tasks
tathi
0
1.9k
Other Decks in Research
See All in Research
【輪講資料】Moshi: a speech-text foundation model for real-time dialogue
hpprc
3
710
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
610
長期・短期メモリを活用したエージェントの個別最適化
isidaitc
0
140
EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues
satai
3
200
SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images
satai
3
270
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
3
1.3k
Language Models Are Implicitly Continuous
eumesy
PRO
0
270
機械学習と数理最適化の融合 (MOAI) による革新
mickey_kubo
1
370
SSII2025 [TS1] 光学・物理原理に基づく深層画像生成
ssii
PRO
4
4.3k
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
250
cvpaper.challenge 10年の軌跡 / cvpaper.challenge a decade-long journey
gatheluck
3
320
AI in Enterprises - Java and Open Source to the Rescue
ivargrimstad
0
320
Featured
See All Featured
Building Adaptive Systems
keathley
43
2.8k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Designing for humans not robots
tammielis
254
25k
Raft: Consensus for Rubyists
vanstee
139
7.1k
A designer walks into a library…
pauljervisheath
208
24k
Git: the NoSQL Database
bkeepers
PRO
431
66k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
Unsuck your backbone
ammeep
671
58k
The Cost Of JavaScript in 2023
addyosmani
53
9k
Transcript
⽂系的な興味を 理系的な達成⽬標に 変換する 東京⼯業⼤学 岡崎研究室 D2 平岡達也 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 1
About Me • 平岡達也 (@7a7hi) • 経歴 • ⾃然⾔語処理 •
~現在 東京⼯業⼤学 岡崎研(博⼠2年) • ~2019 奈良先端科学技術⼤学院⼤学 松本研(修⼠) • 英語教育・理論⾔語学 • ~2017 早稲⽥⼤学 教育学部 英語英⽂学科(学⼠) • 研究の興味 • ⼈間による⾔語獲得,⾔語の構造,⾔語教育 • 実際にやっている研究 • タスクを解くために有益な単語分割の模索 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 2
About Me • 平岡達也 (@7a7hi) • 経歴 • ⾃然⾔語処理 •
~現在 東京⼯業⼤学 岡崎研(博⼠2年) • ~2019 奈良先端科学技術⼤学院⼤学 松本研(修⼠) • 英語教育・理論⾔語学 • ~2017 早稲⽥⼤学 教育学部 英語英⽂学科(学⼠) • 研究の興味 • ⼈間による⾔語獲得,⾔語の構造,⾔語教育 • 実際にやっている研究 • タスクを解くために有益な単語分割の模索 ここのギャップ の埋め⽅ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 3
私の研究テーマ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 4 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) タスクの性能向上に繋がる単語分割の獲得 (具体的,⼯学的)
私の研究テーマ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 5 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) ギャップ タスクの性能向上に繋がる単語分割の獲得
(具体的,⼯学的)
興味→達成目標への変換は難しい 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 6 達成⽬標 (研究テーマ) 興味 タスクの性能向上に繋がる単語分割の獲得 (具体的,⼯学的) ⼈間の⾔語獲得(抽象的,⾔語学的)
ギャップ 意識しないと埋められないギャップがある 興味の分割 興味の具体化 分野的要求 妥協 意識すべきこと
興味も達成目標も大事 興味がない研究→⾷糧のない登⼭と同じ 達成⽬標がない研究→地図がない登⼭と同じ 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 7 なんでこんな事 やってるんだろう… 何ができたらゴール なんだっけ…
戦意喪失 遭難
興味→達成目標の変換 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 8 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割 興味の具体化
分野的要求 妥協 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
1: 意識して興味を分割する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 9 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 ・曖昧で哲学的な興味は扱いにくい ・多くの場合,これまでの歴史で先⼈が分割してくれている 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
2: 意識して興味を具体化する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 10 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 ・タスクとして取り組めるレベルまで興味を落とし込む ・興味に関係する類似研究を探して,そこにゴールを寄せる 機械による単語分割の⾃動獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
3: 意識して分野的要求を考慮する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 11 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 ・⼯学だと性能の向上や⾼速化,効率化などを意識する ・研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
3: 意識して分野的要求を考慮する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 12 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 ・⼯学だと性能の向上や⾼速化,効率化などを意識する ・研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的) +テーマの具体化
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 13 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 14 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 15 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
4: 妥協を意識する 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 16 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割
興味の具体化 分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的)
時間がかかった 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 17 達成⽬標 (研究テーマ) 興味 ⼈間の⾔語獲得(抽象的,⾔語学的) 興味の分割 興味の具体化
分野的要求 妥協 多くの場合,これまでの歴史で先⼈が分割してくれている. 曖昧で哲学的な興味は扱いにくい. 語彙の獲得 ⽂法の獲得 発⾳の獲得 タスクとして取り組めるレベルまで興味を落とし込む →興味のままでは⼿が動かせない 機械による単語分割の⾃動獲得 社会的要求(⼯学だと性能の向上や⾼速化,効率化など) →研究のモチベーションを説明しやすくする NLPに有益な単語分割の⾃動獲得 ・本来の興味と⾒⽐べて,何を妥協したかを確認する ・「本当はやりたかったけどやれていない事」を明確にしておく ・⼤⽬標(=興味・野望)を⾒失わないようにする - ⼈間の⾔語獲得→機械の⾔語獲得 - ⾔語獲得→語彙獲得→単語獲得→単語分割 - 単語分割の獲得→タスクの性能向上を⽬的 タスクの性能向上に繋がる単語分割の獲得(具体的,⼯学的) B4 M1 M2~D1 現在 遭難!
一人でやるのは難しい • 分野的要求や⽬標の具体化には雑談が必須 • 研究テーマやネタは雑談から⽣まれる • オンラインだとその機会が少なくてしんどい • 私の場合 •
教授とのミーティング(2週間に1度) • 共著者とのミーティング(2週間に1度) • 研究室で⾼瀬さんと雑談 • 週に1回は必ず研究について他者と対話してる (が,⾜りないと思っている) 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 18
Dの会(宣伝) • 学⽣同⼠,気軽にたくさんお話ししましょう 2021/3/19 NLP2021WS4(東⼯⼤:平岡) 19