OpenAI, 2018/6 [論文]) • 時系列としてはELMoの後、BERTの前に発表された • BERTに全て持っていかれて個人的には印象が薄い GPT-2 (Radford et al., OpenAI, 2019/2 [論文]) • 世間はBERTの分析、サービスへの組み込みで夢中だった記憶 • pre-training → fine-tuningで下流タスクへ応用する世の流れの中、この時点で今のGPTと同じ 生成型モデルでタスクを解いているのは興味深い • 文章生成能力が高いことを危惧し、モデルの悪用に伴うリスクについての考察が論文内に含まれる ◦ 昨今のLLMと同じ課題感をこの時点で持っていた ◦ リスク対策として段階的にサイズを上げてモデル公開した ▪ [初回公開ブログ], [6ヶ月後公開ブログ], [最終リリース時ブログ]