• 背景︓⼤規模⾔語モデルをZero-Shotでどんなタスクでも性能良く使えるようにしたい • ⼿法︓Instruction Tuning(Finetuned Language Models Are Zero-Shot Learners ICLR 2022) • 詳細︓ ◦ Step1. 既存のデータセットをタスクごとに分割(A, [B, C, D,]) ◦ Step2. タスクごとに回答を⽣成させるプロンプトのTemplateを⽤意し、ファインチューニン グ⽤のデータ作成 ◦ Step3. 再学習を⾏う • 結果︓未学習のタスクで、Zero-shotで性能が良いことが確認されている • 代表例︓T0, FLAN-T5, FLAN-PaLMなど