https://arxiv.org/abs/2208.03299v2 大規模言語モデルは、様々なタスクで印象的な few-shotの結果を示してきた。しかし、質問応答や事実確認などのタスクのよ うに、このような結果を得るために知識が鍵となる場合、知識を格納するための膨大なパラメータ数が必要となるようです。検索 拡張モデルは、それほど多くのパラメータを必要とせず、知識集約的なタスクに優れていることが知られているが、数発の設定 において機能するかは不明である。本研究では、非常に少ない学習例で知識集約的なタスクを学習できる、注意深く設計され 事前に学習された検索補強型言語モデル Atlasを発表する。MMLU、KILT、NaturalQuestionsを含む幅広いタスクで評価を 行い、文書インデックスの内容の影響を研究し、容易に更新できることを示す。注目すべきは、 AtlasがNaturalQuestionsに おいて、わずか64例を用いて42%以上の精度を達成し、50倍少ないパラメータを持つにもかかわらず、 540Bパラメータのモ デルを3%上回ったことである。 #4 • 目的:知識集約的なタスクに強い言語モデル • 成果:標準的なLLMより小さくも知識集約タスクで高い few-shot 能力を発揮する検索拡張言語モデル Atlas • 方法:関連文書を取得する retriever と、それを受け取り出力を生成する language model の2つのサブモデル(い ずれも事前訓練されたトランスフォーマー)を共同で事前学習。 • 固有名:Atlas • 著者所属:Meta AI Research, ENS, PSL University, Inria, University College London [v1] Fri, 5 Aug 2022 17:39:22 UTC [v2] Mon, 8 Aug 2022 15:01:33 UTC