AcademiX が開催した 第25回 論文輪読会 資料
日時:2023/10/15
論文タイトル:Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task(https://arxiv.org/abs/2210.13382)
<概要>
言語モデルの予測に内部表現を使用しているか調べるため,オセロの手を予測するGPTモデルを訓練.高い精度で予測でき,プロービング手法によりボード状態(内部表現)を予測できることを示した.さらに内部表現の制御が予測に因果関係を持ち,潜在的な注目マップはモデル予測の解釈に有効.