パラメータ量? 計算量? n 言語モデル u 言語モデルも様々な種類がある u 現状の LLM の文脈では,周辺語からの出現確率 n いわゆるLLMのイメージ u Wikipedia の データ量以上くらいのデータを元にして 学習させた分散表現 u 特に,Transformer で文脈も考慮できるようにしたもの 8
→ 浜辺でネコ割りをして遊んだ p ウチの子猫は可愛い → ウチの子西瓜は可愛い u このモデルに「ネコ」に関する文章を作らせると…? n 例えば… u 「“ありがとう”という言葉を聞かせた水は腐らない」等 偽科学や陰謀論のサイトのデータだけを与えて学習 u このモデルにいろいろなことを質問すると…? 27