https://arxiv.org/abs/2211.05100v1 大規模言語モデル(LLM)は、わずかなデモや自然言語の指示に基づき、新しいタスクを実行できることが示されて いる。これらの能力により広く採用されるようになりましたが、ほとんどのLLMはリソースの豊富な組織によって開 発され、一般には公開されていないことが多いのです。この強力な技術を民主化するための一歩として、何百人もの 研究者が協力して設計・構築した176Bパラメータのオープンアクセス言語モデル「BLOOM」を紹介します。 BLOOMはデコーダのみのTransformer言語モデルで、46の自然言語と13のプログラミング言語(合計59)の数百の ソースからなるデータセット、ROOTSコーパスで学習されました。BLOOMは、様々なベンチマークにおいて競争力 のある性能を達成し、マルチタスクによるプロンプトの微調整を経て、より強力な結果を得ることができました。 LLMを用いた今後の研究と応用を促進するため、我々のモデルとコードをResponsible AI Licenseの下で一般に公開 しています。 目的:オープンアクセスできる大規模言語モデル「BLOOM」を紹介する 成果: 1760億個のパラメータを持つ言語モデル「BLOOM」を公開した 方法:数百人規模の研究者が協力し、多言語の大規模言語モデルを開発する 固有名:BLOOM 著者所属:BigScience, Hugging Face, IDRIS, CNRS, GENCI, 他