Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017). Self-Attention(自己注意)で系列内の全トークン関係を同時に捉えることが可能。 • 長距離依存に強い • GPU並列で高速学習・推論 • 大規模化が可能
文字を単語やサブワードといったトークンに分割する This is a smart cat 参考)直感LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門, Jay Alammar、Maarten Grootendorst 著、中山 光樹 訳 This is a smart cat My dog is smart My dog is smart 1412 342 45 765 トークン化 トークンID 従来はスペース区切り で個々の単語に分割されていたが、 中国語や日本語などの単語の間にスペースがない言語では問題が発生する LLMはトークナイザー( tokenizer)によって分割される 367 45 142 765 469 tokenizer 言語モデル
• 直感 LLM - O'Reilly Japan • [1706.03762] Attention Is All You Need • LLMのプロンプトエンジニアリング - O'Reilly Japan • API に Structured Outputs を導入 | OpenAI • OpenAI Platform Docs: Function Calling and Tool Use • [2210.03629] ReAct: Synergizing Reasoning and Acting in Language Models • [2005.14165] Language Models are Few-Shot Learners • [2409.12183] To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning • Prompt Engineering | Kaggle • Context Engineering • 人工知能の FAQ