言語モデルを学習、推論するためのライブラリについて

研究室のゼミで使用した資料です。
口頭の説明もコミで作成した資料になります。(内容が不十分の場合もあります)
言語モデルを学習、推論するためのライブラリについて説明しています。推論のライブラリについては、aratakoさんのスライドを参考にしています。
また、ライセンスについての内容についても少しあります。

Transcript

1. llmで使用するライブラリについて プワー
2. 目次 • ローカルllmを推論させるためのライブラリについて • 学習ライブラリについて • データセット、モデルのライセンスについて
3. ローカルllmを推論させるためのライブラリについて
4. Hugging Face Transformaers リポジトリ: https://github.com/huggingface/transformers hugging faceが開発しているライブラリで推論だけでなく、学習でも基盤として使用す る。 推論の例
5. Hugging Face Transformaers メリット • 簡単に使用できる デメリット • 推論速度が遅い 用途 • 推論の動作確認に使用する
6. llama.cpp リポジトリ: https://github.com/ggml-org/llama.cpp c/cppで実装されており、高速な推論ライブラ gguf形式のモデルを推論できる。 推論の例
7. llama.cpp メリット • 推論が早め、GGUFを動かせる、互換性が高い • GGUF変換や量子化が可能 デメリット • 導入がやや難しい、大規模なサーバーには向いていない 用途 • メモリに制限がある場合に使用、個人で量子化するときに使用する
8. ollama / LMStudio 基本的にはllama.cppのラッパー 推論エンジンとchatbot的なGUIを融合したもの メリット • 簡単にLLM推論サーバが立てられる、GUI的なフロントエンドがある 用途 • 初心者が簡単に使用したいときに使用する
9. vllm リポジトリ：https://github.com/vllm-project/vllm オープンソースで非常に有名なllmの高速推論エンジン 新しいモデルをday 0でサポートすることも多い 推論の例
10. vllm メリット • 推論が早い、プロダクションレベルで使える、オープンソース • 新モデル対応が早い、セットアップが非常に簡単 • キャッシュを上手く利用しバッチ処理で推論する デメリット • メモリを使うのでvramが多い方がいい 用途 • 個人開発から大規模サーバーまで使用できる
11. SGlang リポジトリ: https://github.com/sgl-project/sglang LMSYS製のオープンソースなLLM高速推論エンジン Grokの推論エンジンとして採用されれいる vllmのプロジェクトから設計を学び、コードを再利用している
12. SGlang メリット • 推論が早い、プロダクションレベルで使える、オープンソース • マルチノード推論が比較的簡単 デメリット • ドキュメントが少くない（日本語）、互換性の問題など 用途 • Grokの推論に実際に使われている。 • vLLMの対抗馬的な存在 • 利用側としては適宜使い分ければ良い
13. TensorRT-LLM リポジトリ: https://github.com/NVIDIA/TensorRT-LLM NVIDIA製のLLM高速推論エンジン 非常に高速でvLLM等より早い場面が多いが、導入がやや難しい
14. TensorRT-LLM メリット • 推論が早い、プロダクションレベルで使える デメリット • 新モデルの対応がやや遅め、一部クローズドソース、 導入がやや面倒、NVIDIA GPU専用、別途フロントエンドが必要。 用途 • 速度を求めるなら使うかも • 基本はvllmで十分なことが多い
15. ExLlamaV2 / ExLlamaV3 ExLlamaV2: https://github.com/turboderp-org/exllamav2 ExLlamaV3: https://github.com/turboderp-org/exllamav3 EXL2 / EXL3形式への量子化、及びそれを推論するためのライブラリ ggufより速いと言われているらしいが、マイナーすぎてよくわからない
16. Text Generation Inference リポジトリ: https://github.com/huggingface/text-generation-inference Hugging Face製のLLM推論ライブラリ、通称TGI HuggingChatのバックエンドとして実際に使われている マイナーすぎてよくわからない
17. mlx リポジトリ: https://github.com/ml-explore/mlx MLX は、Apple によって提供される、Apple シリコン上の機械学習用のフレームワーク です。 mlx形式を使用しないといけない 推論と学習両方に対応している。
18. 学習ライブラリについて
19. 学習用ライブラリの分類 低レイヤのライブラリ • torch • triton • bitsandbytes • TransformerEnginge • apex • flash-attetion 分散学習のライブラリ • fsdp • DeepSpeed • Megatron-LM 学習方法のライブラリ • trl 統合フレームワーク • unsloth • ms-swift • LLaMA-Factory • NVIDIA-NeMO/RL • verl
20. torch(pytorch) リポジトリ: https://github.com/pytorch/pytorch 概要 • ディープラーニング（深層学習）フレームワーク の中核ライブラリです。 • 説明不要
21. triton リポジトリ:https://github.com/triton-lang/triton 概要 • 高効率なカスタムディープラーニングプリミティブを記述するための言語およびコン パイラであるTritonの開発リポジトリです。 • CUDAよりも高い生産性で高速なコードを記述できるオープンソース • torchをinstallするときに自動でダウンロードされる
22. bitsandbytes リポジトリ: https://github.com/bitsandbytes-foundation/bitsandbytes 概要 • bitsandbytes は、PyTorch向けの軽量量子化ライブラリで、大規模言語モデル （LLM）のメモリ消費を大幅に削減しつつ、推論や学習を可能にする仕組みを提供 する。 • 8-bit optimizers,LLM.int8() or 8-bit quantization,QLoRA or 4-bit quantization • torchをinstallするときに自動でダウンロードされる
23. TransformerEngine リポジトリ:https://github.com/NVIDIA/TransformerEngine 概要 • NVIDIA GPU上でTransformerモデルを高速化するためのライブラリ • Hopper、Ada、Blackwell GPUで8ビット浮動小数点（FP8）精度を使用できるように なる。 • Megatron-lmを使用する時に使用する。 インストールコマンド
24. apex リポジトリ: https://github.com/NVIDIA/apex 概要 • PyTorchにおける混合精度学習と分散学習を効率化するためのライブライリ • Megatron-lmを使用する時に使用する。 インストールコマンド
25. flash-attention リポジトリ: https://github.com/Dao-AILab/flash-attention 論文: https://tridao.me/publications/flash2/flash2.pdf https://tridao.me/publications/flash3/flash3.pdf 概要 • attetinon層を効率良く計算するためのライブライリ • FlashAttention-2とFlashAttention-3があり、3はまだベータ番(hopperのみ) インストールコマンド
26. 補足,分散学習をする理由 大規模モデル学習の課題 巨大なモデルを学習させる際、GPUメモリは主に以下の4つの要素によって消費され る。 • モデルパラメータ: モデル自体の重み。 • 勾配 (Gradients): パラメータを更新するために計算される値。 • オプティマイザの状態 (Optimizer States): Adamなどの最適化アルゴリズムが内 部で保持する情報。 • アクティベーション (Activations): 順伝播の途中計算結果。
27. FSDP(FullyShardedDataParallel) リポジトリ:https://github.com/pytorch/pytorch 論文:https://arxiv.org/abs/2304.1127 概要 • torchにデフォルトに入っている分散学習ライブライリ • FSDP(FullyShardedDataParallel)はモデルパラメータ、勾配、オプティマイザーの状態を シャーディングすることでGPUメモリのフットプリントを削減する。 • 他の2つに比べてそこまで使用されていない。
28. FSDP(FullyShardedDataParallel) リポジトリ:https://github.com/pytorch/pytorch 論文:https://arxiv.org/abs/2304.1127 理論 • deepspeedのzero3 とほとんど同じ、PyTorchにおけるZeRO-3という位置づいけ • deepspeedのときに解説する。
29. DeepSpeed リポジトリ: https://github.com/deepspeedai/DeepSpeed?tab=readme-ov-file 論文: https://arxiv.org/abs/1910.02054 概要 • ZeRO, 3D-Parallelism, DeepSpeed-MoEなどの技術を使用している • 基本的にはdeepspeedが使われることが多い。 インストールコマンド
30. DeepSpeed リポジトリ: https://github.com/deepspeedai/DeepSpeed?tab=readme-ov-file 論文: https://arxiv.org/abs/1910.02054 理論 • 3D-Parallelism(data parallel,pipeline parallel,tensor parallel) • stage ZeRO(Zero Redundancy Optimizer) 4枚のGPUを持つ8ノードで 3D parallelismを構成した例 zeroについて
31. Megatron-LM リポジトリ: https://github.com/NVIDIA/Megatron-LM 概要 • megatron core形式のモデルを使用する • zero3みたいなものが実装されている • 実装されている並列処理 Data Parallelism (DP),Tensor Parallelism (TP),Pipeline Parallelism (PP),Context Parallelism (CP),Expert Parallelism (EP) • 混合精度トレーニングでfp16,bf16,fp8(fp8のみmegaron lmのみ)が使用できる インストールコマンド
32. Megatron-LM リポジトリ: https://github.com/NVIDIA/Megatron-LM 理論 • zero3が実装されいる • 理論はdeepspeedとほとんど同じだが実装方法は全然ちがう。 • megatron core形式のモデルはtp,ppの情報を記憶している
33. trl(Transformer Reinforcement Learning) リポジトリ: https://github.com/huggingface/trl 概要 • 学習方法を実装している • pt,sft,dpo,grpoなどの方法を実装している。
34. unsloth リポジトリ: https://github.com/unslothai/unsloth 概要 • loraや4bit量子化など、いかに軽量化して学習するかを極めたライブライリ • 分散学習をすることはできない。 • sft,dpo,grpoなど
35. ms-swift リポジトリ: https://github.com/modelscope/ms-swift 概要 • pt,sft,dpo,grpoなどの方法を実装している • lora,fullどちらも対応している 分散学習ライブラリ • deepspeed • megaron lm
36. LLaMA-Factory リポジトリ: https://github.com/hiyouga/LLaMA-Factory 概要 • pt,sft,dpo,grpoなどの方法を実装している • lora,fullどちらも対応している • web UIがある 分散学習ライブラリ • deepspeed • fsdp
37. NVIDIA-NeMO/RL リポジトリ: https://github.com/NVIDIA-NeMo/RL 概要 • pt,sft,dpo,grpoなどの方法を実装している • 使用したことないので詳しくはわからない 分散学習ライブラリ • megatron lm
38. verl リポジトリ: https://github.com/volcengine/verl 概要 • ppo,grpoのみを実装している。 • trlを使用せずに、強化学習がスケールするように実装されている 分散学習ライブラリ • fsdp • megatron lm
39. データセット、モデルのライセンスについて
40. MIT ライセンスの内容 • シンプルな規定で、ソフトウェアの自由な利用を許可しています • 利用者に対して、ソフトウェアを自由に扱うことを認めています • 再配布時に著作権とライセンスの表示を含めることのみを条件としています
41. apache-2.0 ライセンスの内容 • ソフトウェアの自由な利用、改変、再配布を許可しています • 商用利用も無償かつ無制限に許可しています • 特許ライセンスの付与も含まれていますが、これは利用者の権利を保護する目的 があります(特許トラブルを防ぎたい)
42. cc-by-nc-sa-4.0 ライセンスの内容 • cc(Creative Commons) オープンな著作権ライセンス体系 • by(Attribution) 作者のクレジットを表示する義務 • nc(Non-Commercial) 商用利用は禁止 • sa(Share-Alike) 同じライセンスで公開する必要がある • nd(No Derivatives) 改変禁止 • 4.0 バージョン(国際版)
43. モデルごとのライセンス 専用ライセンス • gemma • llama • grok2-community modified MIT(MITライセンスに巨大な商用サービス（ MAU 1億以上または月収 2,000万USD超）で使う場合は、 「Kimi K2」という表記を UIに目立つように表示すること。 ) • kimi k2 MIT • deepseek • GLM • meituan-longcat Apach-2.0 • qwen • migistral