高品質オープンLLM: DBRXとは何か？

データブリックスが開発した 商用利用可能かつ日本語にも 対応する高品質なオープンLLM: 『DBRX』について説明します。

Transcript

1. ©2024 Databricks Inc. — All rights reserved 1 データブリックスが開発した 商用利用可能かつ日本語にも 対応する高品質なオープンLLM DBRX データブリックス・ジャパン株式会社 大内山　浩 Created on 8/4/2024, Updated on 9/4/2024
2. ©2024 Databricks Inc. — All rights reserved 「DBRX」のご紹介 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 • 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 • フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） • MoE（Mixture of Experts）を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 • Databricksの各種機能をフル活用 ◦ MosaicML、Lilac、MLFlow、UC、Sparkなど • NVIDIA GPU H100 を 3,072枚使用 ◦ Mosaic AI Training Service にて管理 精度と性能 データと学習手法 開発環境 モデルアーキテクチャー
3. ©2024 Databricks Inc. — All rights reserved DBRXとは Databricksがゼロから開発した高品質な最新オープンソースLLMです。 • DBRX Base ：事前学習済みモデル ◦ スマートなオートコンプリートのように動作 - 何を言ったとしても 続きを生成します。 ◦ ご自身のデータでファインチューニングする際に有用です。 • DBRX Instruct ：ファインチューニングモデル ◦ 質問回答や指示追従を行うように設計されています。 ◦ DBRX Baseに対して、ドメイン固有のデータにによる追加トレーニング、指示追従の ためのファインチューニングを行うことで構築されています。
4. ©2024 Databricks Inc. — All rights reserved AI2 WildBenchにてDBRXが最高のオープンLLMに！ 引用元：https://huggingface.co/spaces/allenai/WildBench 2024年4月2日時点 2024年4月3日 14:20時点
5. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 精度と性能 データと学習手法 モデルアーキテクチャー 開発環境
6. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 データと学習手法 モデルアーキテクチャー 開発環境 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能
7. ©2024 Databricks Inc. — All rights reserved DBRXは言語理解(MMLU)、プログラミング(HumanEval)、数学(GSM8K) において、主要オープンソースLLMとGPT-3.5を上回っています 主要オープンLLMとの比較 GPT-3.5との比較
8. ©2024 Databricks Inc. — All rights reserved DBRX は LLaMA2-70Bに比べて推論が2倍高速
9. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 データと学習手法 開発環境 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能 • フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） • MoE（Mixture of Experts）を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 モデルアーキテクチャー
10. ©2024 Databricks Inc. — All rights reserved MoE（Mixture of Experts）とは 1991年に誕生、2021年頃から言語モデルへ適用されている技術 Expert 01 パラメーター数： 70B （700億個） Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー（密なモデル） MoEアーキテクチャー（疎なモデル） Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的 に4つのExpertを選 択して推論実行 DBRXの場合 パラメーター数： 132B （1320億個） 学習/推論時には全70Bのパラメーターを使用 学習/推論時には132B中36Bのパラメーターのみ使用 →　計算量を抑えられるため学習/推論ともに高速 LLaMa2-70bの場合
11. ©2024 Databricks Inc. — All rights reserved MoE（Mixture of Experts）とは Expert 01 パラメーター数： 70B （700億個） Router “Sparkって何?” “Sparkって何?” “Apache Sparkとは・・・” “Apache Sparkとは・・・” × 従来のLLMアーキテクチャー（密なモデル） MoEアーキテクチャー（疎なモデル） Expert 02 Expert 03 Expert 04 Expert 05 Expert 06 Expert 07 Expert 08 Expert 09 Expert 10 Expert 11 Expert 12 Expert 13 Expert 14 Expert 15 Expert 16 Inputに応じて動的 に4つのExpertを選 択して推論実行 学習/推論時には全70Bのパラメーターを使用 学習/推論時には132B中36Bのパラメーターのみ使用 →　計算量を抑えられるため2倍高速 MegaBlocks 効率的なMoEの学 習を実現するため MegaBlocksを導入 DBRXの場合 パラメーター数： 132B （1320億個） LLaMa2-70bの場合 1991年に誕生、2021年頃から言語モデルへ適用されている技術
12. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 開発環境 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能 • フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） • MoE（Mixture of Experts）を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 モデルアーキテクチャー • 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 データと学習手法
13. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 開発環境 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 精度と性能 • フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） • MoE（Mixture of Experts）を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 モデルアーキテクチャー • 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 データと学習手法
14. ©2024 Databricks Inc. — All rights reserved DBRXをどのように構築したのか データ探索やキュレー ションのためのLilac AI データクレンジングと処 理のための ノートブックとApache Spark データストレージとガバ ナンスのためのUnity Catalog モデルトレーニングの ための Mosaic Multi-Cloud Training (MCT) 実験トラッキングのため の MLflowとLakeview • NVIDIA GPU H100を3072枚使用 • 評価とレッドチームのためのFoundation Model APIと AI Playground • モデルをトレーニングするための、Composer、StreamingDataset、LLM Foundryを含むオープンソースライブラリの最適化バージョン DBRXはDatabricksの様々なチームおよびAIコミュニティのサポートを受け Mosaic Researchチームによって構築されました。
15. ©2024 Databricks Inc. — All rights reserved DBRXの特徴 データブリックスがゼロから開発したオープンLLM。全ての既存オープンLLMを上回 る精度と性能を実現し、商用利用も可能、かつ、日本語にも対応。 • 主要なオープンLLMではトップ、また、OpenAI GPT-3.5 を超える精度 • LLaMa 2-70bよりも2倍速い推論性能 • 主要なオープンLLMより4倍高い学習効率 • 一般公開のオンライン・データ・ソース、　合計12T トークンで事前学習 • カリキュラム学習 を採用し、モデル精度向上を実 現 • フルスクラッチで実装されたオリジナルなLLM（計 132Bパラメータ） • MoE（Mixture of Experts）を採用 ◦ Fine-grained Sparsity (4-of-16)、Dropless （MegaBlocks）、RoPE、GLU、QGAを実装 • Databricksの各種機能をフル活用 ◦ MosaicML、Lilac、MLFlow、UC、Sparkなど • NVIDIA GPU H100 を 3,072枚使用 ◦ Mosaic AI Training Service にて管理 精度と性能 データと学習手法 開発環境 モデルアーキテクチャー
16. ©2024 Databricks Inc. — All rights reserved どうやってDBRXを試す？ Hugging Face Spaces Databricks FM API / AI Playground
17. ©2024 Databricks Inc. — All rights reserved どうやってDBRXを試す？ • Hugging Face Databricks Space ◦ https://huggingface.co/spaces/databricks/dbrx-instruct ◦ https://huggingface.co/databricks/dbrx-base ◦ https://huggingface.co/databricks/dbrx-instruct • Databricks AI Playgroundや基盤モデルAPI ◦ https://$instance$.databricks.com/ml/playground • DBRX GitHub ◦ https://github.com/databricks/dbrx • 量子化版（コミュニティーによる開発） ◦ https://huggingface.co/mlx-community/dbrx-instruct-4bit ◦ https://github.com/ggerganov/llama.cpp/issues/6344 [重要] 2024年4月8日現在、Databricks AI PlaygroundおよびDBRXの基盤モデルAPIは日本リージョン（AWS、Azure、GCP）にて提 供されておりません。したがって、USリージョンのご利用を検討いただく、または、Databricks MarketplaceやHuggingFaceからモデル をダウンロードし、日本リージョンにてノートブック上でご利用いただくようお願いいたします。
18. ©2024 Databricks Inc. — All rights reserved DBRX 検索
19. ©2024 Databricks Inc. — All rights reserved 日本語能力の評価
20. ©2024 Databricks Inc. — All rights reserved 日本語ベンチマーク「JGLUE」の主要評価項目 JSQuAD JCommonsenseQA JNLI MARC-ja 引用元：https://techblog.yahoo.co.jp/entry/2022122030379907/
21. ©2024 Databricks Inc. — All rights reserved DBRX JGLUEベンチマーク結果 ~楽天の公開データと比較~ model_name AVG MARC-ja-ACCURACY JNLI-ACCURACY JSQuAD- ExactMatch rakuten-ai-7b-instruct 88.94 96.00 90.39 80.44 youri-7b-instruction 83.23 97.03 70.13 82.53 DBRX-base 77.61 89.07 57.07 86.70 DBRX-instruct 77.59 85.60 62.49 84.67 elyza-japanese-Llama-2-7b-instruct 72.08 91.51 57.44 67.29 swallow-7b-instruct 65.53 94.46 26.50 75.62 japanese-stablelm-instruct-gamma-7b 62.95 95.68 16.97 76.20 引用元：https://huggingface.co/Rakuten/RakutenAI-7B-instruct ※ベンチマークツール：https://github.com/hiouchiy/lm-evaluation-harness
22. ©2024 Databricks Inc. — All rights reserved DBRX JGLUEベンチマーク結果 ~W&Bの公開データと比較~ 注：DBRXのベンチマークはStabilityAI社の「lm-evaluation-harness」を使用して測定されております。一方、比較対象としている他のモデルのベンチマー ク結果はWeights & Biases社の「Nejumi LLMリーダーボード」にて公開されているものです。したがって両者が完全に同一条件で計測されているものでは ないため、本結果は厳密な比較ではなく、大まかな位置関係を把握するための参考情報としてご利用ください。 model_name AVG MARC-ja-balanced JNLI-balanced JSQuAD-F1 JCommonsenseQA gpt-4 0.897799182 0.959405112 0.7415553 0.949217549 0.941018767 DBRX-base 0.86442275 0.9275 0.6889 0.935991 0.9053 DBRX-instruct 0.862009615 0.913750685 0.697272688 0.92638059 0.910634495 llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0 0.830152929 0.547589015 0.905106535 0.9626436 0.905272565 stabilityai/StableBeluga2 0.826209593 0.943981526 0.565106351 0.909244686 0.886505809 anthropic.claude-v1 0.756645898 0.902828719 0.732370708 0.637139303 0.754244861 gpt-3.5-turbo 0.748511528 0.918578093 0.636002266 0.84071687 0.598748883 anthropic.claude-v2 0.71886092 0.85965119 0.634425598 0.702189055 0.679177837 stabilityai/StableBeluga-13B 0.702943345 0.952465115 0.438837109 0.869979647 0.55049151 mosaicml/mpt-30b-instruct 0.600356615 0.860373765 0.333333333 0.815404794 0.392314567 lightblue/openorca_stx 0.585755812 0.5 0.423241843 0.889843962 0.529937444 引用元：https://wandb.ai/wandb/LLM_evaluation_Japan/reports/Nejumi-LLM---Vmlldzo0NTUzMDE2?accessToken=u1ttt89al8oo5p5j12eq3nldxh0378os9qjjh14ha1yg88nvs5irmuao044b6eqa
23. ©2024 Databricks Inc. — All rights reserved DBRXの日本語能力 ~RAGでELYZAと比較~ ゴールドユーザーが「次のランク」に行くための条件を聞いた場合 https://huggingface.co/spaces/hiouchiy/MedallionCardCorporation_DBRX https://huggingface.co/spaces/hiouchiy/my-llm-chat ELYZA-13b DBRX-132b ゴールドランクの上がない点、3ヶ月維持しない と降格する点を正しく返答。 ゴールドランクの上が存在しないにもかかわら ず、ランクアップの条件を返答。
24. ©2024 Databricks Inc. — All rights reserved