DatabricksにおけるLLMOpsのベストプラクティス

こちらのイベントでお話ししたスライドです。

LLMOps Meetup: 生成AI時代のデータ基盤と運用を考える - connpass https://algomatic.connpass.com/event/333748/

・MLOpsとは？
・LLMOpsとは？
・LLMOpsのベストプラクティス
・DatabricksのMosaic AI
・(時間があれば)デモ

DatabricksにおけるLLMOpsのベストプラクティス #Databricks - Qiita https://qiita.com/taka_yayoi/items/e70843b6795e010f5425

Transcript

1. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 1 データブリックス・ジャパン Databricks 弥生 隆明 Databricksにおける LLMOpsのベストプラクティス
2. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 自己紹介 弥生 隆明 (やよい たかあき) Databricks ソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにお いて、プレセールス、POCに従事 ▪ 前職はコンサルファーム、総合電機メー カーにてデータ分析・Web サービス構築などに従事。インド赴任経験 あり。 ▪ Databricks Certified (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 2 @taka_aki
3. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 登録はこちらから！ 3
4. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 10,000+ のグローバル顧客 $1.5B+ の収益 $4B の投資 レイクハウス の発明者 & 生成AIのパイオニア Gartnerに認知されるリーダー Database Management Systems Data Science and Machine Learning Platforms データ & AIカンパニー のクリエイター
5. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary 1. MLOpsとは？ 2. LLMOpsとは？ 3. LLMOpsのベストプラクティス 4. DatabricksのMosaic AI 5. (時間があれば)デモ 5
6. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary MLOpsとは MLOpsとは機械学習モデルライフサイクル全般を円滑にするために必要な体制・基盤・手法全般を意味します。 MLOps(Machine Learning Operations)とは、 データサイエンスチーム、運用チームなど、機械学習モデルの 構築・運用に関わるチームが協調し、円滑に機械学習モデルを 運用していくための体制・基盤を構築すること、 その概念全般を意味します。 MLOps = DataOps + DevOps + ModelOps
7. ©2024 Databricks Inc. — All rights reserved | Confidential and proprietary LLMOpsとは LLMOpsとはLLMライフサイクル全般を円滑にするために必要な体制・基盤・手法全般を意味します。 LLMOps(Large Language Model Operations)とは、 データサイエンスチーム、運用チームなど、LLMの 構築・運用に関わるチームが協調し、円滑にLLMを 運用していくための体制・基盤を構築すること、 その概念全般を意味します。
8. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary MLOps - LLMで何が変わる？ 8 LLMの特性 MLOpsの示唆 様々な形態で LLMを利用 可能: • 課金API経由での一般的なプロプライエタリ モデル、OSSモデル • すぐに利用できるオープンソースモデル • 特定のアプリケーションにファインチューンされたカス タムモデル • カスタムの事前トレーニング済みモデル 開発プロセス : • インクリメンタルな開発 • APIからスタートしカスタムモデルへ LLMは入力として自然言語のプロンプトを受け入れる : • 期待するレスポンスを得るために プロンプト エンジニアリング が可能 開発プロセス : • LLMに問い合わせを行う テストテンプレートの設計 が 開発プロセスの重要な一部に アーティファクトのパッケージング : • パッケージングされるアーティファクトとプロダクションに おけるプロンプトは、 モデルというよりパイプラインに LLMにはサンプルやコンテキストを伴うプロンプトを 指定可能 サービングのインフラストラクチャ : • 適切なコンテキストの検索に使用される ベクトルデータベース の ような外部ツール
9. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary MLOps - LLMで何が変わる？ 9 LLMの特性 MLOpsの示唆 サードパーティの APIプロバイダー経由で プロプライエタリモデルや OSSモデルを利用可能 APIガバナンス : • APIプロバイダーをスイッチできる 選択可能性や柔軟性 を持つた めに、APIガバナンスのための集中管理されたシステムを 持つことが重要に LLMは非常に大きなディープラーニングモデルであり、多く の場合、数Gバイトから数百 Gバイト に サービングのインフラストラクチャ : • LLMのサービングには GPUが必要 • モデルを動的にロードする必要がある場合には、高速な ストレージが重要に LLMにおいては、多くの場合、 単一の「適切な」回答が存 在しない ため、従来のMLメトリクスを通じた評価が困難 人間のフィードバック : • LLMの評価、テストで必要になることが多い • 将来的なファインチューニングのためには、 テスト、 モニタリングを含む MLOpsに直接組み込む ことが重要に
10. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary DevOps MLOps - LLMで何が変わる？ 10 • これらの新たな要件に適合するために、多くの既存ツール、既存プロセスの修正は軽微です ◦ 開発、ステージング、プロダクションの分離は変わりません ◦ パイプラインやモデルをプロダクションに移行する際に、Gitのバージョン管理とUnity Catalogに おけるMLflowモデルレジストリは依然として主要なパイプラインとなります。 ◦ データ管理に対するレイクハウスアーキテクチャは、効率性のために依然として適切で重要です。 ◦ 既存のCI/CDインフラストラクチャには変更はありません。 ◦ モデルトレーニングのためのパイプライン、モデル推論のためのパイプラインなどを用いた、 モジュール化されたMLOpsの構造は同じです。 レイクハウスプラットフォーム 開発 ステージング プロダクション DataOps Unity Catalog ModelOps
11. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary LLMOpsのベストプラクティス
12. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary 12 人々とプロセス データ準備 探索的 データ分析 特徴量 エンジニアリ ング モデル トレーニング モデル検証 デプロイ メント モニタ リング データガバナンスオフィサー データサイエンティスト MLエンジニア ビジネスステークホルダー データ エンジニア データ エンジニア
13. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary ガイドとなる原則 常にビジネスゴールを念頭に置く 13 モジュール化された方法でLLMOpsを実装する プロセスは自動化をガイドすべきである 機械学習にデータ中心アプローチを採用する
14. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary 機械学習にデータ中心アプローチを採用 14 • いかなるMLプロジェクトにおいても、コアとなる構成要素はシンプルにデータパ イプライン と見なすことができます: 特徴量エンジニアリング、トレーニング、モ デルのデプロイメント、推論、パイプラインのモニタ リングのすべてはデータパイプラインです。 • そのようなMLソリューションの本格運用には、予測結果、モニタリングからの データ、特徴量テーブルやその他の適切なデータとの結合 が必要 となります。 • 基本的に、これを達成する最もシンプルな方法はプロダクションデータの管理 に用いられているのと同じプラットフォーム でAIを活用した ソリューションを開発することです。
15. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary 常にビジネスゴールを念頭に置く 15 • LLMOpsにおける技術的な取り組みの優先度付けを行う際、ビジネス インパクトを考慮 しましょう: これは新たなビジネスユースケースを実現するの か？データチームの生産性を改善するのか？オペレーションコストやリスクを削 減するのか？ • 最新、あるいは最も複雑なモデル によって気が逸らされる誘惑に抗い ましょう。はじめに、シンプルな経験則を用いてあなたのKPIやベース ラインの成功を定義しましょう。
16. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary モジュール化された方法でLLMOpsを実装する 16 • すべてのソフトウェアアプリケーションと同じように、LLMアプリ ケーションにおいてコードの品質は最重要事項 です。 • モジュール化されたコードによって、個々のコンポーネントのテストを 可能にし、将来的なコードのリファクタリングの難易度を軽減します。
17. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary プロセスは自動化をガイドすべきである 17 • 開発プロセスは最も重要なものであり、このプロセスにおけるそれぞれのモ ジュールは必要に応じて 自動化されるべきです。 • 依然として、人間がビジネス上の質問を定義し、いくつかのモジュールは常にデ プロイメントの前に人間による確認を必要とします。 • 特定の自動化ツールを検討する際、あなたの人材やプロセスに調和するものを 選択しましょう。 • 例えば、エージェントシステムを構築する場合、エージェントの開発から管理、 監視までもカバーするMosaic AI Agent Framework & Agent Evaluationを活 用することができます。
18. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary データとAIのガバナンスを統合 ガバナンスとMLOpsをシンプルにするために、データとAIへのワークスペース横断アクセスを提供 Feature Store 特徴量 特徴量 特徴量 モデル レジストリ モデル モデル モデル Unity Catalog 特徴量 特徴量 特徴量 モデル モデル モデル データ データ データ
19. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary AI資産 AIモデルの構築 AutoMLによるローコード、ノーコード ノートブック+OSSツールによるコーディング 🤗, c ,x , etc MLflowによるプロンプトエンジニアリング SQL関数経由のプロンプトエンジニアリング オープンソースツールでAIを構築 データ 特徴量 インデックス 19 Packaging による評価 1 2 3 4 全てのペルソナ、スキルレベルに合わせたツール チェーン & エージェントの構成 ノートブック+OSSツールによるコーディング 🦜🔗 LangChain, c , etc AI資産 Unity Catalog
20. ©2024 Databricks Inc. — All rights reserved 品質の改善 デプロイ 監視 フィードバックの 収集 POCのデプロイ 20 評価セット Agent Framework Agent Evaluation Agent Framework AI Playground Databricksの評価ドリブン開発ワークフロー
21. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary DatabricksのMosaic AI
22. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary 統合モニタリング (レイクハウスモニタリング ) モデルを切り替え、管理 するためのゲートウェイ 2 最先端モデルの トレーニング 3 データとAIに対する 統合ガバナンス データとAIに対する 統合モニタリング 1 4 22 UI Model 非構造化データ サービング (VectorDB) データパイプライン 構造化データ サービング (key-value) モデルサービング モデルトレーニングFT 全ての商用、オープンソース、カ スタムモデル Unity Catalog Mosaic AI: データ中心のAIプラットフォーム
23. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary Mosaic AI レイクハウスに生成AIが完全に連携 Mosaic AIの機能 (AI) レイクハウスの機能 (データ + AI) MLOps + LLMOps MLflow Asset Bundles (DABs) CI/CD サポート データとベクトルの準備 ネイティブツールによるデータと特徴量の準備 SQL ワークフロー Delta Live Tables ノートブック アプリケーションの提供 リアルタイムアプリにモデルを組み込み & 監視 モデル サービング AI Functions SQLからモデル Databricks Apps レイクハウス モニタリング モデルの構築と評価 カスタムモデルのトレーニング、ファインチューン、 事前学習モデルのプロンプトエンジニアリング ノートブック w/ MLランタイム AutoML ファインチューン Models in Marketplace MPT LLaMA2 AI Playground MLflow Track & Evaluate データとベクトルのサービング Feature Serving Vector Search Function Serving ガバナンス モデルレジストリ in Unity Catalog Unity Catalog Feature Store in Unity Catalog データプラットフォーム Deltaテーブル 構造化データ ファイル (Volumes) 非構造化データ
24. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary Mosaic AIの動作原理 Unity Catalog + Delta Lake Monitor Data & AI Logs Metrics Logs データストレージ モデル チェーン エージェント 特徴量 インデックス 24 データ準備 バッチ ストリーミング リアルタイム ガバナンス & リネージ Features 特徴量 インデックス
25. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary Mosaic AIの動作原理 Unity Catalog + Delta Lake Monitor Data & AI Packaging 特徴量 インデックス AI 資産 Logs Metrics Logs データストレージ モデル チェーン エージェント 特徴量 インデックス 25 データ準備 バッチ ストリーミング リアルタイム ガバナンス & リネージ Features 特徴量 インデックス AIの開発 & 評価 🤗 pipelines 🦜🔗 chains + prompt + credential function(...) AIの開発 & 評価 🤗 pipelines 🦜🔗 chains + prompt + credential function(...)
26. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary Mosaic AIの動作原理 AIの サービング Unity Catalog + Delta Lake Monitor Data & AI Packaging Packaging 特徴量 インデックス AI 資産 AI 資産 Logs Metrics Logs 特徴量 インデック ス データストレージ モデル チェーン エージェント 特徴量 インデックス 26 APIs BI / SQL ETL / ストリーミン グパイプライ ン データ準備 バッチ ストリーミング リアルタイム ガバナンス & リネージ Features 特徴量 インデックス データの サービング AIの開発 & 評価 🤗 pipelines 🦜🔗 chains + prompt + credential function(...)
27. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary Mosaic AIの動作原理 AIの サービング Unity Catalog + Delta Lake データとAIの監 視 Packaging Packaging 特徴量 インデックス AI 資産 AI 資産 ログ メトリクス ログ 特徴量 インデック ス データストレージ モデル チェーン エージェント 特徴量 インデックス 27 APIs BI / SQL ETL / ストリーミン グパイプライ ン データ準備 バッチ ストリーミング リアルタイム ガバナンス & リネージ 特徴量 特徴量 インデックス データの サービング AIの開発 & 評価 🤗 pipelines 🦜🔗 chains + prompt + credential function(...)
28. ©2024 Databricks Inc. — All rights reserved Confidential and Proprietary Agent Framework & Agent Evaluation Mosaic AI Agent Evaluation Mosaic AI Agent Framework • エージェントを評価するためにプロ プライエタリなLLMジャッジを活用 • Mosaic ResearchではこれらのLLM審判を高 品質にするために投資しています • レーテンシーやトークンのコストの ようなパフォーマンスメトリクスを 収集 • Agent Frameworkと独立して活用可能 • エージェントを作成、MLflowで記録 • 1行のコードでエージェントを モデルサービングエンドポイントにデプロ イ • ステークホルダーからフィードバックを収 集するためのレビューアプリを自動で作 成 MLflow、Unity Catalog、Mosaic AIと密連携
29. ©2023 Databricks Inc. — All rights reserved Thank you