Nutanix Kubernetes PlatformでLLMを動かす話

Nutanix Meetup 24.11の資料です。

Transcript

1. Nutanix Kubernetes Platform LLM @jyoshise A.K.A. GAFA
3. Nutanix Enterprise AI 登場 3
4. Nutanix Enterprise AI が提供するもの 4 あらゆる Kubernetes Nutanix Kubernetes Platform | CNCF準拠 | パブリッククラウド Nutanix Cloud Infrastructure セキュアなインフラ | レジリエントストレージ | ハイパーコンバージェンス コアインフラ ストラクチャー AI と モダンアプリ 生成AIアプリを展開 生成AIアプリを構築 エンタープライズ モデル リポジトリ ロールベース アクセス コントロール 推論 エンドポイント サービス 日々の AI 運用 Nutanix Enterprise AI お好みの LLM | セキュアなエンドポイント API | あらゆる Kubernetes
5. Nutanix Enterprise AIの動作は? 5 APIとエンドポイント、LLM、インフラ ストラクチャを監査、監視 Nutanix Enterprise AIを あらゆるKubernetes上 で展開して利用 1. Nutanix Kubernetes ® Platform Red Hat OpenShift Azure AKS | AWS EKS | GCP Rancher | Docker Nutanix Enterprise AI インターフェイスにログ インし、シンプルに使い たいLLMを選択して展開 2. 自社のモデル 4. APIクレデンシャルを開発者 またはアプリケーションオー ナーに共有 テストモードアクセスで生成AI に質問 APIトークン提供: B23014KJH…… API ? セキュアなモデルを利用する ためのAPIを作成し、モデル へのアクセスを検証 3. ユーザーベースのAPI を作成しモデルへアク セス 自社のモデル API API API Endpoint API B23014KJH …
6. ふん、Nutanix Enterprise AIっていうのかい。 贅沢な名だね。 でもこれってただの「推論APIサーバー」では？
7. そうだが？
8. DEMO
9. • プライベートなLLMをプライベートな環境で動 かしてAPIエンドポイントを提供します（OpenAIとかがやってるこ とのプライベート版） • どこでも動きます（Any Kubernetes） • NCI,NUS,NKP,NDK,NDBとの組み合わせで 幸せになれます 5秒でわかるNutanix Enterprise AI （略してNAI） © 2023 Nutanix 9
10. 10 Nutanix AI ソリューション概要 GPU搭載サーバー 生成 AI アプリ Nutanix Enterprise AI Nutanix Kubernetes Platform ファウンデーション モデル Nutanix Cloud Infrastructure GPT-in-a-Box 2.0 Nutanix Unified Storage サイジング/ インテグレーションサービス New New GPU搭載サーバー 生成 AI アプリ Nutanix Enterprise AI パートナーの Kubernetes ファウンデーション モデル Nutanix Cloud Infrastructure あらゆるCNCF準拠K8s上 New 生成 AI アプリ Nutanix Enterprise AI Amazon EKS Azure AKS, Google Cloud GKE ファウンデーション モデル パブリッククラウド上 ネイティブ GPUが利用できるクラウド New
11. AIを加速: エッジからマルチクラウドまで 11 データセンター で再訓練 データセンター で再訓練 データセンター パブリッククラウド クラウドを再訓練 エッジ エッジでNutanixソフトウェアを活用: 小規模な常時接続されていないエッジロケ ーションでのコンパクトなカスタマイズさ れたAI推論を稼働させるのに理想的 エッジ エッジ データセンターで Nutanixソフトウェア を活用: モデルのトレーニング、クラウドで作られたLLM のカスタマイズのためのデータ主権を備えたAI対 応インフラストラクチャ データセンター クラウドを再訓練 パブリッククラウドでNutanixソフトウェアを活用: LLMにアクセスするための一貫性のあるデータ主権 を備えたインフラストラクチャ データセンターを またがり再訓練
12. Xinference • Xorbits社によるOSS • Pythonで動作 • LLM, Embedding, Rerank, Image, Audioなど 多様なModelのServingに対応 そこまでガチじゃない用途（ご自宅など）には、ふつうに GPU仮想マシンでOSS推論サーバーを動かすのもあり Ollama • Ollama ProjectによるOSS • Goで動作 • LLMとEmbedding Modelに対応
13. よろしい。で、どうすればAIが使えるの？
14. DataRobot © 2023 Nutanix 14 • 今のDataRobotを（SaaSではなく）プ ライベート環境で利用するためには Kubernetesが必須 • プライベートで使うからにはスケーラ ブルでセキュアなストレージが必須 • なのでNKPは最適
15. Dify Dify • 中国LangGenius社によるSaaS/OSS • ノーコードでAIアプリケーションを作成/ 公開できるプラットフォーム • 豊富なテンプレート • 多くのモデルプロバイダーをサポート • RAGパイプライン作成機能 • カスタムツールやAPIの統合
16. DEMO
17. AI Platform Developer User RDB Vector DB Model Serving Block Storage Object Storage File Storage Compute (GPU) Nutanix Cloud Infrastructure Access Control The Platform for Platforms = Nutanix Nutanix Kubernetes Platform Nutanix AOS/ Unified Storage Nutanix Database Service Nutanix Enterprise AI
18. • DifyのModel ProviderとしてNAIを追加す る（OSSにContribute） • ジョジョデモの構築手順をアドベントカレン ダーで公開 GAFA社長の宿題 © 2023 Nutanix 18
19. Thank You 19 © 2023 Nutanix