OpenShift_AI_ワークショップ座学資料.pdf

Transcript

1. V00001 V00001 2025年12月10日 OpenShift AI ワークショップ レッドハット株式会社 エコシステムソリューションアーキテクト部 1
2. V00001 ▸ Red Hat AIの狙い ▸ Red Hat AI製品紹介 ▸ Red Hat OpenShift AI概要 ▸ ユースケースとハンズオン内容 ▸ Red Hat AI 3 目次 2
3. V00001 Red Hat AIの狙い 3
4. V00001 イントロダクション ビジネスにおける⽣ 成AIの適⽤は驚くべき ペースで進⾏ ⼀⽅で⽣成AIの エコシステムはより 複雑化 統制された⽣成AI 活⽤を進めるには プラットフォームが 鍵
5. V00001 AIアプリ開発サイクル AI を運用にのせるためのライフサイクル 5 データの収集と準備 モニターモデル モデルの開発 モデル アプリ モデルを 再トレーニングする コード 展開する 操作・監視 QA 反復する オートメーション 検証 モデルのデプロイ
6. V00001 AIアプリの企画から運用 6 モデルを実験から本番環境に迅速に移行する OperanShift AI は、AI を実際のアプリケーションに組み込むための触媒 AI を運用にのせる作業は、 AI 機能を組織の日常業務に統合するプロセスです。 これには、組織の全体的な目標に貢献しながら、 モデルを実験から本番環境に移行することが含まれます。 目標を設定 データの収集と準備 モデルの開発または調整 モデルの監視と管理 アプリ開発にモデルを統合する
7. V00001 CONFIDENTIAL Red Hat Associate and NDA partner use only, no further distribution PoCと本番環境の差異(クラウドサービスの有無、使用可能なモデルの有無、実行環境の違い )により 開発工数が増大 課題となるパターン1 7 On-premise 顧客環境 AI Dev App Dev Infra Eng AI Application AI Application AI Application Customer A Production Customer A PoC Infra Eng 社内検証・開発環境 サービス実装・モデル再評価 環境構築・ツール選定 環境変更を吸収するための工数増大
8. V00001 CONFIDENTIAL Red Hat Associate and NDA partner use only, no further distribution AIアプリの提供形態・使用技術の多様化 に伴うスキル・環境・アーキテクチャのサイロ化 による現場 のオーバーヘッドが増大 課題となるパターン2 8 On-premise 社内検証・開発環境 顧客環境 On-premise AI Dev App Dev Infra Eng Infra Eng Infra Eng Infra Eng AI Application AI Application AI Application AI Application AI Application AI Application AI Application AI Application Customer A Customer B Customer C Customer D オーバーヘッド大
9. V00001 Hardware
 Devices
 AI Runtime
 OS
 Driver
 AI Models
 単一サーバーでの推論実行 
 k8sでの推論実行 
 MLOpsツールチェーン 
 ニーズに合わせた
 実行環境の選択
 オープンLLMや
 国産ベンダーのAIを
 自由に選択
 コストや消費電力を 
 踏まえ最適な
 デバイスを選択
 Any Model
 Any Device
 Llama3
 Mistral
 InstructLab
 国産LLM
 Intel
 NVIDIA
 AMD
 柔軟な推論環境を 
 実現する推論エンジン 
 生成AIをビジネスに本格活用するために必要な要素と RHの提案 9 Red Hat AIプラットフォームの狙い 対応するAIモデルやハードウェアのエコシステムを拡大し、お客様が幅広い選択肢から AIの効果を検 証し、期待する結果を生み出すAIを商用環境で安定的に実行する ために必要なプラットフォームを提供 します。
10. V00001 CONFIDENTIAL Red Hat Associate and NDA partner use only, no further distribution 場所を選ばずAIアプリケーションの価値の最大化 に注力できるプラットフォーム Red Hat AIプラットフォームが目指す世界 10 On-premise 社内検証・開発環境 顧客環境 On-premise AI Dev App Dev Infra Eng AI Application Customer A Customer B Customer C Customer D AI Application AI Application AI Application AI Application
11. V00001 Red Hat AI製品紹介 11
12. V00001 12 信頼性、一貫性、包括的な基盤 エッジ プライベート クラウド 物理 仮想 パブリックク ラウド ハードウェアアクセラレーション * NVIDIA, AMD, Intel, Google TPU supported in Red Hat AI. AWS Inferentia/Neuron IBM AIU are on our roadmap 推論エンジン 推論アプライアンス SW AI開発・運用基盤 SW Red Hat AI製品ラインナップ
13. V00001 Hardware
 Devices
 AI Runtime
 OS
 Driver
 AI Models
 単一サーバーでの推論実行 
 k8sでの推論実行 
 MLOpsツールチェーン 
 ニーズに合わせた
 実行環境の選択
 オープンLLMや
 国産ベンダーのAIを
 自由に選択
 コストや消費電力を 
 踏まえ最適な
 デバイスを選択
 Any Model
 Any Device
 Llama3
 Mistral
 InstructLab
 国産LLM
 Intel
 NVIDIA
 AMD
 柔軟な推論環境を 
 実現する推論エンジン 
 生成AIをビジネスに本格活用するために必要な要素と RHの提案 13 Red Hat AIプラットフォームの狙い 対応するAIモデルやハードウェアのエコシステムを拡大し、お客様が幅広い選択肢から AIの効果を検 証し、期待する結果を生み出すAIを商用環境で安定的に実行する ために必要なプラットフォームを提供 します。
14. V00001 14 Red Hat AI製品の対応ユースケース Red Hat AI Inference Server Red Hat Enterprise Linux AI Red Hat OpenShift AI OS/ドライバ ユーザ用意 Red Hat提供 Red Hat・ベンダ提供 AIモデルによる推論実行 対応 対応 対応 モデルのチューニング 対応 スクラッチからのモデルの学習 対応 コンテナアプリケーションとの 連携開発 対応 分散処理 対応 推論エンジン AI開発・運用基盤 SW 推論アプライアンス SW
15. V00001 オープンソースソフトウェアとの関係 15 The future of AI is open Red Hatのオープンソースコミュニティへの関与は、強力なAIコラボレーションの触媒となる AI Open source communities Open Data Hub CodeFlare
16. Red Hat OpenShift AI概要 16
17. AIアプリ開発のポイント 17 トレーニング、 サービス、 モニタリング ワークロード管理 トレーニング ジョブには、アクセラレータへのアクセスを伴うさまざまなコンピュー ティング リソース要件が必要です。サービスを提供するには、推論リクエストに 基づいてオンデマンドでスケールする機能が必要です。 オーケストレーション データの取り込みと処理からモデルの構築とステージングまでの反復可能で安 全なパイプラインの一貫性。複数のプラットフォームに展開すると、さまざまな方 法論が必要になることがよくあります。 プラットフォームとベンダーの複雑さ 機械学習モデルは通常、各モデルやユースケースに応じて異なる特定のハード ウェア プラットフォーム向けに最適化されます。新しいテクノロジーを採用すると リスクが生じます。 運行管理 モデルのパフォーマンスと品質に関する洞察は一貫性がなく、企業全体で異なりま す。モデルの透明性が欠如していると、展開内のリスクが増大します。 課題
18. Red Hat OpenShift AI 18 OpenShift® 上に構築 一貫性のある、クラウドからエッジまで の本番展開と監視機能を提供 Gen および予測 AI 向けに設計 基盤モデルと従来の ML のワークロードの 需要を満たすように拡張 強化されたコラボレーション データサイエンティストとインテリジェントな アプリケーション開発者に統合プラット フォームを提供 実験から本番まで 、AI/ML モデル とアプリケーションのライフサイクル を開発、トレーニング、提供、監 視、管理します。 DevOps を ML に適用する 厳密なパイプラインとワークフローを設定し て、開発から運用まで前進
19. Operating system Dashboard Data Science Projects Admin Features Model Registry Accelerator Profiles Model Development, Training & Tuning Model Serving Models Performance metrics Operations metrics Quality metrics Serving Engines Serving Runtimes KServe ModelMesh vLLM, TGIS OpenVINO Custom Distributed Workloads Kubeflow Training Operator Notebooks Training Runtimes ISV, Custom (BoY) Ray • Minimal Python • PyTorch • VS Code • RStudio* KubeRay Granite Models Ecosystem models Kueue Pipelines Kubeflow Pipelines Accelerators AMD ROCm NVIDIA CUDA Intel Gaudi • TensorFlow • JupyterLab • TrustyAI PyTorch CodeFlare SDK Custom (BoY) Kubeflow Notebooks OpenShift Operators OpenShift GitOps (ArgoCD) OpenShift Pipelines (Tekton) OpenShift Serverless (Knative) OpenShift Monitoring (Prometheus) OpenShift Service Mesh (Istio) Authorino 19 An open-source platform for foundation models Train or fine tune conversational and generative AI Red Hat OpenShift AI - for foundation model, from development to serving Bias/Fairness metrics TrustyAI: LM-Eval, Guardrails Triton* *Tested and verified
20. Red Hat OpenShift AI 20 AI/ML エコシステム内の戦略的パートナーシップ AI/ML ライフサイクル 情報処理 データベース インフラストラクチャパートナー データガバナンスとセキュリティ データ分析 AI 運用 ハードウェアアクセラレーション
21. 21 オペレーティング ·システム Red Hat OpenShift AI AI/ML プラットフォー ム プラットホーム サービス ハードウェアアクセ ラレータ ベアメタル 仮想化 エッジ クラウド （Secured） クラウド オペレーティング ·システム オペレーティング ·システム データとモデルの パイプライン モデルの提供 モデルモニタリング モデル開発 分散ワークフロー GPUのサポート どこにでも 導入可能 データの収集と準備 モデルの開発または調整 モデルの監視と管理 アプリ開発に モデルを統合する 再訓練 Red Hat の AI/ML プラットフォーム Red Hat OpenShift AI ドリフト・バイアス検知・ AI ガードレール
22. ユースケースと ハンズオン内容 22
23. AI学習/推論プロセス全体像 データストリーミング データ 準備 モデル 作成 モデル 検証 データサイエンスパイプライン（バッチ学習） データストア パイプライン化 データソース モデル サービング API提供 モデルAPI モデル モニタリング 再学習 アプリケーション データ サイエンティスト ML エンジニア アプリ開発者 クラスタ管理 インフラ エンジニア 学習済みモデル モデル レジストリ
24. AI学習/推論プロセス全体像 データストリーミング データ 準備 モデル 作成 モデル 検証 データサイエンスパイプライン（ バッチ学習 データ処 理） データストア パイプライン化 データソース モデル サービング API提供 モデルAPI モデル モニタリング 再学習 アプリケーション データ サイエンティスト ML エンジニア アプリ開発者 クラスタ管理 インフラ エンジニア 学習済みモデル モデル レジストリ 本日のハンズオン範囲
25. Red Hat AI 3 25
26. 26 Red Hat AI overview AIの進化をビジネスの価値に繋げる エンタープライズAIプラットフォーム エージェント開発機能の拡充 • AI Hub / GenAI Studio • Llama Stack Operator • MCP開発ガイド • Model as a Service • llm-d • モデル最適化 • モデルカタログ 推論機能の更なる進化 柔軟なLLMチューニング • データ合成の多⾔語対応 • チューニング機能の汎⽤化 • KubeFlow Training v2 プラットフォーム機能強化 • 新たなアクセラレーター • OEM/クラウド対応拡充 • GPUaaS Accelerate Agentic AI innovation Fast, flexible and scalable inference Connecting models to data Scaling AI across the hybrid cloud
27. 27 エージェント開発機能の拡充 Accelerate Agentic AI innovation
28. 28 Accelerate Agentic AI innovation エンタープライズグレードなAIエージェント開発 AIエージェントの開発と運用をシンプルに The Engine/Foundation エージェント開発のバックボーン • セキュアでスケーラブルなAI APIサーバー (Llama Stack) • Inference, RAG, Evals, Safety, Compliance, etc The Connectors エコシステムとの相互接続 • オープンプロトコル (e.g., MCP, A2A.) • カタログ、レジストリ The Platform (AgentOps) エージェントのライフサイクルマネジメント • DevOpsからAgentOpsへ • ガバナンス、セキュリティ、モニタリング The Experience シームレスなAI開発体験 • GenAI UI (プレイグラウンド、プロンプト管理) • エージェントstarter kits + 開発フレームワーク互換性 Agentic AI
29. 29 Accelerate Agentic AI innovation プラットフォームに統合されたAI体験 AI hub Gen AI studio AIモデル、MCP、 エージェントを管理し カタログからデプロイ プレイグラウンドでモデルや MCPの組み合わせを実験
30. 30 Llama Stack Model Context Protocol (MCP) What’s New? • MCP開発ガイド: MCPサーバー開発のための設計&設定ガイド • プレイグラウンド: MCPサーバーとモデルの組み合わせをすぐに評価 • AIアセットのカタログ化: 利⽤可能なアセットを⼀覧として提供 • Llama Stack tool calling: ⽣成AIモデルからシームレスなツール実⾏ Why it Matters? • 実験から開発へのサイクルを加速 • 様々な開発フレームワークとの統合 • MCPを介したツール操作により幅広いユースケースを解決 • Certified AI Assetの提供 Accelerate Agentic AI deployments Llama Stack Server MCP Server MCP Server MCP Server Client OpenAI Agent SDK Llama Guard Prompt Guard LangChain / LangGraph Safety Tool Llama Stack Client LLM VectorDB Milvus FAISS Llama gpt-oss Azure OpenAI External Service Local Files Execution
31. 31 推論機能の更なる進化 Fast, flexible and scalable inference
32. Pod 1 Pod 3 Pod 2 32 Fast, flexible and scalable inference ⽣成AIの統合推論スタック オープンモデルのスケーラブルな推論と柔軟な活⽤ GPU Instinct TPU Pod 2 Instinct Pod 1 GPU Pod 3 TPU Accelerators ニーズに応じたアクセラレーターの選択 Inference Server パフォーマンス最適化された推論エンジン Distributed Inference Framework 推論を効果的にスケール Models どのようなモデルでも実⾏ AI Gateway/API Management 推論サービスへのアクセスを⼀元管理 Model as a Service
33. 33 AIゲートウェイを通じて⽣成AIの推論APIをサービス提供 • AIモデルの実⾏と利⽤を⼀元的に管理 ▪ OpenShift AIコンソールを通じて簡単にアクセス ▪ ユーザーごとの認証/RBAC ▪ APIトークンの払い出しとアプリケーションへの設定 ▪ 利⽤量トラッキングとチャージバック ▪ レートリミット ▪ ハードウェアリソースの有効活⽤ Fast, flexible and scalable inference Model-as-a-Service in OpenShift AI Model as a service Developers End users AI Gateway Available Models AI Engineer GPUs utilization End user apps Development environments ITOps ITOps
34. Fast, flexible and scalable inference 34 推論への需要に合わせた柔軟なスケーリング Kubernetesネイティブな分散推論フレームワーク • インフラの利⽤効率を最⼤化、推論スループットを向上 • マルチターンエージェント向けの⾼速なレスポンス • シンプルな運⽤管理 Deliver faster, cheaper, and more manageable AI systems for enterprise production Now includes llm-d reimagines how LLMs run on Kubernetes
35. 35 Red Hat AI Inference Server 更なるAIモデルとアクセラレーターのバリエーションをサポート Single platform to run any model, on any accelerator, on any cloud Edge Virtual Public Cloud Private Cloud Physical Neuron TPU Gaudi Instinct GPU Llama Qwen DeepSeek Gemma Mistral Molmo Phi Nemotron Granite Spyre Fast, flexible and scalable inference
36. 36 Red Hat AI Model Repository Red Hatが量⼦化し検証済みのAIモデル Broad Collection of models Llama Qwen Mistral DeepSeek Gemma Phi Molmo Granite Nemotron Validated models ▸ 現実のユースケースに即したシナリオでのテスト ▸ 様々なアクセラレーターでのパフォーマンス計測 ▸ GuideLLM, LM Eval Harnessによるベンチマーキング Optimized models ▸ 量⼦化による⾼速化と効率化 ▸ 精度を維持したままより少ないリソースでAIモデルを実⾏ ▸ 最新の研究に基づく量⼦化アルゴリズムの適⽤ Choice of Models ▸ Transformers (Dense, MoE), マルチモーダルLLM, エンべディング, Hybrid / Novel Attention, Vision ▸ Hugging Face compatible (safe tensors), OCI互換コンテナ Fast, flexible and scalable inference
38. 38 柔軟なLLMチューニング Connecting models to data
39. 多⾔語への対応とAIモデルの⾃由な選択 Connecting models to data 39 Training hub Data processing 多言語でのデータ合成をサポート し、高品質な学習用データセット構 築を可能に Synthetic data generation 任意のモデルに対してLLMの破滅 的忘却を抑制しつつファインチュー ニング、継続学習を実施 モデルのカスタマイズやRAGのた めのデータをドキュメントから自動 的に作成 Evaluate 複数の標準的な評価ベンチマーク をジョブとして簡単に実行 モジュール化されたチューニングスタック
40. 柔軟な実⾏環境の選択 Connecting models to data 40 実験から分散学習へのスムーズな移⾏ Experimental workbench Distributed training • Jupyter Notebook • Code Server • KubeFlow Trainer v2 • Kueue Integration インタラクティブなPython 開発環境を素早く提供 複数GPUサーバーを使った 分散学習ジョブの実⾏ New
41. 41 プラットフォーム機能強化 Scaling AI across the hybrid cloud
42. 42 ハイブリッドクラウドでのAIの実⾏ アクセラレーター、OEMサーバー、クラウドのサポートを拡充 Hardware Accelerators OEM Servers Cloud Environments *NVIDIA, AMD and Intel are supported in Red Hat AI. Google TPU and IBM AIU supported in Red Hat AI Inference Server only and support for IBM AIU is coming in RHOAI 3.0. AWS Neuron is on on our roadmap. Scaling AI across the hybrid cloud Neuron Gaudi TPU GPU Instinct AIU
43. 43 Delivering GPU-as-a-Service アクセラレーターの利⽤効率を最⼤化 Scaling AI across the hybrid cloud Physical Virtual Private cloud Public cloud Edge Dynamic Accelerator Slicing Notebooks, Inference, Training Multi-cluster, multi-tenant support マルチクラスタ、マルチテナントでの利⽤最適化 Dynamic Accelerator Slicing アクセラレーターの動的な分割とワークロードへの 割り当て Kueue Integration 公平かつ効率的なリソーススケジューリング Kueue
44. V00001 linkedin.com/company/red-hat youtube.com/user/RedHatVideos facebook.com/redhatinc twitter.com/RedHat V00001 44 Red Hat is the world’s leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you