OpenShift_AI_ワークショップ座学資料.pdf

Transcript

1. V00001 V00001 2025年6月4日 OpenShift AI ワークショップ レッドハット株式会社 エコシステムソリューションアーキテクト部 1
2. V00001 ▸ Red Hat OpenShift AI概要 ▸ 機能の紹介 目次 2
3. Red Hat OpenShift AI概要 3
4. So for an enterprise, that could mean thousands of different apps and thousands of different AI models. We have to prepare for that future. Chris Wright Chief Technology Officer and Senior vice President, Global Engineering Red Hat 数千のアプリケーション開発 とAIモデル が共存する世界が来る。 その未来に備えて、今歩き出さなければいけない。 Red Hat OpenShift AI 4
5. AIアプリ開発サイクル AI を運用にのせるためのライフサイクル 5 データの収集と準備 モニターモデル モデルの開発 モデル アプリ モデルを 再トレーニングする コード 展開する 操作・監視 QA 反復する オートメーション 検証 モデルのデプロイ
6. AIアプリの企画から運用 6 モデルを実験から本番環境に迅速に移行する OperanShift AI は、AI を実際のアプリケーションに組み込むための触媒 AI を運用にのせる作業は、 AI 機能を組織の日常業務に統合するプロセスです。 これには、組織の全体的な目標に貢献しながら、 モデルを実験から本番環境に移行することが含まれます。 目標を設定 データの収集と準備 モデルの開発または調整 モデルの監視と管理 アプリ開発にモデルを統合する
7. AIアプリ開発のポイント 7 トレーニング、 サービス、 モニタリング ワークロード管理 トレーニング ジョブには、アクセラレータへのアクセスを伴うさまざまなコンピュー ティング リソース要件が必要です。サービスを提供するには、推論リクエストに 基づいてオンデマンドでスケールする機能が必要です。 オーケストレーション データの取り込みと処理からモデルの構築とステージングまでの反復可能で安 全なパイプラインの一貫性。複数のプラットフォームに展開すると、さまざまな方 法論が必要になることがよくあります。 プラットフォームとベンダーの複雑さ 機械学習モデルは通常、各モデルやユースケースに応じて異なる特定のハード ウェア プラットフォーム向けに最適化されます。新しいテクノロジーを採用すると リスクが生じます。 運行管理 モデルのパフォーマンスと品質に関する洞察は一貫性がなく、企業全体で異なりま す。モデルの透明性が欠如していると、展開内のリスクが増大します。 課題
8. Red Hat OpenShift AI 8 OpenShift® 上に構築 一貫性のある、クラウドからエッジまで の本番展開と監視機能を提供 Gen および予測 AI 向けに設計 基盤モデルと従来の ML のワークロードの 需要を満たすように拡張 強化されたコラボレーション データサイエンティストとインテリジェントな アプリケーション開発者に統合プラット フォームを提供 実験から本番まで 、AI/ML モデル とアプリケーションのライフサイクル を開発、トレーニング、提供、監 視、管理します。 DevOps を ML に適用する 厳密なパイプラインとワークフローを設定し て、開発から運用まで前進
9. 9 9 Red Hat の AI/ML エンジニアリングは 100% オープンソース Upstream projects Product Community projects Red Hat OpenShift AI CodeFlare
10. Operating system Dashboard Data Science Projects Admin Features Model Registry Accelerator Profiles Model Development, Training & Tuning Model Serving Models Performance metrics Operations metrics Quality metrics Serving Engines Serving Runtimes KServe ModelMesh vLLM, TGIS OpenVINO Custom Distributed Workloads Kubeflow Training Operator Notebooks Training Runtimes ISV, Custom (BoY) Ray • Minimal Python • PyTorch • VS Code • RStudio* KubeRay Granite Models Ecosystem models Kueue Pipelines Kubeflow Pipelines Accelerators AMD ROCm NVIDIA CUDA Intel Gaudi • TensorFlow • JupyterLab • TrustyAI PyTorch CodeFlare SDK Custom (BoY) Kubeflow Notebooks OpenShift Operators OpenShift GitOps (ArgoCD) OpenShift Pipelines (Tekton) OpenShift Serverless (Knative) OpenShift Monitoring (Prometheus) OpenShift Service Mesh (Istio) Authorino 10 An open-source platform for foundation models Train or fine tune conversational and generative AI Red Hat OpenShift AI - for foundation model, from development to serving Bias/Fairness metrics TrustyAI: LM-Eval, Guardrails Triton* *Tested and verified
11. Red Hat OpenShift AI 11 AI/ML エコシステム内の戦略的パートナーシップ AI/ML ライフサイクル 情報処理 データベース インフラストラクチャパートナー データガバナンスとセキュリティ データ分析 AI 運用 ハードウェアアクセラレーション
12. 12 2025 Red Hat Summitより 信頼性、一貫性、包括的な基盤 Edge Private Cloud Physical Virtual Public Cloud ハードウェアアクセラレーション * NVIDIA, AMD, Intel, Google TPU supported in Red Hat AI. AWS Inferentia/Neuron IBM AIU are on our roadmap New!! 推論エンジン FTアプライアンス SW AI開発・運用基盤 SW
13. Red Hat AI Inference Server 13 vLLM connects model creators to accelerated hardware providers あらゆるモデル、あらゆるアクセラレータ、あらゆるクラウドで実行できる単一のプラットフォーム Edge Virtual Public Cloud Private Cloud Physical Neuron TPU Gaudi Instinct GPU Llama Qwen DeepSeek Gemma Mistral Molmo Phi Nemotron Granite Spyre 2025 Red Hat Summitより
14. vLLMコミュニティイベント情報 vLLM roundup Community Meetup Tokyo 14 6/16 (Mon) 18:00 〜 ハイブリッド開催 https://ossbyredhat.connpass.com/event/357695/
15. 15 Red Hat AI は、AI エージェントワークフローの開 発と導入を加速するための俊敏で安定した基盤 を提供します。 • Llama Stackと標準化された通信プロトコル（ MCP）を備えた組み 込みエージェントフレームワークを提供します。 • LangChainやCrew AIなどの推奨ツールを統合する柔軟性を提供 します。 • エージェントをマイクロサービスとして実行および管理できます。 • LLMのサービス提供とスケーリングを管理することで、本番環境 への展開を簡素化します。 2025 Red Hat Summitより
16. OpenShift AI関連イベント：EDB/SIOS/Red Hat共催ウェビナー 企業のAI活用はクラウドを前提で大丈夫！？これからのAI戦略に求められるAIプ ラットフォームとデータベース戦略 16 6/19 10：00～11：00 オンライン開催 https://zoom.us/webinar/register/4717477825663/WN_R4RSpKgtTMCyONQ_NsTn8Q#/registration
17. 機能の紹介 17
18. 18 オペレーティング ·システム Red Hat OpenShift AI AI/ML プラットフォー ム プラットホーム サービス ハードウェアアクセ ラレータ ベアメタル 仮想化 エッジ クラウド （Secured） クラウド オペレーティング ·システム オペレーティング ·システム データとモデルの パイプライン モデルの提供 モデルモニタリング モデル開発 分散ワークフロー GPUのサポート どこにでも 導入可能 データの収集と準備 モデルの開発または調整 モデルの監視と管理 アプリ開発に モデルを統合する 再訓練 Red Hat の AI/ML プラットフォーム Red Hat OpenShift AI ドリフト・バイアス検知・ AI ガードレール
19. モデルのトレーニング モデルトレーニングのハイライト モデルのトレーニングとワークロードの調整を高速化お よび管理することで、 生成 AI を含むさまざまなユース ケースをサポート 使いやすいインターフェースを備えた単一また は複数クラスター環境で バッチトレーニングの 開始と管理 基礎モデルのパイプラインを自動化 分散トレーニングによる パフォーマンスとス ケーラビリティの向上 さまざまなアクセラレータから選択して 規模とパフォーマン スのニーズを満たす
20. モデルのトレーニング 20 ワークロードを分散して効率を高める コンピューティング能力を動的に割り当てるこ とによって、インフラストラクチャではなくモ デリングに重点を置く 最小限の労力で立ち上げて実行できるよう にし、セットアップと展開を自動化 データ サイエンティストにとって自然な Python フレンドリーな SDK を使用し、 リソースを管理し、ジョブを送信 大規模なデータ分析などのタスクに高度な キューを使用し、ジョブの実行に優先順位 を付けて分散 OpenShift AI エコシステムへのシームレス な統合によるデータサイエンスのワークフ ローを合理化する
21. 21 モデルの提供 モデル提供をより柔軟かつ透明にする ▸ 製品ダッシュボードとプロジェクト ワークスペースに統合され たモデル提供ユーザー インターフェイス (UI) ▸ TensorFlow、PyTorch、ONNX などのさまざま なモデル フレームワークをサポート ▸ 基盤モデル用に最適化されたすぐに使えるオプションま たは独自のカスタム推論サーバーのいずれかの 推論 サーバーを選択 ▸ Hugging FaceやStability AI などのプロバイダーからモ デルやGranite などの モデルを提供 ▸ ワークロードの必要に応じて クラスター リソースをス ケールアップまたはスケールダウン
22. モデルの提供 22 モデルを提供、拡張、監視する 必要なリソースを選択し、必 要に応じてモデル提供をス ケール モデルを公開して 安全にする モデル フレーム ワークを選択 デプロイされたモデ ル のエンドポイント を表示
23. 23 責任あるAI 責任あるAIとガバナンス LLM に関するさまざまな評価タスクを実行 し、知識、能力、行動を理解し定量化する LLMの評価 LLMガードレール ユーザーと生成 AI モデル間のやり取りを調 整し、安全でコンプライアンスに準拠した効率 的な運用を保証するカスタマイズ可能なガー ドレール フレームワーク AIモデルの監視 バイアス（結果の差異）とドリフト（デプロイメン トとトレーニング データの違い）のカスタマイ ズ可能なメトリックを使用して、表形式モデル の推論を監視します。 Generative AI application User Foundation model Prompt detector Outcome detector Request Response
24. データ サイエンス パイプライン 24 データ サイエンス パイプライン コンポーネント ▸ データ サイエンス タスクをパイプラインに統合 ▸ データの準備、モデルの構築、モデルの提供などのプロ セスを連鎖させる ▸ 本番環境でのモデルの継続的な配信とテスト ▸ パイプライン実行のスケジュール、追跡、管理 ▸ グラフィカルフロントエンドを使用してパイプラインを簡単 に構築 データを収集 データ処理 モデル トレーニング 既存のモデルをダウ ンロードする 新モデルと 既存モデルを比較 より良い場合は新 しいモデルをプッ シュ
25. データ サイエンス パイプライン 25 Red Hat OpenShift データサイエンスパイプラインの ユーザーインターフェイス OpenShift AI ユーザー イン ターフェイスを使用すると、パイ プラインとパイプラインの実行を 追跡および管理できます。
26. V00001 26 Red Hat OpenShift AI AI/ML ツール、ライブラリ、フレーム ワークなどにシームレスにアクセス するためのインタラクティブで協調的 な UI モデル開発 実稼働環境にモデルをデプロイ する ためのモデル提供ルーティング モデルの提供 モデルのパフォーマンスと精度を追 跡するための一元的な監視 モデルモニタリング データ サイエンス パイプラインを作 成および自動化 するためのビジュア ル エディター データとモデルのパイプライン 効率的なデータ処理、モデルのト レーニング、チューニング のための シームレスなエクスペリエンス 分散ワークロード Red Hat OpenShift AI - 主な機能 まとめ
27. Red Hat OpenShift AI: Supported Configurations 27 (参照)https://access.redhat.com/articles/rhoai-supported-configs
28. V00001 linkedin.com/company/red-hat youtube.com/user/RedHatVideos facebook.com/redhatinc twitter.com/RedHat V00001 28 Red Hat is the world’s leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you