【日本初導入】AWSをオンプレで使う！？「AWS Outpostsを用いたIoT/MLシステム」

© NTT Communications Corporation All Rights Reserved. 【日本初導入】AWSをオンプレで使う！？  「AWS Outpostsを用いたIoT/MLシステム」 
NTTコミュニケーションズ  イノベーションセンター  鈴ヶ嶺聡哲 

© NTT Communications Corporation All Rights Reserved. 2 自己紹介  名前
　・鈴ヶ嶺聡哲所属　・NTTコミュニケーションズイノベーションセンター　　テクノロジー部門 AIインフラPJ 業務内容　・クラウドの技術検証　・MLOps suzusuzu @suzu_3_14159265 AWS Outpostsに関する解説ブログも公開中！！ 

© NTT Communications Corporation All Rights Reserved. 3 アジェンダ  1.
クラウドアーキテクチャの課題  2. エッジコンピューティング  3. AWS Outpostsとは？  4. AWS Outpostsを用いたIoT/MLシステム  5. Azure Stack Hubとの比較  6. 所感&まとめ 

© NTT Communications Corporation All Rights Reserved. 5 クラウドアーキテクチャ  ▪
クラウドアーキテクチャの概要  • 青線：生産側が生データをクラウドに送信 • 赤線：消費側が結果をリクエスト • 緑線：クラウドは生データを処理して結果を返す引用: Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646.

© NTT Communications Corporation All Rights Reserved. 6 クラウドアーキテクチャ  ▪
クラウドアーキテクチャの課題  • IoTにおいて不十分な点が複数存在 • 応答時間が遅い • 中央処理・データ集約による遅延 • プライバシー保護の要件が満たせない • 外部クラウドに秘匿情報 • エネルギー効率が著しく低い • 全デバイスが生データでクラウドに通信引用: Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646.

© NTT Communications Corporation All Rights Reserved. 7 クラウドアーキテクチャの落とし穴  ▪
データ漏洩  • クラウド上の自社のアプリケーションに内在した脆弱性の結果、顧客の名前とパスワードを窃取された   ▪ データ喪失  • 社内手続きを忘れることにより更新処理が反映されず   ▪ 不十分な認証情報・アクセス管理  • GitHubに上げられた認証情報の盗み出し攻撃 • 仮想通貨マイニングのためのアカウントハイジャック

© NTT Communications Corporation All Rights Reserved. 9 エッジコンピューティング  ▪
エッジコンピューティング  • ネットワークのエッジで計算を可能とする技術 • ダウン・アップストリームデータの計算をする • エッジはデータソースとデータセンタの間に存在するあらゆるCompute・Network リソースを指す ▪ 得られる効果  • 応答時間が遅い 👉 近距離のエッジによる高速化  • プライバシー保護の要件が満たせない 👉 秘匿情報をエッジで管理  • エネルギー効率が著しく低い 👉 途中計算によるデータ・通信削減  引用: Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646.

© NTT Communications Corporation All Rights Reserved. 10 エッジコンピューティングの3層モデル   
引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8 (2019): 1474-1481.

IoT/MLシステムにおける最適な「Edge」とは？推論・学習可能な計算リソース素早い開発効率・基盤 DevOps クラウド連携サポート体制引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8 (2019): 1474-1481.

【日本初導入】AWS Outpostsを「Edge」としてIoT/MLシステムを構築引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8 (2019): 1474-1481. AWS Outposts 42Uラック 

© NTT Communications Corporation All Rights Reserved. 14 AWS Outpostsとは？ 
実際に導入したAWS Outposts  • AWS Outpostsはオンプレミスの施設にAWSのサービスを提供するハイブリッドクラウド  ▪ オンプレミスにクラウドと同じインフラストラクチャ、サービス、API、管理、および操作により一貫したハイブリッドエクスペリエンスを実現可能  ▪ AWS により、完全に管理され、サポートされる完全マネージド型インフラストラクチャ  • ユースケース  ▪ 低レイテンシーのコンピューティング  ◦ パブリッククラウドサーバーがアプリケーションのレイテンシー要件を満たすには離れすぎている場合、Outposts は必要な場所でアプリケーションを実行するのに役立ちます  ▪ ローカルデータ処理  ◦ コスト、サイズ、帯域幅または時間の制約により、一部のローカルデータセットを処理のためにクラウドに移行することは容易ではないが、Outposts を使用するとリージョン内の ML トレーニングとデータレイクを維持しながらローカルでデータを処理できます  ▪ データレジデンシー  ◦ 規制、契約、情報セキュリティ上の理由により、データを特定の国、州あるいは市町村に留める必要がある場合、Outposts ではワークロードを実行する場所およびデータが存在する場所をコントロールできます  ▪ 移行および最新化  ◦ オンプレミスのアプリケーションをクラウドに移動するのは困難だが、Outposts により、オンプロミスのアプリケーションをモダナイズすることで、準備完了時にアプリケーションを容易にクラウドに移行することができるため、移行が加速され且つ容易になります 

© NTT Communications Corporation All Rights Reserved. 15 AWS Outposts
設置の課題  ▪ 設置場所  • AWS Outposts ラックの物理的なセキュリティの責任 • AWS Outposts へのネットワーク接続の一貫性の責任 • GPUなどのインスタンスを選択する場合は高品質な電源が必要 ▪ Public AWSとの専用線接続  • AWS OutpostsとPublic AWS間は専用線で接続が推奨されている • 専用線を用意するには準備に多くの稼働や時間が必要 • 接続するネットワークの帯域も AWS から指定される • 推奨帯域は1Gbps以上 ▪ オンプレ環境との接続  • AWS Outpostsに接続可能なオンプレネットワークの保守・運用

© NTT Communications Corporation All Rights Reserved. 16 AWS Outpostsの設置場所・ネットワーク 
ToR 1 AWS Outposts ToR 2 境界 SW 1 境界 SW 2 Outposts Router FIC for AWS 東京リージョン  • 設置場所  👉 NTT Com のデータセンターサービス Nexcenter  • Public AWSとの専用線接続（Service Link接続） 👉 Flexible InterConnect(FIC)による迅速で安定した接続           • オンプレ環境との接続（Local Gateway接続）  ◦ オンプレ環境のIoT機器などに接続可能  ◦ 事前に登録したお客様所有の IP (CoIP)で通信可能  センサー SW センサー  センサー  センサー  Service Link接続 Local Gateway接続

© NTT Communications Corporation All Rights Reserved. 17 AWS上のOutpostsの扱い  Outposts
AWS Cloud Availability Zone (ap-northeast-1c) Availability Zone (ap-northeast-1a) Availability Zone (ap-northeast-1d) VPC Public subnet (b-public) Public subnet (c-public) Public subnet (d-public) Private subnet (b-private) Private subnet (c-private) Private subnet (d-private) Internet gateway NAT Gateway Availability Zone (ap-northeast-1d) Public subnet (outposts-public) Private subnet (outposts-private) Local Gateway EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2

AWS Cloud Availability Zone (ap-northeast-1c) Availability Zone (ap-northeast-1a) Availability Zone (ap-northeast-1d) VPC Public subnet (b-public) Public subnet (c-public) Public subnet (d-public) Private subnet (b-private) Private subnet (c-private) Private subnet (d-private) Internet gateway NAT Gateway Availability Zone (ap-northeast-1d) Public subnet (outposts-public) Private subnet (outposts-private) Local Gateway EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 物理的には独立している

AWS Cloud Availability Zone (ap-northeast-1c) Availability Zone (ap-northeast-1a) Availability Zone (ap-northeast-1d) VPC Public subnet (b-public) Public subnet (c-public) Public subnet (d-public) Private subnet (b-private) Private subnet (c-private) Private subnet (d-private) Internet gateway NAT Gateway Availability Zone (ap-northeast-1d) Public subnet (outposts-public) Private subnet (outposts-private) Local Gateway EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 論理的にはVPC内の1 subnet 物理的には独立している

AWS Cloud Availability Zone (ap-northeast-1c) Availability Zone (ap-northeast-1a) Availability Zone (ap-northeast-1d) VPC Public subnet (b-public) Public subnet (c-public) Public subnet (d-public) Private subnet (b-private) Private subnet (c-private) Private subnet (d-private) Internet gateway NAT Gateway Availability Zone (ap-northeast-1d) Public subnet (outposts-public) Private subnet (outposts-private) Local Gateway EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 EC2 論理的にはVPC内の1 subnet 物理的には独立している Subnet上にリソースを作成される

© NTT Communications Corporation All Rights Reserved. 21 AWS Outposts構成例 
https://aws.amazon.com/jp/outposts/pricing/  料金(Pricing)とリソース構成例構成によって搭載される内容が変わる 

© NTT Communications Corporation All Rights Reserved. 22 EC2インスタンスのベンチマーク  ▪
ベンチマークツール  • Unixbench • システムの性能評価 • ramspeed(INTmem) • メモリの性能評価 • MLPerf Image Segmentation • 機械学習の性能評価 ▪ 比較対象  • AWS Outposts • Public AWS(ap-northeast-1a) ▪ EC2インスタンスサイズ  • m5.large • 2vCPU • 8GiB • gp2 30GB • g4dn.2xlarge • 1GPU(NVIDIA Tesla T4) • 8vCPU • 32GiB • gp2 512GB

m5.large • 2vCPU • 8GiB • gp2 30GB Good  Good  Public AWSと同等のCPUインスタンスが使用可能 

g4dn.2xlarge • 1GPU(NVIDIA Tesla T4) • 8vCPU • 32GiB • gp2 512GB Good  Good  Good  Public AWSと同等のGPUインスタンスが使用可能 

© NTT Communications Corporation All Rights Reserved. 25 AWS Outpostsで利用可能なサービス 
• Amazon Elastic Compute Cloud (EC2)  • Amazon Elastic Container Service (ECS)  • Amazon Elastic Kubernetes Service (EKS)  • Amazon Elastic Block Store (EBS)  • Amazon EBS Snapshots  • Amazon Simple Storage Service (S3)  • Amazon Relational Database Service (RDS)  • Amazon Elasticache  • Amazon EMR  • Application Load Balancer (ALB)  • CloudEndure  • VMwareCloud  • Amazon Virtual Private Cloud 

© NTT Communications Corporation All Rights Reserved. 31 例：EC2の起動  Public
AWSと同様のOSイメージを選択可能

© NTT Communications Corporation All Rights Reserved. 35 例：EC2の起動(Terraform)  1.
Outposts上にsubnetを作成  「outposts_arn」にOutpostsのIDを渡す  2. 顧客所有のIP(オンプレ環境)  3. EC2インスタンスの作成 

© NTT Communications Corporation All Rights Reserved. 38 IoT/MLシステムの要件・課題  •
工業製品を生産しているBtoB企業  • 要件・課題  ◦ インターネットでのデータのやりとりは禁止されている機密データを扱う  ◦ 確実にデータ消去を保証するように、データの貯蔵先を把握する必要がある  ◦ 自社のオンプレシステムを運用しているが運用稼働が大きく、さらに使い勝手も非常に古いものになっており社内から不満が上がっている  ◦ 各拠点に工場があり、それぞれ統一的に制御可能なシステムが必要不可欠  ◦ AIを用いた生産システムを作成したいが、AI人材の確保が難しい状況  ◦ 作成したAIモデルをどう運用まで持っていけばいいのかわからない  Node-AI on Outposts を提案 

© NTT Communications Corporation All Rights Reserved. 39 ブラウザからノーコードで時系列データのAIモデルを作成できる  AIコラボレーションツール 
ノンコーディング・  誰でも理解可能な分析フロー構築ツール上で議論・報告書作成導入の判断・システム連携効率化ブラウザ上でカードを自由に  つなげ分析フローを構築  ユーザの知見を入れながら分析可能  Node-AI上でのコメントによる議論や  報告書を作成可能にすることで  コミュニケーションを省力化  要因分析・因果分析機能による  AIモデルの説明を可視化。  学習したAIモデルを簡単にシステム連携可能   時系列データに特化。予測や異常検知への適用や因果分析、要因分析などの課題に対応 

▪ 国内で初めてAWS Outpostsを導入し、自社データ分析ツールNode-AIを組み込んだソリューションNode-AI on AWS Outposts ▪ Node-AI on AWS Outpostsの特長 a. 機密情報をローカル環境に保持したままAIモデルによるデータ分析が可能 • 「Node-AI on AWS Outposts」は、「AWSクラウドサービス」で実施する必要のあったデータ分析をローカル環境で実施できるため、機密情報をパブリッククラウド環境に送信することなく、セキュアに分析することが可能です。 b. 大容量かつ高度なデータ分析を低遅延で実行 • 「Node-AI on AWS Outposts」は、「Node-AI」を活用することで、ノンコードで AIモデルを開発することや開発したAIを用いたデータ分析をローカル環境で実施することができます。クラウド上で提供されるサービスに比べ、よりデータソースに近い場所で処理するため、大容量データを低遅延で分析可能です。

© NTT Communications Corporation All Rights Reserved. 41 Node-AI on
Outpostsとは？  Outposts上で動作する時系列データ分析ツールNode-AI、というだけではなくデータ収集 → 加工 → 分析 → AIモデル作成 → モデルデプロイ → 推論 → 可視化といったデータ利活用のサイクルをセキュアな環境下でワンストップで提供

© NTT Communications Corporation All Rights Reserved. 42 Node-AI on
Outpostsのシステム構成  機密データの保管場所を考慮した、IoT＋ハイブリッドクラウド＋機械学習アーキテクチャ  工場A  工場B  Outposts  センサー  センサー  IoT  Edge  ①センサー  　データの収集  センサー  センサー  IoT  Edge  ②加工データ  ④AIモデルの登録  デバイス  管理  モデル  ストア  ⑤モデルの  　配布/更新  機械学習  エンジン  データ  ストア  ③データ参照  　分析・学習  AIモデル構築  お客様資産  クラウド 

© NTT Communications Corporation All Rights Reserved. 43 1. センサーデータ（機密）の収集 
AWS Greengrassによる複数拠点IoT Deviceの一元管理が可能  工場A  工場B  Outposts  センサー  センサー  IoT  Edge  ①センサー  　データの収集  センサー  センサー  IoT  Edge  デバイス  管理  モデル  ストア  機械学習  エンジン  データ  ストア  お客様資産  クラウド  IoT Edge/Deviceの管理・監視 AWS IoT Core AWS Greengrass AWS Greengrass

© NTT Communications Corporation All Rights Reserved. 44 2. センサーデータ（機密）をOutpostsに保存 
Outposts上のS3に安全に大量データを保存  工場A  工場B  Outposts  センサー  センサー  IoT  Edge  ①センサー  　データの収集  センサー  センサー  IoT  Edge  デバイス  管理  モデル  ストア  機械学習  エンジン  データ  ストア  お客様資産  クラウド  Amazon S3 データの保管先・大量のデータの保存・他サービスとの連携 ②加工データ 

© NTT Communications Corporation All Rights Reserved. 45 3. Node-AIでデータ分析 
Outposts上のNode-AIを用いることで機密データを自資産内に留めたままデータ分析が可能  工場A  工場B  Outposts  センサー  センサー  IoT  Edge  ①センサー  　データの収集  センサー  センサー  IoT  Edge  デバイス  管理  モデル  ストア  ⑤モデルの  　配布/更新  機械学習  エンジン  データ  ストア  お客様資産  クラウド  ③データ取得  　分析・学習  Amazon S3 ②加工データ 

© NTT Communications Corporation All Rights Reserved. 46 4. Node-AIでAIモデルを登録 
Node-AIで作成したAIモデルをパブリッククラウド内のストレージに保存  工場A  工場B  Outposts  センサー  センサー  IoT  Edge  ①センサー  　データの収集  センサー  センサー  IoT  Edge  デバイス  管理  モデル  ストア  機械学習  エンジン  データ  ストア  お客様資産  クラウド  ③データ取得  　分析・学習  ④構築モデルの登録  Amazon S3, ECR ②加工データ 

© NTT Communications Corporation All Rights Reserved. 47 5. Node-AIでAIモデルを配布 
AIモデルの保存を検知してデバイス管理サービスにモデル更新などを命令工場A  工場B  Outposts  センサー  センサー  IoT  Edge  ①センサー  　データの収集  センサー  センサー  IoT  Edge  ②処理済みデータ群　の送信  デバイス  管理  モデル  ストア  機械学習  エンジン  データ  ストア  お客様資産  クラウド  ③データ取得  　分析・学習  ④構築モデルの登録  AIモデルの保存を検知  AWS Lambda Amazon S3, ECR AWS IoT Core 保存先に応じたデプロイを命令 

© NTT Communications Corporation All Rights Reserved. 48 6. IoT
Edge デバイスを更新  AIモデルの保存を検知してデバイス管理サービスにモデル更新などを命令工場A  工場B  Outposts  センサー  センサー  IoT  Edge  センサー  センサー  IoT  Edge  デバイス  管理  モデル  ストア  機械学習  エンジン  データ  ストア  お客様資産  クラウド  AIモデルの保存を検知  保存先に応じたデプロイを命令  AWS Lambda Amazon S3, ECR AWS IoT Core 以下を対象デバイスに対して実行  ・推論アプリのデプロイ  ・AIモデルの送信  ・推論実行

© NTT Communications Corporation All Rights Reserved. 49 7. リアルタイムに推論結果をモニタリング 
AIモデルを使って推論を実行し、その結果をリアルタイムに可視化工場A  工場B  Outposts  センサー  センサー  IoT  Edge  センサー  センサー  IoT  Edge  デバイス  管理  モデル  ストア  機械学習  エンジン  データ  ストア  お客様資産  クラウド  保存先に応じた  デプロイを命令  可視化  エンジン  センサーデータと推論結果を  リアルタイムに送信リアルタイムに可視化 Amazon EC2

© NTT Communications Corporation All Rights Reserved. 51 IoT/MLシステムの要件・課題と解決方法  •
要件・課題と解決方法  ◦ インターネットでのデータのやりとりは禁止されている機密データを扱う  ◦ 確実にデータ消去を保証するように、データの貯蔵先は把握する必要がある  秘匿すべきデータを全てお客様資産内のAWS Outposts上で貯蔵・処理可能  ◦ 自社のオンプレシステムを運用しているが運用稼働が大きく、さらに使い勝手も非常に古いものになっており社内から不満が上がっている  AWS OutpostsのHW管理はすべてAWS側が実施  ◦ 各拠点に工場があり、それぞれ統一的に制御可能なシステムが必要不可欠  AWS IoT Coreによる統一的制御（センサー制御、学習モデルデプロイ）  ◦ AIを用いた生産システムを作成したいが、AI人材の確保が難しい状況  Node-AIを用いて簡単にAIモデルを構築可能  ◦ 作成したAIモデルをどう運用まで持っていけばいいのかわからない  推論アプリケーションとのシームレスな連携、リアルタイム推論の可視化を実現 

Hubとの比較  1. ハードウェア  2. コンソール  3. 権限管理  4. リソース管理  5. VMサイズの管理  6. パブリッククラウド接続  7. トラブル対応  8. 料金体系  9. 比較表 

Hubとの比較  ハードウェア AWS Outposts Azure Stack Hub ハードウェアベンダー製 AWS独自実装

Hubとの比較  コンソール AWS Outposts Azure Stack Hub 独自ポータル AWSポータルと統合

Hubとの比較  権限管理 AWS Outposts Azure Stack Hub Azure Active Directoryに統合 AWS IAMに統合

Hubとの比較  リソースの管理 AWS Outposts Azure Stack Hub Azureと完全に独立したリソース AWSのリソースと統一 Azure Stack Hub   Azure 

Hubとの比較  VMサイズの管理 AWS Outposts Azure Stack Hub 自由に分割可能購入時に分割方法指定

Hubとの比較  パブリッククラウド接続 AWS Outposts Azure Stack Hub 接続しなくてもいいプランあり接続は必須パブリッククラウド接続 AWS Outposts Azure Stack Hub

Hubとの比較  トラブル対応 AWS Outposts Azure Stack Hub SWトラブル HWトラブル HW/SW トラブル HW/SWでエスカレーション先が異なる HW/SW 同一のエスカレーション先各HWベンダー 

Hubとの比較  料金体系 AWS Outposts Azure Stack Hub 基本従量課金 ※ 切断モデルの場合はサブスクリプションサブスクリプション

Hubとの比較  比較表 Microsoft Azure Stack Hub AWS Outposts ハードウェア各ベンダー製 AWS独自コンソール独立統合権限管理 AAD統合 IAM統合リソース管理独立管理統合管理 VMサイズの管理自由に分割事前に決定パブリッククラウド接続必須ではない必須トラブル対応 HW / SWで分離 HW / SWで同一料金体系基本従量課金 ※切断モデルの場合はサブスクリプションサブスクリプション Azure Stack Hubは独立管理、Outpostsは統合管理

© NTT Communications Corporation All Rights Reserved. 64 Outpostsを利用した所感  メリット 
• 操作方法はAWSと変わらないのでAWSを触ったことがある人はすぐ扱える  • 迅速にインフラ構築が可能  • HW管理を任せることができるのでサービス開発に注力できる  • AWSシステムとの親和性が高い  ◦ 論理上はVPCの一つのサブネットとして扱われる  ◦ Outposts上のリソースもIAMによるアクセスコントロールが可能  ◦ 既存のAWSシステムのサービスを移植するのが容易  ◦ PublicとOutposts間でリソースの移行が簡単に行える  • Cloudformation, CDK, TerrafromなどのIaCツールでインフラ構築の自動化可能    デメリット  • 基本的にPublic AWSとの接続が必須であるので完全にインターネットから独立した環境で使用することはできない（タンカー、僻地など）  • 構成に関する自由度が低く、内部は完全ブラックボックス 

© NTT Communications Corporation All Rights Reserved. 65 まとめ  ▪
「Edge」としてのAWS Outpostsを検証 • オンプレ環境でAWSサービスを利用可能 ▪ AWS Outpostsを用いたデータ分析ソリューションをNode-AI on Outpostsを紹介 • 機密情報をローカル環境に保持したままAIモデルによるデータ分析が可能 • 大容量かつ高度なデータ分析を低遅延で実行 ▪ Azure Stack Hubとの比較 • Azure Stack Hubは独立管理 • Outpostsは統合管理「AWS Outposts」を活用したNTT ComのDXソリューションのイメージ ToR 1 AWS Outposts ToR 2 境界 SW 1 境界 SW 2 Outposts Router 東京リージョン  センサー SW Service Link接続 Local Gateway接続

© NTT Communications Corporation All Rights Reserved. 66 お問い合わせ先  NTTコミュニケーションズ
ニュースリリース  国内初、「AWS Outposts」に自社データ分析ツールを組み込んだソリューションを開発  ～AWSとの連携により、お客さまのDXをワンストップでサポート～    ▪ 本件に関するお問い合わせ先  • ビジネスソリューション本部 • ソリューションサービス部 • フォームからお問い合わせ • https://www.ntt.com/contact-us/news/news_2022017.html

【日本初導入】AWSをオンプレで使う！？「AWS Outpostsを用いたIoT/MLシステム」

【日本初導入】AWSをオンプレで使う！？「AWS Outpostsを用いたIoT/MLシステム」

More Decks by suzu

Other Decks in Programming

Featured

Transcript