Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Storage Gatewayで始めるセキュアなデータ連携 / Secure data...
Search
Yuji Oshima
June 05, 2024
Technology
2
460
AWS Storage Gatewayで始めるセキュアなデータ連携 / Secure data linkage with AWS Storage Gateway
「Storage-JAWS #4 Storage LT祭り」で発表した資料
https://storage-jaws.connpass.com/event/319243/
Yuji Oshima
June 05, 2024
Tweet
Share
More Decks by Yuji Oshima
See All by Yuji Oshima
re:Invent 2024のアップデート予測の答え合わせとCloudWatchのアップデート振り返り / Check the Answers to re:Invent 2024 Update Predictions and Review CloudWatch Updates
yuj1osm
0
26
スタートアップで取り組んでいるAzureとMicrosoft 365のセキュリティ対策/How to Improve Azure and Microsoft 365 Security at Startup
yuj1osm
0
330
re:Invent をおうちで楽しんでみた ~CloudWatch のオブザーバビリティ機能がスゴい!/ Enjoyed AWS re:Invent from Home and CloudWatch Observability Feature is Amazing!
yuj1osm
0
170
Microsoft Azure全冠になってみた ~アレを使い倒した者が試験を制す!?~/Obtained all Microsoft Azure certifications Those who use "that" to the full will win the exam! ?
yuj1osm
2
190
Google Cloud 全冠になってみた ~AI時代を生き残るための自己研鑽 ~/Obtained all Google Cloud Certifications Self-Improvement to Survive in the AI Era
yuj1osm
1
140
生成AI時代のセキュリティはAWSでどう進化する? ~AWSセキュリティの3つのポイントからアップデートを予測する~ / How will Security Evolve on AWS in the Era of Generative AI and Predicting Updates from 3 Points of AWS Security
yuj1osm
0
140
AWS re:Inventを徹底的に楽しむためのTips / Tips for thoroughly enjoying AWS re:Invent
yuj1osm
1
1.2k
AWS re:Inforce 2024をおうちで楽しんでみた / Enjoyed AWS re:Inforce 2024 from home
yuj1osm
1
260
AWS BuilderCardsの遊び方 / How to play AWS BuilderCards
yuj1osm
1
330
Other Decks in Technology
See All in Technology
君はPostScriptなウィンドウシステム 「NeWS」をご存知か?/sunnews
koyhoge
0
630
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
6
56k
サーバーレスで楽しよう!お気軽に始められる3つのポイント / Have fun with Serverless!
_kensh
3
290
CNAPPから考えるAWSガバナンスの実践と最適化
yuobayashi
5
740
もし今からGraphQLを採用するなら
kazukihayase
10
4.5k
ソフトウェアアーキテクトのための意思決定術: Software Architecture and Decision-Making
snoozer05
PRO
20
4.3k
まだ間に合う! エンジニアのための生成AIアプリ開発入門 on AWS
minorun365
PRO
4
480
AWSエンジニアに捧ぐLangChainの歩き方
tsukuboshi
2
430
デザインから逆算して難易度を見積もるための観点
fumiyasac0921
0
110
マルチデータプロダクト開発・運用に耐えるためのデータ組織・アーキテクチャの遷移
mtpooh
1
380
プロダクト価値を引き上げる、「課題の再定義」という習慣
moeka__c
0
220
Classmethod AI Talks(CATs) #15 司会進行スライド(2025.02.06) / classmethod-ai-talks-aka-cats_moderator-slides_vol15_2025-02-06
shinyaa31
0
120
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.4k
The Invisible Side of Design
smashingmag
299
50k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
A better future with KSS
kneath
238
17k
Producing Creativity
orderedlist
PRO
343
39k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.2k
The Language of Interfaces
destraynor
156
24k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Transcript
AWS Storage Gatewayで始めるセキュアなデータ連携 大島 悠司 Storage-JAWS #4 Storage LT祭り
自己紹介 ◼ 大島 悠司 (Yuji Oshima) • NRI / NRIセキュア
/ ニューリジェンセキュリティ • SREグループマネージャー • AWS Community Builders (Security & Identity) • 2023 Japan AWS Top Engineers (Security) • 2022-2023 Japan AWS All Certifications Engineers • 10大脅威選考会 • 情報処理技術者試験委員会・情報処理安全確保支援士試験委員会 • JAWU-UG横浜支部 ◼ 経歴 • デジタルフォレンジック、マルウェア解析、スレットインテリジェンス • SOC、基盤運用、インシデントレスポンス • サービス開発、基盤構築運用、研究開発 yuj1osm 2
背景 ◼ 運用中のサービスで利用している膨大なデータを、他サービスで処理するために連携する要件あり 3 うちは OCI (Oracle Cloud Infrastructure) を使ってます
データを連携できるようにするので要件を教えてください OCI に Windows Server が載ってます SMB (Server Message Block) で連携したいです
要件整理 ◼ やりたいこと • OCI 上の Windows Server から S3
に SMB 接続ができること • Windows Server から S3 のオブジェクトを読み書きできること 4 AWS OCI OCI Compute SMB(445)
AWS Storage Gatewayを利用 ◼ AWS Storage Gateway とは • オンプレミス環境のデータとクラウドストレージの橋渡しをするサービス
• 高い拡張性、データ転送時のSSL/TLS暗号化やロギングなどのセキュリティ機能 • 以下のタイプが利用可 • S3ファイルゲートウェイ :SMB/NFSプロトコルを使ったS3へのアクセスを提供 • テープゲートウェイ :物理テープの代替として仮想テープライブラリを提供 • ボリュームゲートウェイ :iSCSIベースのストレージボリュームを提供 • S3ファイルゲートウェイの料金 ① ゲートウェイのEC2 + EBS 利用料 ② ゲートウェイ利用料 :ゲートウェイからS3への書き込み 0.01 USD/GB(100 GB/アカウントまで無料) ③ S3データ転送量 :inは無料 ④ S3データ保存量 5 Storage Gateway S3 ② EC2 EBS ① ③ ④
検証してみた ◼ OCI の代わりに AWS を利用 ◼ S3 と EBS
がファイル共有されており、EBS がアタッチされた EC2 に対して SMB アクセス ◼ アカウントB 側からは S3 に直接マウントしているように見える 6
◼ ゲートウェイを新規作成する 7 ゲートウェイセットアップ1 S3ファイルゲートウェイを選択 EC2を起動する 以下の文章に細かな要件が 書いてあるのでよく読むこと
ゲートウェイセットアップ2 ◼ EC2インスタンスを起動 • インスタンスタイプ m5.xlarge 以上 • EBS は
150 GiB 以上 • SMB の場合はセキュリティグループの インバウンドで TCP/445 を許可 8 セットアップ時だけ作業端末からの TCP/HTTP 許可が必要 これが無いとセットアップがエラーになる セットアップ後に TCP/HTTP のみ削除
ゲートウェイセットアップ3 ◼ ゲートウェイに戻って作成を完了させる 9 成功するとこの画面に遷移し、 EBSがキャッシュとして認識される 失敗するとこの画面に遷移する セキュリティグループの設定ミスの可能性が高い 設定内容を確認し「次へ」を押下 OK
NG
ファイル共有セットアップ1 ◼ ファイル共有を新規作成する 10 エンドポイントのサービスがS3でない場合 エンドポイントのインバウンドで TCP/443を許可してない場合 共有するS3バケットを指定
ファイル共有セットアップ2 ◼ SMBアクセスやキャッシュのTTLを設定 11 S3からはリアルタイム同期されない SMBのパスワードを設定
ファイル共有セットアップ3 ◼ ファイル共有作成後にSMBアクセスのためのコマンドを控えておく 12 net use Z: ¥¥<test-storagegw-eip>¥test-storagegw-bucket /user:sgw-XXXXXXXX¥smbguest SMBアクセスのためのコマンド
ドライブマウント確認 ◼ Windows Server から先ほど控えたコマンドを実行する 13 ファイル共有作成時に設定したパスワード入力 成功すると、「The command completed
successfully.」 と表示される エクスプローラーを見ると、ZドライブにS3がマウントされている
ファイル共有確認 ◼ Windows Server → S3 14 ◼ S3 →
Windows Server リアルタイムに反映 ファイル共有作成時のTTLの 設定どおり、遅延して反映
CloudWatch確認 ◼ 先ほどの「Windows Server → S3」のログ • ファイル作成と属性書き込みにより 「New Text
Document.txt」 が作成される • その後ファイル名変更と属性書き込みで 「windows_to_s3.txt」 に変更される 15
CloudWatchアラーム ◼ 以下のアラームが自動で作成される • CachePercentDirty :Storage Gateway から S3 へのアップロードできていない割合
• FileSharesUnavailable :Storage Gateway で使用不可状態にあるファイル共有の数 • IoWaitPercent :Storage Gateway の I/O の割合 16
推奨監視項目 ◼ 以下のようなメトリクスを監視しておくとよい 17 メトリクス 概要 UserCpuPercent ゲートウェイのCPU利用率 MemUsedBytes MemTotalBytes
ゲートウェイのメモリ利用量と合計量 RootDiskFreeBytes ゲートウェイのルートディスク空き容量数 NfsSessions ゲートウェイのアクティブなNFSセッションの数 SmbV1Sessions SmbV2Sessions SmbV3Sessions ゲートウェイのアクティブなSMBセッションの数 CachePercentUsed ゲートウェイのキャッシュストレージ利用率 FilesFailingUpload AWSへのアップロードに失敗したファイル数
まとめ Storage Gatewayを活用するメリット ◼ オンプレミスとのハイブリッドクラウドや他クラウドとのマルチクラウドなストレージを構築 ◼ データをシームレスに連携 ◼ 暗号化やロギングの機能によりセキュリティとコンプライアンスを確保 ◼
要件に応じて様々なゲートウェイタイプに対応 18