Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Storage Gatewayで始めるセキュアなデータ連携 / Secure data...
Search
Yuji Oshima
June 05, 2024
Technology
2
320
AWS Storage Gatewayで始めるセキュアなデータ連携 / Secure data linkage with AWS Storage Gateway
「Storage-JAWS #4 Storage LT祭り」で発表した資料
https://storage-jaws.connpass.com/event/319243/
Yuji Oshima
June 05, 2024
Tweet
Share
More Decks by Yuji Oshima
See All by Yuji Oshima
AWS re:Inforce 2024をおうちで楽しんでみた / Enjoyed AWS re:Inforce 2024 from home
yuj1osm
1
210
AWS BuilderCardsの遊び方 / How to play AWS BuilderCards
yuj1osm
1
240
2023年のAWSセキュリティと生成AIを振り返る / Review AWS Security and Generative AI in 2023
yuj1osm
0
260
re:Invent 2023で感じたセキュリティの民主化と生成AI活用の未来 / The future of security democratization and generative AI as I felt at re:Invent 2023
yuj1osm
2
410
AWS Top Engineer (Security)がre:Invent 2023で見たセキュリティの民主化と生成AI活用の未来 / The future of security democratization and generative AI as seen by AWS Top Engineer (Security) at re:Invent 2023
yuj1osm
0
230
AWS re:Invent 2023に参加してきた ~Amazon Inspectorのアップデートを添えて~ / AWS re:Invent 2023 Participation Bulletin with Amazon Inspector Updates
yuj1osm
0
600
Amazon Inspectorの進化がアツい!脆弱性管理サービスをよりインテリジェントに / Amazon Inspector's Evolution is Hot! Making Vulnerability Management Services more Intelligent
yuj1osm
1
430
クラウド時代を生き抜くためのセキュリティ技術と人材育成 / Security Technology and Human Resource Development to Survive in the Cloud Era
yuj1osm
0
210
アナハイムに行ってきた!AWS re:Inforce 2023参加報告(速報版) / AWS re:Inforce 2023 Participation Bulletin
yuj1osm
0
900
Other Decks in Technology
See All in Technology
Grafana エコシステムの活用事例 on ABEMA
tetsuya28
5
710
SageMaker学習のツボ / The Key Points of Learning SageMaker
cmhiranofumio
0
270
Automated Tests Now and Future @ SQiP Workshop Special Lecture 2024
teyamagu
PRO
2
440
Rist_Meetup_Kaggleは業務の役にたつ - ビジネスコンテンツ情報を活用する BtoB 事業編 - / rist-meetup-20241012
taro_masuda
0
260
まだ間に合う! 生成AIトレンド一挙おさらい & AWSのBedrockに入門しよう
minorun365
PRO
4
140
0x5F3759DF
ykozw
0
320
エンジニアのドメイン知識獲得コストを低減するアプリケーションデザイン
ryo_nagata_
3
130
Oracle Cloud Infrastructure:2024年10月度サービス・アップデート
oracle4engineer
PRO
0
140
RSGT Walk Through
kawaguti
PRO
2
370
The road to green code (with Sonar)
bluehats
0
150
AWS DDKを利用したDataOps事始め
beex
1
160
今日から始める技術的負債の解消
leveragestech
3
440
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
232
130k
10 Git Anti Patterns You Should be Aware of
lemiorhan
653
59k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
3
330
Practical Orchestrator
shlominoach
186
10k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
46
4.9k
The Pragmatic Product Professional
lauravandoore
31
6.2k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
5
130
Making Projects Easy
brettharned
115
5.9k
Optimizing for Happiness
mojombo
375
69k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
105
48k
Music & Morning Musume
bryan
46
6.1k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
1.9k
Transcript
AWS Storage Gatewayで始めるセキュアなデータ連携 大島 悠司 Storage-JAWS #4 Storage LT祭り
自己紹介 ◼ 大島 悠司 (Yuji Oshima) • NRI / NRIセキュア
/ ニューリジェンセキュリティ • SREグループマネージャー • AWS Community Builders (Security & Identity) • 2023 Japan AWS Top Engineers (Security) • 2022-2023 Japan AWS All Certifications Engineers • 10大脅威選考会 • 情報処理技術者試験委員会・情報処理安全確保支援士試験委員会 • JAWU-UG横浜支部 ◼ 経歴 • デジタルフォレンジック、マルウェア解析、スレットインテリジェンス • SOC、基盤運用、インシデントレスポンス • サービス開発、基盤構築運用、研究開発 yuj1osm 2
背景 ◼ 運用中のサービスで利用している膨大なデータを、他サービスで処理するために連携する要件あり 3 うちは OCI (Oracle Cloud Infrastructure) を使ってます
データを連携できるようにするので要件を教えてください OCI に Windows Server が載ってます SMB (Server Message Block) で連携したいです
要件整理 ◼ やりたいこと • OCI 上の Windows Server から S3
に SMB 接続ができること • Windows Server から S3 のオブジェクトを読み書きできること 4 AWS OCI OCI Compute SMB(445)
AWS Storage Gatewayを利用 ◼ AWS Storage Gateway とは • オンプレミス環境のデータとクラウドストレージの橋渡しをするサービス
• 高い拡張性、データ転送時のSSL/TLS暗号化やロギングなどのセキュリティ機能 • 以下のタイプが利用可 • S3ファイルゲートウェイ :SMB/NFSプロトコルを使ったS3へのアクセスを提供 • テープゲートウェイ :物理テープの代替として仮想テープライブラリを提供 • ボリュームゲートウェイ :iSCSIベースのストレージボリュームを提供 • S3ファイルゲートウェイの料金 ① ゲートウェイのEC2 + EBS 利用料 ② ゲートウェイ利用料 :ゲートウェイからS3への書き込み 0.01 USD/GB(100 GB/アカウントまで無料) ③ S3データ転送量 :inは無料 ④ S3データ保存量 5 Storage Gateway S3 ② EC2 EBS ① ③ ④
検証してみた ◼ OCI の代わりに AWS を利用 ◼ S3 と EBS
がファイル共有されており、EBS がアタッチされた EC2 に対して SMB アクセス ◼ アカウントB 側からは S3 に直接マウントしているように見える 6
◼ ゲートウェイを新規作成する 7 ゲートウェイセットアップ1 S3ファイルゲートウェイを選択 EC2を起動する 以下の文章に細かな要件が 書いてあるのでよく読むこと
ゲートウェイセットアップ2 ◼ EC2インスタンスを起動 • インスタンスタイプ m5.xlarge 以上 • EBS は
150 GiB 以上 • SMB の場合はセキュリティグループの インバウンドで TCP/445 を許可 8 セットアップ時だけ作業端末からの TCP/HTTP 許可が必要 これが無いとセットアップがエラーになる セットアップ後に TCP/HTTP のみ削除
ゲートウェイセットアップ3 ◼ ゲートウェイに戻って作成を完了させる 9 成功するとこの画面に遷移し、 EBSがキャッシュとして認識される 失敗するとこの画面に遷移する セキュリティグループの設定ミスの可能性が高い 設定内容を確認し「次へ」を押下 OK
NG
ファイル共有セットアップ1 ◼ ファイル共有を新規作成する 10 エンドポイントのサービスがS3でない場合 エンドポイントのインバウンドで TCP/443を許可してない場合 共有するS3バケットを指定
ファイル共有セットアップ2 ◼ SMBアクセスやキャッシュのTTLを設定 11 S3からはリアルタイム同期されない SMBのパスワードを設定
ファイル共有セットアップ3 ◼ ファイル共有作成後にSMBアクセスのためのコマンドを控えておく 12 net use Z: ¥¥<test-storagegw-eip>¥test-storagegw-bucket /user:sgw-XXXXXXXX¥smbguest SMBアクセスのためのコマンド
ドライブマウント確認 ◼ Windows Server から先ほど控えたコマンドを実行する 13 ファイル共有作成時に設定したパスワード入力 成功すると、「The command completed
successfully.」 と表示される エクスプローラーを見ると、ZドライブにS3がマウントされている
ファイル共有確認 ◼ Windows Server → S3 14 ◼ S3 →
Windows Server リアルタイムに反映 ファイル共有作成時のTTLの 設定どおり、遅延して反映
CloudWatch確認 ◼ 先ほどの「Windows Server → S3」のログ • ファイル作成と属性書き込みにより 「New Text
Document.txt」 が作成される • その後ファイル名変更と属性書き込みで 「windows_to_s3.txt」 に変更される 15
CloudWatchアラーム ◼ 以下のアラームが自動で作成される • CachePercentDirty :Storage Gateway から S3 へのアップロードできていない割合
• FileSharesUnavailable :Storage Gateway で使用不可状態にあるファイル共有の数 • IoWaitPercent :Storage Gateway の I/O の割合 16
推奨監視項目 ◼ 以下のようなメトリクスを監視しておくとよい 17 メトリクス 概要 UserCpuPercent ゲートウェイのCPU利用率 MemUsedBytes MemTotalBytes
ゲートウェイのメモリ利用量と合計量 RootDiskFreeBytes ゲートウェイのルートディスク空き容量数 NfsSessions ゲートウェイのアクティブなNFSセッションの数 SmbV1Sessions SmbV2Sessions SmbV3Sessions ゲートウェイのアクティブなSMBセッションの数 CachePercentUsed ゲートウェイのキャッシュストレージ利用率 FilesFailingUpload AWSへのアップロードに失敗したファイル数
まとめ Storage Gatewayを活用するメリット ◼ オンプレミスとのハイブリッドクラウドや他クラウドとのマルチクラウドなストレージを構築 ◼ データをシームレスに連携 ◼ 暗号化やロギングの機能によりセキュリティとコンプライアンスを確保 ◼
要件に応じて様々なゲートウェイタイプに対応 18