DevelopersIO 2023 沖縄 オンライン #devio2023 の登壇資料です
https://classmethod.connpass.com/event/294845/
Amazon FSx for NetApp ONTAPを利用するときに気をつけることn選〜移行プロセスを添えて〜2023/9/28AWS事業本部 のんピ1
View Slide
自己紹介 2{"本名": "山本 涼太 (覚えなくて良い定期)","部署": "AWS事業本部 コンサルティング部","前職": "インフラエンジニア in データセンター","興味のあること": "面白そうなブログネタ探し","好きなAWSサービス": ["Amazon FSx for NetApp ONTAP""AWS Transit Gateway","AWS Step Functions""AWS CDK"],"称号" : ["2023 Japan AWS Ambassador","NetApp Advanced Solution Leading Award 2023",]}
悩んだことはありませんか? 3一般的なファイルサーバー用途ではどのサービスを使うべき??
4AWSには複数のファイルストレージサービスがある
5ファイルサーバーのファーストチョイスはAmazon FSx for NetApp ONTAP！
6なぜ?
7安くて高機能
FSxNとFSxWの比較 8項目 Amazon FSx for Windows File Server Amazon FSx for NetApp ONTAPプロトコル ● SMB 2, 3.1.1 ● SMB 2, 3.1.1● NFS v3, v4.0, v4.1● iSCSI● S3高可用性 ● Single-AZ or Multi-AZ● SAL 99.99%（Multi-AZ）● Single-AZ or Multi-AZ● SLA 99.99%（Multi-AZ）, 99.9% （Single-AZ）データ保護 ● VSS● バックアップ（ FSx組み込みのバックアップ機能）● スナップショット● レプリケーション（ SnapMirror）● バックアップ（ FSx組み込みのバックアップ機能 , SnapVault）コスト最適化 ● 重複排除・圧縮（ Windowsの機能） ● 重複排除 / 圧縮 / コンパクション● シンプロビジョニング● ストレージ階層化最大容量 ● 64TB（SSD or HDD） ● SSD：192TB + Capacity Pool：無制限最大スループット ● 12GB/sec ● 4GB/sec料金 ● SSD : 0.276USD/GB （Multi-AZの場合）● スループット : 5.175USD/MBps（Multi-AZの場合）● SSD : 0.300USD/GB （Multi-AZの場合）● スループット : 1.511USD/MBps（Multi-AZの場合）対応国内リージョン ● 東京、大阪 ● 東京のみ（大阪リージョン未対応）その他 ● クォータ設定：ユーザ単位のみ可能● アンチウイルス：なし● クォータ設定：ディレクトリレベルで可能● アンチウイルス：サードパーティ製品と連携可能
ほぼ同じ条件で月額使用料を試算してみる 9FSxW● デプロイタイプ : Multi-AZ● ストレージタイプ : SSD● ストレージサイズ : 1TB● 重複排除による削減量 : 65% (プロビジョニングするストレージは 350GB)● スループット : 128MBps● バックアップストレージ : 100GBFSxN● デプロイタイプ : Multi-AZ● ストレージサイズ : 1TB● キャプールストレージの読み取りリクエスト : 10,000,000● キャプールストレージの書き込みリクエスト : 10,000,000● SSD IOPS : 3,072● SSD のデータ割合 : 20% (SSDの最小が1TBであるため試算結果に影響しない )● 圧縮と重複排除による削減量 : 65%● スループット : 128MBps● バックアップストレージ : 100GB
試算結果 10重複排除や圧縮を差し引いてもFSxNが安いFSxW : 763.07USD FSxN : 566.71USD
以下に当てはまらなければFSxNを使うべき 111. ファイルシステムのサイズが数十GB2. SSDではなくHDDで十分3. 4GB/sec以上のスループットが必要4. 大阪リージョンにバックアップを転送する必要がある5. Multi-AZ構成でオンプレミスからのDirect Connect経由でアクセスが必要だがTransit VIFの用意ができない6. ファイルアクセス監査ログをClowdWatch Logs、Kinesis DataFirehoseに出力したい7. Amazon FSx File Gatewayでキャッシュを置きたい8. Amazon Kendraでインテリジェントな検索をしたい
いざプロジェクト開始! 12普段触らないストレージOSゆえに思わぬ落とし穴が
13ファイルサーバー移行のプロセス毎に注意すべき点を紹介します
ファイルサーバー移行プロセス 141. 要件整理2. 設計・構築3. データ移行・切り替え
15要件整理編
大きく7つのカテゴリについてヒアリング 161. 移行の背景や課題2. 移行元のONTAPやファイルサーバーの用途について3. 扱うデータについて4. 認証について5. 運用について6. 移行について7. コストについて
まとめています 17https://dev.classmethod.jp/articles/amazon-fsx-for-netapp-ontap-migration-questionnaire/
18設計・構築編
1. utf8mb4 は必ず設定しよう 19ボリュームのデフォルトの C.UTF-8 は4バイト文字に未対応𩸽 や 𠮷 などの4バイト文字がファイル名に含まれるとエラー
1. utf8mb4 は必ず設定しよう 20ボリューム作成後に設定変更することは非推奨テクニカルサポートへの指示を受けた上で実施すべき
1. utf8mb4 は必ず設定しよう 21SVMを作成したら即、ボリュームの言語設定を変更すべき以降作成されるボリュームの言語はutf8mb4 になる
2. SSDは小さくプロビジョニングする 22
2. SSDは小さくプロビジョニングする 23
2. SSDは小さくプロビジョニングする 24重複排除・圧縮がかかることを考慮しなければ無駄な課金が
3. Single-AZ ⇔ Multi-AZに切替はできない 25直接Single-AZ ⇔ Multi-AZに切替できない=> SnapMirrorでデータ転送をした上で手動で切り替え
4. Multi-AZの場合はTransit Gatewayが必要な可能性アリ 26別ネットワークから接続する場合は対策が必要
4. Multi-AZの場合はTransit Gatewayが必要な可能性アリ 27Transit Gatewayで接続するのが一般的
4. Multi-AZの場合はTransit Gatewayが必要な可能性アリ 28Transit Gatewayの用意が難しければNLBでも代用可能
5. Backupの柔軟性を重視するならSnapMirror 29リストア時に一度SSDに書き込まれるので注意=> ボリュームのサイズによってはSSDが枯渇
5. Backupの柔軟性を重視するならSnapMirror 30SnapMirror / SnapVaultであれば帯域制御がかけられる
5. Backupの柔軟性を重視するならSnapMirror 31バックアップストレージは高い=> Capacity Pool Storageの別のFSxNに転送するのも良
32データ移行・切り替え編
1. Tiering Policy Allは諸刃の刃 33重複排除・圧縮がかかりきる前にTieringしてしまう=> Capacity Pool Storageでの処理は未サポートhttps://www.netapp.com/media/17239-tr4598.pdf
1. Tiering Policy Allは諸刃の刃 34重複排除・圧縮をしっかりかける & SSDサイズの最小化
35まとめ
まとめ 36● 机上だけではなく、PoCをして使用感を確かめよう● NetAppのドキュメントを良く読もう
37
non97
yoshiitaka
nishiuma
replu
nikkei_engineer_recruiting
coconala_engineer
rilmayer
masasuzu
h1kita
peisuke
bigwheel
mosa_siru
cimadai
dougneiner
zakiyama
jonyablonski
cromwellryan
holman
marcduiker
tanoku
bkeepers
geeforr
tmm1
notwaldorf
andyhume