20250601_storage_and_bigdate_JAWS

Transcript

1. ビッグデータを読み出すストレージについて S3とS3Expressどっちを選択するべきか 2025/06/02 白"雪姫"(Shirayuki) a.k.a YUKI SUNAOKA
2. 自己紹介 ➢ Name ◦ 白”雪姫”（Shirayuki) a.k.a YUKI SUNAOKA ➢ Company ◦ （色々お騒がせしてる）株式会社ゆめみ ➢ Jobs ◦ SRE and Security Engineer ➢ Certificate ◦ CLF/SAA/SAPro/ANS/SCS ➢ Join Community others ◦ JAWS-UG クラウド女子会運営 ◦ AWS Community Builders 2025 ▪ Category：Security ◦ AWS Global Community Gathering運営 ➢ X/Qiita ID ◦ yuri_snowwhite ➢ Like AWS Service ◦ AWS Inspector
3. BigDataの取り扱うデータって何があるの？ 例えば・・・ - サーバのリソースデータ - 顧客行動分析データ - 気象情報データ - 交通情報データ などなど。。。
4. 大量データを 保存と言えば S3ですね。
5. 2年ちょっと前にこんなのがリリースされました。 冒頭を抜粋
 “S3 標準ストレージクラスの最大 10 倍のパフォーマンスを実現しながら、一貫 した 1 桁ミリ秒のレイテンシーで毎秒数十万のリクエストを処理できるように設 計されています。そのため、最も頻繁にアクセスされるデータや最も要求の厳 しいアプリケーションに最適です。オブジェクトは単一の AWS アベイラビリ ティーゾーン内の専用ハードウェアに保存および複製されるため、ストレージと コンピューティング (Amazon EC2、Amazon ECS、Amazon EKS) リソースを同じ 場所に配置してレイテンシーをさらに短縮できます。” 10倍とな・・・・？ https://aws.amazon.com/jp/blogs/news/new-amazon-s3-express-one-zone-high-performance-storage-class/ より
6. ビッグデータの分析にはリー ドが大事である。 ならば，比較してみよう。
7. 作った環境 Ubuntu Linux オンプレミスのUbuntuからs3-mountを利用して読み書きをテストしてみる
8. テスト内容 BlackSize1024バイトまたは1MB 容量は1GB 書き込みはddコマンドによるzeroデータの書き込み(/dev/zero) 読み取りは1プロセスで読み取り(ブロックサイズ4096KB)及び8プロセス同時読 み取り(ブロックサイズ4096KB) ※fioコマンドを利用
9. 結果 通常のS3バケット ★ 書き込み ◦ 作るブロックサイズによって異なる ▪ ブロックサイズ1024の場合 • 大体22.6MB/Sec ▪ ブロックサイズ1Mの場合 • 大体60.5MB/Sec ★ 読み取り ◦ シングル読み取り ▪ 49.7MB/Sec ◦ マルチ読み取り ▪ 136KiB/Sec S3 Expless One Zone ★ 書き込み ◦ 作るブロックサイズによって異なる ▪ ブロックサイズ1024の場合 • 大体21.9MB/Sec ▪ ブロックサイズ1Mの場合 • 大体70.0MB/Sec ★ 読み取り ◦ シングル読み取り ▪ 57.7MB/Sec ◦ マルチ読み取り ▪ 136KiB/Sec
10. 結論 読み取りに関しては，シングルとマルチとあまり変わらない。 単一で読み出す場合は，速度の向上（公言した理論値には届かず）が見られる 多分，やり方や経路によって変わるかもしれない ※今回はここまでそこまでやれてない なお，本登壇の細かいブログは https://qiita.com/yuri_snowwhite/items/67b1c05f6de58ffbf200 にあります。 dual-stack使ったらもう少し違った結果になったかもしれません
11. ご静聴，ありがとうございました