コンテンツのファイル転送でEFSとAWS Transfer for SFTPの書き込み性能/mediajaws1

2019/04/24、「Media-JAWS 【第1回】正式爆誕記念スペシャル」コンテンツのファイル転送でEFSとAWS Transfer for SFTPの書き込み性能について。https://media-jaws.doorkeeper.jp/events/89643

Transcript

1. 日本経済新聞社 デジタル編成ユニット 西馬 一郎 2019年04月24日 コンテンツのファイル転送でEFSと AWS Transfer for SFTPの書き込み 性能について
2. きょうお話したいこと コンテンツの転送でAWSの性能評価は大事 EFSとTransfer for SFTPのwrite性能 日本経済新聞社のAWSに関する活動
3. めちゃくちゃ地味です
4. 自己紹介(西馬 一郎 ニシウマ イチロウ) 西からきた馬ヅラの男 日経電子のバーンの エンジニア 社内DevRel、技術広報 エンジニア採用 JBUGコミュニティ運営
5. JAWS DAYS 2019(2/23)に初めて企業サポーター 1. 初めてランチサポーターとして参加 JAWS UG コミュニティに貢献 今まで個人で当日ボランティア 2. 舞い上がってチラシなど置き忘れました
6. 日経の技術に関するイメージ 予想 (現在) 1. デジタルサービス、アプリが使いやすい 2. 内製エンジニアがいる 3. 爆速日経電子版 4. 電子のバーンの中の人
7. 日本経済新聞社のミッション 1. 社是 2. ミッション 時代の変化を先取りしながら経済的・文化的それぞれに豊かさを 求める人々のため、徹底した実証主義に基づいた価値ある情報を 提供し続ける。
8. 日経のエンジニアの価値観 1. 信頼と品質 信頼性と品質が高いプロダクト、サービス、インフラを提供する 2. 事実に立脚する 実証結果や分析に基づいて判断する 3. 多様性がある 多様な考え方を持つ 4. テクノロジードリブンである
9. 「実証結果や分析に基づいて判断する」ということで 測ってみた パターン1 既存のAWSの構成の中でマネージドに変更しようとする試み EC2のNFSサーバ vs EFS の比較 パターン2 オンプレからAWSに移行する検討での比較 Transfer for SFTP vs ECS+EBS の比較
10. パターン1 日経電子版のPC版サイトでEFSを使ってみようかと 日経電子版のAWS、モダンな部分もあれば、古くから存在するやや レガシーな部分もあります 1. EC2でNFSサーバを構築して使用中(2015年～) ディスクはEBS 1. 記事や紙面ビューアー付随する画像ファイル置き場 2. バッチ処理で個人宛メール作成したテキストファイル置き場 2. 全体で200GB程度 3. ファイルサイズ100KB以下が8割
11. EC2で作ったNFS(現行)とEFSの比較構成 11 Web サーバ Web サーバ Web サーバ Web サーバ NFSマウント 業務 サーバ 業務 サーバ CMS サーバ NFSマウント NFSマウント EC2 NFS サーバ EFS コンテンツファイル転送 ※きょうのプレゼ ンで、オンプレの 名残でNASサー バと呼んだり、 NFSサーバと呼ん だりします NFSクライアント はLinux系 20台程度 NFSマウント NFSマウント 検討した構成 現行の構成
12. EFSをmountしてからdfコマンドを打った結果 fs-7d47a45c.efs.ap-northeast- 1.amazonaws.com:/export/ 8.0E 157G 8.0E 1% /share2 容量8エクサバイト
13. 業務を想定してテストした結果 EC2のNFSサーバ (EBS) EFS 電子版の紙面ビューアーの 画像ファイルデータ転送 3500ファイル転送 2分30秒 5分53秒 電子版の20万通メール本文 の作成バッチ処理 1時間 2時間 ※プロビジョンド IOPSは測定していない
14. マネージドEFS(灰)vsEC2NFSサーバ(赤) ddコマンド(ブロック単位)で計測 EC2のNFS (t2.micro) ↓ EC2のNFS (t2.micro) ↓ ① 書き込むファイ ルサイズが大き くなるほどEFS は性能があがる ② 比較で赤の EC2NFSが書き 込み性能が6-10 倍良い EFSに大容量ダミーファイルを 作り、ファイルシステム全体を 1TB、2TBにしても変わらず →バースト性能でると思ったが dd if=/dev/zero of=/share/tmp/1000M bs=1K count=1000
15. 業務上の処理時間が約2倍になったのでEFSはあきらめた 1. なぜ速さが重要か 編集者が操作したものを即時反映したい 朝刊紙面画像(3500ファイル)の即時反映したい お客様に送るメールの時刻が遅れてしまう 2. 現行の書き込み速度から落とせないということで、残念ながら 諦めた 3. EFSは、100KB以下の小さいファイルの場合性能がでづらいかも
16. パターン2 Transfer for SFTPとECS+EBSの比較 移行検討中の案件 Transfe r for SFTP ECS sshd CMS サーバ S3 EBS コンテンツファイル転送
17. Transfer for SFTPとECS+EBSの比較構成 約10倍のwrite性能差
18. どちらを選択するか検討中 1. フルマネージドのTransfer for SFTPが運用が楽 業務の特性上、そこまで性能差・処理時間差がでても困らない 2. EBSとS3でwrite性能差は当然ある 3. どちらにするか悩み中
19. 全体まとめ 1. アーキテクチャを選定する時、新しいサービスを採用したいが数 字に基づき判断 2. 書き込み性能を比較するには条件が合っていない部分があるもの の比較が大事 3. 本番移行後のメンテナンス性も含めて総合的に判断
20. 日経、日経グループの取り組み 1. 月に1度のグループ内のAWS勉強会 AWSを活用したインフラ構築や運用について溜めてきたノウハウ を共有するため、LT登壇スタイルで社内勉強会を毎月開催し、エ ンジニアが積極的に学んでいます 2. 引き続きJAWS-UGの各支部の勉強会に参加 Media-JAWSを盛り上げていきたいと思います
21. 3連投します #devreljp → #mediajaws → #PRLT 4/23、DevRel/Community JBUGの話をします 4/24、Media-JAWS 電子のバーンのAWS話をします 4/25、PRLT 日経のエンジニアブランディングの話をします
22. 日経エンジニアの登壇も応援してください 2019年も日経のエンジニアが多数イベントに登壇しています 日経のエンジニアの情報発信Twitter @nikkeideveloper フォローしてください
23. 以上オシマイです 日経をよろしくお願いします エンジニア採用 オフィスの見学歓迎 日経Techブログ 技術情報Twitter Wantedly