$30 off During Our Annual Pro Sale. View Details »

AWSにおけるアプリチームとインフラチームのコワーク設計 / Co-working Desig...

iselegant
September 28, 2021

AWSにおけるアプリチームとインフラチームのコワーク設計 / Co-working Design about App and Infra on AWS

iselegant

September 28, 2021
Tweet

More Decks by iselegant

Other Decks in Technology

Transcript

  1. テックリード / インフラチームリーダー 新井 雅也 Masaya ARAI 1987年生まれ。北海道出身。 2012年、野村総合研究所に入社。 金融業界のお客様に向けたビジネス提案やシステム設計、開発、運用を担当。

    UI/UXデザインやスマホApp、サーバサイドAppなどフルスタックな 守備範囲を持ちつつ、クラウドアーキテクチャの設計と開発が得意。 業務以外においても、登壇や寄稿、AWSコミュニティ運営など幅広く活動中。 最近の趣味はビザールプランツ集めとそのお世話。 APN Ambassador 2021、 AWS Well-Architected Lead @msy78
  2. 01. プロジェクトの背景とお客様の特徴 ユーザー クレジットカード スマホアプリ お店 (加盟店) 外部接続システム群 (ペイメント機能等) 金融系

    スタートアップ サービス プラットフォーム コンビニ お客様ビジネスのご紹介(本プレゼンのテーマ) ※お客様からは許可を頂いた上、本発表のテーマとして利⽤させていただいています。 スマホアプリのバックエンド機能はAWSにてシステムを構築。 スマホアプリの バックエンド機能や 管理者機能を提供 会員申込(審査) 決済の管理 明細の表示 返済の管理 AWS
  3. 01. プロジェクトの背景とお客様の特徴 ユーザー クレジットカード スマホアプリ お店 (加盟店) 外部接続システム群 (ペイメント機能等) 数ステップで

    申し込み完了 会員情報 登録 与信審査 反社チェック等 カード配送 スマホアプリから住所入力や本人確認書類をアップロードなど数ステップすることで申し込みが完了。 審査が通過すれば、数日でクレジットカードが受け取れる。 金融系 スタートアップ 会員申込登録 会員申込 ④カード発行 サービス プラットフォーム コンビニ 住所等 本人確認書類 お客様ビジネスのご紹介:会員申込 ※お客様からは許可を頂いた上、本発表のテーマとして利⽤させていただいています。 会員申込(審査) AWS
  4. 01. プロジェクトの背景とお客様の特徴 ユーザー クレジットカード スマホアプリ お店 (加盟店) 外部接続システム群 (ペイメント機能等) 決済情報

    取得 ポーリングで 情報取得 カード利用 金融系 スタートアップ 決済通知 決済 情報 決済 決済通知 プッシュ 通知 サービス プラットフォーム コンビニ ※お客様からは許可を頂いた上、本発表のテーマとして利⽤させていただいています。 クレジットカードを利用してお店(加盟店)で商品を購入すると、外部システム側に決済情報が蓄積。 AWSで構成されたプラットフォームがその情報を取得し、利用者に決済の旨を通知。 お客様ビジネスのご紹介:決済の管理 決済の管理 AWS
  5. 01. プロジェクトの背景とお客様の特徴 ユーザー スマホアプリ 外部接続システム群 (ペイメント機能等) 金融系 スタートアップ 明細取得 決済明細の

    確認 コンビニ キャッシュフロー 情報連携 サービス プラットフォーム ※お客様からは許可を頂いた上、本発表のテーマとして利⽤させていただいています。 決済が確定後、利用明細情報(キャシュフロー情報)が外部システムからAWSサービスプラットフォームに連携。 ユーザーはスマホアプリから各種明細を確認できる。 お客様ビジネスのご紹介:明細の表示 明細の表示 AWS
  6. 01. プロジェクトの背景とお客様の特徴 ユーザー クレジットカード コンビニ スマホアプリ お店 (加盟店) 外部接続システム群 (ペイメント機能等)

    返済情報 登録 金融系 スタートアップ 返済通知 返済 返済通知 プッシュ 通知 返済情報 連携 サービス プラットフォーム ※お客様からは許可を頂いた上、本発表のテーマとして利⽤させていただいています。 コンビニのATMで好きなタイミングに返済が可能。 QRコードを読み取り、金額をATMに投入すると、AWSサービスプラットフォームに蓄積され、スマホアプリに通知。 お客様ビジネスのご紹介:返済の管理 返済の管理 AWS
  7. 01. プロジェクトの背景とお客様の特徴 ユーザー クレジットカード スマホアプリ お店 (加盟店) 外部接続システム群 (ペイメント機能等) 金融系

    スタートアップ サービス プラットフォーム 本日お話するスコープ コンビニ 開発・運用の支援 ※お客様からは許可を頂いた上、本発表のテーマとして利⽤させていただいています。 NRIはスマホアプリ+AWSサービスプラットフォームの開発・運用をご支援 AWS
  8. 02. サービスを実現するための要件と解決すべき課題 UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件

    331項目への対応方針検討とセキュリティ実装 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  9. 02. サービスを実現するための要件と解決すべき課題 UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件

    331項目への対応方針検討とセキュリティ実装 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  10. ユーザー スマホアプリ 金融系 スタートアップ サービス プラットフォーム 利用 ! 02. サービスを実現するための要件と解決すべき課題

    ニーズ 改善要望 スマホアプリのユーザーより得られるフィードバックやニーズから、 素早くUI/UXを改善できるリリースの仕組みが不可欠。 AWS
  11. ユーザー スマホアプリ 金融系 スタートアップ サービス プラットフォーム ニーズ 改善要望 機能の追加・修正 02.

    サービスを実現するための要件と解決すべき課題 スマホアプリのユーザーより得られるフィードバックやニーズから、 素早くUI/UXを改善できるリリースの仕組みが不可欠。 AWS
  12. ユーザー スマホアプリ 金融系 スタートアップ サービス プラットフォーム ♪ 利用 ニーズ 改善要望

    機能の追加・修正 02. サービスを実現するための要件と解決すべき課題 スマホアプリのユーザーより得られるフィードバックやニーズから、 素早くUI/UXを改善できるリリースの仕組みが不可欠。 AWS
  13. 02. サービスを実現するための要件と解決すべき課題 UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件

    331項目への対応方針検討とセキュリティ実装 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  14. 02. サービスを実現するための要件と解決すべき課題 UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件

    331項目への対応方針検討とセキュリティ実装 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  15. ユーザー クレジットカード スマホアプリ お店 (加盟店) 外部接続システム群 (ペイメント機能等) 数ステップで 申し込み完了 住所等

    本人確認書類 会員情報 登録 与信審査 反社チェック等 カード配送 金融系 スタートアップ 会員申込登録 会員申込 カード発行 サービス プラットフォーム コンビニ 02. サービスを実現するための要件と解決すべき課題 入会〜審査を始めとしたクレジットカード特有の複雑な業務を紐解き、 方式の検討から実装までを検討する必要がある。 再掲 AWS
  16. 与信審査 反社チェック等 金融系 スタートアップ サービス プラットフォーム 会員申込み〜審査に関する業務フロー 与信担当者 eKYC 会員申込

    日次 バッチ 外部接続システム (eKYC) 指定信用情報機関 (CIC) 申込一覧 信用情報 チェック 反社/外国PEPs チェック サービス プラットフォーム サービス プラットフォーム 申込登録 (確定) 登録処理 (非同期) 外部接続システム (ペイメント関連) 申込登録 (仮) 02. サービスを実現するための要件と解決すべき課題 入会〜審査を始めとしたクレジットカード特有の複雑な業務を紐解き、 方式の検討から実装までを検討する必要がある。 AWS AWS AWS
  17. 02. サービスを実現するための要件と解決すべき課題 UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件

    331項目への対応方針検討とセキュリティ実装 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  18. 02. サービスを実現するための要件と解決すべき課題 UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件

    331項目への対応方針検討とセキュリティ実装 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  19. ユーザー スマホアプリ 外部接続システム群 (ペイメント機能等) 金融系 スタートアップ 明細取得 決済明細 の確認 コンビニ

    キャッシュフロー 情報連携 サービス プラットフォーム ※お客様からは許可を頂いた上、本発表のテーマとして利⽤させていただいています。 再掲 02. サービスを実現するための要件と解決すべき課題 明細の表示 外部システム側から連携されるファイルを取り込む関係上、 いくつかのバッチ処理を実現しなければならない。 AWS
  20. 外部接続システム群 (ペイメント機能等) バッチ処理で 日次連携 金融系 スタートアップ コンビニ キャッシュフロー 情報連携 サービス

    プラットフォーム バッチ処理 ・キャッシュフローに関する取り込み ・与信用申込一覧の作成 ・ユーザーの利息発生状況通知 ・金利計算 ...etc 02. サービスを実現するための要件と解決すべき課題 明細の表示 外部システム側から連携されるファイルを取り込む関係上、 いくつかのバッチ処理を実現しなければならない。 AWS
  21. 02. サービスを実現するための要件と解決すべき課題 UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件

    331項目への対応方針検討とセキュリティ実装 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  22. 02. サービスを実現するための要件と解決すべき課題 UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件

    331項目への対応方針検討とセキュリティ実装 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  23. 金融系 スタートアップ ユーザー クレジットカード スマホアプリ お店 (加盟店) 外部接続システム群 (ペイメント機能等) サービス

    プラットフォーム コンビニ PCIDSS 準拠 コンプライアンスに準拠した開発が必須 カード 発行の主体 (イシュア) 02. サービスを実現するための要件と解決すべき課題 クレジットカードに関するサービスを提供するためには グローバルセキュリティ基準であるPCIDSSの準拠が求められる。 AWS
  24. 02. サービスを実現するための要件と解決すべき課題 PCIDSSは12要件から成り、 イシュア(カード発行事業者)は331項目の方針検討と準拠が必要 クレジットカード情報が「追加」「処理」「保存」 される箇所がPCIDSSの規制対象となる。 安全なネットワークの 構築維持 カード会員データの 保護

    脆弱性管理プログラムの 維持 強力なアクセス制御手法 の導入 ネットワークの定期的な 監視およびテスト 情報セキュリティ ポリシーの維持 1.カード会員データを保護するために、ファイアウォールをインストールして維持する 2.システムパスワードおよびその他のセキュリティパラメータにベンダ提供のデフォルト値を使用しない 3.保存されるカード会員データを保護する 4.オープンな公共ネットワーク経由でカード会員データを伝送する場合、暗号化する 5.マルウェアにしてすべてのシステムを保護し、ウィルス対策ソフトウェアを定期的に更新する 6.安全性の高いシステムとアプリケーションを開発し、保守する 7.カード会員データへのアクセスを、業務上必要な範囲内に制限する 8.システムコンポーネントへのアクセスを識別・認証する 9.カード会員データへの物理アクセスを制限する 10.ネットワークリソースおよびカード会員データへのすべてのアクセスを追跡および監視する 11.セキュリティシステムおよびプロセスを定期的にテストする 12.すべての担当者の情報セキュリティに対応するポリシーを整備する Ref. https://www.pcisecuritystandards.org/documents/PCI_DSS-QRG-v3_2_1.pdf
  25. UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件 331項目への対応方針検討とセキュリティ実装 02.

    サービスを実現するための要件と解決すべき課題 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  26. UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件 331項目への対応方針検討とセキュリティ実装 02.

    サービスを実現するための要件と解決すべき課題 外部システムとの 接続方式検討 =インフラスキル フィードバックの理解 UI/UXの実装 =デザイン/モバイル開発スキル PCIDSSの理解とスコープ策定、セキュリティ対策の推進 =セキュリティスキル 業務理解と アプリケーション開発 =アプリスキル フロントと連動した API追加・修正 =アプリスキル 業務理解と アプリケーション開発 =アプリスキル 外部システムとの 接続方式検討 =インフラスキル 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  27. UI/UXを高めるための リリースサイクル確立 複雑な業務に対する アプリ方式の実装 外部接続システム含めた バッチ処理の実装 イシュアとしてのPCIDSS 12要件 331項目への対応方針検討とセキュリティ実装 02.

    サービスを実現するための要件と解決すべき課題 外部システムとの 接続方式検討 =インフラスキル フィードバックの理解 UI/UXの実装 =デザイン/モバイル開発スキル PCIDSSの理解とスコープ策定、セキュリティ対策の推進 =セキュリティスキル 業務理解と アプリケーション開発 =アプリスキル フロントと連動した API追加・修正 =アプリスキル 業務理解と アプリケーション開発 =アプリスキル 外部システムとの 接続方式検討 =インフラスキル 各領域において、PCIDSSにて要求されている項目への適切な準拠や、 対応に高度な専門性の要求が見込まれたため、 各スキルを有するメンバーでチームを編成する方針とした。 利用者に対するUI/UXの改善はもちろん、クレジットカードに対する 深い業務への理解や厳格なコンプライアンスに準拠した環境構築が必須。
  28. NRI側はアプリとインフラというそれぞれ専門性が異なるチームで構成 NRI側のチーム体制 PM サーバアプリ チーム Webアプリ チーム インフラ チーム スマホアプリ

    チーム お客様側の体制 CEO UI/UX デザイナー プロダクト オーナー 一般利用者向け クレカアプリのUI/UX、 開発を担当 与信業務や利用者管理用 のWebアプリ開発を担当 AWS上における バックエンドAPI開発を 担当 主にAWS上における クラウドリソースの 構築・管理とPCIDSS推進を担当
  29. ユーザー クレジットカード スマホアプリ お店 (加盟店) 外部接続システム群 (ペイメント機能等) 金融系 スタートアップ サービス

    プラットフォーム 本日お話するスコープ コンビニ 開発・運用の支援 NRIはスマホアプリ+AWSサービスプラットフォームの開発・運用をご支援 再掲 03. チーム編成とそれぞれの役割 AWS
  30. スマホアプリ 外部接続システム (返済機能) サービスプラットフォーム 管理者Web 外部接続システム (eKYC機能) 外部接続システム (ペイメント関連) 外部接続システム

    (カード印刷関連) スマホアプリ用 フロントAPI 管理者Web用 フロントAPI 外接システム用 フロントAPI マイクロサービス別 各API 腐敗防止層 外接向けAPI 決済 返済 申込 通知 指定信用情報機関 (CIC) AWSを中心として、スマホアプリ・管理者Webのための バックエンド機能とインフラを構築している 03. チーム編成とそれぞれの役割 バックエンド機能はマイクロサービスをベースとしたAPI群で構成。 バッチ連携
  31. スマホアプリ 外部接続システム (返済機能) サービスプラットフォーム 管理者Web 外部接続システム (eKYC機能) 外部接続システム (ペイメント関連) 外部接続システム

    (カード印刷関連) スマホアプリ用 フロントAPI 管理者Web用 フロントAPI 外接システム用 フロントAPI マイクロサービス別 各API 腐敗防止層 外接向けAPI 決済 返済 申込 通知 指定信用情報機関 (CIC) インフラ チーム スマホアプリ チーム Webアプリ チーム バッチ連携 サーバアプリ チーム サーバアプリチームとインフラチームが中心に AWS上のリソースを活用しながら構築。 03. チーム編成とそれぞれの役割 バックエンド機能はマイクロサービスをベースとしたAPI群で構成。
  32. スマホアプリ 外部接続システム (返済機能) サービスプラットフォーム 管理者Web 外部接続システム (eKYC機能) 外部接続システム (ペイメント関連) 外部接続システム

    (カード印刷関連) スマホアプリ用 フロントAPI 管理者Web用 フロントAPI 外接システム用 フロントAPI マイクロサービス別 各API 腐敗防止層 外接向けAPI 決済 返済 申込 通知 サーバアプリ チーム インフラ チーム バッチ連携 今回は対象外 今回は対象外 サーバアプリチームとインフラチームを中心に AWS上のリソースを活用しながらサービスプラットフォームを構築 04. AWSにおけるチームのコワーク設計 再掲
  33. スマホアプリ 外部接続システム (返済機能) サービスプラットフォームは Amazon ECS / AWS Fargateを中心としマネージド・サービスで構成 サービスプラットフォーム

    管理者Web 外部接続システム (eKYC機能) 外部接続システム (ペイメント関連) 外部接続システム (カード印刷関連) マイクロサービス別 各API サーバアプリ チーム インフラ チーム Amazon API Gateway NLB API NLB API API ALB 決済系API 返済系API 申込系API 通知系API 外接連携API Amazon Aurora Amazon ECS バッチ用S3 バケット バッチ用 AWS Step Functions IAMロール IAMロール 非同期処理 04. AWSにおけるチームのコワーク設計 今回は対象外 今回は対象外 Amazon API Gateway
  34. スマホアプリ 外部接続システム (返済機能) サービスプラットフォームは Amazon ECS / AWS Fargateを中心としマネージド・サービスで構成 管理者Web

    外部接続システム (eKYC機能) 外部接続システム (ペイメント関連) 外部接続システム (カード印刷関連) マイクロサービス別 各API APIGW NLB API APIGW NLB API API ALB 申込系API 通知系API 外接連携API ECS バッチ用S3 バケット IAMロール IAMロール 今回は対象外 今回は対象外 04. AWSにおけるチームのコワーク設計 インフラ チーム サーバアプリ チーム 決済系API Aurora バッチ用 Step Functions サービスプラットフォーム 非同期処理 サーバアプリチームとインフラチームは 自分たちがどこまでAWSリソースを 構築・管理・運用すれば良いのか? 返済系API
  35. 本発表では、コンテナCI/CD、AWS Lambda開発、AWS Step Functionsによる バッチ開発を例に、ポテンヒットを防ぐために行ったコワーク設計を紹介 サービスプラットフォーム 外部接続システム (eKYC機能) 外部接続システム (ペイメント関連)

    外部接続システム (カード印刷関連) マイクロサービス別 各API サーバアプリ チーム インフラ チーム API Gateway NLB API NLB API API ALB 決済系API 返済系API 申込系API 通知系API 外接連携API Aurora ECS バッチ用S3 バケット バッチ用 Step Functions IAMロール IAMロール 非同期処理 04. AWSにおけるチームのコワーク設計 コワーク設計のテーマ コンテナCI/CD Lambda開発 Step Functionsによる バッチ処理 API Gateway
  36. 本発表では、コンテナCI/CD、AWS Lambda開発、AWS Step Functionsによる バッチ開発を例に、ポテンヒットを防ぐために行ったコワーク設計を紹介 サービスプラットフォーム マイクロサービス別 各API サーバアプリ チーム

    インフラ チーム API API API 決済系API 返済系API 申込系API 通知系API 外接連携API ECS IAMロール IAMロール 04. AWSにおけるチームのコワーク設計 コワーク設計のテーマ コンテナCI/CD Lambda開発 Step Functionsによる バッチ処理
  37. App ソースコード Dockerfile taskdef.json buildspec.yml CodeBuildの 動作仕様を定義 ECSタスク定義 を規定 コンテナCI/CD:

    GitHub/AWS Codeシリーズを基軸にしたCICDパイプライン 各種バックエンドAPIはECS/Fargateタスクでマイクロサービスとして提供。 コードはGitHubで管理し、AWS Codeシリーズにてコンテナイメージビルドからデプロイまでを構築。 04. AWSにおけるチームのコワーク設計 GitHub (決済系API Appリポジトリ) コンテナ イメージを作成
  38. 決済系API App サービスプラットフォーム AWS CodePipeline AWS CodeDeploy AWS CodeBuild Amazon

    ECR ECS Fargate Aurora (決済DB) App ソースコード Dockerfile taskdef.json buildspec.yml コンテナCI/CD: GitHub/AWS Codeシリーズを基軸にしたCICDパイプライン 各種バックエンドAPIはECS/Fargateタスクでマイクロサービスとして提供。 コードはGitHubで管理し、AWS Codeシリーズにてコンテナイメージビルドからデプロイまでを構築。 04. AWSにおけるチームのコワーク設計 GitHub (決済系API Appリポジトリ)
  39. 決済系API App サービスプラットフォーム CodePipeline CodeDeploy CodeBuild ECR ECS Fargate Aurora

    (決済DB) App ソースコード Dockerfile taskdef.json buildspec.yml buildspec.ymlに従って、ビルド、 テスト、ECRへのイメージプッシュ などが実行される buildspec.yml taskdef.jsonに従って、 ECSタスク定義が作成される。 taskdef.json コンテナCI/CD: GitHub/AWS Codeシリーズを基軸にしたCICDパイプライン 各種バックエンドAPIはECS/Fargateタスクでマイクロサービスとして提供。 コードはGitHubで管理し、AWS Codeシリーズにてコンテナイメージビルドからデプロイまでを構築。 04. AWSにおけるチームのコワーク設計 GitHub (決済系API Appリポジトリ)
  40. PCIDSS ・6.1 セキュリティ脆弱性情報の信頼できる社外提供元を使ってセキュリティの脆弱性を特定し、 新たに発見されたセキュリティの脆弱性にリスクのランク(「高」、「中」、「低」など)を割り当てるプロセスを確立する。 ・6.2 すべてのシステムコンポーネントとソフトウェアに、ベンダ提供のセキュリティパッチがインストールされ、 既知の脆弱性から保護されている。重要なセキュリティパッチは、リリース後 1 カ月以内にインストールする。 決済系API

    App サービスプラットフォーム CodePipeline CodeDeploy CodeBuild ECR ECS Fargate Aurora (決済DB) App ソースコード Dockerfile taskdef.json buildspec.yml コンテナCI/CD : PCIDSSに準拠すべく、DevSecOpsによるコンテナスキャンが必要。 内部でOSSのDockleとTrivyを 実行するように定義。 イメージがビルドされた後、 コンテナスキャンを実行。 リスク高のイメージはビルド中止。 Trivyの方が精度が高く、 ECRのイメージスキャンは 補助的な位置づけ。 04. AWSにおけるチームのコワーク設計 GitHub (決済系API Appリポジトリ)
  41. コンテナCI/CD : ポテンヒットを防ぐために、リソース毎に管理すべきものを洗い出す 決済系API App サービスプラットフォーム CodePipeline CodeDeploy CodeBuild ECR

    ECS Fargate Aurora (決済DB) App ソースコード Dockerfile taskdef.json buildspec.yml 誰がどのような 理由で管理すべき? 誰がどのような 理由で管理すべき? 誰がどのような 理由で管理すべき? ※Appソースコードは明らかにサーバアプリチーム管理なので除外 04. AWSにおけるチームのコワーク設計 GitHub (決済系API Appリポジトリ) 誰がどのような 理由で管理すべき?
  42. コンテナCI/CD :AWSリソース全般はインフラチーム管理。 アプリチーム用に参照権限+αのIAMロールを付与。 決済系API App サービスプラットフォーム CodePipeline CodeDeploy CodeBuild ECR

    ECS Fargate Aurora (決済DB) ・主体的にAWSサービスを変更する要件はなし。 ・一方、リリース作業に関連して、リソースの 参照権限や、CodePipelineの実行権限はほしい。 サーバアプリ チーム インフラチーム 04. AWSにおけるチームのコワーク設計 ・AWSサービス構築はIaCツール(Pulumi)で実装。 →ある程度コードで管理してしまった方が、 リソース整合性や自動化の観点から都合が良い。 ・PCIDSS推進上、適切なセキュリティ実装や コンプライアンス準拠を担保したい。
  43. コンテナCI/CD :AWSリソース全般はインフラチーム管理。 アプリチーム用に参照権限+αのIAMロールを付与。 決済系API App サービスプラットフォーム CodePipeline CodeDeploy CodeBuild ECR

    ECS Fargate Aurora (決済DB) ・主体的にAWSサービスを変更する要件はなし。 ・一方、リリース作業に関連して、リソースの 参照権限や、CodePipelineの実行権限はほしい。 ・AWSサービス構築はIaCツール(Pulumi)で実装。 →ある程度コードで管理してしまった方が、 リソース整合性や自動化の観点から都合が良い。 ・PCIDSS推進上、適切なセキュリティ実装や コンプライアンス準拠を担保したい。 サーバアプリ チーム インフラチーム IAMロール (アプリチーム用) IAMロール (インフラチーム用) 04. AWSにおけるチームのコワーク設計 主にインフラ チームが管理 サーバアプリ チームも利用可能 各チームの要件に合わせたIAMロールを容易
  44. コンテナCI/CD :ビルド定義はインフラチーム所有としつつも、 アプリチーム側からの変更もWelcomeに。 buildspec.yml CodeBuildの 動作仕様を定義 ・ビルドに必要なライブラリなどをインストール する場合、アプリに関連する処理が記述される。 ・一度記述した後は頻繁な変更は発生しない (Dockerfile側で吸収)ため、所有の主体は

    どちらでもOK。 ・PCIDSS準拠のためのコンテナスキャン処理を buildspec.ymlに実装したい。 ・ECRなど、AWSサービスとの連携が定義される。 ・他のマイクロサービス含めてDRYに管理したい。 サーバアプリ チーム インフラチーム buildspec.yml --- phases: install: - dockleとtrivyのインストール pre_build: - 環境変数の設定(ECRイメージタグの設定等) : build: - Dockerイメージビルド処理 - ECRイメージプッシュ用のタグ付け post_build: - dockleによるCISベストプラクティスチェック - Trivyによるコンテナスキャン - ECRへのイメージプッシュ 内部でOSSのDockleとTrivyを 実行するように定義。 04. AWSにおけるチームのコワーク設計 GitHub (決済系API Appリポジトリ)
  45. コンテナCI/CD :ビルド定義はインフラチーム所有としつつも、 アプリチーム側からの変更もWelcomeに。 GitHub (決済系API Appリポジトリ) サーバアプリ チーム インフラチーム GitHub

    (サービス共通リポジトリ) buildspec.yml 共通リポジトリに移管 04. AWSにおけるチームのコワーク設計 ・ビルドに必要なライブラリなどをインストール する場合、アプリに関連する処理が記述される。 ・一度記述した後は頻繁な変更は発生しない (Dockerfile側で吸収)ため、所有の主体は どちらでもOK。 ・PCIDSS準拠のためのコンテナスキャン処理を buildspec.ymlに実装したい。 ・ECRなど、AWSサービスとの連携が定義される。 ・他のマイクロサービス含めてDRYに管理したい。
  46. コンテナCI/CD :ビルド定義はインフラチーム所有としつつも、 アプリチーム側からの変更もWelcomeに。 GitHub (決済系API Appリポジトリ) サーバアプリ チーム インフラチーム GitHub

    (サービス共通リポジトリ) buildspec.yml 共通リポジトリに移管 04. AWSにおけるチームのコワーク設計 ・ビルドに必要なライブラリなどをインストール する場合、アプリに関連する処理が記述される。 ・一度記述した後は頻繁な変更は発生しない (Dockerfile側で吸収)ため、所有の主体は どちらでもOK。 ・PCIDSS準拠のためのコンテナスキャン処理を buildspec.ymlに実装したい。 ・ECRなど、AWSサービスとの連携が定義される。 ・他のマイクロサービス含めてDRYに管理したい。 主にインフラ チームが管理
  47. コンテナCI/CD :ECSタスク定義は両チームの要件が含まれる。 タスク定義内における両者が気にするポイントをお互い理解し、所有を決める。 taskdef.json ・タスク定義内に記載されるコンテナの 環境変数名はアプリでも利用されるため、 変更・確認できるようにしておきたい。 ・バックエンドAPI Appごとに異なる内容であり、 各Appリポジトリ管理(アプリチーム所有)が適切。

    ・PCIDSS要件からタスク定義内のログ出力部分は インフラチームでも把握しておきたい。 ・管理自体はインフラでなくてもOK。 ※IaC側のリソース依存は無視する。 サーバアプリ チーム インフラチーム taskdef.json --- { : “containerDefinitions”: [ : “secrets”: [ { “valueFrom”: “…”, “name”: “DB_PASS” }, : ], “logConfiguration”: { : } ] } コンテナに 反映する環境変数 コンテナの ログ出力設定 ECSタスク定義 を規定 04. AWSにおけるチームのコワーク設計 GitHub (決済系API Appリポジトリ)
  48. コンテナCI/CD :ECSタスク定義は両チームの要件が含まれる。 タスク定義内における両者が気にするポイントをお互い理解し、所有を決める。 taskdef.json ・タスク定義内に記載されるコンテナの 環境変数名はアプリでも利用されるため、 変更・確認できるようにしておきたい。 ・バックエンドAPI Appごとに異なる内容であり、 各Appリポジトリ管理(アプリチーム所有)が適切。

    ・PCIDSS要件からタスク定義内のログ出力部分は インフラチームでも把握しておきたい。 ・管理自体はインフラでなくてもOK。 ※IaC側のリソース依存は無視する。 サーバアプリ チーム インフラチーム taskdef.json --- { : “containerDefinitions”: [ : “secrets”: [ { “valueFrom”: “…”, “name”: “DB_PASS” }, : ], “logConfiguration”: { : } ] } コンテナに 反映する環境変数 コンテナの ログ出力設定 04. AWSにおけるチームのコワーク設計 GitHub (決済系API Appリポジトリ) 主にサーバアプリ チーム管理
  49. コンテナCI/CD :まとめ 決済系API App サービスプラットフォーム CodePipeline CodeDeploy ECR ECS Fargate

    Aurora (決済DB) App ソースコード Dockerfile taskdef.json GitHub (サービス共通リポジトリ) buildspec.yml CodeBuild 主にインフラ チームが管理 IAMロール (アプリチーム用) IAMロール (インフラチーム用) 主にインフラ チームが管理 主にサーバアプリ チーム管理 サーバアプリ チーム管理 04. AWSにおけるチームのコワーク設計 GitHub (決済系API Appリポジトリ) 主にサーバアプリ チーム管理 サーバアプリ チームも利用可能 各チームの要件に合わせたIAMロールを容易
  50. 本発表では、コンテナCI/CD、Lambda開発、Step Functionsによる バッチ開発を例に、ポテンヒットを防ぐために行ったコワーク設計を紹介 サービスプラットフォーム マイクロサービス別 各API サーバアプリ チーム インフラ チーム

    API API API 決済系API 返済系API 申込系API 通知系API 外接連携API ECS IAMロール IAMロール 非同期処理 04. AWSにおけるチームのコワーク設計 コワーク設計のテーマ コンテナCI/CD Lambda開発 Step Functionsによる バッチ処理
  51. 与信審査 反社チェック等 金融系 スタートアップ サービス プラットフォーム 会員申込み〜審査に関する業務フロー 与信担当者 eKYC 会員申込

    日次 バッチ 外部接続システム (eKYC) 指定信用情報機関 (CIC) 申込一覧 信用情報 チェック サービス プラットフォーム サービス プラットフォーム 申込登録 (確定) 登録処理 (非同期) 外部接続システム (ペイメント関連) 申込登録 (仮) 入会〜審査を始めとしたクレジットカード特有の複雑な業務を紐解き、 方式の検討から実装までを検討する必要がある。 再掲 ここの処理についてピックアップ 04. AWSにおけるチームのコワーク設計 AWS AWS AWS 反社/外国PEPs チェック
  52. 審査後の申込登録を行うと、Amazon SQS / AWS Lambdaにて 非同期処理がなされる。 サービスプラットフォーム 管理者Web用 フロントAPI 与信担当者

    業務個別処理 Lambda 汎用非同期処理 Lambda 汎用非同期処理 SQSキュー 業務個別処理 SQSキュー 申込登録 (確定) 後続処理へ・・・ ※⼀部図を簡略化 04. AWSにおけるチームのコワーク設計
  53. サービスプラットフォーム 管理者Web用 フロントAPI 与信担当者 業務個別処理 Lambda 汎用非同期処理 Lambda 汎用非同期処理 SQSキュー

    業務個別処理 SQSキュー 申込登録 (確定) インフラチームは各種AWSリソースをIaC(Pulumi)でプロビジョニングしている。 一方、Lambda開発はサーバアプリチーム主体であり、IaCからの都度更新は適さない。 サーバアプリ チーム 後続処理へ・・・ インフラチーム 今後の開発を考慮すると、 アプリ管理リポジトリからCI/CDで リリースしたい。 シンプルにGitHub Actions + AWS SAMでデプロイできたほうがベター。 IaC内で他のAWSリソースから Lambdaリソースへの 参照のしやすさを考えると、 Lambdaも定義したい気持ちもある。 ※ただ、SAM(=CloudFormation)と リソース管理がバッティングする SAM GitHub Actions ※⼀部図を簡略化 04. AWSにおけるチームのコワーク設計 審査後の申込登録を行うと、Amazon SQS / AWS Lambdaにて 非同期処理がなされる。
  54. サービスプラットフォーム 管理者Web用 フロントAPI 与信担当者 業務個別処理 Lambda 汎用非同期処理 Lambda 汎用非同期処理 SQSキュー

    業務個別処理 SQSキュー 申込登録 (確定) ※⼀部図を簡略化 IaCですべてのAWSリソースを無理に定義しようとせず、 他チームの開発ライフサイクルを考慮しながら妥協することも必要 サーバアプリ チーム 後続処理へ・・・ インフラチーム SAMではシンプルにアプリ ケーションに関するコード部 分のみ定義。 ※構成管理上の役割分担 IaC内で他のAWSリソースから Lambdaリソースへの参照する場合は、 SAMで作成されたLambdaのARNを 直接指定する。 ※冪等に作成できればOK SAM GitHub Actions サーバアプリ チーム管理 インフラ チームが管理 サーバアプリ チーム管理 インフラ チームが管理 04. AWSにおけるチームのコワーク設計
  55. 本発表では、コンテナCI/CD、Lambda開発、Step Functionsによる バッチ開発を例に、ポテンヒットを防ぐために行ったコワーク設計を紹介 サービスプラットフォーム 外部接続システム (ペイメント関連) サーバアプリ チーム インフラ チーム

    バッチ用S3 バケット バッチ用 Step Functions IAMロール IAMロール 04. AWSにおけるチームのコワーク設計 コワーク設計のテーマ コンテナCI/CD Lambda開発 Step Functionsによる バッチ処理
  56. ユーザー スマホアプリ 外部接続システム群 (ペイメント機能等) 金融系 スタートアップ 明細取得 決済明細 の確認 コンビニ

    キャッシュフロー 情報連携 サービス プラットフォーム ※お客様からは許可を頂いた上、本発表のテーマとして利⽤させていただいています。 再掲 外部システム側から連携されるファイルを取り込む関係上、 いくつかのバッチ処理を実現しなければならない ここの処理についてピックアップ 04. AWSにおけるチームのコワーク設計 AWS
  57. サービスプラットフォーム 外部接続システム (ペイメント関連) バッチ用 S3バケット キャッシュフロー 情報連携 日次バッチ業務はStep Functions +

    ECS / Fargateにて処理 外部接続システムから日次でキャシュフローファイル(決済明細に関するデータ)が連携。 04. AWSにおけるチームのコワーク設計 ※⼀部図を簡略化
  58. サービスプラットフォーム 外部接続システム (ペイメント関連) バッチ用 S3バケット Step Functions workflow START ユーザ一覧

    取得 利用明細 更新 カードDB 決済DB 返済DB 返済データ 更新 END Amazon CloudWatch Events 起動 キャッシュフロー 情報取得 日次バッチ業務はStep Functions + ECS / Fargateにて処理 CloudWatch Eventsにより、日次時刻起動でStep Functionsが起動。 内部でECS/Fargateタスクが稼働し、バッチ処理としてキャシュフローファイルの取り込みが行われる。 04. AWSにおけるチームのコワーク設計 ※⼀部図を簡略化 キャッシュフロー 情報連携
  59. サービスプラットフォーム 外部接続システム (ペイメント関連) バッチ用 S3バケット Step Functions workflow START ユーザ一覧

    取得 利用明細 更新 カードDB 決済DB 返済DB 返済データ 更新 END CloudWatch Events 起動 キャッシュフロー 情報連携 キャッシュフロー 情報取得 業務バッチにおけるStep Functionsのワークフローは サーバアプリ要件で内容が決まるケースが多い 04. AWSにおけるチームのコワーク設計 インフラチーム サーバアプリ チーム バッチの各コンテナだけではなく、 Step Functionsのワークフローも 管理・更新したい。 ※リトライや処理の順序・依存関係 は業務の仕様によるため。 ※⼀部図を簡略化 ・基本は概ねIaCで構築したい。 ・Step Functionsのワークフロー リソースにしては初期だけ作って 今後の更新は無視(IgnoreChanges) すれば良さげ。 ※IaC側のリソース参照も問題なし。 ・NWの設定はあるので、 初期のサンプル定義はサポート。
  60. サービスプラットフォーム 外部接続システム (ペイメント関連) バッチ用 S3バケット Step Functions workflow START ユーザ一覧

    取得 利用明細 更新 カードDB 決済DB 返済DB 返済データ 更新 END CloudWatch Events 起動 キャッシュフロー 情報連携 キャッシュフロー 情報取得 04. AWSにおけるチームのコワーク設計 サーバアプリ チーム ※⼀部図を簡略化 サーバアプリ チーム管理 インフラチーム サポート インフラチーム Step Functionsのワークフローは サーバアプリで主体的に管理する方針とし、インフラチームは適宜サポート
  61. D E V D AY O N L I N

    E J A P A N | S E P T E M B E R 2 8 - 3 0 , 2 0 2 1