Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
おかえり_Tech-in_AWS_20211213_全体公開大石.pdf
Search
Suguru Ohishi
December 20, 2021
Technology
1
130
おかえり_Tech-in_AWS_20211213_全体公開大石.pdf
Suguru Ohishi
December 20, 2021
Tweet
Share
More Decks by Suguru Ohishi
See All by Suguru Ohishi
JBUG静岡#2プロジェクト管理勉強会宣伝LT
suguru0719
0
430
BigData-JAWS大石20211208_AQUA_.pdf
suguru0719
0
760
おかえり!Tech-in AWS 20211213 大石
suguru0719
0
140
セキュリティ入門とハッキング概説.pdf
suguru0719
0
240
指への痕跡
suguru0719
0
74
MT570と出会うまで
suguru0719
0
62
銀河英雄伝説_勉強会_2_イゼルローンフォートレス訪問記20201126_公開版_.pdf
suguru0719
0
480
エリア88_勉強会_1_地上空母の可能性20200516.pdf
suguru0719
0
1.4k
銀河英雄伝説_勉強会_1_艦船認識20200429.pdf
suguru0719
0
800
Other Decks in Technology
See All in Technology
OCI 運用監視サービス 概要
oracle4engineer
PRO
0
4.8k
Amazon Personalizeのレコメンドシステム構築、実際何するの?〜大体10分で具体的なイメージをつかむ〜
kniino
1
100
AWS Lambdaと歩んだ“サーバーレス”と今後 #lambda_10years
yoshidashingo
1
170
OCI Network Firewall 概要
oracle4engineer
PRO
0
4.1k
Introduction to Works of ML Engineer in LY Corporation
lycorp_recruit_jp
0
130
Terraform Stacks入門 #HashiTalks
msato
0
360
TypeScript、上達の瞬間
sadnessojisan
46
13k
OCI Vault 概要
oracle4engineer
PRO
0
9.7k
障害対応指揮の意思決定と情報共有における価値観 / Waroom Meetup #2
arthur1
5
480
DynamoDB でスロットリングが発生したとき_大盛りver/when_throttling_occurs_in_dynamodb_long
emiki
1
400
ISUCONに強くなるかもしれない日々の過ごしかた/Findy ISUCON 2024-11-14
fujiwara3
8
870
[CV勉強会@関東 ECCV2024 読み会] オンラインマッピング x トラッキング MapTracker: Tracking with Strided Memory Fusion for Consistent Vector HD Mapping (Chen+, ECCV24)
abemii
0
220
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
95
5.2k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
A Modern Web Designer's Workflow
chriscoyier
693
190k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
Testing 201, or: Great Expectations
jmmastey
38
7.1k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
720
Practical Orchestrator
shlominoach
186
10k
Art, The Web, and Tiny UX
lynnandtonic
297
20k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
109
49k
RailsConf 2023
tenderlove
29
900
Transcript
Re:Invent2021 気になるサービス、 胸アツなサービス 2021/12/13 おかえり!Tech-in AWS re:Invent2021 re:cap アイレット株式会社 ⼤⽯英
1/30
⾃⼰紹介 ⼤⽯ 英(Ohishi Suguru) アイレット株式会社 アジャイル事業部(旧“KDDIRET事業部”) データ分析基盤セクション セクションリーダー アイレットに⼊社後、現在はデータ分析基盤の 構築・運⽤チームのチームリーダに
2/30
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 3/30
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 4/30
気になるサービス(運⽤監視視点) 5/30 •Amazon CloudWatch Metrics Insights ・CloudWatchの各メトリクス履歴に対してSQLベースでクエリ可能 傾向やパターンをリアルタイムに特定し、分析することにより、課題解決までの時間を短縮することが期待 ・Metrics Insightsには標準的なSQL⾔語が付属
・ビジュアルクエリビルダを使ってMetrics Insightsを始めることも可能 ・Metrics Insightsは、Amazon Managed Grafanaコンソールでも利⽤可能 これまでのメトリクスによるアラート発砲より、更に 柔軟な検知設定が(CloudWatch内で)可能となる事を期待
気になるサービス(運⽤監視視点) 6/30 •(Update) AWS Compute Optimizerがリソース効率のメトリクスを提供 ・コスト削減機会とパフォーマンス改善機会という2つの新しいダッシュボードレベルのメトリクスにより、 優先順位をつけ、コスト最適化機会を素早く特定することが可能 ・コスト削減機会メトリクス (saving
oppotunity) は、Compute Optimizerの推奨事項を採⽤することで、アカウント レベル、リソースタイプレベル、リソースレベルで達成できるAmazon EC2、Amazon EBS、AWS Lambdaの ⽉間節約額を定量化 ・パフォーマンス改善機会メトリクスは、アカウントレベルおよびリソースタイプレベルで、プロビジョニング 不⾜のリソースの割合と数を定量化 ・リソースのボトルネックのリスクに対処するパフォーマンス改善の機会を評価し、優先順位を決定可能 単純なコスト削減のみならず、コスト効率の向上が出 来るようになるのか?
気になるサービス(運⽤監視視点) 7/30 •(Update) AWS Compute Optimizerがインフラストラクチャメトリクスを強化 し、ルックバック期間を3ヶ⽉に延⻑ ・インフラストラクチャのメトリクスを強化し、EC2インスタンスとAuto Scalingグループの推奨品質を⾼める 有料の推奨環境設定機能を新たに提供
・この機能を有効にすると、メトリクスのルックバック期間が3カ⽉に延⻑ ・個々のリソース、またはAWSアカウントやAWS組織レベルで有効化可能 機能拡張はありがたいものの、“有料”な機能にどうし ても引っ掛かりが…(^_^;)
気になるサービス(運⽤監視視点) 8/30 •(Update) Amazon CodeGuru Reviewer、JavaおよびPythonリポジトリでハード コードされたシークレットを検出可能に ・ユーザー名やパスワード、データベースの接続⽂字列、トークン、AWSや他のサービスプロバイダーのAPIキー などがコード内にあるかどうかを特定可能 ・新しいリポジトリをAmazon
CodeGuru Reviewerに追加すると、secrets detectorがPythonとJavaのソースを⾃動的に 検索し、設定ファイルやドキュメントファイルに加えて、シークレットを探索 やらかし防⽌が簡単に?(^_^;)
気になるサービス(運⽤監視視点) 9/30 •(Update) Amazon EventBridgeでAmazon S3のイベント通知が利⽤可能 ・S3イベント通知をEventBridgeに直接配信するように設定可能 ・オブジェクトサイズ、キー名、時間範囲など、多くの追加メタデータフィールドでフィルタリング可能
気になるサービス(運⽤監視視点) 10/30 •(Update) AWS Backupが、Amazon S3のバックアップとリストアに対応 ・AWSアカウント全体のS3バケットとオブジェクトのバックアップとリストアを⼀元的に管理可能
気になるサービス(運⽤監視視点) 11/30 •(Update) Amazon S3がS3 Lifecycle、S3 Intelligent-Tiering、オブジェクトタグ、 オブジェクトアクセスコントロールリストの新しいS3イベント通知を追加 ・新しい通知は、バケット全体、または接頭辞や接尾辞を使⽤したオブジェクトのサブセットに対して⽣成する ことができ、Amazon
EventBridge、Amazon SNS、Amazon SQS、またはAWS Lambda関数に配信することを選択可能
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 12/30
気になるサービス(環境構築視点) 13/30 •(Update) 継続的な脆弱性管理のための新しい「Amazon Inspector」を発表 ・新しいAmazon Inspectorでは、ワンクリックで組織全体のサービスを有効にすることが可能 ・Inspectorは⾃動的にすべてのワークロードを検出し、ソフトウェアの脆弱性や意図しないネットワークへの 露出がないかを継続的にスキャン可能 ・Amazon
Elastic Container Registry(ECR)をサポートしたことで、ECRに格納されているコンテナイメージの 脆弱性を把握することが可能 ・Amazon Systems Manager(SSM)エージェントを、EC2の脆弱性スキャンに使⽤ ・情報は、Amazon Security Hubに転送され、Amazon EventBridgeにプッシュされることで、パートナー ソリューションとの連携の⾃動化を実現し、解決までの平均時間(MTTR)を短縮可能 環境構築時、商⽤引き渡し前の事前チェックに…
気になるサービス(環境構築視点) 14/30 •AWS Control Tower Account Factory for Terraform ・TerraformとAWS
Control Towerを統合するソフトウェアリリースパイプラインを使⽤し、すべてのアカウントで ⼀貫したガバナンスとコンプライアンスの要件をシンプルに達成するための機能 ・開発パイプラインを使⽤してTerraformを通じてAWSアカウントのプロビジョニングとカスタマイズを⾏うことが 可能 そもそも商⽤環境でTerraformが使えないと 意味が無いが…orz
気になるサービス(環境構築視点) 15/30 •(Update) Simplify Access Management for Data Stored in
Amazon S3 ・アクセス制御リスト(ACL)を無効化できる新しいAmazon S3オブジェクトの所有権の設定項⽬が追加 ・設定を適⽤すると、バケット内のすべてのオブジェクトは、バケットを作成したAWSアカウントが所有する ようになり、アクセスを許可するためのACLは使⽤されなくなる ・S3ポリシーを作成する際に、IAM Access Analyzerによるセキュリティ警告、エラー、提案を表⽰ S3のセキュリティ設定が⾰新される!?
気になるサービス(環境構築視点) 16/30 •Amazon VPC Network Access Analyzer ・Amazon VPC Network
Access Analyzerは、AWS上のリソースへの意図しないネットワークアクセスを特定する ことができる新機能 ・ネットワークアクセスがセキュリティやコンプライアンスのガイドラインを満たしているかどうかを検証可能
気になるサービス(環境構築視点) 17/30 •(Update) AWS Transit Gatewayがリージョン内ピアリングを導⼊し、クラウド 運⽤とネットワーク接続を簡素化 ・AWS Transit Gatewayはイントラ・リージョン・ピアリングをサポートし、同じAWSリージョン内の複数の
Transit Gateway間でピアリング接続を確⽴可能 ・この変更により、組織内のさまざまなユニットが独⾃のTransit Gatewayを導⼊し、それらを簡単に相互接続する ことができるため、管理上のオーバーヘッドが少なくなり、運⽤の⾃律性が向上 ・同じAWSリージョンにある別々のTransit Gatewayでサービスを提供しているネットワーク間のルーティングや 相互接続を簡素化可能 ・同⼀リージョン内のTransit Gatewayをネイティブにピアリングすることで、Transit VPCの作成や管理が不要になり、 ルートテーブルの管理も簡素化され、設定ミスの確率も減少することが期待される ・リージョン内ピアリングを利⽤することで、柔軟なネットワークトポロジーを構築し、同⼀リージョン内の サードパーティやパートナーが管理するネットワークと⾃社のネットワークを簡単に統合可能
気になるサービス(環境構築視点) 18/30 •(Update) Amazon Virtual Private Cloud (VPC)がIP Address Manager
(IPAM)を発表、 AWS上でのIPアドレス管理の簡素化を⽀援 ・VPC IPAMでは、ルーティングやセキュリティのニーズに基づいてIPアドレスを簡単に整理し、シンプルな ビジネスルールを設定してIPの割り当てを管理 ・IPAMの使⽤で、VPCへのIPアドレス割り当てを⾃動化でき、維持管理が難しく時間のかかるスプレッドシート ベースのアプリケーション(Excelなど)や⾃社製のIPプランニング・アプリケーションを使⽤する必要がない ・IPAMは、AWSアカウント、Amazon VPC、ルーティングドメインやセキュリティドメインなどの重要なIPアドレス 情報を⾃動的に追跡するため、IPアドレスの⼿動追跡や、帳簿記録の必要がない ・IPアドレス使⽤状況のアラームを設定し、可視性を得ることでIPアドレスの問題を積極的に解決出来る ・IPAMは、IPアドレスのモニタリングデータを⾃動的に保存(最⼤3年間)。この履歴データを利⽤して、 ネットワークセキュリティやルーティングポリシーのレトロスペクティブ分析や監査を⾏うことが可能 ・IPAMは統⼀されたオペレーションビューを提供し、AWS Resource Access ManagerやAWS Organizationsを使って、 AWSリージョンや⾃分のアカウントにまたがるIPアドレスを管理可能 ・IP利⽤率の追跡、トラブルシューティング、監査などの⽇常的なIPアドレス管理活動をより効率的に、より速く ⾏うことが可能
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 19/30
気になるサービス(データ分析基盤視点) 20/30 •Amazon Redshift Serverless ・データウェアハウスクラスタをプロビジョニングおよび管理することなく、アナリティクスを実⾏して拡張 するためのサーバーレスオプションを提供 ・データウェアハウスの容量を⾃動的にプロビジョニングし、インテリジェントにスケーリングすることで、 すべてのアナリティクスにクラス最⾼のパフォーマンスを提供 ・コストは秒単位のコンピュート時間に課⾦
・東京リージョンでプレビュー可能 2021/12/8時点での追加情報(AWSJ平間さんによる) ・現時点では、技術的な詳細は公開されていない(AWSJ社内にも) ・AQUAが適⽤されるか否かは名⾔されていない
気になるサービス(データ分析基盤視点) 21/30 •Amazon EMR Serverless ・クラスターの設定や最適化、セキュリティの確保をすることなく、これらのフレームワークを使⽤して構築 されたアプリケーションを数回のクリックで実⾏可能 ・アプリケーションが必要とするコンピュートリソースとメモリーリソースは⾃動的にプロビジョニングおよび スケーリングされ、使⽤したリソースに対してのみ料⾦を⽀払う ・東京リージョンでプレビュー可能
気になるサービス(データ分析基盤視点) 22/30 •Amazon Kinesis Data Streams On-Demand ・Kinesis Data Streamsの新しいキャパシティモードで、キャパシティプランニングなしで1分間にギガバイトの
書き込みおよび読み込みのスループットを提供可能 ・ワンクリックで新しいオンデマンドデータストリームを作成したり、既存のデータストリームをオンデマンド モードに変換したりすることができ、サーバー、ストレージ、スループットのプロビジョニングや管理を⾏う 必要がなくなる ・オンデマンドモードでは、プロビジョニングされたリソースではなく、消費されたスループットに対して コストが発⽣ ・全リージョンでGA
気になるサービス(データ分析基盤視点) 23/30 •Amazon AthenaがLake FormaQonの新機能をサポート ・Athena ACIDトランザクションにより、複数の同時ユーザーがAthenaのコンソール、API、ODBCおよびJDBC ドライバーからAmazon S3データに対して信頼性の⾼い⼀貫性を持った⾏レベルの変更を⾏うことが可能 ・Apache
Icebergテーブルフォーマットに基づいて構築されたAthena ACIDトランザクションは、Amazon EMRや Apache Sparkなど、Icebergテーブルフォーマットをサポートする他のサービスやエンジンとの互換性あり ・Athenaの管理者はLake FormaXonのデータフィルタリ ング機能を利⽤して、カラムレベル、⾏レベル、 セルレベルのアクセス権限を設定できる ・東京リージョン未対応
気になるサービス(データ分析基盤視点) 24/30 •(Update) AWS Lake FormaQon、Governed Tables、ストレージの最適化、⾏レ ベルのセキュリティをサポート ・データの追加や変更が⾏われると、Lake FormaXonが⾃動的にコンフリクトやエラーを管理し、すべてのユーザー
がデータの⼀貫したビューで確認可能 ・Governed Tablesがデータの保存⽅法を監視し、⾃動的に最適化するため、クエリ時間が⼀貫して⾼速化 ・⾏レベルとセルレベルのパーミッションをサポート ・Amazon Simple Storage Service(S3) テーブルでセルレベルのセキュリティポリシーを指定できるように、 きめ細かいアクセ スコントロールを提供 (列、⾏、セルへのアクセスを制限して、 個⼈情報 (PII) などの機密データを保護 できる ) ・ 東京リージョンで対応
気になるサービス(データ分析基盤視点) 25/30 •AWS Database Migration Service Fleet Advisor ・フリートの発⾒と分析を⾃動化することで、データベースとアナリティクスの移⾏計画を迅速に構築 ・機能メタデータ、スキーマオブジェクト、使⽤メトリクスの情報を含む、データベーススキーマとオブジェクト
を収集し、分析 ・ソースデータベースをAWSのターゲットサービスに移⾏する際の複雑さを判断し、カスタマイズされた移⾏ プランを構築可能 AWS Schema Conversion Tool (AWS SCT) で苦 労したから、半信半疑(^_^;)
気になるサービス(データ分析基盤視点) 26/30 •AWS AI for data analytics (AIDA) ・データサイエンスの経験が少ない⼈でも予測分析を導⼊できるよう⽀援するAWSパートナーのソリューション群 ・Amplitude,
Anaplan, Causality Link, Domo, Exasol, Interworks, Pegasystems, Provectus, Qlik, Snowflake, Tableau, TIBCO, and Workato
本⽇のアジェンダ 気になるサービス(運⽤監視視点) 気になるサービス(環境構築視点) 気になるサービス(データ分析基盤視点) 気になるサービス(開発視点) 27/30
気になるサービス(開発視点) 28/30 •(Update) Amazon Simple Queue Service(SQS)、デッドレターキュー(DLQ) のソースキューへのリドライブのサポート ・デッドレターキューのメッセージの再処理を⾏う実装が可能
気になるサービス(開発視点) 29/30 •Amazon CloudWatch RUM(Real-User Monitoring for Amazon CloudWatch) ・アプリケーションのクライアントサイドのパフォーマンスを監視
・Webアプリケーションのクライアントサイドの問題を特定してデバッグし、 エンドユーザーのデジタルエクスペリエンスを向上させることができるリアルユーザーモニタリング機能 ・CloudWatch RUMを使⽤すると、異なるロケーション、ブラウザ、およびデバイス間でアプリケーションの パフォーマンスをほぼリアルタイムで確認でき、パフォーマンスの最適化が可能 ・ページロードステップ、コアウェブバイタル、およびJavaScriptとH[pエラーを含むアプリケーションの パフォーマンスの異常を表⽰可能 ・問題によって影響を受けたセッションの数を把握し、修正すべき問題の優先順位付けも可能 ・CloudWatch ServiceLensやAWS X-Rayとの統合により、クライアントサイドからバックエンドのインフラ ストラクチャノードへのトレースを簡単に相関して確認可能 ・CloudWatch RUMの登場で、CloudWatchをエンドツーエンドのモニタリングに利⽤可能となった
気になるサービス(開発視点) 30/30 •Amazon CloudWatch Evidently ・アプリケーション開発者がアプリケーションスタック全体で新機能を安全に検証するための新機能 ・新機能を⽴ち上げる際、開発者は⼀部のユーザーにその機能を公開し、ページのロード時間やコンバージョン などの主要な指標を監視した後、⼀般的な使⽤のために安全にトラフィックを開放可能 ・主要なビジネス指標やパフォーマンス指標を監視しながら、制御された⽅法でトラフィックを開放するための 詳細なスケジューリング機能を提供
・起動時に問題が発⽣した場合、安全な状態にロールバックするためのアラームを定義可能