Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS re:Invent 2020 勉強会資料
Search
fumiakiueno
December 14, 2020
Technology
0
110
AWS re:Invent 2020 勉強会資料
re:Invent開催中に途中振り返りとして勉強会用に作成した資料です。
fumiakiueno
December 14, 2020
Tweet
Share
More Decks by fumiakiueno
See All by fumiakiueno
AWS re:Inforce 2023 re:Cap
fu3ak1
1
160
AWS Security Jamのすすめ
fu3ak1
1
310
Learning AWS Security Services
fu3ak1
0
200
AWSのセキュリティサービスを学ぶ
fu3ak1
6
1.1k
re:Invent 2022 re:Cap
fu3ak1
0
360
なぜ我々は現地ラスベガスでreInventに参加するのか
fu3ak1
0
1.8k
AWS Control TowerとAWS Organizationsを活用した組織におけるセキュリティ設定
fu3ak1
5
4.3k
reInventガイドを書いたのでセッションおススメ情報をお伝えしたい
fu3ak1
2
1.3k
Amazon Lookout for Metrics触ってみた
fu3ak1
0
640
Other Decks in Technology
See All in Technology
MAMを軸とした動画ハンドリングにおけるAI活用前提の整備と次世代ビジョン / abema-ai-mam
cyberagentdevelopers
PRO
1
110
Amazon FSx for NetApp ONTAPを利用するにあたっての要件整理と設計のポイント
non97
1
160
独自ツール開発でスタジオ撮影をDX!「VLS(Virtual LED Studio)」 / dx-studio-vls
cyberagentdevelopers
PRO
1
170
いまならこう作りたい AWSコンテナ[本格]入門ハンズオン 〜2024年版 ハンズオンの構想〜
horsewin
9
2k
[JAWS-UG金沢支部×コンテナ支部合同企画]コンテナとは何か
furuton
3
160
ABEMA のコンテンツ制作を最適化!生成 AI x クラウド映像編集システム / abema-ai-editor
cyberagentdevelopers
PRO
1
180
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
9
120k
AWSコンテナ本出版から3年経った今、もし改めて執筆し直すなら / If I revise our container book
iselegant
15
3.9k
Commitment vs Harrisonism - Keynote for Scrum Niseko 2024
miholovesq
6
960
日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system
yng87
1
460
現地でMeet Upをやる場合の注意点〜反省点を添えて〜
shotashiratori
0
480
20241031_AWS_生成AIハッカソン_GenMuck
tsumita
0
100
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
51
4.8k
Gamification - CAS2011
davidbonilla
80
5k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
Why Our Code Smells
bkeepers
PRO
334
57k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
GraphQLの誤解/rethinking-graphql
sonatard
66
9.9k
Music & Morning Musume
bryan
46
6.1k
Designing for humans not robots
tammielis
249
25k
Build The Right Thing And Hit Your Dates
maggiecrowley
32
2.4k
Intergalactic Javascript Robots from Outer Space
tanoku
268
27k
A Modern Web Designer's Workflow
chriscoyier
692
190k
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.5k
Transcript
AWS re:Invent 2020 勉強会 (2020/12/14) • Andy Jassyの心に残った言葉 • 2週目(12/7~12/11)アップデート振り返り
• 気になるアップデートの詳細
Andy Jassyの心に残った言葉
You’re going to have to reinvent yourself.
• 生き残るには改革(reinvent)が必要 • 改革のカルチャーを知って、利用できるテクノロジーを知る 長い期間企業として生き残るのは難しい
You can not fight gravity.
• あらかじめうまくいくと思っていた内容は変わる • あなたの状況にかかわらず世の中は変わっていく • NetflixはDVDからストリーミングへ • Amazonは自社在庫から他社製品(third-party)販売へ • AWSは顧客のために変えてきた
重力(世の中の変化)には逆らえない
At AWS, we’re customer focused
• 競合(competitor)フォーカス、商品(product)フォーカス な会社もある • 何が課題なのか顧客から直接聞いている • 何が本当に必要なのか理解しようとしている • ビジネスを変えれると思い、AWSサービスを立ち上げている AWSは顧客視点で考える
You can build the capacity to get to the truth.
• 必要なときに変化(change)をする • 変化を助けてくれる人を身の周りに • 何が重要なのか常に集中する • 素早く動く(Speed) • 自分が何ができるのか知っておく
• 自分の周りで何が変わっているのが知っておく これらをすることで、自分と顧客をreinventできる 未来を知るために
2週目(12/7~12/11) アップデート振り返り
Compute、Network • ECR cross region replication コンテナイメージのリージョン間コピーが可能に。アカウント間コピーも可能 • EC2に新たなネットワークメトリクス追加 新たに5個追加。帯域上限を超えたIN/OUTパケット数、コネクション上限を超えたパケット数、
DNSやメタデータなどのlinklocalへの上限を超えたパケット数、PPSの上限超えパケット数。 • VPC Reachability Analyzer AWSサービス間のネットワーク経路を可視化できるサービス。画面上で通過するENIやSGが一目で見れるた め、ネットワークが繋がらない場合に役立つ。1分析あたり$0.10 オレンジは気になるアップデート
Developer tools、Security • Amplify CLIがFargateへのコンテナデプロイへ対応 ソースコードを用意して、amplify init、configure、add、pushの数回のコマンドを実行するだけで、 Fargateのサービスを公開できる。パイプラインも自動作成される • CodeGuru
Profilerのメモリおよびヒープメモリ対応 CPU、レイテンシーベースだったのがメモリも対応。ヒープメモリも • AWS Audit Manager 監査を簡略化するためのサービス。GDPR、HIPPA、PCI DSSなど主要なコンプライアンスに対応 AWSアカウント内のリソース状況を既存のサービスを使用して取得する。エビデンスを自動収集し、 コンプライアンス標準に合わせた言葉も使用される。監査レポートの出力も可能。マルチアカウントにも対応
Analytics • Amazon Redshift ML SQLコマンドで学習モデルの作成、学習、デプロイが可能。 CREATE MODEL文でモデルが学習、デプロイされる。TARGETでラベルのカラムを指定する。 その後SELECT文で予測結果を取得可能。裏ではSageMaker(autopilotベース)が動き、アルゴリズムは自動選定 •
Amazon Redshift Automatic Table Optimization クエリの状況を監視し、機械学習を使用してソートキーなどを自動選定、データの再配置も実施する • Amazon Redshift federated queryがRDS(MySQL)をサポート PostgreSQLだけでなくMySQLも追加 • Amazon Redshift native console integration with partners パートナー企業とのやり取りがやりやすく • Amazon Redshift が JSON と semi-structured dataのサポート 半構造化データやJSONもOKになった • Amazon Redshift data sharing Redshiftクラスター間でデータを共有するサービス • Amazon Redshift RA3.xlplus node 小さいノードができた。これまでは4xlと16xl
Analytics • Amazon Neptune ML グラフDBのNeptuneでもRedshift ML同様の仕組みで機械学習が使用可能に 不正検知やレコメンデーションなどのユースケースで使用可能 • Amazon
EMR Studio EMR用のIDE。SageMakerでも使われているJupyter notebooksが使用されている。 処理コードの開発がやりやすくなる • Amazon EMR on Amazon EKS EKS(Kubernetes)上でEMRのデータ処理を実行可能に • QuickSightがElasticsearchをサポート データソースとしてElasticSearchの指定が可能に
ML/AI • Amazon HealthLake 多種多様な医療データをAWS上に集約し、機械学習を使用して標準化、分析が可能。HIPPAにも対応 • Amazon Lookout for Metrics
CloudWatch Anomaly Detectionの他サービス対応版。数値データの異常なふるまいを機械学習を使用して検知 CW、S3、RDS、Redshiftに加え、外部のSaaSにも対応(Salesforce, Google Analyticsなど) SNS経由で通知 • Amazon Forecast Weather Index 天気予報 • Amazon SageMaker Edge Manager エッジデバイス上にデプロイされた学習モデルを管理、監視するためのサービス • Amazon SageMaker Clarify 学習データの偏りを検知するサービス。 たとえば画像の年齢判定のモデルを学習する場合に、データが特定の年代に偏ってないかなど • Deep Profiling for Amazon SageMaker Debugger 昨年発表されたDebuggerの新機能。ハードウェアリソースの分析や処理の稼働状況を分析できる
ML/AI • Amazon SageMaker JumpStart 目的に合わせて、学習済みのさまざまな既存のモデルを選択してデプロイ可能 不正検知や数値予測、自然言語処理や画像認識などさまざまなモデルあり そのままデプロイもできるが、既存の学習モデルを*ファインチューニングして、自分のモデルも開発可能。 たとえば一般的な画像分類のモデルから商品分類のモデルを学習してデプロイすることが可能 *「ファインチューニング」既存のモデル全体を再調整して新たなモデルを学習すること。転移学習は既存の出力に追加学習
• Amazon Kendra incremental learning 検索結果に応じて、継続的に増分のデータを使用した学習が可能 • Amazon Kendora のcustom synonymsサポート ユーザ独自の特定の用語を登録可能 • Amazon Kendra の Google Drive connector対応 Google Driveをデータソースとしてサポート
気になるアップデートの詳細
新機能フォーカスではなく、 課題フォーカスで新サービスの背景を考える
AWS Proton
AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit
Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例
AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit
Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例
AWS Proton – 背景・課題 • マイクロサービスの例 ALB Service Container Container
Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC
AWS Proton – 背景・課題 • サービス単位でパイプラインが必要 ALB Service Container Container
Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline CodePipeline CodePipeline
AWS Proton – 背景・課題 • インフラのパイプライン管理 ALB Service Container Container
Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline
AWS Proton – 背景・課題 • 本番、ステージング、開発・・
AWS Proton – 背景・課題 ツライ・・・・・ パイプラインリソースはパイプ ライン管理できない
AWS Proton – 概要 • Protonでテンプレートの一元管理が可能 • テンプレートのバージョン管理やデプロイ状況も見れる • パイプラインの管理もできる
AWS Proton – 概要 • Protonの画面
AWS Protonに期待すること • テンプレートの標準化、バージョン管理 • テンプレートのデプロイ状況の可視性UP • パイプラインテンプレートの管理がしやすくなる • テンプレートのデプロイを共通のUIで簡単に
• アプリ開発者もデプロイを簡単に
Aurora Serverless v2
Aurora Serverless v2 – 背景・課題 • Aurora:AWS独自のデータベース、独自ではあるがMySQLとPostgreSQL互換 • コンピュート機能とストレージ機能が分離されている •
読み込み専用エンドポイントを15個まで作成でき、フェイルオーバーも兼務
Aurora Serverless v2 – 背景・課題 • ノードのキャパシティ管理、どうしてる? Writer:スケールUP/DOWN Reader:スケールアウト/イン 追加or削除
Aurora Serverless v2 – 背景・課題 • ノードのキャパシティ管理、どうしてる? • インスタンスサイズ、リードレプリカの個数を決定する必要あり •
運用後の変更も本来は検討すべき Writer:スケールUP/DOWN Reader:スケールアウト/イン 追加or削除 サイズはどう決定する? 個数はどう決定する?
Aurora Serverless v2 – 背景・課題 • 大体はピーク時のパフォーマンスを見越してインスタンスサイズを決定する • リソースの無駄が多くなる •
また、問題なく稼働されていれば運用後は見直さないことも多い キャパシティはピークに合わせることが多い
Aurora Serverless v2 – 概要 • キャパシティをオートスケールしてくれる • 急激な高負荷にも対応 •
マルチAZにも対応
Aurora Serverless v2 – 概要 • オートスケールの例 青:トランザクション数 橙:Auroraのサイズ(ACU数)
Aurora Serverless v2に期待すること • ノードのキャパシティ決定、管理からの解放→設計、管理タスクの削減 • 無駄なリソース利用を無くし、利用料を削減する • (注意)本番利用時はまず検証を(現状プレビュー) •
(注意)見積は難しくなるため、利用料算出時は注意
AWS Glue Elastic Views
AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ • GlueWorkflowによるETL処理の例 •
S3やDynamoDB、RDBなどから、分析用にRedshiftやElasticSearchに転送
AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ • GlueWorkflowによるETL処理の例 実行トリガー、間隔の設定
ジョブコードの開発、 リトライ管理、エラーハンドリン グ データ型変換の決定、管理
AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ ツライ・・・・・・ 実行トリガー、間隔の設定 ジョブコードの開発、
リトライ管理、エラーハンドリン グ データ型変換の決定、管理
AWS Glue Elastic Views – 概要 • データソースをレプリケートし、マテリアライズドビューをコードなしで作成 • セキュリティ面や整合性など、AWSが管理する部分が多い
AWS Glue Elastic Views – 概要 • Elastic Viewsの画面 •
GUIでポチポチ作れる
AWS Glue Elastic Views – 概要 • データのマッピングも自動で推奨してくれる
AWS Glue Elastic Viewsに期待すること • コード開発が苦手な人でも手軽にETL処理を • ETL処理が手軽にできることで、データ分析基盤の構築も手軽になるかも • データの(ほぼ)リアルタイム同期が可能なので色々な用途に使えるかも