Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS re:Invent 2020 勉強会資料
Search
fumiakiueno
December 14, 2020
Technology
0
120
AWS re:Invent 2020 勉強会資料
re:Invent開催中に途中振り返りとして勉強会用に作成した資料です。
fumiakiueno
December 14, 2020
Tweet
Share
More Decks by fumiakiueno
See All by fumiakiueno
AWS re:Inforce 2023 re:Cap
fu3ak1
1
170
AWS Security Jamのすすめ
fu3ak1
1
340
Learning AWS Security Services
fu3ak1
0
230
AWSのセキュリティサービスを学ぶ
fu3ak1
6
1.2k
re:Invent 2022 re:Cap
fu3ak1
0
380
なぜ我々は現地ラスベガスでreInventに参加するのか
fu3ak1
0
1.9k
AWS Control TowerとAWS Organizationsを活用した組織におけるセキュリティ設定
fu3ak1
5
4.5k
reInventガイドを書いたのでセッションおススメ情報をお伝えしたい
fu3ak1
2
1.4k
Amazon Lookout for Metrics触ってみた
fu3ak1
0
650
Other Decks in Technology
See All in Technology
飲食店予約台帳を支えるインタラクティブ UI 設計と実装
siropaca
6
1.4k
Ask! NIKKEIの運用基盤と改善に向けた取り組み / NIKKEI TECH TALK #30
kaitomajima
1
450
AWSでRAGを実現する上で感じた3つの大事なこと
ymae
3
1k
スクラムのイテレーションを導入してチームの雰囲気がより良くなった話
eccyun
0
110
組織貢献をするフリーランスエンジニアという生き方
n_takehata
1
1k
ビジネスと現場活動をつなぐソフトウェアエンジニアリング~とあるスタートアッププロダクトの成長記録より~
mizunori
0
210
Tech Blogを書きやすい環境づくり
lycorptech_jp
PRO
0
120
室長と気ままに学ぶマイクロソフトのビジネスアプリケーションとビジネスプロセス
ryoheig0405
0
320
Data-centric AI入門第6章:Data-centric AIの実践例
x_ttyszk
1
370
Bounded Context: Problem or Solution?
ewolff
1
210
偶然 × 行動で人生の可能性を広げよう / Serendipity × Action: Discover Your Possibilities
ar_tama
1
740
マルチモーダル理解と生成の統合 DeepSeek Janus, etc... / Multimodal Understanding and Generation Integration
hiroga
0
360
Featured
See All Featured
Gamification - CAS2011
davidbonilla
80
5.1k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Thoughts on Productivity
jonyablonski
69
4.5k
Code Reviewing Like a Champion
maltzj
521
39k
Unsuck your backbone
ammeep
669
57k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Become a Pro
speakerdeck
PRO
26
5.1k
Bash Introduction
62gerente
610
210k
Mobile First: as difficult as doing things right
swwweet
223
9.3k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
630
Into the Great Unknown - MozCon
thekraken
35
1.6k
Transcript
AWS re:Invent 2020 勉強会 (2020/12/14) • Andy Jassyの心に残った言葉 • 2週目(12/7~12/11)アップデート振り返り
• 気になるアップデートの詳細
Andy Jassyの心に残った言葉
You’re going to have to reinvent yourself.
• 生き残るには改革(reinvent)が必要 • 改革のカルチャーを知って、利用できるテクノロジーを知る 長い期間企業として生き残るのは難しい
You can not fight gravity.
• あらかじめうまくいくと思っていた内容は変わる • あなたの状況にかかわらず世の中は変わっていく • NetflixはDVDからストリーミングへ • Amazonは自社在庫から他社製品(third-party)販売へ • AWSは顧客のために変えてきた
重力(世の中の変化)には逆らえない
At AWS, we’re customer focused
• 競合(competitor)フォーカス、商品(product)フォーカス な会社もある • 何が課題なのか顧客から直接聞いている • 何が本当に必要なのか理解しようとしている • ビジネスを変えれると思い、AWSサービスを立ち上げている AWSは顧客視点で考える
You can build the capacity to get to the truth.
• 必要なときに変化(change)をする • 変化を助けてくれる人を身の周りに • 何が重要なのか常に集中する • 素早く動く(Speed) • 自分が何ができるのか知っておく
• 自分の周りで何が変わっているのが知っておく これらをすることで、自分と顧客をreinventできる 未来を知るために
2週目(12/7~12/11) アップデート振り返り
Compute、Network • ECR cross region replication コンテナイメージのリージョン間コピーが可能に。アカウント間コピーも可能 • EC2に新たなネットワークメトリクス追加 新たに5個追加。帯域上限を超えたIN/OUTパケット数、コネクション上限を超えたパケット数、
DNSやメタデータなどのlinklocalへの上限を超えたパケット数、PPSの上限超えパケット数。 • VPC Reachability Analyzer AWSサービス間のネットワーク経路を可視化できるサービス。画面上で通過するENIやSGが一目で見れるた め、ネットワークが繋がらない場合に役立つ。1分析あたり$0.10 オレンジは気になるアップデート
Developer tools、Security • Amplify CLIがFargateへのコンテナデプロイへ対応 ソースコードを用意して、amplify init、configure、add、pushの数回のコマンドを実行するだけで、 Fargateのサービスを公開できる。パイプラインも自動作成される • CodeGuru
Profilerのメモリおよびヒープメモリ対応 CPU、レイテンシーベースだったのがメモリも対応。ヒープメモリも • AWS Audit Manager 監査を簡略化するためのサービス。GDPR、HIPPA、PCI DSSなど主要なコンプライアンスに対応 AWSアカウント内のリソース状況を既存のサービスを使用して取得する。エビデンスを自動収集し、 コンプライアンス標準に合わせた言葉も使用される。監査レポートの出力も可能。マルチアカウントにも対応
Analytics • Amazon Redshift ML SQLコマンドで学習モデルの作成、学習、デプロイが可能。 CREATE MODEL文でモデルが学習、デプロイされる。TARGETでラベルのカラムを指定する。 その後SELECT文で予測結果を取得可能。裏ではSageMaker(autopilotベース)が動き、アルゴリズムは自動選定 •
Amazon Redshift Automatic Table Optimization クエリの状況を監視し、機械学習を使用してソートキーなどを自動選定、データの再配置も実施する • Amazon Redshift federated queryがRDS(MySQL)をサポート PostgreSQLだけでなくMySQLも追加 • Amazon Redshift native console integration with partners パートナー企業とのやり取りがやりやすく • Amazon Redshift が JSON と semi-structured dataのサポート 半構造化データやJSONもOKになった • Amazon Redshift data sharing Redshiftクラスター間でデータを共有するサービス • Amazon Redshift RA3.xlplus node 小さいノードができた。これまでは4xlと16xl
Analytics • Amazon Neptune ML グラフDBのNeptuneでもRedshift ML同様の仕組みで機械学習が使用可能に 不正検知やレコメンデーションなどのユースケースで使用可能 • Amazon
EMR Studio EMR用のIDE。SageMakerでも使われているJupyter notebooksが使用されている。 処理コードの開発がやりやすくなる • Amazon EMR on Amazon EKS EKS(Kubernetes)上でEMRのデータ処理を実行可能に • QuickSightがElasticsearchをサポート データソースとしてElasticSearchの指定が可能に
ML/AI • Amazon HealthLake 多種多様な医療データをAWS上に集約し、機械学習を使用して標準化、分析が可能。HIPPAにも対応 • Amazon Lookout for Metrics
CloudWatch Anomaly Detectionの他サービス対応版。数値データの異常なふるまいを機械学習を使用して検知 CW、S3、RDS、Redshiftに加え、外部のSaaSにも対応(Salesforce, Google Analyticsなど) SNS経由で通知 • Amazon Forecast Weather Index 天気予報 • Amazon SageMaker Edge Manager エッジデバイス上にデプロイされた学習モデルを管理、監視するためのサービス • Amazon SageMaker Clarify 学習データの偏りを検知するサービス。 たとえば画像の年齢判定のモデルを学習する場合に、データが特定の年代に偏ってないかなど • Deep Profiling for Amazon SageMaker Debugger 昨年発表されたDebuggerの新機能。ハードウェアリソースの分析や処理の稼働状況を分析できる
ML/AI • Amazon SageMaker JumpStart 目的に合わせて、学習済みのさまざまな既存のモデルを選択してデプロイ可能 不正検知や数値予測、自然言語処理や画像認識などさまざまなモデルあり そのままデプロイもできるが、既存の学習モデルを*ファインチューニングして、自分のモデルも開発可能。 たとえば一般的な画像分類のモデルから商品分類のモデルを学習してデプロイすることが可能 *「ファインチューニング」既存のモデル全体を再調整して新たなモデルを学習すること。転移学習は既存の出力に追加学習
• Amazon Kendra incremental learning 検索結果に応じて、継続的に増分のデータを使用した学習が可能 • Amazon Kendora のcustom synonymsサポート ユーザ独自の特定の用語を登録可能 • Amazon Kendra の Google Drive connector対応 Google Driveをデータソースとしてサポート
気になるアップデートの詳細
新機能フォーカスではなく、 課題フォーカスで新サービスの背景を考える
AWS Proton
AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit
Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例
AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit
Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例
AWS Proton – 背景・課題 • マイクロサービスの例 ALB Service Container Container
Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC
AWS Proton – 背景・課題 • サービス単位でパイプラインが必要 ALB Service Container Container
Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline CodePipeline CodePipeline
AWS Proton – 背景・課題 • インフラのパイプライン管理 ALB Service Container Container
Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline
AWS Proton – 背景・課題 • 本番、ステージング、開発・・
AWS Proton – 背景・課題 ツライ・・・・・ パイプラインリソースはパイプ ライン管理できない
AWS Proton – 概要 • Protonでテンプレートの一元管理が可能 • テンプレートのバージョン管理やデプロイ状況も見れる • パイプラインの管理もできる
AWS Proton – 概要 • Protonの画面
AWS Protonに期待すること • テンプレートの標準化、バージョン管理 • テンプレートのデプロイ状況の可視性UP • パイプラインテンプレートの管理がしやすくなる • テンプレートのデプロイを共通のUIで簡単に
• アプリ開発者もデプロイを簡単に
Aurora Serverless v2
Aurora Serverless v2 – 背景・課題 • Aurora:AWS独自のデータベース、独自ではあるがMySQLとPostgreSQL互換 • コンピュート機能とストレージ機能が分離されている •
読み込み専用エンドポイントを15個まで作成でき、フェイルオーバーも兼務
Aurora Serverless v2 – 背景・課題 • ノードのキャパシティ管理、どうしてる? Writer:スケールUP/DOWN Reader:スケールアウト/イン 追加or削除
Aurora Serverless v2 – 背景・課題 • ノードのキャパシティ管理、どうしてる? • インスタンスサイズ、リードレプリカの個数を決定する必要あり •
運用後の変更も本来は検討すべき Writer:スケールUP/DOWN Reader:スケールアウト/イン 追加or削除 サイズはどう決定する? 個数はどう決定する?
Aurora Serverless v2 – 背景・課題 • 大体はピーク時のパフォーマンスを見越してインスタンスサイズを決定する • リソースの無駄が多くなる •
また、問題なく稼働されていれば運用後は見直さないことも多い キャパシティはピークに合わせることが多い
Aurora Serverless v2 – 概要 • キャパシティをオートスケールしてくれる • 急激な高負荷にも対応 •
マルチAZにも対応
Aurora Serverless v2 – 概要 • オートスケールの例 青:トランザクション数 橙:Auroraのサイズ(ACU数)
Aurora Serverless v2に期待すること • ノードのキャパシティ決定、管理からの解放→設計、管理タスクの削減 • 無駄なリソース利用を無くし、利用料を削減する • (注意)本番利用時はまず検証を(現状プレビュー) •
(注意)見積は難しくなるため、利用料算出時は注意
AWS Glue Elastic Views
AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ • GlueWorkflowによるETL処理の例 •
S3やDynamoDB、RDBなどから、分析用にRedshiftやElasticSearchに転送
AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ • GlueWorkflowによるETL処理の例 実行トリガー、間隔の設定
ジョブコードの開発、 リトライ管理、エラーハンドリン グ データ型変換の決定、管理
AWS Glue Elastic Views – 背景・課題 https://aws.amazon.com/jp/blogs/news/simplify-data-pipelines-with-aws-glue-automatic-code-generation-and-workflows/ ツライ・・・・・・ 実行トリガー、間隔の設定 ジョブコードの開発、
リトライ管理、エラーハンドリン グ データ型変換の決定、管理
AWS Glue Elastic Views – 概要 • データソースをレプリケートし、マテリアライズドビューをコードなしで作成 • セキュリティ面や整合性など、AWSが管理する部分が多い
AWS Glue Elastic Views – 概要 • Elastic Viewsの画面 •
GUIでポチポチ作れる
AWS Glue Elastic Views – 概要 • データのマッピングも自動で推奨してくれる
AWS Glue Elastic Viewsに期待すること • コード開発が苦手な人でも手軽にETL処理を • ETL処理が手軽にできることで、データ分析基盤の構築も手軽になるかも • データの(ほぼ)リアルタイム同期が可能なので色々な用途に使えるかも