Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Amazon Data Firehoseの入門から実戦まで
Search
ONOYAMA Shodai
November 20, 2024
Technology
680
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Amazon Data Firehoseの入門から実戦まで
2024/11/21(木) 九州AWS若手の会#2 登壇資料
ONOYAMA Shodai
November 20, 2024
Transcript
14 slides
2024/11/20 九州AWS若⼿の会#2 おのやん Amazon Data Firehoseの ⼊⾨から実戦まで
⽬次 2 1.⾃⼰紹介 2.Amazon Data Firehoseとは? 3.実際のユースケース 4.IaCテンプレート例 5.注意点いろいろ 6.まとめ
⾃⼰紹介 3 • 2023年4⽉ クラスメソッド 新卒⼊社 • 2024年7⽉ 2024 AWS
Jr.Champion ◦ お客様のAWS環境構築を技術的に⽀援 • 部署 ◦ AWS事業本部 コンサルティング部 • 名前(ニックネーム) ◦ ⼩野⼭ 翔⼤ (おのやん) • 出⾝‧住まい ◦ 福岡 • 趣味 ◦ ランニング‧バドミントン ◦ 特撮
Amazon Data Firehoseとは 4 l AWS フルマネージドサービス l ストリーミングデータを収集‧変換 l
他のAWS サービスなど、 分析⽤データストアに配信可能 l 旧 Amazon Kinesis Data Firehose l ストリーミングデータを S3バケット(バケツ)に流す 消⽕ホース(Firehose)のイメージ
コンソールで新アイコンが適⽤されている 数少ないサービス(当⽅観測範囲内) Amazon Data Firehoseとは 5
Amazon Data Firehoseとは 6 https://dev.classmethod.jp/articles/introduction-2024-amazon-data-firehose/
Amazon Data Firehoseとは 7 l 1つのストリームを構成単位とする l 「Data Firehose ストリームを作成」
l バッファサイズとバッファ間隔を ストリームごとに設定 l バッファサイズ:特定のサイズに達したら データストアに保存 l バッファ間隔:特定の期間が経過したら データストアに保存
実際のユースケース 8 l ストリームデータをデータストアに 保存する際のつなぎ l CloudWatchログをS3に保存したい! l 外部SaaSのログをS3に保存したい! l
バッファリングのサイズや時間について 実装が不必要に l シンプルな分、保存ファイル名の変更が 効かないなどの制約はある https://dev.classmethod.jp/articles/introduction-2024- amazon-data-firehose/
IaC テンプレート例 9
注意点いろいろ 10 IaC経由で構築時:Data Firehose ログストリームの作成が必要 l CloudWatch ロググループだけだと構築に失敗する l CloudWatch
ログストリームも明⽰的に作成が必要
注意点いろいろ 11 Data Firehose => S3で保存したGZIP圧縮ファイル: ブラウザ経由でDLすると勝⼿に解凍されるが、ファイルの拡張⼦は変わらない l PCでファイルの内容を確認するときに引っかかりがち
Amazon Data Firehoseとは:おかわり 12 https://dev.classmethod.jp/articles/introduction-2024-amazon-data-firehose/
ファイル名や圧縮形式にそこまで制約がなく ストリーミングデータをデータストアへシンプルに配信したいなら Data Firehoseは⼤いに採⽤の価値あり!! まとめ 13
None
More Decks by ONOYAMA Shodai
See All by ONOYAMA Shodai
Claude Codeウェビナー資料 - AWSの最新機能をClaude Codeで高速に検証する
oshanqq
0
1.4k
DevOps視点でAWS re:invent2024の新サービス・アプデを振り返ってみた
oshanqq
0
680
AWSを始めた頃に陥りがちなポイントをまとめてみた
oshanqq
1
4.2k
AWS版GitHub?Amazon CodeCatalystの全体像をまとめてみた
oshanqq
2
6k
Amazon CloudFront の機能、カテゴリ分けすると理解しやすい説
oshanqq
0
960
ジュニアレベルのAWS学習戦略
oshanqq
1
1.6k
出張! #DevelopersIO IT技術ブログの中の人が語る勉強会 「【速報】AWSの生成AIサービスであるAmazon Bedrock がリリースされたので朝イチで触ってみた」について語る
oshanqq
0
970
EC2 Instance Connectを図解してみた
oshanqq
1
2k
初海外・初ベガス・初re:Inventで新卒が感じたこと
oshanqq
1
970
Other Decks in Technology
See All in Technology
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
200
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
520
設計手法を「道具」として使いこなすために
a_suenami
7
1.8k
From vibe coding to reliable (agentic) development
jcabot
0
240
Web Performance Is a Journey [PerfNow 2026]
tammyeverts
2
150
Agent Routerで作るマルチテナント 推論基盤 #CNDW2026 / Building Multi-Tenant Inference Platform with Agent Router #CNDW2026
everpeace
5
610
[DBRE Summit 26] DBRE はデータベース運用をどう変えたのか
_awache
0
130
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
270
gradle-best-practices 使ってみた
mikanichinose
0
230
Dark Web - Como o Cibercrime Opera na Internet
nicholsjasper
0
110
Webメール開発を大幅に変えたJMAPというゲームチェンジャー
tascript
1
160
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
140
Featured
See All Featured
JAMstack: Web Apps at Ludicrous Speed - All Things Open 2022
reverentgeek
1
680
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.9k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
254
23k
How to build a perfect <img>
jonoalderson
1
6.3k
Designing for humans not robots
tammielis
254
26k
Bootstrapping a Software Product
garrettdimon
PRO
306
120k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
33
5.9k
Documentation Writing (for coders)
carmenintech
77
5.7k
Done Done
chrislema
187
17k
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
Crafting Experiences
bethany
1
460
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
70
69k