Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Data Firehoseの入門から実戦まで
Search
ONOYAMA Shodai
November 20, 2024
Technology
0
340
Amazon Data Firehoseの入門から実戦まで
2024/11/21(木) 九州AWS若手の会#2 登壇資料
ONOYAMA Shodai
November 20, 2024
Tweet
Share
More Decks by ONOYAMA Shodai
See All by ONOYAMA Shodai
DevOps視点でAWS re:invent2024の新サービス・アプデを振り返ってみた
oshanqq
0
360
AWSを始めた頃に陥りがちなポイントをまとめてみた
oshanqq
1
3.9k
AWS版GitHub?Amazon CodeCatalystの全体像をまとめてみた
oshanqq
2
4.9k
Amazon CloudFront の機能、カテゴリ分けすると理解しやすい説
oshanqq
0
670
ジュニアレベルのAWS学習戦略
oshanqq
1
1.3k
出張! #DevelopersIO IT技術ブログの中の人が語る勉強会 「【速報】AWSの生成AIサービスであるAmazon Bedrock がリリースされたので朝イチで触ってみた」について語る
oshanqq
0
700
EC2 Instance Connectを図解してみた
oshanqq
1
1.5k
初海外・初ベガス・初re:Inventで新卒が感じたこと
oshanqq
1
770
エンジニア志望学生が"ブログの会社"に入社してみて思ったこと〜新卒目線のブログ戦略〜
oshanqq
1
1k
Other Decks in Technology
See All in Technology
伴走から自律へ: 形式知へと導くSREイネーブリングによる プロダクトチームの信頼性オーナーシップ向上 / SRE NEXT 2025
visional_engineering_and_design
2
180
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
610
インフラ寄りSREの生存戦略
sansantech
PRO
8
3.3k
CDKコード品質UP!ナイスな自作コンストラクタを作るための便利インターフェース
harukasakihara
2
160
microCMSではじめるAIライティング
himaratsu
0
110
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
6
600
united airlines ™®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedhelp
1
460
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
190
United Airlines Customer Service– Call 1-833-341-3142 Now!
airhelp
0
170
AIエージェントが書くのなら直接CloudFormationを書かせればいいじゃないですか何故AWS CDKを使う必要があるのさ
watany
14
5.8k
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
2
630
Delta airlines Customer®️ USA Contact Numbers: Complete 2025 Support Guide
deltahelp
0
1.1k
Featured
See All Featured
Facilitating Awesome Meetings
lara
54
6.5k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Become a Pro
speakerdeck
PRO
29
5.4k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
970
Into the Great Unknown - MozCon
thekraken
40
1.9k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Transcript
2024/11/20 九州AWS若⼿の会#2 おのやん Amazon Data Firehoseの ⼊⾨から実戦まで
⽬次 2 1.⾃⼰紹介 2.Amazon Data Firehoseとは? 3.実際のユースケース 4.IaCテンプレート例 5.注意点いろいろ 6.まとめ
⾃⼰紹介 3 • 2023年4⽉ クラスメソッド 新卒⼊社 • 2024年7⽉ 2024 AWS
Jr.Champion ◦ お客様のAWS環境構築を技術的に⽀援 • 部署 ◦ AWS事業本部 コンサルティング部 • 名前(ニックネーム) ◦ ⼩野⼭ 翔⼤ (おのやん) • 出⾝‧住まい ◦ 福岡 • 趣味 ◦ ランニング‧バドミントン ◦ 特撮
Amazon Data Firehoseとは 4 l AWS フルマネージドサービス l ストリーミングデータを収集‧変換 l
他のAWS サービスなど、 分析⽤データストアに配信可能 l 旧 Amazon Kinesis Data Firehose l ストリーミングデータを S3バケット(バケツ)に流す 消⽕ホース(Firehose)のイメージ
コンソールで新アイコンが適⽤されている 数少ないサービス(当⽅観測範囲内) Amazon Data Firehoseとは 5
Amazon Data Firehoseとは 6 https://dev.classmethod.jp/articles/introduction-2024-amazon-data-firehose/
Amazon Data Firehoseとは 7 l 1つのストリームを構成単位とする l 「Data Firehose ストリームを作成」
l バッファサイズとバッファ間隔を ストリームごとに設定 l バッファサイズ:特定のサイズに達したら データストアに保存 l バッファ間隔:特定の期間が経過したら データストアに保存
実際のユースケース 8 l ストリームデータをデータストアに 保存する際のつなぎ l CloudWatchログをS3に保存したい! l 外部SaaSのログをS3に保存したい! l
バッファリングのサイズや時間について 実装が不必要に l シンプルな分、保存ファイル名の変更が 効かないなどの制約はある https://dev.classmethod.jp/articles/introduction-2024- amazon-data-firehose/
IaC テンプレート例 9
注意点いろいろ 10 IaC経由で構築時:Data Firehose ログストリームの作成が必要 l CloudWatch ロググループだけだと構築に失敗する l CloudWatch
ログストリームも明⽰的に作成が必要
注意点いろいろ 11 Data Firehose => S3で保存したGZIP圧縮ファイル: ブラウザ経由でDLすると勝⼿に解凍されるが、ファイルの拡張⼦は変わらない l PCでファイルの内容を確認するときに引っかかりがち
Amazon Data Firehoseとは:おかわり 12 https://dev.classmethod.jp/articles/introduction-2024-amazon-data-firehose/
ファイル名や圧縮形式にそこまで制約がなく ストリーミングデータをデータストアへシンプルに配信したいなら Data Firehoseは⼤いに採⽤の価値あり!! まとめ 13
None