Amazon Data Firehoseの入門から実戦まで

2024/11/21(木) 九州AWS若手の会#2 登壇資料

Transcript

1. 2024/11/20 九州AWS若⼿の会#2 おのやん Amazon Data Firehoseの ⼊⾨から実戦まで
2. ⽬次 2 1.⾃⼰紹介 2.Amazon Data Firehoseとは？ 3.実際のユースケース 4.IaCテンプレート例 5.注意点いろいろ 6.まとめ
3. ⾃⼰紹介 3 • 2023年4⽉ クラスメソッド 新卒⼊社 • 2024年7⽉ 2024 AWS Jr.Champion ◦ お客様のAWS環境構築を技術的に⽀援 • 部署 ◦ AWS事業本部 コンサルティング部 • 名前（ニックネーム） ◦ ⼩野⼭ 翔⼤ (おのやん) • 出⾝‧住まい ◦ 福岡 • 趣味 ◦ ランニング‧バドミントン ◦ 特撮
4. Amazon Data Firehoseとは 4 l AWS フルマネージドサービス l ストリーミングデータを収集‧変換 l 他のAWS サービスなど、 分析⽤データストアに配信可能 l 旧 Amazon Kinesis Data Firehose l ストリーミングデータを S3バケット（バケツ）に流す 消⽕ホース（Firehose）のイメージ
5. コンソールで新アイコンが適⽤されている 数少ないサービス（当⽅観測範囲内） Amazon Data Firehoseとは 5
6. Amazon Data Firehoseとは 6 https://dev.classmethod.jp/articles/introduction-2024-amazon-data-firehose/
7. Amazon Data Firehoseとは 7 l 1つのストリームを構成単位とする l 「Data Firehose ストリームを作成」 l バッファサイズとバッファ間隔を ストリームごとに設定 l バッファサイズ：特定のサイズに達したら データストアに保存 l バッファ間隔：特定の期間が経過したら データストアに保存
8. 実際のユースケース 8 l ストリームデータをデータストアに 保存する際のつなぎ l CloudWatchログをS3に保存したい！ l 外部SaaSのログをS3に保存したい！ l バッファリングのサイズや時間について 実装が不必要に l シンプルな分、保存ファイル名の変更が 効かないなどの制約はある https://dev.classmethod.jp/articles/introduction-2024- amazon-data-firehose/
9. IaC テンプレート例 9
10. 注意点いろいろ 10 IaC経由で構築時：Data Firehose ログストリームの作成が必要 l CloudWatch ロググループだけだと構築に失敗する l CloudWatch ログストリームも明⽰的に作成が必要
11. 注意点いろいろ 11 Data Firehose => S3で保存したGZIP圧縮ファイル： ブラウザ経由でDLすると勝⼿に解凍されるが、ファイルの拡張⼦は変わらない l PCでファイルの内容を確認するときに引っかかりがち
12. Amazon Data Firehoseとは：おかわり 12 https://dev.classmethod.jp/articles/introduction-2024-amazon-data-firehose/
13. ファイル名や圧縮形式にそこまで制約がなく ストリーミングデータをデータストアへシンプルに配信したいなら Data Firehoseは⼤いに採⽤の価値あり！！ まとめ 13