Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based d...

SadayoshiTada
October 21, 2020

データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based data analytics infrastructure initiatives for a data-driven organization

AWS Dev Day ONLINE JAPAN 2020 の 登壇資料です.

SadayoshiTada

October 21, 2020
Tweet

More Decks by SadayoshiTada

Other Decks in Technology

Transcript

  1. © 2020, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. In Partnership with データドリブンな組織を目指す AWSを活用したデータ分析基盤の取り組み 多田 貞剛 @tada_infra SRE 株式会社スナックミー E - 4 2 0 — 2 2 . 1 0 . 2 0 2 0
  2. 自己紹介 • 多⽥ 貞剛( @tada_infra ) • 2020年9⽉株式会社スナックミーに中途⼊社 • SRE

    として業務に従事 • 筋トレ -> サウナ -> サ飯 のトライセットを決 めるのがマイブーム
  3. 会社紹介 • おやつ体験 BOX 『snaq.me』 • ⽉額 1,980円(税込、送料込) • 4週

    or 2週毎に100種類以上の商品からお客様にパーソナライ ズした8種のおやつをお届け
  4. © 2019, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. In Partnership with 本日お話しすること • 会社のデータにまつわる課題 • 課題に対する取り組み状況 • データドリブンな組織を目指すためのデータ基盤の形
  5. © 2019, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. In Partnership with 本日お話ししないこと • データ基盤の導入フェーズであるため、導入以降のデータ基盤 の運用 • データ基盤チームの運営
  6. © 2020, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. In Partnership with
  7. © 2020, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. In Partnership with
  8. © 2020, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. In Partnership with
  9. © 2020, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. In Partnership with
  10. スナックミーのデータにまつわる課題 • 処理が重い SQL クエリは Athena を使って対応 • Aurora のスナップショットからデータを

    S3 に Parquet 形式で エクスポートし、分析業務において Athena でクエリをかけるよ う変更
  11. © 2020, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. In Partnership with
  12. 今後目指していきたいデータ基盤の形 • 機械学習機能が搭載されたサービスの活 ⽤として QuickSight を検討している • QuickSight の ML

    Insights を活⽤して商 品の注⽂数や売上げの予測推移を BI とし て出していきたい • 会社の週次ミーティングで BI として使っ てもらえるようにしていきたい
  13. © 2020, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. In Partnership with
  14. まとめ • 誤ったデータや収集できてないデータ等を整備しつつ BI 活 ⽤を促進して、データによる意思決定をサポートしていく • 将来の予測を⽴てる参考値として QuickSight の利⽤を視

    野に⼊れる • クエリが重い処理は Athena に置き換える価値あり Aurora AutoScaling も分析業務に活⽤中 • データを出すだけだけでなく、基盤の品質を向上させるため に運⽤の決め事も⾏っていく
  15. 参考情報 • Amazon Athena • https://docs.aws.amazon.com/ja_jp/athena/latest/ug/w hat-is.html • Amazon Aurora

    Auto Scaling • https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest /AuroraUserGuide/Aurora.Integrating.AutoScaling.html • Amazon QuickSight • https://docs.aws.amazon.com/quicksight/latest/user/w elcome.html • データマネジメントが30分でわかる本 • https://www.amazon.co.jp/dp/B085W4YSZJ
  16. Thank you! © 2020, Amazon Web Services, Inc. or its

    affiliates. All rights reserved. In Partnership with 多田 貞剛 @tada_infra 株式会社スナックミー