Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based d...
Search
SadayoshiTada
October 21, 2020
Technology
0
3k
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based data analytics infrastructure initiatives for a data-driven organization
AWS Dev Day ONLINE JAPAN 2020 の 登壇資料です.
SadayoshiTada
October 21, 2020
Tweet
Share
More Decks by SadayoshiTada
See All by SadayoshiTada
バクラクでのSystem Risk Records導入による変化と改善の取り組み/Changes and Improvement Initiatives Resulting from the Implementation of System Risk Records
taddy_919
0
250
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
970
開発者が安心して実行可能なSQL実行基盤の取り組み/Initiatives for a Secure SQL Execution Platform for Developers
taddy_919
2
7.4k
バックアップのリストア検証が可能な AWS Backup Restore testing を使ってみた/AWS Backup Restore testing, which enables backup restore verification
taddy_919
0
610
今日から実践!継続的に自分の軌跡を残す方法/Start practicing today! How to Continuously Keep Track of Yourself
taddy_919
0
3.6k
スタートアップ企業での散乱した システムリリースフローをととのえる話/Maintain the system release flow
taddy_919
1
4k
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups to Leverage Data
taddy_919
0
3.4k
スタートアップ企業でのAWS マルチアカウント運用の実践と普及/Practice and dissemination of AWS multi-account operation in a start-up company
taddy_919
1
5.3k
AWS Organizations と一緒にはじめるアカウント分離/Starting Account Separation with AWS Organaizations
taddy_919
0
2k
Other Decks in Technology
See All in Technology
LLM as プロダクト開発のパワードスーツ
layerx
PRO
1
240
PicoRabbit: a Tiny Presentation Device Powered by Ruby
harukasan
PRO
2
240
日経電子版 for Android の技術的課題と取り組み(令和最新版)/android-20250423
nikkei_engineer_recruiting
0
420
意思決定を支える検索体験を目指してやってきたこと
hinatades
PRO
0
210
より良い開発者体験を実現するために~開発初心者が感じた生成AIの可能性~
masakiokuda
0
200
コスト最適重視でAurora PostgreSQLのログ分析基盤を作ってみた #jawsug_tokyo
non97
0
440
エンジニアリングで組織のアウトカムを最速で最大化する!
ham0215
1
120
Cross Data Platforms Meetup LT 20250422
tarotaro0129
1
700
SmartHR プロダクトエンジニア求人ガイド_2025 / PdE job guide 2025
smarthr
0
130
“パスワードレス認証への道" ユーザー認証の変遷とパスキーの関係
ritou
1
600
ここはMCPの夜明けまえ
nwiizo
28
10k
4/16/25 - SFJug - Java meets AI: Build LLM-Powered Apps with LangChain4j
edeandrea
PRO
2
120
Featured
See All Featured
Producing Creativity
orderedlist
PRO
344
40k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.8k
GitHub's CSS Performance
jonrohan
1030
460k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Stop Working from a Prison Cell
hatefulcrawdad
268
20k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.4k
Site-Speed That Sticks
csswizardry
5
500
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.6k
How STYLIGHT went responsive
nonsquared
99
5.5k
Code Reviewing Like a Champion
maltzj
522
40k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
670
Transcript
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with データドリブンな組織を目指す AWSを活用したデータ分析基盤の取り組み 多田 貞剛 @tada_infra SRE 株式会社スナックミー E - 4 2 0 — 2 2 . 1 0 . 2 0 2 0
自己紹介 • 多⽥ 貞剛( @tada_infra ) • 2020年9⽉株式会社スナックミーに中途⼊社 • SRE
として業務に従事 • 筋トレ -> サウナ -> サ飯 のトライセットを決 めるのがマイブーム
会社紹介
会社紹介 『新しいおやつ体験を創造し、おやつ時間の価値をあげる』 栄養価が⾼く、それでいて美味しさに妥協しないスナックによっ て、おやつそのもの質を上げる。 また、モノだけではなく、新しいおやつ体験をデザインし、おやつ の時間の価値を向上させる。 それによって、おやつの時間が彩りとなり、豊かな⽣活を実現す る。
会社紹介 • おやつ体験 BOX 『snaq.me』 • ⽉額 1,980円(税込、送料込) • 4週
or 2週毎に100種類以上の商品からお客様にパーソナライ ズした8種のおやつをお届け
会社紹介
会社紹介 おやつ診断、商品リクエスト、商品評価などのデータを取得してお 届けする、パーソナライズされたおやつが特⻑
会社紹介
会社紹介
© 2019, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with 本日お話しすること • 会社のデータにまつわる課題 • 課題に対する取り組み状況 • データドリブンな組織を目指すためのデータ基盤の形
© 2019, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with 本日お話ししないこと • データ基盤の導入フェーズであるため、導入以降のデータ基盤 の運用 • データ基盤チームの運営
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
スナックミーのデータにまつわる課題 • 弊社のデータ利⽤の現状 • スナックミーではサービスに関する様々なデータをデータベー ス(Aurora MySQL)で扱ってる • データを使って KPI、マーケティング、製造・配送の効率な
ど各部⾨で分析や業務活⽤を⾏なっている • データ閲覧は社内データ閲覧サイトやSQLクライアントで適宜 ⾏なっている
スナックミーのデータにまつわる課題 • 週次の全体 MTG で KPI に関わる数値 やお客様の声を共有 • データを活⽤して今後の施作やマーケ
ティングのアクションを決めている
スナックミーのデータにまつわる課題 • ⼤きく3つの課題があった ①社内サイトのデータ閲覧における課題 ②業務で必要なデータが整え切れてない課題 ③データ分析業務における SQL の課題
スナックミーのデータにまつわる課題 • 社内サイトのデータ閲覧における課題 • 欲しいデータへのアクセスに⼿間がかかる • 閲覧したいデータを表⽰するのに時間を要す • 表⽰データが誤っているのを修正できてないためそのページが⾒られ ない
スナックミーのデータにまつわる課題 • 業務で必要なデータが取れてなく、個々の独⾃スプレッドシート でデータが管理されて属⼈化 • 仮に退職した場合にその⼈しかわからないことが発⽣する 秘伝のタレ的 スプレッドシート "͞Μ͔͠ Θ͔Βͳ͍
スナックミーのデータにまつわる課題 • データサイズが⼤きくなっていることで SQL クエリをかけても ⻑い場合は1時間以上クエリの結果が帰らない • データベースはサービスでも使っており、負荷が⾼い状態が連⽇続く 危険な状態
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
データの課題に対する取り組み • 課題に対する取り組み状況 ①社内サイトのデータ閲覧における課題 ②業務で必要なデータが整え切れてない課題 ③データ分析業務における SQL の課題
データの課題に対する取り組み • 課題に対する取り組み状況 ①社内サイトのデータ閲覧における課題 • BI を作ってデータを統⼀的かつ即座に表⽰する ②業務で必要なデータが整え切れてない課題 ③データ分析業務における SQL
の課題 • Athena と Aurora AutoScaling の利⽤
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
データの課題に対する取り組み • 会社で追う指標と個別チームメンバーが業務で⾒たいデータを集 約したページを BI として提供 • データベースを参照しなくても欲しいデータへすぐアクセスで き、且つ業務効率化への寄与も狙える
データの課題に対する取り組み • 各部署のデータ活⽤状況と内部インタビューを⾏った • 業務の中でデータ周りで困っていることやどんなデータを⾒て 業務を⾏っているか等を確認 • 特に社内サイトを業務で活⽤しているのがオペレーションチー ム
データの課題に対する取り組み • データを表⽰するための課題がいくつかあった • 個⼈情報が⼊ったデータの取り扱い • 表⽰したいデータの更新時間 • インタビューした時の内容が時間がたって変化し、欲しいデー タが変わっていた
データの課題に対する取り組み • BI に載せた指標の⼀例 • サービス全体の売上推移 • ユーザー数の推移 • 商品ごとの売上状況
etc
データの課題に対する取り組み • BI を作ってみて感じたこと • 利⽤者にプロトタイプをみせて会話する • 利⽤者が業務でいつ、どんなデータが存在していればよいかを 確認する •
経営層との認識すり合わせは必ずミーティングの場で全員で意 識統⼀する
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
スナックミーのデータにまつわる課題 • 標準 SQL を S3 のデータに対して発⾏できる • サーバーレスでインフラの構築・管理は不要 •
CSV、JSON、ORC、Avro、Parquet のファ イル形式に対応
スナックミーのデータにまつわる課題 • 処理が重い SQL クエリは Athena を使って対応 • Aurora のスナップショットからデータを
S3 に Parquet 形式で エクスポートし、分析業務において Athena でクエリをかけるよ う変更
スナックミーのデータにまつわる課題 • Aurora のスナップショット からのデータエクスポート は時間を 要すのでスピードを重視する場合はこのパターンは避けた⽅が良 い • データサイズによるもののおおよそ2時間ほどかかる
スナックミーのデータにまつわる課題 • Athena に変更した効果としてデータベースの負荷が軽減 • データベースに直接 SQL を投げた時1時間かかっていた処理が10 秒以内で完了するようになった
スナックミーのデータにまつわる課題 • Athena には順次クエリを置き換えているものの全ての分析⽤ク エリを置き換えられてない • 置き換えられてないクエリは Aurora AutoScaling を設定した
Aurora の Reader に対してクエリを発⾏ • Aurora の負荷を気にせず分析可能
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
今後目指していきたいデータ基盤の形 • 属⼈化したデータや勘や経験に依らない意思決定をサポートする データ基盤にしていきたい • 今後の活動として次のことを考えている ①不⾜してるデータの収集と正確でないデータを整える ②データ基盤に関する運⽤を各部⾨と握る ③機械学習機能が搭載されたサービスの活⽤
今後目指していきたいデータ基盤の形 • 不⾜してるデータの収集 • データベースのテーブルを設計して収集 • ⼊⼒⼿段を代替してデータをデータベースに収集 • 正確でないデータを正規化 •
SQL ロジックを今のデータに合わせて変更
今後目指していきたいデータ基盤の形 • データ基盤に関する運⽤の取り決めを利⽤部⾨と握り、運⽤フ ローを構築 • データの表⽰内容、何時にそのデータが必要で、出ない場合の 業務影響範囲を確認し、品質⽬標を合意する • 品質⽬標が達成されない場合の対応を整理する •
定期的に品質⽬標の達成度を計測してチェックする
今後目指していきたいデータ基盤の形 • 弊社では過去データから近い未来はどのようにデータが推移して いくのかも知りたい • ユーザーデータは⽇々刻々と変化しており、データを揃えつつ 未来の予測を参考に戦略を⽴てたい • AWS の機械学習機能が搭載されたサービスの活⽤を今後のデー
タ基盤で検討していきたい
今後目指していきたいデータ基盤の形 • 機械学習機能が搭載されたサービスの活 ⽤として QuickSight を検討している • QuickSight の ML
Insights を活⽤して商 品の注⽂数や売上げの予測推移を BI とし て出していきたい • 会社の週次ミーティングで BI として使っ てもらえるようにしていきたい
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
まとめ • 誤ったデータや収集できてないデータ等を整備しつつ BI 活 ⽤を促進して、データによる意思決定をサポートしていく • 将来の予測を⽴てる参考値として QuickSight の利⽤を視
野に⼊れる • クエリが重い処理は Athena に置き換える価値あり Aurora AutoScaling も分析業務に活⽤中 • データを出すだけだけでなく、基盤の品質を向上させるため に運⽤の決め事も⾏っていく
参考情報 • Amazon Athena • https://docs.aws.amazon.com/ja_jp/athena/latest/ug/w hat-is.html • Amazon Aurora
Auto Scaling • https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest /AuroraUserGuide/Aurora.Integrating.AutoScaling.html • Amazon QuickSight • https://docs.aws.amazon.com/quicksight/latest/user/w elcome.html • データマネジメントが30分でわかる本 • https://www.amazon.co.jp/dp/B085W4YSZJ
None
Thank you! © 2020, Amazon Web Services, Inc. or its
affiliates. All rights reserved. In Partnership with 多田 貞剛 @tada_infra 株式会社スナックミー