Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based d...
Search
SadayoshiTada
October 21, 2020
Technology
0
3k
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based data analytics infrastructure initiatives for a data-driven organization
AWS Dev Day ONLINE JAPAN 2020 の 登壇資料です.
SadayoshiTada
October 21, 2020
Tweet
Share
More Decks by SadayoshiTada
See All by SadayoshiTada
バクラクでのSystem Risk Records導入による変化と改善の取り組み/Changes and Improvement Initiatives Resulting from the Implementation of System Risk Records
taddy_919
0
300
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
1k
開発者が安心して実行可能なSQL実行基盤の取り組み/Initiatives for a Secure SQL Execution Platform for Developers
taddy_919
2
7.9k
バックアップのリストア検証が可能な AWS Backup Restore testing を使ってみた/AWS Backup Restore testing, which enables backup restore verification
taddy_919
0
640
今日から実践!継続的に自分の軌跡を残す方法/Start practicing today! How to Continuously Keep Track of Yourself
taddy_919
0
3.7k
スタートアップ企業での散乱した システムリリースフローをととのえる話/Maintain the system release flow
taddy_919
1
4.1k
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups to Leverage Data
taddy_919
0
3.4k
スタートアップ企業でのAWS マルチアカウント運用の実践と普及/Practice and dissemination of AWS multi-account operation in a start-up company
taddy_919
1
5.5k
AWS Organizations と一緒にはじめるアカウント分離/Starting Account Separation with AWS Organaizations
taddy_919
0
2.1k
Other Decks in Technology
See All in Technology
アクセスピークを制するオートスケール再設計: 障害を乗り越えKEDAで実現したリソース管理の最適化
myamashii
1
660
推し書籍📚 / Books and a QA Engineer
ak1210
0
140
[SRE NEXT 2025] すみずみまで暖かく照らすあなたの太陽でありたい
carnappopper
2
470
ソフトウェアQAがハードウェアの人になったの
mineo_matsuya
3
200
Introduction to Sansan, inc / Sansan Global Development Center, Inc.
sansan33
PRO
0
2.7k
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
13k
SRE with AI:実践から学ぶ、運用課題解決と未来への展望
yoshiiryo1
0
300
毎晩の 負荷試験自動実行による効果
recruitengineers
PRO
5
180
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
2
2k
三視点LLMによる複数観点レビュー
mhlyc
0
230
クラウド開発の舞台裏とSRE文化の醸成 / SRE NEXT 2025 Lunch Session
kazeburo
1
580
How to Quickly Call American Airlines®️ U.S. Customer Care : Full Guide
flyaahelpguide
0
240
Featured
See All Featured
Code Review Best Practice
trishagee
69
19k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
A designer walks into a library…
pauljervisheath
207
24k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Designing Experiences People Love
moore
142
24k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Navigating Team Friction
lara
187
15k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Transcript
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with データドリブンな組織を目指す AWSを活用したデータ分析基盤の取り組み 多田 貞剛 @tada_infra SRE 株式会社スナックミー E - 4 2 0 — 2 2 . 1 0 . 2 0 2 0
自己紹介 • 多⽥ 貞剛( @tada_infra ) • 2020年9⽉株式会社スナックミーに中途⼊社 • SRE
として業務に従事 • 筋トレ -> サウナ -> サ飯 のトライセットを決 めるのがマイブーム
会社紹介
会社紹介 『新しいおやつ体験を創造し、おやつ時間の価値をあげる』 栄養価が⾼く、それでいて美味しさに妥協しないスナックによっ て、おやつそのもの質を上げる。 また、モノだけではなく、新しいおやつ体験をデザインし、おやつ の時間の価値を向上させる。 それによって、おやつの時間が彩りとなり、豊かな⽣活を実現す る。
会社紹介 • おやつ体験 BOX 『snaq.me』 • ⽉額 1,980円(税込、送料込) • 4週
or 2週毎に100種類以上の商品からお客様にパーソナライ ズした8種のおやつをお届け
会社紹介
会社紹介 おやつ診断、商品リクエスト、商品評価などのデータを取得してお 届けする、パーソナライズされたおやつが特⻑
会社紹介
会社紹介
© 2019, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with 本日お話しすること • 会社のデータにまつわる課題 • 課題に対する取り組み状況 • データドリブンな組織を目指すためのデータ基盤の形
© 2019, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with 本日お話ししないこと • データ基盤の導入フェーズであるため、導入以降のデータ基盤 の運用 • データ基盤チームの運営
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
スナックミーのデータにまつわる課題 • 弊社のデータ利⽤の現状 • スナックミーではサービスに関する様々なデータをデータベー ス(Aurora MySQL)で扱ってる • データを使って KPI、マーケティング、製造・配送の効率な
ど各部⾨で分析や業務活⽤を⾏なっている • データ閲覧は社内データ閲覧サイトやSQLクライアントで適宜 ⾏なっている
スナックミーのデータにまつわる課題 • 週次の全体 MTG で KPI に関わる数値 やお客様の声を共有 • データを活⽤して今後の施作やマーケ
ティングのアクションを決めている
スナックミーのデータにまつわる課題 • ⼤きく3つの課題があった ①社内サイトのデータ閲覧における課題 ②業務で必要なデータが整え切れてない課題 ③データ分析業務における SQL の課題
スナックミーのデータにまつわる課題 • 社内サイトのデータ閲覧における課題 • 欲しいデータへのアクセスに⼿間がかかる • 閲覧したいデータを表⽰するのに時間を要す • 表⽰データが誤っているのを修正できてないためそのページが⾒られ ない
スナックミーのデータにまつわる課題 • 業務で必要なデータが取れてなく、個々の独⾃スプレッドシート でデータが管理されて属⼈化 • 仮に退職した場合にその⼈しかわからないことが発⽣する 秘伝のタレ的 スプレッドシート "͞Μ͔͠ Θ͔Βͳ͍
スナックミーのデータにまつわる課題 • データサイズが⼤きくなっていることで SQL クエリをかけても ⻑い場合は1時間以上クエリの結果が帰らない • データベースはサービスでも使っており、負荷が⾼い状態が連⽇続く 危険な状態
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
データの課題に対する取り組み • 課題に対する取り組み状況 ①社内サイトのデータ閲覧における課題 ②業務で必要なデータが整え切れてない課題 ③データ分析業務における SQL の課題
データの課題に対する取り組み • 課題に対する取り組み状況 ①社内サイトのデータ閲覧における課題 • BI を作ってデータを統⼀的かつ即座に表⽰する ②業務で必要なデータが整え切れてない課題 ③データ分析業務における SQL
の課題 • Athena と Aurora AutoScaling の利⽤
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
データの課題に対する取り組み • 会社で追う指標と個別チームメンバーが業務で⾒たいデータを集 約したページを BI として提供 • データベースを参照しなくても欲しいデータへすぐアクセスで き、且つ業務効率化への寄与も狙える
データの課題に対する取り組み • 各部署のデータ活⽤状況と内部インタビューを⾏った • 業務の中でデータ周りで困っていることやどんなデータを⾒て 業務を⾏っているか等を確認 • 特に社内サイトを業務で活⽤しているのがオペレーションチー ム
データの課題に対する取り組み • データを表⽰するための課題がいくつかあった • 個⼈情報が⼊ったデータの取り扱い • 表⽰したいデータの更新時間 • インタビューした時の内容が時間がたって変化し、欲しいデー タが変わっていた
データの課題に対する取り組み • BI に載せた指標の⼀例 • サービス全体の売上推移 • ユーザー数の推移 • 商品ごとの売上状況
etc
データの課題に対する取り組み • BI を作ってみて感じたこと • 利⽤者にプロトタイプをみせて会話する • 利⽤者が業務でいつ、どんなデータが存在していればよいかを 確認する •
経営層との認識すり合わせは必ずミーティングの場で全員で意 識統⼀する
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
スナックミーのデータにまつわる課題 • 標準 SQL を S3 のデータに対して発⾏できる • サーバーレスでインフラの構築・管理は不要 •
CSV、JSON、ORC、Avro、Parquet のファ イル形式に対応
スナックミーのデータにまつわる課題 • 処理が重い SQL クエリは Athena を使って対応 • Aurora のスナップショットからデータを
S3 に Parquet 形式で エクスポートし、分析業務において Athena でクエリをかけるよ う変更
スナックミーのデータにまつわる課題 • Aurora のスナップショット からのデータエクスポート は時間を 要すのでスピードを重視する場合はこのパターンは避けた⽅が良 い • データサイズによるもののおおよそ2時間ほどかかる
スナックミーのデータにまつわる課題 • Athena に変更した効果としてデータベースの負荷が軽減 • データベースに直接 SQL を投げた時1時間かかっていた処理が10 秒以内で完了するようになった
スナックミーのデータにまつわる課題 • Athena には順次クエリを置き換えているものの全ての分析⽤ク エリを置き換えられてない • 置き換えられてないクエリは Aurora AutoScaling を設定した
Aurora の Reader に対してクエリを発⾏ • Aurora の負荷を気にせず分析可能
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
今後目指していきたいデータ基盤の形 • 属⼈化したデータや勘や経験に依らない意思決定をサポートする データ基盤にしていきたい • 今後の活動として次のことを考えている ①不⾜してるデータの収集と正確でないデータを整える ②データ基盤に関する運⽤を各部⾨と握る ③機械学習機能が搭載されたサービスの活⽤
今後目指していきたいデータ基盤の形 • 不⾜してるデータの収集 • データベースのテーブルを設計して収集 • ⼊⼒⼿段を代替してデータをデータベースに収集 • 正確でないデータを正規化 •
SQL ロジックを今のデータに合わせて変更
今後目指していきたいデータ基盤の形 • データ基盤に関する運⽤の取り決めを利⽤部⾨と握り、運⽤フ ローを構築 • データの表⽰内容、何時にそのデータが必要で、出ない場合の 業務影響範囲を確認し、品質⽬標を合意する • 品質⽬標が達成されない場合の対応を整理する •
定期的に品質⽬標の達成度を計測してチェックする
今後目指していきたいデータ基盤の形 • 弊社では過去データから近い未来はどのようにデータが推移して いくのかも知りたい • ユーザーデータは⽇々刻々と変化しており、データを揃えつつ 未来の予測を参考に戦略を⽴てたい • AWS の機械学習機能が搭載されたサービスの活⽤を今後のデー
タ基盤で検討していきたい
今後目指していきたいデータ基盤の形 • 機械学習機能が搭載されたサービスの活 ⽤として QuickSight を検討している • QuickSight の ML
Insights を活⽤して商 品の注⽂数や売上げの予測推移を BI とし て出していきたい • 会社の週次ミーティングで BI として使っ てもらえるようにしていきたい
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
まとめ • 誤ったデータや収集できてないデータ等を整備しつつ BI 活 ⽤を促進して、データによる意思決定をサポートしていく • 将来の予測を⽴てる参考値として QuickSight の利⽤を視
野に⼊れる • クエリが重い処理は Athena に置き換える価値あり Aurora AutoScaling も分析業務に活⽤中 • データを出すだけだけでなく、基盤の品質を向上させるため に運⽤の決め事も⾏っていく
参考情報 • Amazon Athena • https://docs.aws.amazon.com/ja_jp/athena/latest/ug/w hat-is.html • Amazon Aurora
Auto Scaling • https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest /AuroraUserGuide/Aurora.Integrating.AutoScaling.html • Amazon QuickSight • https://docs.aws.amazon.com/quicksight/latest/user/w elcome.html • データマネジメントが30分でわかる本 • https://www.amazon.co.jp/dp/B085W4YSZJ
None
Thank you! © 2020, Amazon Web Services, Inc. or its
affiliates. All rights reserved. In Partnership with 多田 貞剛 @tada_infra 株式会社スナックミー