Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based d...
Search
SadayoshiTada
October 21, 2020
Technology
0
3k
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based data analytics infrastructure initiatives for a data-driven organization
AWS Dev Day ONLINE JAPAN 2020 の 登壇資料です.
SadayoshiTada
October 21, 2020
Tweet
Share
More Decks by SadayoshiTada
See All by SadayoshiTada
バクラクでのSystem Risk Records導入による変化と改善の取り組み/Changes and Improvement Initiatives Resulting from the Implementation of System Risk Records
taddy_919
0
200
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
960
開発者が安心して実行可能なSQL実行基盤の取り組み/Initiatives for a Secure SQL Execution Platform for Developers
taddy_919
2
7.3k
バックアップのリストア検証が可能な AWS Backup Restore testing を使ってみた/AWS Backup Restore testing, which enables backup restore verification
taddy_919
0
600
今日から実践!継続的に自分の軌跡を残す方法/Start practicing today! How to Continuously Keep Track of Yourself
taddy_919
0
3.6k
スタートアップ企業での散乱した システムリリースフローをととのえる話/Maintain the system release flow
taddy_919
1
4k
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups to Leverage Data
taddy_919
0
3.4k
スタートアップ企業でのAWS マルチアカウント運用の実践と普及/Practice and dissemination of AWS multi-account operation in a start-up company
taddy_919
1
5.3k
AWS Organizations と一緒にはじめるアカウント分離/Starting Account Separation with AWS Organaizations
taddy_919
0
2k
Other Decks in Technology
See All in Technology
ペアプログラミングにQAが加わった!職能を超えたモブプログラミングの事例と学び
tonionagauzzi
1
130
20250328_OpenAI製DeepResearchは既に一種のAGIだと思う話
doradora09
PRO
0
140
Restarting_SRE_Road_to_SRENext_.pdf
_awache
0
140
LINE API Deep Dive Q1 2025: Unlocking New Possibilities
linedevth
1
150
Explainable Software Engineering in the Public Sector
avandeursen
0
340
大規模プロジェクトにおける 品質管理の要点と実践 / 20250327 Suguru Ishii
shift_evolve
0
260
SaaSプロダクト開発におけるバグの早期検出のためのAcceptance testの取り組み
kworkdev
PRO
0
370
非エンジニアにも伝えるメールセキュリティ / Email security for non-engineers
ykanoh
13
3.8k
Proxmox VE超入門 〜 無料で作れるご自宅仮想化プラットフォームブックマークする
devops_vtj
0
110
React Server Componentは 何を解決し何を解決しないのか / What do React Server Components solve, and what do they not solve?
kaminashi
6
1.1k
ソフトウェアプロジェクトの成功率が上がらない原因-「社会価値を考える」ということ-
ytanaka5569
0
120
「エンジニアマネージャー」の役割を担っている / 担ってみたい方へのキャリアパスガイド
coconala_engineer
1
240
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.4k
Docker and Python
trallard
44
3.3k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Stop Working from a Prison Cell
hatefulcrawdad
268
20k
Bash Introduction
62gerente
611
210k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
Automating Front-end Workflow
addyosmani
1369
200k
Building Adaptive Systems
keathley
40
2.5k
Rails Girls Zürich Keynote
gr2m
94
13k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Transcript
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with データドリブンな組織を目指す AWSを活用したデータ分析基盤の取り組み 多田 貞剛 @tada_infra SRE 株式会社スナックミー E - 4 2 0 — 2 2 . 1 0 . 2 0 2 0
自己紹介 • 多⽥ 貞剛( @tada_infra ) • 2020年9⽉株式会社スナックミーに中途⼊社 • SRE
として業務に従事 • 筋トレ -> サウナ -> サ飯 のトライセットを決 めるのがマイブーム
会社紹介
会社紹介 『新しいおやつ体験を創造し、おやつ時間の価値をあげる』 栄養価が⾼く、それでいて美味しさに妥協しないスナックによっ て、おやつそのもの質を上げる。 また、モノだけではなく、新しいおやつ体験をデザインし、おやつ の時間の価値を向上させる。 それによって、おやつの時間が彩りとなり、豊かな⽣活を実現す る。
会社紹介 • おやつ体験 BOX 『snaq.me』 • ⽉額 1,980円(税込、送料込) • 4週
or 2週毎に100種類以上の商品からお客様にパーソナライ ズした8種のおやつをお届け
会社紹介
会社紹介 おやつ診断、商品リクエスト、商品評価などのデータを取得してお 届けする、パーソナライズされたおやつが特⻑
会社紹介
会社紹介
© 2019, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with 本日お話しすること • 会社のデータにまつわる課題 • 課題に対する取り組み状況 • データドリブンな組織を目指すためのデータ基盤の形
© 2019, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with 本日お話ししないこと • データ基盤の導入フェーズであるため、導入以降のデータ基盤 の運用 • データ基盤チームの運営
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
スナックミーのデータにまつわる課題 • 弊社のデータ利⽤の現状 • スナックミーではサービスに関する様々なデータをデータベー ス(Aurora MySQL)で扱ってる • データを使って KPI、マーケティング、製造・配送の効率な
ど各部⾨で分析や業務活⽤を⾏なっている • データ閲覧は社内データ閲覧サイトやSQLクライアントで適宜 ⾏なっている
スナックミーのデータにまつわる課題 • 週次の全体 MTG で KPI に関わる数値 やお客様の声を共有 • データを活⽤して今後の施作やマーケ
ティングのアクションを決めている
スナックミーのデータにまつわる課題 • ⼤きく3つの課題があった ①社内サイトのデータ閲覧における課題 ②業務で必要なデータが整え切れてない課題 ③データ分析業務における SQL の課題
スナックミーのデータにまつわる課題 • 社内サイトのデータ閲覧における課題 • 欲しいデータへのアクセスに⼿間がかかる • 閲覧したいデータを表⽰するのに時間を要す • 表⽰データが誤っているのを修正できてないためそのページが⾒られ ない
スナックミーのデータにまつわる課題 • 業務で必要なデータが取れてなく、個々の独⾃スプレッドシート でデータが管理されて属⼈化 • 仮に退職した場合にその⼈しかわからないことが発⽣する 秘伝のタレ的 スプレッドシート "͞Μ͔͠ Θ͔Βͳ͍
スナックミーのデータにまつわる課題 • データサイズが⼤きくなっていることで SQL クエリをかけても ⻑い場合は1時間以上クエリの結果が帰らない • データベースはサービスでも使っており、負荷が⾼い状態が連⽇続く 危険な状態
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
データの課題に対する取り組み • 課題に対する取り組み状況 ①社内サイトのデータ閲覧における課題 ②業務で必要なデータが整え切れてない課題 ③データ分析業務における SQL の課題
データの課題に対する取り組み • 課題に対する取り組み状況 ①社内サイトのデータ閲覧における課題 • BI を作ってデータを統⼀的かつ即座に表⽰する ②業務で必要なデータが整え切れてない課題 ③データ分析業務における SQL
の課題 • Athena と Aurora AutoScaling の利⽤
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
データの課題に対する取り組み • 会社で追う指標と個別チームメンバーが業務で⾒たいデータを集 約したページを BI として提供 • データベースを参照しなくても欲しいデータへすぐアクセスで き、且つ業務効率化への寄与も狙える
データの課題に対する取り組み • 各部署のデータ活⽤状況と内部インタビューを⾏った • 業務の中でデータ周りで困っていることやどんなデータを⾒て 業務を⾏っているか等を確認 • 特に社内サイトを業務で活⽤しているのがオペレーションチー ム
データの課題に対する取り組み • データを表⽰するための課題がいくつかあった • 個⼈情報が⼊ったデータの取り扱い • 表⽰したいデータの更新時間 • インタビューした時の内容が時間がたって変化し、欲しいデー タが変わっていた
データの課題に対する取り組み • BI に載せた指標の⼀例 • サービス全体の売上推移 • ユーザー数の推移 • 商品ごとの売上状況
etc
データの課題に対する取り組み • BI を作ってみて感じたこと • 利⽤者にプロトタイプをみせて会話する • 利⽤者が業務でいつ、どんなデータが存在していればよいかを 確認する •
経営層との認識すり合わせは必ずミーティングの場で全員で意 識統⼀する
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
スナックミーのデータにまつわる課題 • 標準 SQL を S3 のデータに対して発⾏できる • サーバーレスでインフラの構築・管理は不要 •
CSV、JSON、ORC、Avro、Parquet のファ イル形式に対応
スナックミーのデータにまつわる課題 • 処理が重い SQL クエリは Athena を使って対応 • Aurora のスナップショットからデータを
S3 に Parquet 形式で エクスポートし、分析業務において Athena でクエリをかけるよ う変更
スナックミーのデータにまつわる課題 • Aurora のスナップショット からのデータエクスポート は時間を 要すのでスピードを重視する場合はこのパターンは避けた⽅が良 い • データサイズによるもののおおよそ2時間ほどかかる
スナックミーのデータにまつわる課題 • Athena に変更した効果としてデータベースの負荷が軽減 • データベースに直接 SQL を投げた時1時間かかっていた処理が10 秒以内で完了するようになった
スナックミーのデータにまつわる課題 • Athena には順次クエリを置き換えているものの全ての分析⽤ク エリを置き換えられてない • 置き換えられてないクエリは Aurora AutoScaling を設定した
Aurora の Reader に対してクエリを発⾏ • Aurora の負荷を気にせず分析可能
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
今後目指していきたいデータ基盤の形 • 属⼈化したデータや勘や経験に依らない意思決定をサポートする データ基盤にしていきたい • 今後の活動として次のことを考えている ①不⾜してるデータの収集と正確でないデータを整える ②データ基盤に関する運⽤を各部⾨と握る ③機械学習機能が搭載されたサービスの活⽤
今後目指していきたいデータ基盤の形 • 不⾜してるデータの収集 • データベースのテーブルを設計して収集 • ⼊⼒⼿段を代替してデータをデータベースに収集 • 正確でないデータを正規化 •
SQL ロジックを今のデータに合わせて変更
今後目指していきたいデータ基盤の形 • データ基盤に関する運⽤の取り決めを利⽤部⾨と握り、運⽤フ ローを構築 • データの表⽰内容、何時にそのデータが必要で、出ない場合の 業務影響範囲を確認し、品質⽬標を合意する • 品質⽬標が達成されない場合の対応を整理する •
定期的に品質⽬標の達成度を計測してチェックする
今後目指していきたいデータ基盤の形 • 弊社では過去データから近い未来はどのようにデータが推移して いくのかも知りたい • ユーザーデータは⽇々刻々と変化しており、データを揃えつつ 未来の予測を参考に戦略を⽴てたい • AWS の機械学習機能が搭載されたサービスの活⽤を今後のデー
タ基盤で検討していきたい
今後目指していきたいデータ基盤の形 • 機械学習機能が搭載されたサービスの活 ⽤として QuickSight を検討している • QuickSight の ML
Insights を活⽤して商 品の注⽂数や売上げの予測推移を BI とし て出していきたい • 会社の週次ミーティングで BI として使っ てもらえるようにしていきたい
© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with
まとめ • 誤ったデータや収集できてないデータ等を整備しつつ BI 活 ⽤を促進して、データによる意思決定をサポートしていく • 将来の予測を⽴てる参考値として QuickSight の利⽤を視
野に⼊れる • クエリが重い処理は Athena に置き換える価値あり Aurora AutoScaling も分析業務に活⽤中 • データを出すだけだけでなく、基盤の品質を向上させるため に運⽤の決め事も⾏っていく
参考情報 • Amazon Athena • https://docs.aws.amazon.com/ja_jp/athena/latest/ug/w hat-is.html • Amazon Aurora
Auto Scaling • https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest /AuroraUserGuide/Aurora.Integrating.AutoScaling.html • Amazon QuickSight • https://docs.aws.amazon.com/quicksight/latest/user/w elcome.html • データマネジメントが30分でわかる本 • https://www.amazon.co.jp/dp/B085W4YSZJ
None
Thank you! © 2020, Amazon Web Services, Inc. or its
affiliates. All rights reserved. In Partnership with 多田 貞剛 @tada_infra 株式会社スナックミー