Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2017_jaws_ug_night_shuhei
Search
morioka shuhei
June 02, 2017
3
4.4k
2017_jaws_ug_night_shuhei
AWSでのデータ集積基盤構築
AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント
morioka shuhei
June 02, 2017
Tweet
Share
More Decks by morioka shuhei
See All by morioka shuhei
20191103_小山高専_卒業生講話
selmertsx
1
210
20190306_serverless_meetup_tokyo_11
selmertsx
5
1.6k
aws_reinvent_recap
selmertsx
2
270
aws_reinvent_recap_chaos_engineering_to_serverless
selmertsx
1
1.2k
2018_03_speeekaigi
selmertsx
1
370
sam_on_aws_2018_startup_days
selmertsx
1
300
20171019_aws_startup_tech
selmertsx
1
6.8k
rails_rdm_revieee
selmertsx
0
1.2k
revieee
selmertsx
0
350
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Happy Clients
brianwarren
97
6.7k
Visualization
eitanlees
144
15k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2.1k
Art, The Web, and Tiny UX
lynnandtonic
296
20k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
Teambox: Starting and Learning
jrom
132
8.7k
The Cost Of JavaScript in 2023
addyosmani
45
6.6k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
A better future with KSS
kneath
238
17k
The Language of Interfaces
destraynor
154
24k
Transcript
安くて簡単! AWS でのデー タ集積基盤構築 Speee 森岡周平
今日のお話 Kinesis Firehose + Athena と QuickSight を使って 簡単なデー タ確認基盤を
AWS 初心者が1日で作った話 を5分くらいで
お話のゴー ル Kinesis Firehose + Athena ( デー タの集積) QuickSight
( デー タの可視化) で デー タの可視化が簡単にできそうと思えること 今日話さないこと TreasureData との比較 Kinesis Firehose のパフォー マンスなど ※ 時間的な問題で省略します
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
名前: 森岡周平 GitHub Account: Selmertsx 業務での使用言語: Ruby, Java AWS 歴:
( ちゃんと触り始めて) 半年 会社: Speee 所属部署: 開発基盤部 / ヌリカエ
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
外壁塗装の一括見積もりサー ビス 専門のアドバイザー が、 お客様にヒアリングした 情報を元に、 適切な業者様を紹介させて頂く
施工業者様に紹介、 成約することで売上を得る
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
やりたいこと 社内のアドバイザー の行動量に対する、 利益 ( お客様の満足度と 施工業者様の売上 ) を最大化したい アドバイザー
は専門的な知識や相場の把握が求められる アドバイザー の育成には時間が掛かり、 簡単に採用できない 一人あたりの効率を最大化することが事業の成長に直結 見たいデー タ アドバイザー の通話時間 アドバイザー の通話回数 アドバイザー の管理画面の操作数 ※ お客様のサー ビス満足度、 属性毎に集計したい
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
Kinesis Firehose+Athena / MySQL にデー タを集積 QuickSight でデー タを可視化
説明 このシステムの説明を デー タの集積 デー タの可視化 上記2つの処理を通して説明します
デー タの集積について
Kinesis Firehose 任意のデー タを API だけでS3/RedShift に送信できる機能 デー タの圧縮や暗号化も可能 Delivery
Stream の設定はコンソー ルから5 分で可能 # ruby sample code client.put_record( delivery_stream_name: "DeliveryStreamName", record: { data: [name,path,time].to_csv } ) #s3://dict/year/month/day/hour/xxx 森岡周平,/path/nurikae_app/a,2017-06-01 05:58:15.979 森岡周平,/path/nurikae_app/b,2017-06-01 05:58:19.326 森岡周平,/path/nurikae_app/c,2017-06-01 05:58:22.507
お客様との通話は自作 windows app 施工業者様への紹介はweb の管理画面 Kinesis Firehose からS3 にデー タを集積し
Athena でデー タを集計
デー タの可視化について
QuickSight AWS から提供されているBI ツー ル (Re:dash っぽい)
S3/RDS 等をデー タソー スにデー タの可視化が可能 AWS に乗ってる場合めちゃくちゃ楽 お値段: $9/user (10
GB SPICE include) SPICE に import しておけば、 ちょっといじっても Athena にリクエストが飛ばない SPICE 使った場合、custom SQL は使えない
架電ログなどは Athena から取得 売上デー タなどは MySQL から取得
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
アドバイザー 毎のKPI をリアルタイムで可視化 ※ 単位等々 はちょっと説明できません
None
Agenda 自己紹介 事業説明 ( ぬりかえ) 可視化対象のデー タについて 構築システムの説明 可視化した結果 まとめ
まとめ Kinesis Firehose + Athena + QuickSight を使って 1日でデー タを可視化できる環境が作れた
Athena のSDK が公開されたので簡単 アドバイザー 業務に関して、 誰が、 何を、 どれく らいやっているのか可視化できた 価値を最大化するためのリソー ス配分や、 業務で のボトルネックが明確になった かかったお金は総額 $10 程度. ※ 金額の詳細は、 色々 な都合で割愛
最後に AWS のECS などの機能を使って Heroku Review Apps の機能を安価に実現する Revieee というOSS
も開発したりしています GitHub でコー ドを公開しているので、 良かったら見てみて下さい https://github.com/speee/webapp-revieee http://tech.speee.jp/entry/2017/05/15/112804
以上です! ご清聴ありがとう ございました