Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2017_jaws_ug_night_shuhei

morioka shuhei
June 02, 2017
4.4k

 2017_jaws_ug_night_shuhei

AWSでのデータ集積基盤構築
AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント

morioka shuhei

June 02, 2017
Tweet

Transcript

  1. お話のゴー ル Kinesis Firehose + Athena ( デー タの集積) QuickSight

    ( デー タの可視化) で デー タの可視化が簡単にできそうと思えること 今日話さないこと TreasureData との比較 Kinesis Firehose のパフォー マンスなど ※ 時間的な問題で省略します
  2. 名前: 森岡周平 GitHub Account: Selmertsx 業務での使用言語: Ruby, Java AWS 歴:

    ( ちゃんと触り始めて) 半年 会社: Speee 所属部署: 開発基盤部 / ヌリカエ
  3. やりたいこと 社内のアドバイザー の行動量に対する、 利益 ( お客様の満足度と 施工業者様の売上 ) を最大化したい アドバイザー

    は専門的な知識や相場の把握が求められる アドバイザー の育成には時間が掛かり、 簡単に採用できない 一人あたりの効率を最大化することが事業の成長に直結 見たいデー タ アドバイザー の通話時間 アドバイザー の通話回数 アドバイザー の管理画面の操作数 ※ お客様のサー ビス満足度、 属性毎に集計したい
  4. Kinesis Firehose 任意のデー タを API だけでS3/RedShift に送信できる機能 デー タの圧縮や暗号化も可能 Delivery

    Stream の設定はコンソー ルから5 分で可能 # ruby sample code client.put_record( delivery_stream_name: "DeliveryStreamName", record: { data: [name,path,time].to_csv } ) #s3://dict/year/month/day/hour/xxx 森岡周平,/path/nurikae_app/a,2017-06-01 05:58:15.979 森岡周平,/path/nurikae_app/b,2017-06-01 05:58:19.326 森岡周平,/path/nurikae_app/c,2017-06-01 05:58:22.507
  5. S3/RDS 等をデー タソー スにデー タの可視化が可能 AWS に乗ってる場合めちゃくちゃ楽 お値段: $9/user (10

    GB SPICE include) SPICE に import しておけば、 ちょっといじっても Athena にリクエストが飛ばない SPICE 使った場合、custom SQL は使えない
  6. まとめ Kinesis Firehose + Athena + QuickSight を使って 1日でデー タを可視化できる環境が作れた

    Athena のSDK が公開されたので簡単 アドバイザー 業務に関して、 誰が、 何を、 どれく らいやっているのか可視化できた 価値を最大化するためのリソー ス配分や、 業務で のボトルネックが明確になった かかったお金は総額 $10 程度. ※ 金額の詳細は、 色々 な都合で割愛
  7. 最後に AWS のECS などの機能を使って Heroku Review Apps の機能を安価に実現する Revieee というOSS

    も開発したりしています GitHub でコー ドを公開しているので、 良かったら見てみて下さい https://github.com/speee/webapp-revieee http://tech.speee.jp/entry/2017/05/15/112804