Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DWHを活用した機械学習プロジェクト/ml-with-dwh

 DWHを活用した機械学習プロジェクト/ml-with-dwh

Data Platform Meetup 【vol.2】 https://data-platform-meetup.connpass.com/event/155073/ での発表スライドです。
クックパッドにおける,DWHと密に連携した機械学習プロジェクトの話です。

開発室Graph

December 02, 2019
Tweet

More Decks by 開発室Graph

Other Decks in Programming

Transcript

  1. Redshift S3 Python Queuery ①HTTP リクエスト ②unload文でラップ ③並列に結果を転送 クエリ実行 S3

    (Simple Storage Service)
 拡張性と堅牢性に優れた
 ストレージサービス ④Pythonオブ ジェクト
 として扱う 21
  2. クックパッドでのデータフロー •データ取得 ‣ S3をうまく使ってRedshiftに負荷をかけすぎないようにする ‣ 他の分析者のストレスにならないように •データ投入 ‣ S3をうまく使うことでMySQLからの取り込みも簡単に ‣

    じぶん達で作ったデータは使われ先も置き先も面倒を見る •DWHチームに頼り切らずにデータ取得/投入を行うことができた ‣ でも困ったらすぐ頼れるので助かる (実際に私も困ったので頼った) 43