Upgrade to Pro — share decks privately, control downloads, hide ads and more …

リアルタイム分析サービス『たべみる』を支える高可用性アーキテクチャ

 リアルタイム分析サービス『たべみる』を支える高可用性アーキテクチャ

「たべみる」は、クックパッドの検索データをウェブから分析できる法人向けのウェブサービスです。 そのアーキテクチャの特徴としてサービスのバックエンドDBとバッチの両方でRedshiftを使っていることが挙げられます。 今回は、Redshiftの可用性を高めるためのクックパッド独自のアーキテクチャについて紹介します。

Hiroyuki Inoue

April 28, 2015
Tweet

More Decks by Hiroyuki Inoue

Other Decks in Technology

Transcript

  1. ࣗݾ঺հ • Ҫ্ ׮೭ • ΫοΫύουגࣜձࣾ • τϨϯυௐࠪϥϘ • ೥

    ৽ଔೖࣾ • ڵຯͷ͋Δ͜ͱ • ؔ܎σʔλϕʔεɺσʔλΤϯδχΞϦϯά • ηϚϯςΟοΫ΢Σϒ
  2. ΞʔΩςΫνϟͷ໰୊఺ͱରࡦҊ • 3FETIJGU͕୯Ұো֐఺ʢ410'ʣ • ͭ·Γɺ3FETIJGU͕ࢭ·ΔͱɺαʔϏε͕ࢭ·Δ • 8FCαʔόʔ͸৑௕Խߏ੒ • Մ༻ੑΛߴΊΔରࡦҊ 

    ෳ਺Ϋϥελʔߏ੒  %ZOBNP%#ͷซ༻ • ϑϩϯτ%#ͱͯ͠ʢશͯͷσʔλΛΩϟογϡ͓ͯ͘͠ʣ  1PTUHSF42-ͷซ༻ • ϑϩϯτ%#ͱͯ͠ • ίʔϧυελϯόΠ%#ͱͯ͠
  3. ΫϥελʔؒϨϓϦέʔγϣϯ • 4ʹ VOMPBEɺ4͔Β DPQZ • ͓͢͢ΊͷΦϓγϣϯ unload (‘select  *

     from  stats’)  to  ‘s3://…’  credentials  ‘…’ delimiter  ‘,’  addquotes escape ; copy stats  from  ‘s3://…’  credentials  ‘…’ delimiter  ‘,’  removequotes escape ; Redshift for  Apps Redshift for  Batch S3  Bucket unload copy
  4. 1PTUHSF42-Λซ༻͢Δࡦ  ΫΤϦΛॻ͖׵͑Δඞཁ͕͋ͬͨ  σʔλͷϩʔυ͕஗͍  ߴ଎ͳϩʔυͷͨΊ͚ͩʹ ߴ*014ʢ1*014ʣͳ&#4Λ෇͚Δͷ͸ߴ͍  ෳ਺୆ӡ༻ͷܦࡁతͳίετ

     ΞϓϦ༻͸όονॲཧΛߦΘͳ͍ͷͰ খ͍͞ΫϥελʔͰࡁΉ ΠϯσοΫεΛுΕ͹ɺΫΤϦ͸ͦͦ͜͜ͷ଎౓ PostgreSQL PostgreSQL ෆ࠾༻