Upgrade to Pro — share decks privately, control downloads, hide ads and more …

高スループット・低レイテンシを実現する技術

tokku5552
September 01, 2023

 高スループット・低レイテンシを実現する技術

tokku5552

September 01, 2023
Tweet

More Decks by tokku5552

Other Decks in Technology

Transcript

  1. 自己紹介
 • 徳田真之介(@tokkuu) 
 • 略歴
 ◦ 2023/05 〜 


    ▪ CyberAgent AI事業本部 
 ◦ 2021/10 - 2023/04 
 ▪ ミロゴス株式会社(Web系) 
 ◦ 2017/04 - 2021/09 
 ▪ 日鉄日立システムエンジニアリング(SIer) 
 • 好きな技術
 ◦ TypeScript/Next.js/AWS/Golang/Terraform/Flutter 
 • 趣味
 ◦ バンド(ex. ggrks)
 ◦ 娘
 ◦ ディズニーランド

  2. AD
 AD
 AD
 SSP
 SSP
 SSP
 秒間 数十万リクエスト に対して 50ms

    でレスポンス 
 ・
 ・
 ・
 ・
 ・
 ・
 DSP
 ユーザー
 広告主
 キャンペーン1
 キャンペーン2
 キャンペーン3
 ・
 ・
 ・
 再掲

  3. AD
 AD
 AD
 SSP
 SSP
 SSP
 秒間 数十万リクエスト に対して 50ms

    でレスポンス 
 ・
 ・
 ・
 ・
 ・
 ・
 DSP
 ユーザー
 広告主
 キャンペーン1
 キャンペーン2
 キャンペーン3
 ・
 ・
 ・
 再掲
 • どのキャンペーンの広告をいくらで 出すのか?
 • 入札したあと、勝ったのか?それを 見たのか?クリックしたのか? 

  4. AD
 AD
 AD
 SSP
 SSP
 SSP
 秒間 数十万リクエスト に対して 50ms

    でレスポンス 
 ・
 ・
 ・
 ・
 ・
 ・
 DSP
 ユーザー
 広告主
 キャンペーン1
 キャンペーン2
 キャンペーン3
 ・
 ・
 ・
 再掲
 ・bid  SSPからのリクエストを受けて  入札額を返す ・imp  広告が表示されたら  リクエストが来る ・その他  計測用
  5. AD
 AD
 AD
 SSP
 SSP
 SSP
 秒間 数十万リクエスト に対して 50ms

    でレスポンス 
 ・
 ・
 ・
 ・
 ・
 ・
 DSP
 ユーザー
 広告主
 キャンペーン1
 キャンペーン2
 キャンペーン3
 ・
 ・
 ・
 再掲
 ・bid  SSPからのリクエストを受けて  入札額を返す ・imp  広告が表示されたら  リクエストが来る ・その他  計測用 ・ユーザー情報から候補となる広告を選定 
 ・ユーザーの属性に合わせて入札額を決定 
 ・入札額と広告内容をSSPへ応答 

  6. AD
 AD
 AD
 SSP
 SSP
 SSP
 秒間 数十万リクエスト に対して 50ms

    でレスポンス 
 ・
 ・
 ・
 ・
 ・
 ・
 DSP
 ユーザー
 広告主
 キャンペーン1
 キャンペーン2
 キャンペーン3
 ・
 ・
 ・
 再掲
 ・bid  SSPからのリクエストを受けて  入札額を返す ・imp  広告が表示されたら  リクエストが来る ・その他  計測用 ・どのキャンペーンの広告が見られたかを計測 
 ・消化額++
 ・予算に到達していたらストップ 

  7. bid処理の基本構成と高速化
 • 使用言語はGolang
 • 標準出力をfluentdでKinesis Data Streams->Kinesis Data Firehose->S3へと流している
 •

    Auroraにあるマスタデータはインメ モリキャッシュへ
 • DynamoDBへの情報はMemcached などを挟んで取得

  8. bid処理の基本構成と高速化
 • 使用言語はGolang
 • 標準出力をfluentdでKinesis Data Streams->Kinesis Data Firehose->S3へと流している
 •

    Auroraにあるマスタデータはインメ モリキャッシュへ
 • DynamoDBへの情報はMemcached などを挟んで取得
 多段キャッシュでread処理を高速化 
 出力は標準出力のみ

  9. AD
 AD
 AD
 SSP
 SSP
 SSP
 秒間 数十万リクエスト に対して 50ms

    でレスポンス 
 ・
 ・
 ・
 ・
 ・
 ・
 DSP
 ユーザー
 広告主
 キャンペーン1
 キャンペーン2
 キャンペーン3
 ・
 ・
 ・
 再掲
 • どのキャンペーンの広告をいくらで 出すのか?
 • 入札したあと、勝ったのか?それを 見たのか?クリックしたのか?