Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
menu基盤チームによるGoogle Cloudの活用事例~Application Integ...
Search
yoshifumi_ishikura
December 16, 2024
Programming
0
120
menu基盤チームによるGoogle Cloudの活用事例~Application Integration, Cloud Tasks編~
https://sake-game.connpass.com/event/333486/
yoshifumi_ishikura
December 16, 2024
Tweet
Share
Other Decks in Programming
See All in Programming
Оптимизируем производительность блока Казначейство
lamodatech
0
790
KubeCon + CloudNativeCon NA 2024 Overviewat Kubernetes Meetup Tokyo #68 / amsy810_k8sjp68
masayaaoyama
0
270
為你自己學 Python
eddie
0
480
毎日13時間もかかるバッチ処理をたった3日で60%短縮するためにやったこと
sho_ssk_
1
440
【re:Growth 2024】 Aurora DSQL をちゃんと話します!
maroon1st
0
840
MCP with Cloudflare Workers
yusukebe
2
230
Zoneless Testing
rainerhahnekamp
0
130
Mermaid x AST x 生成AI = コードとドキュメントの完全同期への道
shibuyamizuho
1
310
テストコード書いてみませんか?
onopon
2
250
iOS開発におけるCopilot For XcodeとCode Completion / copilot for xcode
fuyan777
1
770
KubeCon NA 2024の全DB関連セッションを紹介
nnaka2992
0
100
今年一番支援させていただいたのは認証系サービスでした
satoshi256kbyte
1
270
Featured
See All Featured
Producing Creativity
orderedlist
PRO
342
39k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Site-Speed That Sticks
csswizardry
2
200
The World Runs on Bad Software
bkeepers
PRO
66
11k
Testing 201, or: Great Expectations
jmmastey
41
7.2k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Designing for humans not robots
tammielis
250
25k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
A Tale of Four Properties
chriscoyier
157
23k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
365
25k
Gamification - CAS2011
davidbonilla
80
5.1k
Transcript
menu基盤チームによる Google Cloudの活用事例 ~Application Integration, Cloud Tasks編~ 1
自己紹介:秋山諒次郎(あきやまりょうじろう) ・今年1月中途入社 ・バックエンド/インフラエンジニア ・基盤チーム ・最近の関心: 決済システム
1:全国33都道府県でデリバリーサービス展開 2:KDDI社との資本業務提携 3:フードだけでなく、「クイックコマース 領域」のサービスとしてNo1を目指す
配達員様 店舗様 注文者様 注文する 配 達 す る 受 け
渡 す 店舗・配達員・ユーザーのスリーマッチングモデル
1.Application Integrationの活用 2.Cloud Tasksの活用 Contents
©MENU.INC Application Integrationの活用
Application Integrationとは 1.Cloud Cloudが提供する iPaaS (integration Platform as a Service)
2.異なるプラットフォーム間のデータ連携 3.ノーコード / ローコード
Application Integrationとは 外部App Application Integration データマッピング 条件分岐 JavaScript 実行 Pub/Sub
Cloud Scheduler REST API 外部App Pub/Sub Cloud Scheduler REST API Cloud SQL Workflows
Application Integration UI
背景 ・CSで受けたユーザー問い合わせ起因の処理を スムーズに実行したい ・SFA/CRMツールから内部リソースへの処理実行を トリガーしたい ・素早く開発したい
背景 SFA/CRM Tool GKE Google Cloud ユーザー問い合わせ
やったこと SFA/CRM Tool Application Integration データマッピング トリガー 認証プロファイル pub/sub GKE
Google Cloud
Application Integrationを使ってみて ・認証周りを簡単に設定できたので素早く開発できた ・認証プロファイルを設定、接続タスクで紐づけるのみ ・認証プロファイルは一度作成すれば再利用できる
Application Integrationを使ってみて ・データマッピングが直感的 ・マッピング関数の充実
Application Integrationを使ってみて ・Google Workspace アプリとの連携 ・バックオフィス業務にも活用できそう
©MENU.INC Cloud Tasksの活用
自己紹介:石倉 佳文(いしくら よしふみ) ・23卒新卒入社 ・基盤チーム ・バックエンド/インフラエンジニア ・関心のある技術 Go, k8s, o11y,
仮想化
背景 ・外部の企業のシステムからmenuに商品を登録するために 使 用するAPIがある ・こちらのAPIの商品画像をアップロードする部分で負荷の 部分 で問題があった ・こちらのAPIを一定のスループットを保ちながら安定させ る必 要があった
課題 ・商品画像のアップロードで課題 ・非同期で処理していたが、特に流量の制限をしていなかっ たの でたくさんイベントが発行されると後続のサーバーに 負荷がかか る(スケールが間に合わない) ・画像のアップロードする処理が短期間で同時に走ってしまうと Cloud Natのポートが枯渇する問題が発生した
要件 ・画像のアップロードの速度はそこまで求められていない(夜 中に 実行して朝完了していればOK) ・スパイクするようなリクエストがきても緩やかに安定して完 了させ たい ・過剰スケールなどをしないようにイベント流量を制御できる ような 状態にしておきたい
改善前の構成 簡略図
やったこと ・画像をアップロードするサーバーをVPCの外に出した (ポート 枯渇の解消) ・画像をアップロードするサーバーをGCEからCloud Runに 変 更した(より柔軟にスケールできる) ・Cloud Tasksを導入した(イベントの流量を調整できる)
Cloud Tasksとは ・Google Cloudが提供している非同期タスクを実行するこ との できるフルマネージドサービス ・タスクという単位でキューに実行したい処理をためる ・キューにためたタスクの実行タイミングが柔軟に調整でき る ・リトライする機構が標準である
Cloud TasksとPub/Subの比較 ・Cloud Tasksはパブリッシャー側で制御することが目的 ・具体的な配信スケジュールの決定 ・配信レート ・リトライなど Cloud Tasks か
Pub/Sub かの選択
Cloud TasksとPub/Subの比較 ・PubSubはパブリッシャーとサブスクライバーの分離が 目 的 ・パブリッシャーはサブスクライバーのことを気にする必 要がな い ・パブリッシャーに対して複数のサブスクライバーという 構成を 取れるので、イベント駆動なアーキテクチャなどと 親和性が高く 拡張性の高い構成を作りやすい
Cloud Tasks か Pub/Sub かの選択
Cloud TasksとPub/Subの併用 ・Pub/Subはイベント駆動型のアーキテクチャに適している ・大量のメッセージ配信を得意としている ・Cloud TasksはHTTPリクエストのバッファリングや柔軟な 流通 量の制御などに適している 組み合わせることでPub/Subでイベント駆動なアーキテクチャを 実現しつつ、Cloud Tasksで処理をバッファリングすることでシンプ
ルな構成で拡張性や高負荷への柔軟性の高い構成を実現できる https://cloud.google.com/blog/ja/products/serverless/buffer-http-requests-with-cloud-tasks
タスクの作成方法 ・Create Taskメソッド ・タスク単位でのルーティングが必要な場合など複雑な非同 期処理を行いたい時に使用する ・Buffer Taskメソッド ・すぐに実行する必要のないHTTPリクエストをキューに バッファリングして適切なタイミングで実行する
・キューレベルのルーティングが必要 ・クライアントライブラリ(SDK)の提供はない ※アクセス トー クンの取得の実装は自分で行なった
タスクの作成方法 ・今回はスパイクするような高負荷をバッファリングして緩 やかに 処理したいのでBuffer Taskメソッドが適切 https://cloud.google.com/tasks/docs/creating-http-target-tasks?hl=ja
改善後の構成 簡略図
Cloud Tasksを使ってみて良かったこと ・インフラのレイヤーで調整することができる → アプリケーション側で調整する必要がないので実装コ ストがかからない → 目標実行完了時間などと動作を見合わせてあとから調
整しやすい → 配信レートとは別に最大同時実行数を設定することが できスケールする最大値を固定することができ制御し やす かった
Cloud Tasksを使ってみて良かったこと ・標準で柔軟なリトライ機構 → Cloud Runで一時的なエラーが発生してもリトライし てくれる
Cloud Tasksを使ってみて良かったこと ・Cloud Tasks側の負荷を気にしなくていい → タスクをたくさん作っても詰まることなく安定した動 作 だった
menuのサービスを支える仲間を募集中です!!! 採⽤情報はこちら!