Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
@nestjs/bull の活用について
Search
odanado
PRO
September 30, 2022
Programming
0
1.4k
@nestjs/bull の活用について
odanado
PRO
September 30, 2022
Tweet
Share
More Decks by odanado
See All by odanado
Vitest Browser Mode への期待 / Vitest Browser Mode
odanado
PRO
3
4.2k
クラウド KMS の活用 / TOKYO BLOCKCHAIN TECH MEETUP 2022
odanado
PRO
0
1.2k
Vue.observable で状態管理 / vue-observable-state-management
odanado
PRO
4
2k
nuxtjs-axios-error-handling
odanado
PRO
0
350
ブロックチェーンアプリのトランザクションに対するデータ分析 / PyCon-JP-2019
odanado
PRO
0
410
スマートコントラクトに対する既知の攻撃とその対策 / bc.tokyo-21
odanado
PRO
0
230
最近のweb3.js事情 / bc.tokyo-19
odanado
PRO
2
500
YAPC::Tokyo 2019に スタッフ参加してみて / kichijojipm-18
odanado
PRO
1
2.3k
JavaScript + Dockerの知見 / knowledge-of-docker-in-javascript
odanado
PRO
9
54k
Other Decks in Programming
See All in Programming
AI Agent 時代のソフトウェア開発を支える AWS Cloud Development Kit (CDK)
konokenj
6
800
『自分のデータだけ見せたい!』を叶える──Laravel × Casbin で複雑権限をスッキリ解きほぐす 25 分
akitotsukahara
2
660
レベル1の開発生産性向上に取り組む − 日々の作業の効率化・自動化を通じた改善活動
kesoji
0
300
Quand Symfony, ApiPlatform, OpenAI et LangChain s'allient pour exploiter vos PDF : de la théorie à la production…
ahmedbhs123
0
220
おやつのお供はお決まりですか?@WWDC25 Recap -Japan-\(region).swift
shingangan
0
140
[SRE NEXT] 複雑なシステムにおけるUser Journey SLOの導入
yakenji
0
150
DMMを支える決済基盤の技術的負債にどう立ち向かうか / Addressing Technical Debt in Payment Infrastructure
yoshiyoshifujii
3
410
チームで開発し事業を加速するための"良い"設計の考え方 @ サポーターズCoLab 2025-07-08
agatan
1
470
フロントエンドのパフォーマンスチューニング
koukimiura
5
2k
LT 2025-06-30: プロダクトエンジニアの役割
yamamotok
0
870
MCPを使ってイベントソーシングのAIコーディングを効率化する / Streamlining Event Sourcing AI Coding with MCP
tomohisa
0
170
What's new in AppKit on macOS 26
1024jp
0
150
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Producing Creativity
orderedlist
PRO
346
40k
Embracing the Ebb and Flow
colly
86
4.8k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Transcript
@nestjs/bull の活用について NestJS meetup Online #4 @odan3240
目次 • 自己紹介 • 今日話すこと • @nestjs/bull とは • API
と Worker のサーバを分ける • ログに共通の ID を仕込む • bull の各種イベントをログに出力する 2
今日話すこと • バックエンドの非同期処理に @nestjs/bull を使用 • サービス運用で便利になる テクニックをいくつかご紹介 • サンプルコード
◦ odan-sandbox/nestjs-bull-patterns-sandbox • 前提知識 ◦ AWS Fargate にバックエンドのサーバがある ◦ ログの集計は CloudWatch 3
@nestjs/bull とは 4
@nestjs/bull とは • https://github.com/OptimalBits/bull は Redis バックエンドの非同期キューのライブラリ 5
@nestjs/bull とは • @nestjs/bull は bull の NestJS 向けのラッパー •
bull の Queue の仕組みを NestJS way な方法で扱える 6
@nestjs/bull とは • @nestjs/bull は bull の NestJS 向けのラッパー •
bull の Queue の仕組みを NestJS way な方法で扱える 7
API と Worker のサーバを分ける 8
API と Worker のサーバを分ける • API と Worker のサーバは求められる インフラの要件が異なる
◦ 水平スケールの条件など • 2つのサーバは独立で動くように プロセスを分けるのが良さそう • 「nestjs bull separate process」でググると Stack Overflow でヒットする 9
API と Worker のサーバを分ける 10 WebhookProcessor の登録の有無
API と Worker のサーバを分ける • registerQueueAsync ◦ queue.add を使うモジュールに登録する ◦
API サーバで呼び出されるモジュールなど • registerProcessorAsync ◦ 登録された job を実行するための関数 ◦ worker 用のプロセスを起動するモジュールに登録する 11
API と Worker のサーバを分ける 12 worker の実行
API と Worker のサーバを分ける • app.init() を実行すると アプリケーションが開始 • queue
に job が追加されると processor が実行されるようになる • ファイルは worker.ts で API サーバのエントリーファイル (main.ts) とは別 ◦ 別のプロセスで実行 ◦ コンテナを分けることも可能 13
ログに共通の ID を仕込む 14
ログに共通の ID を仕込む • pino-http は express 向けのロガーライブラリ • jsonl
ベースのログを出力する 15
ログに共通の ID を仕込む • nestjs-pino は pino-http の NestJS 向けラッパー
16
ログに共通の ID を仕込む • リクエストごとに共通の ID が割り振られていると 障害発生時の原因調査が楽 ◦ Observability
の向上 • ID で filter するとリクエストを受け付けてから レスポンスを返すまでの流れを把握できる ◦ 外部 API の呼び出しのログ ◦ クエリ発行のログ 17
ログに共通の ID を仕込む • worker でも pino-http みたいなことがしたい •
worker の処理が開始してから終了するまでに どういうログが出力されたか追跡可能だと良い 18
ログに共通の ID を仕込む 19 AsyncLocalStorage を使う
ログに共通の ID を仕込む 20 BaseProcessor を継承するだけ
bull の各種イベントをログに出力する 21
bull の各種イベントをログに出力する • bull は queue に入った job の状態に 応じて様々なイベントを
emit する 22
bull の各種イベントをログに出力する • OnQueueError ◦ job がエラーになったとき • OnQueueActive ◦
job がアクティブになったとき • OnQueueCompleted ◦ job が完了したとき • OnQueueFailed ◦ job が失敗したとき • これらのイベントのタイミングでログを 出力しておくと障害発生時に調査が楽になる 23
bull の各種イベントをログに出力する 24 イベントに対してログを出す
まとめ 25
まとめ • 運用を楽にする @nestjs/bull の使い方を紹介 ◦ API と Worker のサーバを分ける
◦ ログに共通の ID を仕込む ◦ bull の各種イベントをログに出力する • いわゆる Observability を改善すると 障害発生時の原因調査が楽 26