Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
@nestjs/bull の活用について
Search
odanado
PRO
September 30, 2022
Programming
0
1.4k
@nestjs/bull の活用について
odanado
PRO
September 30, 2022
Tweet
Share
More Decks by odanado
See All by odanado
Vitest Browser Mode への期待 / Vitest Browser Mode
odanado
PRO
3
3.8k
クラウド KMS の活用 / TOKYO BLOCKCHAIN TECH MEETUP 2022
odanado
PRO
0
1.1k
Vue.observable で状態管理 / vue-observable-state-management
odanado
PRO
4
2k
nuxtjs-axios-error-handling
odanado
PRO
0
330
ブロックチェーンアプリのトランザクションに対するデータ分析 / PyCon-JP-2019
odanado
PRO
0
390
スマートコントラクトに対する既知の攻撃とその対策 / bc.tokyo-21
odanado
PRO
0
220
最近のweb3.js事情 / bc.tokyo-19
odanado
PRO
2
480
YAPC::Tokyo 2019に スタッフ参加してみて / kichijojipm-18
odanado
PRO
1
2.2k
JavaScript + Dockerの知見 / knowledge-of-docker-in-javascript
odanado
PRO
9
54k
Other Decks in Programming
See All in Programming
On-the-fly Suggestions of Rewriting Method Deprecations
ohbarye
1
3.4k
Laravel × Clean Architecture
bumptakayuki
PRO
0
110
AHC045_解説
shun_pi
0
560
Thank you <💅>, What's the Next?
ahoxa
1
550
状態と共に暮らす:ステートフルへの挑戦
ypresto
2
790
ComposeでWebアプリを作る技術
tbsten
0
120
Exit 8 for SwiftUI
ojun9
0
140
スモールスタートで始めるためのLambda×モノリス(Lambdalith)
akihisaikeda
2
300
[NG India] Event-Based State Management with NgRx SignalStore
markostanimirovic
1
170
Contribute to Comunities | React Tokyo Meetup #4 LT
sasagar
0
550
新しいPHP拡張モジュールインストール方法「PHP Installer for Extensions (PIE)」を使ってみよう!
cocoeyes02
0
420
プロダクト横断分析に役立つ、事前集計しないサマリーテーブル設計
hanon52_
2
470
Featured
See All Featured
Designing for Performance
lara
608
69k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Gamification - CAS2011
davidbonilla
81
5.2k
Into the Great Unknown - MozCon
thekraken
38
1.7k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
2.9k
[RailsConf 2023] Rails as a piece of cake
palkan
54
5.4k
The Language of Interfaces
destraynor
157
25k
Adopting Sorbet at Scale
ufuk
76
9.3k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.3k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Transcript
@nestjs/bull の活用について NestJS meetup Online #4 @odan3240
目次 • 自己紹介 • 今日話すこと • @nestjs/bull とは • API
と Worker のサーバを分ける • ログに共通の ID を仕込む • bull の各種イベントをログに出力する 2
今日話すこと • バックエンドの非同期処理に @nestjs/bull を使用 • サービス運用で便利になる テクニックをいくつかご紹介 • サンプルコード
◦ odan-sandbox/nestjs-bull-patterns-sandbox • 前提知識 ◦ AWS Fargate にバックエンドのサーバがある ◦ ログの集計は CloudWatch 3
@nestjs/bull とは 4
@nestjs/bull とは • https://github.com/OptimalBits/bull は Redis バックエンドの非同期キューのライブラリ 5
@nestjs/bull とは • @nestjs/bull は bull の NestJS 向けのラッパー •
bull の Queue の仕組みを NestJS way な方法で扱える 6
@nestjs/bull とは • @nestjs/bull は bull の NestJS 向けのラッパー •
bull の Queue の仕組みを NestJS way な方法で扱える 7
API と Worker のサーバを分ける 8
API と Worker のサーバを分ける • API と Worker のサーバは求められる インフラの要件が異なる
◦ 水平スケールの条件など • 2つのサーバは独立で動くように プロセスを分けるのが良さそう • 「nestjs bull separate process」でググると Stack Overflow でヒットする 9
API と Worker のサーバを分ける 10 WebhookProcessor の登録の有無
API と Worker のサーバを分ける • registerQueueAsync ◦ queue.add を使うモジュールに登録する ◦
API サーバで呼び出されるモジュールなど • registerProcessorAsync ◦ 登録された job を実行するための関数 ◦ worker 用のプロセスを起動するモジュールに登録する 11
API と Worker のサーバを分ける 12 worker の実行
API と Worker のサーバを分ける • app.init() を実行すると アプリケーションが開始 • queue
に job が追加されると processor が実行されるようになる • ファイルは worker.ts で API サーバのエントリーファイル (main.ts) とは別 ◦ 別のプロセスで実行 ◦ コンテナを分けることも可能 13
ログに共通の ID を仕込む 14
ログに共通の ID を仕込む • pino-http は express 向けのロガーライブラリ • jsonl
ベースのログを出力する 15
ログに共通の ID を仕込む • nestjs-pino は pino-http の NestJS 向けラッパー
16
ログに共通の ID を仕込む • リクエストごとに共通の ID が割り振られていると 障害発生時の原因調査が楽 ◦ Observability
の向上 • ID で filter するとリクエストを受け付けてから レスポンスを返すまでの流れを把握できる ◦ 外部 API の呼び出しのログ ◦ クエリ発行のログ 17
ログに共通の ID を仕込む • worker でも pino-http みたいなことがしたい •
worker の処理が開始してから終了するまでに どういうログが出力されたか追跡可能だと良い 18
ログに共通の ID を仕込む 19 AsyncLocalStorage を使う
ログに共通の ID を仕込む 20 BaseProcessor を継承するだけ
bull の各種イベントをログに出力する 21
bull の各種イベントをログに出力する • bull は queue に入った job の状態に 応じて様々なイベントを
emit する 22
bull の各種イベントをログに出力する • OnQueueError ◦ job がエラーになったとき • OnQueueActive ◦
job がアクティブになったとき • OnQueueCompleted ◦ job が完了したとき • OnQueueFailed ◦ job が失敗したとき • これらのイベントのタイミングでログを 出力しておくと障害発生時に調査が楽になる 23
bull の各種イベントをログに出力する 24 イベントに対してログを出す
まとめ 25
まとめ • 運用を楽にする @nestjs/bull の使い方を紹介 ◦ API と Worker のサーバを分ける
◦ ログに共通の ID を仕込む ◦ bull の各種イベントをログに出力する • いわゆる Observability を改善すると 障害発生時の原因調査が楽 26