非同期処理とは何なのか

Transcript

1. 非同期処理とは何なのか 2025/07/31 @ryopeko 関口亮一
2. • 関口亮一 • @ryopeko • Backend Engineer
3. 目次 • Batchと非同期処理 • Batch,非同期処理で考慮すること • 使い分け • スケールさせるためのポイント • 運用のためのポイント • もしものために
4. 1 Batchと非同期処理
5. Batchとは
6. Batchとは • 特定の日、曜日、時間に起動し処理を行 うもの • 日次、週次、月次で実行したい何か
7. 非同期処理とは
8. 非同期処理とは • Queueなどを用いてメインのプロセスとは 別のプロセスで実行される処理 • 会員登録後に送信するメールの処理な ど、メインの処理をブロックしないで後で (並列に)処理していいものを処理する仕 組み
9. 非同期処理とは • A → B → Cというような処理が連鎖するような 場合、ここでは非同期処理とは言わないことにす る • そのようなものはWorkflowとかPipelneと言うも のになる。ここで述べるものより更に難しい内容 になるのでここでは扱わない
10. 非同期処理とは • 順番実行はQueueの種類による • FIFO, LIFO とか、どう処理したいかは具体の話 なのでまあ何でも良い
11. 2 Batch, 非同期処理で 考慮すること
12. Batchと非同期処理の使い分け
13. 例で考える Batchと非同期処理の使い分け • 例: companies table からデータを取得し、 何らかの処理をして、結果をRDBに反映させる
14. Batchで実装する場合
15. Batchで実装する場合 1. 自動で決まった日時にあるいは手動で任意のタイミングで処理が起 動する 2. 起動した処理は companies table から対象となるデータを取得する 3. 取得したデータ全件に対して任意の順番でデータを処理する 4. 全ての処理が終わると処理後のデータを得る 5. 得られたデータをRDBに反映する
16. Batchで実装する場合
17. 非同期処理で実装する場合
18. 非同期処理で実装する場合 1. 自動で決まった日時にあるいは手動で任意のタイミングで処理が起 動する 2. 起動した処理は companies table から対象となるデータを取得する 3. WorkerはQueueのpushを待っていて、入ってきたQueueをPopする 4. PopしたQueueを受け取ったWorkerはそのデータに対して何らかの 処理を行う
19. 非同期処理で実装する場合 6. 処理が完了したデータに対する結果を得る 7. 得られた結果をRDBに反映させる 8. 全てのQueueが処理されたら処理全体として完了となる
20. 非同期処理で実装する場合
21. 3 使い分け
22. 使い分け • Batch ◦ 1回の実行で完結させられるもの • 非同期処理 ◦ スケールメリットを得たい場合 ◦ 処理が並列実行可能なもの
23. 4 スケールさせるための ポイント
24. スケールさせるためのポイント • 何がボトルネックか見極める • 並列して処理可能な単位を見極める • 処理の境目を見つける
25. 5 運用のための ポイント
26. 運用のためのポイント • 再実行性を担保する(重要) => 処理は失敗するという前提に立つ
27. 運用のためのポイント • 何が成功して何が失敗したかを端的にわ かるようにする => リカバリー、調査をするという前提
28. 運用のためのポイント • 部分実行できるようにする => あらゆる箇所で失敗する可能性がある という前提
29. 運用のためのポイント • 実装は実行時引数を必ず取る状態 （インスタンス）を生成する形で実装する => コンテキストをきちんと作る
30. 運用のためのポイント • 破壊的な処理をメソッドを分けて実装す る => デバッグ、調査時に障壁となる
31. 運用のためのポイント • 調査用のメソッドを用意する => 端的に短時間に状況を把握するため
32. 6 もしものために
33. Runbookを整備する
34. Runbookを整備する • もしものことが起きた時の手順書 • 避難訓練的に事前実施
35. Dashboardを整備する
36. Dashboardを整備する • 何が起きているかを可視化 • 誰が見ても同じ観測結果になるように
37. 7 まとめ
38. まとめ • 非同期処理の使い所 • スケールさせるポイントを見つける • 運用を考慮した機能、実装にする • もしものために用意しておくこと