Share
Embed
Event-driven architecture
PyCon JP 2022の発表資料。
イベント駆動アーキテクチャについて実用的なTipsを交えて解説していきます。普段は手続型のプログラミングに慣れている方が、設計パターンから非同期タスクの運用までを理解していただけるようお届けします。
massa142
October 14, 2022
Transcript
68 slides
-
イメージ図 Ref: Observer Pattern in Java. “Life was always a
matter of waiting… | by Arjun Sunil Kumar 17 -
Djangoでの例 from django.db.models.signals import post_save from django.dispatch import receiver from
django.core.mail import send_mail from .models import User @receiver(post_save, sender=User) def send_registered_mail_handler(sender, instance, created, **kwargs): if created: send_mail(' タイトル', ' 本文', '[email protected]', [instance.email]) 21 -
イベント駆動型プログラミングは、アプリケーションの部品を分解して、部品間のやり 取りをイベントでやっている この分解のスコープを広げて、やり取りをネットワーク越しにするようになったのがイ ベント駆動アーキテクチャ このあとCeleryを使った設計について解説していきます サーバーレスにアプリケーションを分離できるなら、 AWS Lambda x SQSのよう
なFaaS構成 マイクロサービスな設計を採用するなら、Kafkaのようなイベントストリーミング を利用する場合も 24 -
用語集 Task: 非同期で実行させる処理のまとまり Queue: Taskを格納する入れもの (FIFO: First-In-First-Out) Producer: Taskを作成してBrokerに渡す (Celeryだと「Celery
Client」がこの役割) Broker: 作成されたTaskをQueueに登録したり、Queueに登録されているTaskを Consumerに渡す Consumer: BrokerによってQueueから取り出されたTaskを実際に処理する (Celeryだと 「Celery Woker」がこの役割) 29 -
他の選択肢 RQ 「Simple job queues for Python」と謳っているとおりシンプルで扱いやすい 対応しているBrokerはRedisのみ Apache Kafka
分散メッセージングシステム タスクに含まれるデータを時系列情報として永続化 タスクを取り出しても廃棄されないので、複数のマイクロサービスなどから参照が できて便利 30 -
Celeryの対応Broker Name Status Monitoring Remote Control RabbitMQ Stable Yes Yes
Redis Stable Yes Yes Amazon SQS Stable No No Zookeeper Experimental No No 参照: Backends and Brokers — Celery 5.1.2 documentation 31 -
プリミティブな値を渡す Taskの引数には、複雑なオブジェクトを渡さずに、intやstrなどのプリミティブな値を渡 す とくにDjangoなどでモデルインスタンスは渡しがちなので注意 シリアライザーのデフォルト設定 json のままだと、 TypeError 発生 シリアライザーにpickleを設定すれば、渡すことはできる
非同期なのでCelery Workerが処理を開始する前にこのレコードが更新されてしまう と、古い状態のままのデータを使ってしまうことに 参照: 95:Celeryのタスクにはプリミティブなデータを渡そう — 自走プログラマー【抜粋版】 34 -
シリアライズに失敗 >>> user = User.objects.get(pk=user_id) >>> sample_task.delay(user=user) Traceback (most recent
call last): ... TypeError: Object of type 'User' is not JSON serializable id を渡して、Taskのなかで最新のデータを取得するように @shared_task def smaple_task(user_id): if not user_id: return user = User.objects.get(pk=user_id) ... user.save() 35 -
テストでは always_eager をTrueに Djangoでは CELERY_ALWAYS_EAGER = True を設定すると、Taskは同期的に実行され るので、Celery Workerを起動しなくても
テストやローカル開発時には、この設定にしておくと捗る 36 -
そもそもの例外設計 復帰可能なエラーのみキャッチする 復帰可能なエラー以外は、 握りつぶさず投げっぱなしにする 最上位層で復帰できない例外として処理する そこでSentryなどの Error Tracking Software に飛ばす
参照: https://gist.github.com/sunaot/6138546#例外設計の話 38 -
リトライ関連の設定 autoretry_for 自動リトライ対象のExeptionクラスを指定 max_retries 最大リトライ回数 retry_backoff Exponential backoff を有効に リトライ間隔を指数関数的に増加(例:
1秒後、2秒後、4秒後、8秒後、、、 retry_backoff_max retry_backoff 有効時の最大リトライ間隔 retry_jitter retry_backoff 有効時に、jitter(ゆらぎ)を導入 リトライ実行タイミングの衝突を回避するため 41 -
復帰可能のハンドリングが簡単であれば、 autoretry_for の設定でOK @celery_app.task( bind=True, soft_time_limit=60, time_limit=120, autoretry_for=(RetryableException,), retry_kwargs={'max_retries': 10},
) def example_task( self, user_id=None, **kwargs, ): ... 43 -
復帰可能なエラーのパターンが増えてきたら、リトライ用のdecoratorを自作して育てていく のがよき @celery_app.task( bind=True, soft_time_limit=60, time_limit=120, retry_kwargs={'max_retries': 10}, ) @retry_when_retryable(logger=logger)
def example_task( self, user_id=None, **kwargs, ): ... 44 -
def retry_when_retryable(logger=None): # noqa C901 That's too complex :( if
not logger: logger = _logger def _retry_when_retryable(task): @functools.wraps(task) def wrapper(app, *args, **kwargs): try: return task(app, *args, **kwargs) except DjangoDBOperationalError as exc: # Retryable mysql errors if exc.args[0] in [ 1040, # Too many connections 2003, # Can't connect to MySQL server 2013, # Lost connection to MySQL server during query ]: countdown = 60 * 5 elif exc.args[0] in [ 1205, # Lock wait timeout exceeded; try restarting transaction 1213, # Deadlock found when trying to get lock; try restarting transaction ]: countdown = 25 else: raise exc logger.warning('Database operation occurred: %s', exc) raise app.retry(countdown=countdown, exc=exc) except ( DjangoDBInternalError, DjangoDBIntegrityError, ) as exc: # Retryable mysql errors if exc.args[0] in [ 1062, # Duplicate entry (when get_or_create) 1206, # The total number of locks exceeds the lock table size 1689, # Wait on a lock was aborted due to a pending exclusive lock ]: logger.warning('Database internal occurred: %s', exc) raise app.retry(countdown=25, exc=exc) raise exc except CelerySoftTimeLimitExceeded as exc: logger.info('Time limit occurred: %s', exc) raise app.retry(countdown=60 * 5, exc=exc) except RetryableException as exc: logger.warning('Retryable error occurred: %s', exc) raise app.retry(countdown=exc.countdown, exc=exc) return wrapper return _retry_when_retryable https://gist.github.com/massa142/d9256496469c8e95f526d2132fab9426 45 -
テーブル構造 mysql> desc django_celery_results_taskresult; +--------------------+--------------+------+-----+---------+----------------+ | Field | Type |
Null | Key | Default | Extra | +--------------------+--------------+------+-----+---------+----------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | task_id | varchar(255) | NO | UNI | NULL | | | status | varchar(50) | NO | MUL | NULL | | | content_type | varchar(128) | NO | | NULL | | | content_encoding | varchar(64) | NO | | NULL | | | result | longtext | YES | | NULL | | | date_done | datetime(6) | NO | MUL | NULL | | | traceback | longtext | YES | | NULL | | | meta | longtext | YES | | NULL | | | task_args | longtext | YES | | NULL | | | task_kwargs | longtext | YES | | NULL | | | task_name | varchar(255) | YES | MUL | NULL | | | worker | varchar(100) | YES | MUL | NULL | | | date_created | datetime(6) | NO | MUL | NULL | | | periodic_task_name | varchar(255) | YES | | NULL | | +--------------------+--------------+------+-----+---------+----------------+ 15 rows in set (0.00 sec) mysql> 48 -
運用でカバー 具体例 HTTPリクエスト先が500エラーを返しきて、Celery Taskが異常終了していた アプローチ Dango adminから異常終了した(status=FAILED)のTaskを期間指定で絞りこんで、まとめて リトライするようなaction用意しておくと便利 HTTPリクエスト先が復旧した後で、このactionを実行する task_name,
task_args, task_kwargsが保存されているので、そこから再実行可能 49 -
本番環境だとDatadogなどで監視するのがよいけれど、 celery inspect コマンドを使った 簡易的な監視Scriptでも頑張ることもできる $ celery -A proj inspect
reserved Workerが取得したけど、実行待ちになっているTaskを列挙 これを使って、ずっと実行待ちになっているTaskがないかをチェック 53 -
$ celery -A proj inspect reserved --json | check_celery_reserved.py 300
/tmp/celery_reserved_jobs def check(): recs = json.load(sys.stdin) prev = {} cur = {} save = pathlib.Path(args.save) if save.exists(): try: prev = json.loads(save.read_text()) except Exception as e: print(e, file=sys.stderr) for worker, jobs in recs.items(): for job in jobs: jobid = job.get('id', '') if not jobid: continue cur[jobid] = prev.get(jobid, now) try: save.write_text(json.dumps(cur)) except Exception as e: print(e, file=sys.stderr) for job, t in cur.items(): d = now - t if d >= args.secs: # Slack 通知 if __name__ == '__main__': check() 54 -
変更前 @app.task def change_kwargs_task(current=None, **kwargs): # Old ... 変更後 @app.task
def change_kwargs_task(current=None, new=None, **kwargs): # New new = new or some_calc(old) if not new: logger.warning('Warning!') return True ... 57 -
重い処理するときの注意点 時間がかかる場合 時間がかかる処理専用のQueueに分ける そのQueueを購読する専用のWorkerを立ちあげる CELERYD_PREFETCH_MULTIPLIER を 1 に WorkerがBrokerから一度に取得するTask数 通信コストを抑えるためにデフォルト値は
4 WorkerがTaskを取得したあとに詰まらないようにするために 1 をセット メモリリークケア CELERY_WORKER_MAX_TASKS_PER_CHILD を 1 に Workerが同じプロセスで実行する最大Task数 1にセットしたら、Taskごとに新しいプロセスが生成される 63 -
Chain >>> from celery import chain >>> from proj.tasks import
add, mul >>> # (4 + 4) * 8 * 10 >>> res = chain(add.s(4, 4), mul.s(8), mul.s(10))() >>> res.get() 640 タスクを直列に(順番に)実行する 前のタスクの実行結果が、後ろのタスクの第1引数に渡される 66 -
Signature add.s(4, 4) は、 add.signature(4, 4) のショートカット記法 signatureを利用するとタスクに渡された引数や実行オプションをラップすることができ て、他の関数に渡すことができる Immutable
signature 前のタスクの実行結果が必要ない場合は、immutableなsignatureにできる add.signature((2, 2), immutable=True) で、ショートカット記法は add.si(2, 2) 67 -
Immutable sigunatureを使うと、それぞれ独立したTaskを指定した順番で実行できるように なる >>> res = (add.si(2, 2) | add.si(4,
4) | add.si(8, 8))() >>> res.get() 16 Chainの他にも 複数のTaskを並列に実行するGroup 複数のTaskの実行結果をコールバックに渡すことができるChord などがある。 参照: Canvas: Designing Work-flows — Celery 5.1.2 documentation 68