分散システムにおけるSagaパターンのAWS Step Functions による実装 #AWSDevDay

© 2020, Amazon Web Services, Inc. or its affiliates. All
rights reserved. In Partnership with 分散システムにおけるSagaパターンの AWS Step Functions による実装福井厚 Atsushi Fukui シニアソリューションアーキテクトサーバーレススペシャリストアマゾンウェブサービスジャパン株式会社 B - 4

rights reserved. In Partnership with ⾃⼰紹介 v名前 v福井厚（ふくいあつし）Twitter: @afukui v所属 vアマゾンウェブサービスジャパン株式会社 v技術統括本部レディネスソリューション本部 vシニアソリューションアーキテクトサーバーレススペシャリスト v関⼼領域 vソフトウェアアーキテクチャ、オブジェクト指向設計、アジャイル開発 v好きなAWSサービス vサーバーレステクノロジー全般、 AWS Code シリーズ、AWS Amplify

rights reserved. In Partnership with Related breakouts 10/20 A-1 : 今⽇から始める、サーバーレス Well-Architected Framework 11:45-12:25 Track A 10/20 A-2 : DX 時代における最適な開発⼿法サーバレスと DB 選択の勘所 12:35-13:15 Track A 10/20 C-7 :AWS AppSync Advanced Design Pattern 16:15-16:45 Track C

rights reserved. In Partnership with 本セッションでお伝えしたいこと • Sagaパターンについて理解する • オーケストレーションについて理解する • AWS Step Functionsとその活⽤について理解する本セッションで扱わないこと • AWS Step Functionsの詳細な機能解説こちらについては AWS Black Belt Webinar を参照ください。 https://aws.amazon.com/jp/blogs/news/webinar-bb-aws-step- functions-2019/

rights reserved. In Partnership with Agenda Saga パターンとは AWS Step Functionsとは AWS Step Functions を利⽤したSagaパターンの実装例まとめ

rights reserved. In Partnership with

rights reserved. In Partnership with Sagaパターンとは • Hector Garcia-MolinaとKenneth Salemが1987年に ”⻑期⽣存トランザクション (long-lived transactions: LLT)"を扱うデザインパターンとしてSAGASというタイトルで論⽂を発表 https://www.cs.cornell.edu/andru/cs711/2002fa/reading/sagas.pdf • “LLT is a saga if it can be written as a sequence of transactions that can be interleaved with other transactions.” (Garcia-Molina, Salem 1987) ”LLTは、他のトランザクションと交互に配置できる⼀連のトランザクションとして記述できる場合、それはsagaである。” ” Due to space limitations, we only discuss sagas in a centralized system, although clearly they can be implemented in a distributed database system.” 1987年時点で、現在のマイクロサービスアーキテクチャを⾒越したような、分散データベースにも実装できると述べているのがスゴい。

rights reserved. In Partnership with Saga︓LLTの課題とポイント • ほとんどの場合、LLTは深刻なパフォーマンスの問題を引き起こす • トランザクションであるため、システムはそれらをアトミックアクションとして実⾏する必要がある • LLTのオブジェクトにアクセスすることを望む他のトランザクションは、⻑いロック遅延を被る • LLTは多くのオブジェクトにアクセスするため、多くのデッドロックが発⽣し、それに応じて多くのアボートが発⽣する可能性がある • 但し、 LLTをアトミックアクションとして実⾏するという要件を緩和することで、問題を軽減できる場合がある

rights reserved. In Partnership with Sagaパターン • ”Saga内のトランザクションは相互に関連しており、（⾮アトミックな）ユニットとして実⾏する必要がある。Sagaの部分的な実⾏は望ましくなく、エラーが発⽣した場合は補償する必要がある。” • 部分的な実⾏を修正するには、各SagaトランザクションT(i)に補償トランザクションC(i)を提供する必要がある。補償トランザクションは、セマンティックの観点から、T(i)によって実⾏されたアクションをすべて元に戻すが、(他のトランザクションによって変更されている可能性があるため)データベースをT(i)の実⾏が開始されたときに存在していた状態に戻すとは限らない。

rights reserved. In Partnership with Sagaの実装 • アプリケーションプログラマの観点からは、Sagaの開始と終了、各トランザクションの開始と終了、および補償トランザクションをシステムに知らせるためのメカニズムが必要 • SagaトランザクションIDや補償トランザクションの名前、エントリポイント、補償トランザクションに必要なパラメータ、セーブポイントなどを保持する必要がある

rights reserved. In Partnership with Sagaの実装(バックワードリカバリ)

rights reserved. In Partnership with Sagaの実装 (フォワードリカバリとSave Point) 注意：常に可能であるとは限らない

rights reserved. In Partnership with Sagaと並列トランザクション • Sagaは並列トランザクションを含むように拡張することが可能 • 並列Sagaの各プロセス内で、トランザクションはシーケンシャルな Sagaと同様に逆の順序で補償 • ⼦プロセスのすべての補償は、⼦プロセスの作成前に実⾏された親トランザクションの補償の前に発⽣する必要がある

rights reserved. In Partnership with マイクロサービスアーキテクチャと共に再び注⽬ • Chris RichardsonがMicroservices PatternsでSagaパターンを取り上げたことで再び注⽬を浴びる(*) • Pattern: Saga (**) • マイクロサービスで典型的な Database per Seviceパターンを適⽤している場合、個々のマイクロサービス内ではACIDトランザクションを利⽤出来るが、サービスをまたがるトランザクションを管理する仕組みが必要 -> Sagaパターン • 実装例としてコレオグラフィベースのSagaとオーケストレーションベースのSagaを紹介 (*) https://microservices.io/index.html (**) https://microservices.io/patterns/data/saga.html

rights reserved. In Partnership with コレオグラフィーとオーケストレーションユーザーリクエストサービスリクエストキューサービスA サービスB サービスC サービスA サービスB サービスC

rights reserved. In Partnership with オーケストレーション: 1つのプロセスがワークフローの状態を管理し、適切なサービスを順番に呼び出す⼝座申請⼝座データチェック⼈による確認 IDをチェックアドレスのチェック⼈による確認⼝座の作成

rights reserved. In Partnership with AWS Step Functions 弾⼒性のあるワークフローオートメーション組み込みのエラーハンドリング AWSサービスとの強⼒な統合独⾃のサービスとの統合サポート実⾏履歴の監査とビジュアルモニタリング AWSのフルマネージドなステートマシン

rights reserved. In Partnership with AWS Step Functionsはどのように動作するか Step Functionsで構築したワークフローはステートマシンと呼ばれ、ワークフローの個々のステップはステート(状態)と呼ばれるステートマシンを実⾏する時、⼀つのステートから次のステートへ移動することを状態遷移と呼ぶコンポーネントの再利⽤が可能で、ステートを容易に編集し、要件の変更に応じてtaskステートによってコードを交換することが可能

rights reserved. In Partnership with ステートマシンとは個別のステート(状態)に分割された各ステップのコレクションを表す 1つの開始状態を持ち、常に1つのアクティブ状態 (実⾏中期間)を持つアクティブ状態は⼊⼒を受け取り、何らかのアクションを実⾏し、アウトプットを⽣成するステート間の遷移は前のステートの出⼒と定義されたルールに基づく

rights reserved. In Partnership with UML State Machine Diagramの例

rights reserved. In Partnership with AWS Step Functions コンソールで視覚化 JSONで定義(Amazon States Language) 実⾏結果をモニタリング

rights reserved. In Partnership with Amazon States Language (ASL) https://states-language.net/spec.html { "Comment": "A simple minimal example", "StartAt": "Hello World", "States": { "Hello World": { "Type": "Task", "Resource": "arn:aws:lambda...HelloWorld", "End": true }, [. . .] } }

rights reserved. In Partnership with AWS Step Functions のサービス統合 Amazon Elastic Container Service AWS Lambda AWS Batch Amazon DynamoDB Amazon SageMaker AWS Glue AWS Step Functions Amazon Simple Notification Service Amazon Simple Queue Service

rights reserved. In Partnership with ステートタイプ Task タスクを実⾏ Choice 分岐ロジックを追加 Wait 遅延時間を追加 Parallel 並列に分岐を実⾏ Map ステートマシンで⼊⼒配列のアイテムを個別に処理 Succeed 成功した実⾏のシグナルと停⽌ Fail 失敗した実⾏のシグナルと停⽌ Pass ⼊⼒を出⼒にパス

rights reserved. In Partnership with サンプルワークフロー: 銀⾏⼝座の開設コールバックの待機並⾏ステップ Choice による分岐タスクの実⾏

rights reserved. In Partnership with タスクの実⾏ AWS Lambda関数の呼び出しアクティビティの実⾏のためにポーリングするワーカーを待機統合されたAWSサービスのAPI へパラメータを渡す

rights reserved. In Partnership with タスクの実⾏例: AWS Lambda関数の実⾏ "Verify Identity Documents": { "Type": "Task", "Parameters": { "name.$": "$.application.name" "identityDoc.$": "$.application.idDocS3path" }, "Resource": "arn:aws:lambda...VerifyIdDocs", "End": true }

rights reserved. In Partnership with 並列に分岐を実⾏並列に実⾏するために分岐するブランチの配列を含む分岐された個々のブランチからのアウトプット配列を出⼒

rights reserved. In Partnership with 並列に分岐を実⾏例: 2つの分岐を並列に実行 "Perform Automated Checks": { "Type": "Parallel", "Branches": [ { "StartAt": "Verify Identity Documents", "States": { "Verify Identity Documents": { … } } }, { "StartAt": "Check Address", "States": { "Check Address": { … } } } ] }, "ResultPath": "$.checks", "Next": "Human Review Required?" }

rights reserved. In Partnership with Choiceを作成プログラミングのswitch⽂に似ている choice構⽂の配列を検査し、⼊⼒変数とChoise配列要素の値を⽐較次にどのステートへ遷移するかを決定

rights reserved. In Partnership with choiceの作成例: 状態のアウトプットに基づいて次のステップを選択 "Human Review Required?": { "Type": "Choice", "Choices": [ { "Variable": "$.checks[0].flagged", "BooleanEquals": true, "Next": "Wait For Review" }, { "Variable": "$.checks[1].flagged", "BooleanEquals": true, "Next": "Wait For Review" } ], "Default": "Approve Application" }

rights reserved. In Partnership with コールバックの待機 Taskトークンを⽣成し統合サービスにパスするトークン受領者側プロセスが完了した時、SendTaskSuccessまたは SendTaskFailureをTaskトークンと共に呼び出すワークフローが実⾏を再開する

rights reserved. In Partnership with コールバックの待機例: ポーズして外部のコールバックを待機 "Type": "Task", "Resource":"arn:aws:states:::lambda:invoke.waitForTaskToken", "Parameters": { "FunctionName": "FlagApplicationForReview", "Payload": { "applicationId.$": "$.application.id", "taskToken.$": "$$.Task.Token" } }, "ResultPath": "$.reviewDecision", "Next": "ReviewApproved?"

rights reserved. In Partnership with エラーハンドリングとリトライタイムアウト、失敗したタスク、権限不⾜によってエラーは起こり得るタスクはエラー発⽣時にBackoffRateを利⽤して MaxAttemptsに達するまでリトライ可能タスクは特定のエラーをキャッチし他の状態へ遷移可能エラーに対してリトライの設定が可能。最初のリトライまでの間隔、最⼤回数、リトライ間隔の増分の指定が可能

rights reserved. In Partnership with リトライとエラーハンドリングの例 "ReleaseInventory": { "Comment": "Task to release order items back to inventory", "Type": "Task", "Resource": "${ReleaseInventoryFunction.Arn}", "TimeoutSeconds": 10, "Retry": [{ "ErrorEquals": ["States.ALL"], "IntervalSeconds": 1, "MaxAttempts": 2, "BackoffRate": 2.0 }], "Catch": [{ "ErrorEquals": ["ErrReleaseInventory"], "ResultPath": "$.error", "Next": "sns:NotifyReleaseInventoryFail" }], "Next": "ProcessRefund" },

rights reserved. In Partnership with AWS Step FunctionsによるSagaパターンの実装 • Managing Long Lived Transactions with AWS Step Functions https://github.com/aws-samples/aws-step-functions-long-lived- transactions

rights reserved. In Partnership with サンプルアプリケーションの解説 • e-Commerceの注⽂処理のサンプルアプリ • オーダーステータスの変更 • クレジットカードトランザクション • 商品在庫数の変更 • 個々のステートは独⾃のローカルなトランザクションを伴う様々なバックエンドと統合されている • これらを⼀連の分散トランザクションとして扱う必要がある

rights reserved. In Partnership with ステートマシンの各ステートと種別ステートアクション処理内容 ProcessOrder Lambda関数呼び出し DynamoDBのOrderテーブルに注⽂情報を保存 ProcessPayment Lambda関数呼び出し DynamoDBのPaymentテーブルに⽀払情報を保存 ReserveInventory Lambda関数呼び出し DynamoDBのInventoryテーブルに在庫予約情報を Context付きで保存 sns:NotifySuccess SNSにTopicを送信 order_idを送信 ReleaseInventory Lambda関数呼び出し DynamoDBのInbventryテーブルに在庫予約情報の取り消しをContext付きで保存 sns:NotifyReleaseInventoryFail SNSにTopicを送信 order_idを送信 ProcessRefund Lambda関数呼び出し DynamoDBのPaymentテーブルに返⾦情報を保存 sns:NotifyProcessRefundFail SNSにTopicを送信 order_idを送信 UpdateOrderStatus Lambda関数呼び出し DynamoDBのOrderテーブルの注文ステータスを Pendingに更新 sns:NotifyUpdateOrderFail SNSにTopicを送信 order_idを送信

rights reserved. In Partnership with ステートマシンの各ステートと種別現在のステート次のステート失敗した場合の次のステート ProcessOrder ProcessPayment UpdateOrderStatus ProcessPayment ReserveInventory ProcessRefund ReserveInventory sns:NotifySuccess ReleaseInventory sns:NotifySuccess OrderSucceeded ReleaseInventory ProcessRefund sns:NotifyReleaseInventoryFail sns:NotifyReleaseInventoryFail OrderFailed ProcessRefund UpdateOrderStatus sns:NotifyProcessRefundFail sns:NotifyProcessRefundFail OrderFailed UpdateOrderStatus sns:NotifyUpdateOrderFail sns:NotifyUpdateOrderFail sns:NotifyUpdateOrderFail OrderFailed

rights reserved. In Partnership with まとめ • Sagaパターンは⻑期⽣存トランザクションのパフォーマンス低下やデッドロックによる失敗発⽣率の増加に対応するパターン • マイクロサービスパターンによって再度注⽬された • AWS Step Functionsを利⽤することで、Sagaパターンをオーケストレーションで実装可能 • AWS Step FunctionsにSagaの管理を移譲することで責務を分離し、アプリケーションコードをシンプルに保つことが可能

分散システムにおけるSagaパターンのAWS Step Functions による実装 #A...

分散システムにおけるSagaパターンのAWS Step Functions による実装 #AWSDevDay

More Decks by Atsushi Fukui

Other Decks in Technology

Featured

Transcript

分散システムにおけるSagaパターンのAWS Step Functions による実装 #A...

分散システムにおけるSagaパターンのAWS Step Functions による実装 #AWSDevDay