Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Workflow engine with go
Search
Tsuji Daishiro
January 25, 2020
Technology
0
1.7k
Workflow engine with go
Tsuji Daishiro
January 25, 2020
Tweet
Share
More Decks by Tsuji Daishiro
See All by Tsuji Daishiro
Starting static analysis with Go
tutuz
0
1.9k
実務で役立つTCPクライアントの作り方
tutuz
6
4.9k
What's new Context in Go1.14
tutuz
2
1.4k
Workflow engine with go #2
tutuz
0
1.1k
Nginx cache pitfalls
tutuz
0
160
Check inline expansion with Go
tutuz
0
2.6k
Parallel-Simulated-Annealing
tutuz
3
4.4k
Other Decks in Technology
See All in Technology
言葉は感情の近似値である。その感情と言葉の誤差を最小化しよう ~コミュニケーションにおけるアナログ/デジタル変換の課題に立ち向かう~
nktamago
0
230
DroidKaigi 2024 たすけて!ViewModel
mhidaka
5
950
Fediverse Discovery Providers overview
andypiper
0
170
ついに出た!OpenAIの最新モデル「o1」って何がすごいの?
minorun365
PRO
3
1.2k
20240912 JJUGナイトセミナー
mii1004
0
140
JTCや セキュリティチェックリストが夢の跡
nikinusu
1
660
タイミーのレコメンドにおける ABテストの運用
ozeshun
1
150
Discovering AI Models
picardparis
4
3.9k
開発者の定量・定性データを組み合わせて開発者体験を把握するための取り組み
ham0215
1
140
自作Cコンパイラ 8時間の奮闘
soukouki
0
850
DuckDB雑紹介(1.1対応版)@DuckDB座談会
ktz
6
1.4k
不動産売買取引におけるAIの可能性とプロダクトでのAI活用
zabio3
0
270
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
179
21k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.4k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
25
3.9k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
5
480
Six Lessons from altMBA
skipperchong
26
3.4k
Imperfection Machines: The Place of Print at Facebook
scottboms
263
13k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
663
120k
Building Adaptive Systems
keathley
36
2.1k
GitHub's CSS Performance
jonrohan
1030
450k
The Mythical Team-Month
searls
218
43k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Transcript
ワークフローエンジンをGoで作る 2020/01/25 Umeda.go 2020 Winter 辻大志郎 @d_tutuz
None
Who are you? • 辻 大志郎(つじ だいしろう) @d_tutuz 渋谷区役所(~2014/9) Future
Architect(2014/10~) • 所属 Technology Innovation Group 競技プログラミング部
ワークフローエンジンとは 以下のようなことを実施するソフトウェア • 定期的なタスクの実行 • タスク間の依存関係を定義でき、順序関係を制御してタスクを実行 • タスクの実行状況/結果を管理
データ分析基盤などでよく用いられる • 定型業務の自動化 ◦ 大量のデータの収集 ◦ データの加工 ◦ データの集計
用語の定義(タスクとフロー) • タスク:処理の単位 • フロー:タスクの集合 タスク フロー データソース データレイク データマート
タスク タスク
既存のワークフローエンジン • たくさんある ◦ airflow ◦ argo ◦ rundeck ◦
cadence ◦ azkaban ◦ JP1 ◦ … • 十分に高機能&汎用的だが、扱いにくかったり... • ワークフローは業務と密に結合することが多い • シンプルなワークフローエンジンを作ってみたかった
Flowerを作った • フロー(Flow)を扱うソフトウェア(er)ということでFlower https://github.com/d-tsuji/flower
アーキテクチャ • Register(タスクの実行登録) • Watcher(タスクの実行監視/制御) • Worker(タスクの実行)
Flowerの特徴 • タスク管理 ◦ タスクの順序をマスタで一括管理 ◦ パラメータなどの埋め込みが可能 ◦ タスクを構成する処理はComponentとしてGoで実装 •
リカバリ/リラン ◦ エラー時にどのタスクでエラーになったかわかる仕組みを提供 ◦ テーブルのレコード更新でリランが可能 • 重複実行制御 • 流量制御
タスクの定義方法 • AirflowではPythonファイルとして処理と実行順序を記述 • タスクはGoのソースで、実行順序はマスタで管理できるようにしたかった タスク定義例 タスク例 タスク定義マスタ
タスク実行管理/制御 • タスクは管理テーブルで永続化 ◦ タスクのロスト、重複実行の制御は最重要な要素の一つ ◦ RDBMSが一番扱いやすい タスク管理テーブル exec_status 0:実行待ち
1:実行中 3:完了
重複実行制御 • 実行待ちタスクの行ロックを取得してから実行中に更新 • 実行中にステータスを更新して、workerにタスクをput • 同時に実行待ちタスクが参照されて二重にタスクが実行されることを防止 次に実行するタスクはこ のレコード 完了
実行待
流量制御 • 「実行中+実行待ちのタスク≦同時実行数」の場合はworkerにputしない 完了 実行中 実行中 実行待 実行待 例)同時実行数が2の場合 同時実行数を超えるので
zzzzzのフローのタスクは実行しない
落ち葉拾い • タスク監視のポーリング ◦ キュー(SQSとか)をはさめばイベント通知にできる • スケジューラ • 管理コンソール ◦
ほしいけど作っていない