Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
システム/データ品質保証のための Airflow 活用法
Search
Hank Ehly
October 20, 2022
Technology
0
430
システム/データ品質保証のための Airflow 活用法
Hank Ehly
October 20, 2022
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Fivetranでデータ移動を自動化する
hankehly
0
300
Celeryの紹介と本番運用のTips
hankehly
0
160
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
160
Deferrable Operators入門
hankehly
0
220
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
270
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
160
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
160
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
700
Other Decks in Technology
See All in Technology
開発パフォーマンスを最大化するための開発体制
ham0215
7
1.2k
Babylon.js JAPAN活動紹介 (2024/4)
limes2018
1
120
GrafanaMeetup_AmazonManagedGrafanaのアクセス制御機能とマルチテナント環境下でのアクセス制御について
daitak
0
410
How to Lead? Testimonial of a Lead Android Engineer
oleur
1
110
生産性向上チームの紹介
cybozuinsideout
PRO
1
930
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
3
3.3k
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.1k
web-application-security
matsuihidetoshi
1
200
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
270
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
lycorptech_jp
PRO
8
630
BPStudyの200回を中心にIT業界を振り返る。そしてこれから
haru860
3
420
認知症フレンドリーテックとスタックチャン
naokiuc
0
290
Featured
See All Featured
Music & Morning Musume
bryan
41
5.6k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
RailsConf 2023
tenderlove
9
560
Rebuilding a faster, lazier Slack
samanthasiow
74
8.2k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
Facilitating Awesome Meetings
lara
43
5.6k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.1k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
358
22k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Designing Experiences People Love
moore
136
23k
Design by the Numbers
sachag
274
18k
Raft: Consensus for Rubyists
vanstee
133
6.3k
Transcript
システム/データ品質保証のための Airflow 活用法 2022/10/20 hankehly
自己紹介 • Hank Ehly(名:ハンク 姓:イーリー) • ENECHANGE株式会社 • qiita.com/hankehly •
github.com/hankehly • connpass.com/user/hankehly
アジェンダ 1. Airflowとは 2. QAにどう役立てる
• ワークフロー管理システム(作成・実行・監視) • Airbnb、メルカリ、楽天、Tesla、Twitter、等々 Airflowとは • Python
ワークフロー名 実行頻度 成功/失敗回数
None
None
AirflowをQAにどう役立てるか 1. データパイプラインにおけるデータの品質担保 ② 結果の形式 は問題ないか? ① SQL実行 ③ 必要なデータは
入っているか? ./01_run_sql.sh ./02_check_data.sh ./03_send_email.sh … 品質保証しにくいパイプライン
AirflowをQAにどう役立てるか 2. 継続的な End-To-End (E2E) テストの実行 • 既存テストスクリプトそのまま利用できる(コンテナ/Python/Bash) • パラレル実行
• REST APIから実行可 • 通知機能(Slack、Eメール等) • 途中から再実行 • QAチームに実行権限を付与できる 開始 Seleniumで 画面操作 成功/失敗判定 Slack エラー通知 スクリーンショットを Google Driveに転送 Asanaチケット起票 NG OK Slack 成功通知
AirflowをQAにどう役立てるか 3. システムモニタリング • 定期的にシステムの “正確さ” およびデータの精度/鮮度を確認する • 結果を通知する /ping
は[200 OK]を 返している? 例)5分ごとに、サービス X,Y,Z にHTTPリクエスト送信 データ更新 されている? 例)毎週月曜日8時にデータの最終更新日を確認する
ワークショップ 10/29(土)にAirflowのハンズオンワークショップを開催予定 << Airflowのことが分かる記事