Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps初心者がApache Airflowを触る / Apache Airflow Int...
Search
Henry Cui
May 27, 2023
Programming
0
310
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
Henry Cui
May 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
190
Direct Preference Optimization
zchenry
0
370
Diffusion Model with Perceptual Loss
zchenry
0
370
レンズの下のLLM / LLM under the Lens
zchenry
0
180
Go with the Prompt Flow
zchenry
0
160
Mojo Dojo
zchenry
0
200
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
550
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
240
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
110
Other Decks in Programming
See All in Programming
DroidKnights 2025 - 다양한 스크롤 뷰에서의 영상 재생
gaeun5744
3
330
都市をデータで見るってこういうこと PLATEAU属性情報入門
nokonoko1203
1
570
GoのGenericsによるslice操作との付き合い方
syumai
3
690
datadog dash 2025 LLM observability for reliability and stability
ivry_presentationmaterials
0
130
ASP.NETアプリケーションのモダナイズ インフラ編
tomokusaba
1
420
Kotlin エンジニアへ送る:Swift 案件に参加させられる日に備えて~似てるけど色々違う Swift の仕様 / from Kotlin to Swift
lovee
1
260
AWS CDKの推しポイント 〜CloudFormationと比較してみた〜
akihisaikeda
3
320
すべてのコンテキストを、 ユーザー価値に変える
applism118
2
910
LINEヤフー データグループ紹介
lycorp_recruit_jp
0
1.1k
なぜ「共通化」を考え、失敗を繰り返すのか
rinchoku
1
570
童醫院敏捷轉型的實踐經驗
cclai999
0
200
deno-redisの紹介とJSRパッケージの運用について (toranoana.deno #21)
uki00a
0
150
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.3k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Gamification - CAS2011
davidbonilla
81
5.3k
Producing Creativity
orderedlist
PRO
346
40k
Become a Pro
speakerdeck
PRO
28
5.4k
Typedesign – Prime Four
hannesfritz
42
2.7k
How STYLIGHT went responsive
nonsquared
100
5.6k
Transcript
MLOps初心者がApache Airflowを触る 機械学習の社会実装勉強会第23回 Henry 2023/5/27
内容 ▪ Apache Airflowについて ▪ Dockerを利用した起動方法 ▪ Taskflow API 2
Apache Airflowについて ▪ タスクの自動実行をやってくれるライブラリ • Crontabのような自動実行 • タスク間の依存関係 • Pythonのライブラリ
• ログ・可視化が完備 • 競合の中に一番 Github Star数が多い(弊者調べ) • その分大きなコミュニティに使われている ▪ 向かないケースもある • ストリーミングデータに向いてない • 可視化あるがコード書きたくない人に向いてない 3
Dockerを利用した起動方法 ▪ docker-compose.ymlを入手 • 自分は https://airflow.apache.org/docs/apache-airflow/2.6.1/docker-compose.yaml • Dockerfileが不要なのはymlファイルの中で公開コンテナを使う ▪ docker
compose up airflow-init で初期化 ▪ docker compose up で諸々のコンポーネントを起動 4
Apache Airflow の諸々の概念 ▪ 全体のアーキテクチャ ▪ 初心者が扱う概念 • DAG:有向非巡回グラフ ▪
一つのまとまりのジョブ、タスク間の依存関係が定義される • タスク:実行したいジョブの最小単位、DAGの要素 5
Taskflow API ▪ 今までより扱いやすくなったDAG定義の書き方 ▪ 詳しくは画面共有しながら説明する • https://airflow.apache.org/docs/apache-airflow/stable/tutorial/taskfl ow.html も参照
• Task decoratorのパラメータは https://github.com/apache/airflow/blob/2.4.0/airflow/decorators/ba se.py#L546-L557 参照 ▪ カスタムDAGファイルも認識できる • 今のところairflowサーバーの再起動が必要 6