Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps初心者がApache Airflowを触る / Apache Airflow Int...
Search
Henry Cui
May 27, 2023
Programming
0
320
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
Henry Cui
May 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
210
Direct Preference Optimization
zchenry
0
380
Diffusion Model with Perceptual Loss
zchenry
0
420
レンズの下のLLM / LLM under the Lens
zchenry
0
190
Go with the Prompt Flow
zchenry
0
170
Mojo Dojo
zchenry
0
220
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
580
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
260
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
130
Other Decks in Programming
See All in Programming
より安全で効率的な Go コードへ: Protocol Buffers Opaque API の導入
shwatanap
2
730
為你自己學 Python - 冷知識篇
eddie
1
350
ProxyによるWindow間RPC機構の構築
syumai
3
1.2k
デザイナーが Androidエンジニアに 挑戦してみた
874wokiite
0
550
Compose Multiplatform × AI で作る、次世代アプリ開発支援ツールの設計と実装
thagikura
0
170
How Android Uses Data Structures Behind The Scenes
l2hyunwoo
0
480
Testing Trophyは叫ばない
toms74209200
0
890
JSONataを使ってみよう Step Functionsが楽しくなる実践テクニック #devio2025
dafujii
1
630
🔨 小さなビルドシステムを作る
momeemt
4
690
AIでLINEスタンプを作ってみた
eycjur
1
230
複雑なドメインに挑む.pdf
yukisakai1225
5
1.2k
Performance for Conversion! 分散トレーシングでボトルネックを 特定せよ
inetand
0
2.4k
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
135
9.5k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
920
Speed Design
sergeychernyshev
32
1.1k
GitHub's CSS Performance
jonrohan
1032
460k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.9k
Docker and Python
trallard
46
3.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Embracing the Ebb and Flow
colly
87
4.8k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Transcript
MLOps初心者がApache Airflowを触る 機械学習の社会実装勉強会第23回 Henry 2023/5/27
内容 ▪ Apache Airflowについて ▪ Dockerを利用した起動方法 ▪ Taskflow API 2
Apache Airflowについて ▪ タスクの自動実行をやってくれるライブラリ • Crontabのような自動実行 • タスク間の依存関係 • Pythonのライブラリ
• ログ・可視化が完備 • 競合の中に一番 Github Star数が多い(弊者調べ) • その分大きなコミュニティに使われている ▪ 向かないケースもある • ストリーミングデータに向いてない • 可視化あるがコード書きたくない人に向いてない 3
Dockerを利用した起動方法 ▪ docker-compose.ymlを入手 • 自分は https://airflow.apache.org/docs/apache-airflow/2.6.1/docker-compose.yaml • Dockerfileが不要なのはymlファイルの中で公開コンテナを使う ▪ docker
compose up airflow-init で初期化 ▪ docker compose up で諸々のコンポーネントを起動 4
Apache Airflow の諸々の概念 ▪ 全体のアーキテクチャ ▪ 初心者が扱う概念 • DAG:有向非巡回グラフ ▪
一つのまとまりのジョブ、タスク間の依存関係が定義される • タスク:実行したいジョブの最小単位、DAGの要素 5
Taskflow API ▪ 今までより扱いやすくなったDAG定義の書き方 ▪ 詳しくは画面共有しながら説明する • https://airflow.apache.org/docs/apache-airflow/stable/tutorial/taskfl ow.html も参照
• Task decoratorのパラメータは https://github.com/apache/airflow/blob/2.4.0/airflow/decorators/ba se.py#L546-L557 参照 ▪ カスタムDAGファイルも認識できる • 今のところairflowサーバーの再起動が必要 6