Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps初心者がApache Airflowを触る / Apache Airflow Int...
Search
Henry Cui
May 27, 2023
Programming
0
260
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
Henry Cui
May 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
110
Direct Preference Optimization
zchenry
0
320
Diffusion Model with Perceptual Loss
zchenry
0
280
レンズの下のLLM / LLM under the Lens
zchenry
0
160
Go with the Prompt Flow
zchenry
0
140
Mojo Dojo
zchenry
1
180
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
440
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
190
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
92
Other Decks in Programming
See All in Programming
Итераторы в Go 1.23: зачем они нужны, как использовать, и насколько они быстрые?
lamodatech
0
1.4k
どうして手を動かすよりもチーム内のコードレビューを優先するべきなのか
okashoi
3
910
PHPで作るWebSocketサーバー ~リアクティブなアプリケーションを知るために~ / WebSocket Server in PHP - To know reactive applications
seike460
PRO
2
780
Package Traits
ikesyo
1
210
Lookerは可視化だけじゃない。UIコンポーネントもあるんだ!
ymd65536
1
130
AWSのLambdaで PHPを動かす選択肢
rinchoku
2
390
20年もののレガシープロダクトに 0からPHPStanを入れるまで / phpcon2024
hirobe1999
0
1k
PHPで学ぶプログラミングの教訓 / Lessons in Programming Learned through PHP
nrslib
4
1.1k
Внедряем бюджетирование, или Как сделать хорошо?
lamodatech
0
950
PHPカンファレンス 2024|共創を加速するための若手の技術挑戦
weddingpark
0
140
Jaspr Dart Web Framework 박제창 @Devfest 2024
itsmedreamwalker
0
150
ドメインイベント増えすぎ問題
h0r15h0
2
580
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.4k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Documentation Writing (for coders)
carmenintech
67
4.5k
The Cult of Friendly URLs
andyhume
78
6.1k
It's Worth the Effort
3n
183
28k
Measuring & Analyzing Core Web Vitals
bluesmoon
5
210
Being A Developer After 40
akosma
89
590k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
98
18k
4 Signs Your Business is Dying
shpigford
182
22k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Into the Great Unknown - MozCon
thekraken
34
1.6k
Transcript
MLOps初心者がApache Airflowを触る 機械学習の社会実装勉強会第23回 Henry 2023/5/27
内容 ▪ Apache Airflowについて ▪ Dockerを利用した起動方法 ▪ Taskflow API 2
Apache Airflowについて ▪ タスクの自動実行をやってくれるライブラリ • Crontabのような自動実行 • タスク間の依存関係 • Pythonのライブラリ
• ログ・可視化が完備 • 競合の中に一番 Github Star数が多い(弊者調べ) • その分大きなコミュニティに使われている ▪ 向かないケースもある • ストリーミングデータに向いてない • 可視化あるがコード書きたくない人に向いてない 3
Dockerを利用した起動方法 ▪ docker-compose.ymlを入手 • 自分は https://airflow.apache.org/docs/apache-airflow/2.6.1/docker-compose.yaml • Dockerfileが不要なのはymlファイルの中で公開コンテナを使う ▪ docker
compose up airflow-init で初期化 ▪ docker compose up で諸々のコンポーネントを起動 4
Apache Airflow の諸々の概念 ▪ 全体のアーキテクチャ ▪ 初心者が扱う概念 • DAG:有向非巡回グラフ ▪
一つのまとまりのジョブ、タスク間の依存関係が定義される • タスク:実行したいジョブの最小単位、DAGの要素 5
Taskflow API ▪ 今までより扱いやすくなったDAG定義の書き方 ▪ 詳しくは画面共有しながら説明する • https://airflow.apache.org/docs/apache-airflow/stable/tutorial/taskfl ow.html も参照
• Task decoratorのパラメータは https://github.com/apache/airflow/blob/2.4.0/airflow/decorators/ba se.py#L546-L557 参照 ▪ カスタムDAGファイルも認識できる • 今のところairflowサーバーの再起動が必要 6