Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MLOps初心者がApache Airflowを触る / Apache Airflow Int...
Search
Henry Cui
May 27, 2023
Programming
0
280
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
Henry Cui
May 27, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
140
Direct Preference Optimization
zchenry
0
340
Diffusion Model with Perceptual Loss
zchenry
0
310
レンズの下のLLM / LLM under the Lens
zchenry
0
170
Go with the Prompt Flow
zchenry
0
150
Mojo Dojo
zchenry
0
190
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
490
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
210
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
98
Other Decks in Programming
See All in Programming
新卒から4年間、20年もののWebサービスと 向き合って学んだソフトウェア考古学
oguri
8
6.8k
php-fpm がリクエスト処理する仕組みを追う / Tracing-How-php-fpm-Handles-Requests
shin1x1
5
830
2025/3/18 サービスの成長で生じる幅広いパフォーマンスの問題を、 AIで手軽に解決する
shirahama_x
0
160
ステートソーシング型イベント駆動の視点で捉えるCQRS+ES
shinnosuke0522
1
320
requirements with math
moony
0
520
アプリを起動せずにアプリを開発して品質と生産性を上げる
ishkawa
0
330
Compose Navigation実装の見通しを良くする
hiroaki404
0
180
コンテナでLambdaをデプロイするときに知っておきたかったこと
_takahash
0
150
Preact、HooksとSignalsの両立 / Preact: Harmonizing Hooks and Signals
ssssota
1
700
아직도 SOLID 를 '글'로만 알고 계신가요?
sh1mj1
0
360
Kubernetesで実現できるPlatform Engineering の現在地
nwiizo
2
1.7k
Boost Your Performance and Developer Productivity with Jakarta EE 11
ivargrimstad
0
110
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
135
33k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.3k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
12
610
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.6k
Speed Design
sergeychernyshev
28
860
Git: the NoSQL Database
bkeepers
PRO
429
65k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Being A Developer After 40
akosma
90
590k
Designing for humans not robots
tammielis
250
25k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
A Philosophy of Restraint
colly
203
16k
Transcript
MLOps初心者がApache Airflowを触る 機械学習の社会実装勉強会第23回 Henry 2023/5/27
内容 ▪ Apache Airflowについて ▪ Dockerを利用した起動方法 ▪ Taskflow API 2
Apache Airflowについて ▪ タスクの自動実行をやってくれるライブラリ • Crontabのような自動実行 • タスク間の依存関係 • Pythonのライブラリ
• ログ・可視化が完備 • 競合の中に一番 Github Star数が多い(弊者調べ) • その分大きなコミュニティに使われている ▪ 向かないケースもある • ストリーミングデータに向いてない • 可視化あるがコード書きたくない人に向いてない 3
Dockerを利用した起動方法 ▪ docker-compose.ymlを入手 • 自分は https://airflow.apache.org/docs/apache-airflow/2.6.1/docker-compose.yaml • Dockerfileが不要なのはymlファイルの中で公開コンテナを使う ▪ docker
compose up airflow-init で初期化 ▪ docker compose up で諸々のコンポーネントを起動 4
Apache Airflow の諸々の概念 ▪ 全体のアーキテクチャ ▪ 初心者が扱う概念 • DAG:有向非巡回グラフ ▪
一つのまとまりのジョブ、タスク間の依存関係が定義される • タスク:実行したいジョブの最小単位、DAGの要素 5
Taskflow API ▪ 今までより扱いやすくなったDAG定義の書き方 ▪ 詳しくは画面共有しながら説明する • https://airflow.apache.org/docs/apache-airflow/stable/tutorial/taskfl ow.html も参照
• Task decoratorのパラメータは https://github.com/apache/airflow/blob/2.4.0/airflow/decorators/ba se.py#L546-L557 参照 ▪ カスタムDAGファイルも認識できる • 今のところairflowサーバーの再起動が必要 6