Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GCP Composer
Search
Masaki Iino
July 20, 2018
Technology
0
240
GCP Composer
社内LT資料
Masaki Iino
July 20, 2018
Tweet
Share
More Decks by Masaki Iino
See All by Masaki Iino
AnyPay ChatOps
iinomasaki
0
1.2k
Istio
iinomasaki
0
1.6k
GolangでAPIドキュメント自動生成
iinomasaki
0
680
LT_Cloud_Functions.pdf
iinomasaki
1
560
Other Decks in Technology
See All in Technology
データ資産をシームレスに伝達するためのイベント駆動型アーキテクチャ
kakehashi
PRO
2
230
SA Night #2 FinatextのSA思想/SA Night #2 Finatext session
satoshiimai
1
100
家電アプリ共通PF "Linova" のAPI利用とPostman活用事例ご紹介
yukiogawa
0
130
スクラムのイテレーションを導入してチームの雰囲気がより良くなった話
eccyun
0
110
Building Products in the LLM Era
ymatsuwitter
10
4.4k
まだ間に合う! エンジニアのための生成AIアプリ開発入門 on AWS
minorun365
PRO
4
580
マルチモーダル理解と生成の統合 DeepSeek Janus, etc... / Multimodal Understanding and Generation Integration
hiroga
0
360
10分で紹介するAmazon Bedrock利用時のセキュリティ対策 / 10-minutes introduction to security measures when using Amazon Bedrock
hideakiaoyagi
0
170
Googleマップ/Earthが一般化した 地図タイルのイマ
mapconcierge4agu
1
200
AndroidデバイスにFTPサーバを建立する
e10dokup
0
240
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
6
57k
Developer Summit 2025 [14-D-1] Yuki Hattori
yuhattor
19
5.1k
Featured
See All Featured
Building an army of robots
kneath
302
45k
Building Applications with DynamoDB
mza
93
6.2k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
99
18k
BBQ
matthewcrist
86
9.5k
How to Think Like a Performance Engineer
csswizardry
22
1.3k
Code Reviewing Like a Champion
maltzj
521
39k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
400
Bash Introduction
62gerente
610
210k
Unsuck your backbone
ammeep
669
57k
Transcript
Cloud Composer 2018/07/06 Iino Masaki
Cloud Composer とは Cloud Composer とは、マネージドなワークフローオーケストレーションサービスで す。Apache Airflow をベースに構築しており、パイプラインの作成、スケジューリン グ、監視を可能にします。Airflow同様にPythonを使用してジョブ(DAG)を記述しま
す。
Airflow AirflowとはAirbnbがオー プンソースとして開発した、 ワークフローを記述、実行、 監視するためのツールで す。 グラフ理論がベースになっ ています。
Getting Started
Getting Started Composer はまだClosed Betaで全体には公開していません。開始するためには GCPConsoleから無料トライアルに応募しましょう。 トライアル申請が通るとGCPConsoleに Composer サービスが追加されます。
Getting Started 公式のQuickstartに沿ってさくっとSampleを作成します。 Sampleでは下記処理を実行するDAGを作成します。 1. Cloud Dataproc Clusterを作成 2. Cluster上でHadoop
を実行し 単語の出現数をGCSに書き出し 3. Cloud Dataproc Clusterを削除
Getting Started まず、公式ドキュメントに記載されているBefore you beginを通してコマンドのインス トールやAPIの有効化を行っておきましょう。 環境変数を束ねたEnviromentを作成します。この処理は実行してから小一時間ほど かかるので、実行してコーヒーでもの飲みながらのんびり待ちましょう。 gcloud beta
composer environments run ENVIRONMENT_NAME --zone us-central1-a --machine-type n1-standard-2
Getting Started Environment を作成すると右上のキャプ チャの用にComposerサービスに Environment として表示されます。 この際いくつかのサービスでバックエンド 用のプロジェクトが作成されます。 •
GCS:DAGs置き場 • GKE:Worker, Redis等 • GAE:管理画面 • SQL:進捗管理 GAE, SQLは使っている形跡はあります が、Consoleから確認できないためプロ ジェクト外に作成されている可能性もあり ます。
Getting Started コマンド経由でquickstart.pyをアップロードします。Environment作成時にできた bucketに直接アップロードしてもOKです。 gcloud beta composer environments storage dags
import --environment ENVIRONMENT_NAME --source quickstart.py
Getting Started 管理画面にUploadしたDAGが表示され ます。 quickstart.pyに記述したstart_dateが yesterdayになっているため、登録と同時 に実行もされます。
Architecture
Architecture たぶんこんな構成になっていると思いま す。 管理画面へのアクセスがAppEngineの URLになっているので、GAE経由で管理 画面へプロキシしているのではないでしょ うか。 GKEにsql proxyなるものがあるのでどこ かのCloudSQLに繋がっているのだろうと
も思えます。
まとめ
まとめ • GCEに自前で建ててた人は乗り換えありかも • Cloud Memorystoreを使っていないのは少し残念 • ちょっと値段が高い